Замкнутая форма w в линейной регрессии может быть записана как
Как мы можем интуитивно объяснить роль в этом уравнении?
Замкнутая форма w в линейной регрессии может быть записана как
Как мы можем интуитивно объяснить роль в этом уравнении?
Ответы:
Я нашел эти сообщения особенно полезными:
Как вывести оценку наименьших квадратов для множественной линейной регрессии?
Отношения между СВД и СПС. Как использовать SVD для выполнения PCA?
http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf
Если представляет собой п × р матрица , то матрица Х ( Х Т Х ) - 1 х Т определяет проекцию на колонке пространства X . Интуитивно понятно, что у вас есть переопределенная система уравнений, но вы все еще хотите использовать ее для определения линейной карты R p → R, которая будет отображать строки x i из X во что-то близкое к значениям y i , i ∈ { 1 , … , n }, Поэтому мы согласны с отправкой к ближайшей вещи к y, которая может быть выражена как линейная комбинация ваших объектов (столбцы X ).
Что касается интерпретации , у меня пока нет удивительного ответа. Я знаю, что вы можете думать о ( X T X ) как о ковариационной матрице набора данных.
Геометрическая точка зрения , может быть , как п-мерные векторы и X & beta ;, являющихся точками в п-мерном пространстве V . Там , где Х β также в подпространстве W , натянутое на векторы х 1 , х 2 , ⋯ , х м .
Для этого подпространства мы можем представить два разных типа координат :
В не являются координатами в регулярном смысле, но они определяют точку в подпространстве . Каждый α i относится к перпендикулярным проекциям на векторы x i . Если мы используем единичные векторы x i (для простоты), то «координаты» α i для вектора z можно выразить как:
и набор всех координат как:
для выражение «координаты» α становится преобразованием из координат β в «координаты» α
Вы можете видеть как выражение того, сколько каждый x i проецирует на другой x j
Тогда геометрическую интерпретацию можно рассматривать как карту от векторной проекции «координат» α до линейных координат β .
Выражение дает проекцию «координаты» y и ( X T X ) - 1 превращает их в β .
Примечание : проекционная «координата» такой же , как «проекционных координаты» от у , так как ( у - у ) ⊥ X .