Интуиция позади в замкнутой форме w в линейной регрессии


10

Замкнутая форма w в линейной регрессии может быть записана как

w^=(XTX)1XTy

Как мы можем интуитивно объяснить роль в этом уравнении?(XTX)1


2
Не могли бы вы уточнить, что вы подразумеваете под «интуитивно»? Например, есть удивительно интуитивное объяснение в терминах пространств внутренних продуктов, представленных в « Плоских ответах Кристенсена на сложные вопросы», но не все оценят этот подход. В качестве другого примера, в моем ответе на stats.stackexchange.com/a/62147/919 есть геометрическое объяснение , но не все считают геометрические отношения «интуитивными».
whuber

Интуитивно похоже на то, что означает $ (X ^ TX) ^ {- 1}? Это какой-то расчет расстояния или что-то, я не понимаю этого.
Даршак

1
Это полностью объясняется в ответе, с которым я связан.
whuber

Этот вопрос уже существует здесь, хотя, возможно, не с удовлетворительным ответом math.stackexchange.com/questions/2624986/…
Sextus

Ответы:


5

Я нашел эти сообщения особенно полезными:

Как вывести оценку наименьших квадратов для множественной линейной регрессии?

Отношения между СВД и СПС. Как использовать SVD для выполнения PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Если представляет собой п × р матрица , то матрица Х ( Х Т Х ) - 1 х Т определяет проекцию на колонке пространства X . Интуитивно понятно, что у вас есть переопределенная система уравнений, но вы все еще хотите использовать ее для определения линейной карты R pR, которая будет отображать строки x i из X во что-то близкое к значениям y i , i { 1 , , n }Xn×pX(XTX)1XTXRpRxiXyii{1,,n}, Поэтому мы согласны с отправкой к ближайшей вещи к y, которая может быть выражена как линейная комбинация ваших объектов (столбцы X ). ИксyX

Что касается интерпретации , у меня пока нет удивительного ответа. Я знаю, что вы можете думать о ( X T X ) как о ковариационной матрице набора данных.(XTX)1(XTX)


иногда называют «матрицей рассеяния» и является просто уменьшенной версией ковариационной матрицы(XTX)
JacKeown

4

Геометрическая точка зрения

Геометрическая точка зрения , может быть , как п-мерные векторы и X & beta ;, являющихся точками в п-мерном пространстве V . Там , где Х β также в подпространстве W , натянутое на векторы х 1 , х 2 , , х м .yXβVXβ^Wx1,x2,,xm

проекция

Два типа координат

Для этого подпространства мы можем представить два разных типа координат :W

  • В β , как координаты для регулярных координат пространства. Вектор в пространстве W представляет собой линейную комбинацию векторов x i z = β 1 x 1 + β 2 x 1 + . , , , β м х мzWxi
    z=β1x1+β2x1+....βmxm
  • В α не являются координатами в регулярном смысле, но они определяют точку в подпространстве . Каждый α i относится к перпендикулярным проекциям на векторы x i . Если мы используем единичные векторы x i (для простоты), то «координаты» α i для вектора z можно выразить как:Wαixixiαiz

    αi=xiTz

    и набор всех координат как:

α=XTz

Отображение между координатами и βαβ

для выражение «координаты» α становится преобразованием из координат β в «координаты» αz=Xβαβα

αзнак равноИксTИксβ

Вы можете видеть как выражение того, сколько каждый x i проецирует на другой x j(ИксTИкс)яJИксяИксJ

Тогда геометрическую интерпретацию можно рассматривать как карту от векторной проекции «координат» α до линейных координат β .(ИксTИкс)-1αβ

β=(XTX)1α

Выражение дает проекцию «координаты» y и ( X T X ) - 1 превращает их в β .XTyy(XTX)1β


Примечание : проекционная «координата» такой же , как «проекционных координаты» от у , так как ( у - у ) X .y y^(yy^)X


Очень похожий отчет по теме stats.stackexchange.com/a/124892/3277 .
ttnphns

(XTX)1XTy=XTXβ

3

yi=α+βxi+εi
β=cov[xi,yi]var[xi]

XyXXXXXy(XX)1Xy


Но эта аналогия сама по себе не говорит вам, если до или после умножения с обратным.
kjetil b halvorsen

@kjetilbhalvorsen, я поставил порядок операций
Аксакал
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.