Почему регрессия по поводу дисперсии?

На странице 2 говорится:

«Какая разница в данных объясняется данной регрессионной моделью?»

«Интерпретация регрессии - это среднее значение коэффициентов, а вывод - об их дисперсии».

Я много раз читал о таких утверждениях. Почему нас волнует вопрос: «Сколько различий в данных объясняет данная модель регрессии?» ... более конкретно, почему «различие»?

regression variance interpretation

— Luna
источник

«[V] ariance» в отличие от чего, стандартное отклонение? Что вы думаете, что мы должны заботиться о регрессе? Каковы ваши типичные цели в построении регрессионной модели?

— gung - Восстановить Монику

Дисперсия имеет единицы, отличные от моделируемой величины, поэтому мне всегда было трудно интерпретировать «пропорцию дисперсии, объясненную моделью».

— летит

Ответы:

почему нас волнует, "сколько различий в данных объясняется данной регрессионной моделью?"

Чтобы ответить на этот вопрос, полезно подумать о том, что конкретно означает, что определенный процент дисперсии объясняется регрессионной моделью.

Пусть будет переменной результата. Обычная выборочная дисперсия зависимой переменной в регрессионной модели: Теперь позвольте - это прогноз основанный на модели линейной регрессии наименьших квадратов со значениями предикторов . Как доказано здесь , эта дисперсия выше может быть разделена как: $Y_{1}, ..., Y_{n}$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2$

{\hat{Y}}_{i} \equiv \hat{f} (X_{i})

$\widehat{Y}_i \equiv \widehat{f}({\boldsymbol X}_i)$

Y_{i}

$Y_i$

X_{i}

${\boldsymbol X}_i$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \underset{r e s i d u a l v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2}}} + \underset{e x p l a i n e d v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}}}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2 = \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \widehat{Y}_i)^2}_{{\rm residual \ variance}} + \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (\widehat{Y}_i - \overline{Y})^2}_{{\rm explained \ variance}}$

При регрессии по методу наименьших квадратов среднее значение прогнозируемых значений равно , поэтому общая дисперсия равна усредненной квадратичной разности между наблюдаемыми и прогнозируемыми значениями (остаточная дисперсия) плюс выборочная дисперсия самих прогнозов (поясняется дисперсии), которые являются только функцией s . Поэтому «объясненную» дисперсию можно рассматривать как дисперсию в которая связана с вариацией в . Доля дисперсии в которая «объяснена» (т.е. доля вариации в которая связана с вариацией в $\overline{Y}$ ${\boldsymbol X}$ $Y_i$ ${\boldsymbol X}_i$ $Y_i$ $Y_i$ ${\boldsymbol X}_i$ ) иногда упоминается как . $R^2$

Теперь мы используем два крайних примера, чтобы прояснить, почему это разложение дисперсии важно:

(1) Предикторы не имеют ничего общего с ответами . В этом случае лучшим непредвзятым предиктором (в смысле наименьших квадратов) для является . Поэтому полная дисперсия в просто равна остаточной дисперсии и не связана с дисперсией в предикторах . $Y_i$ $\widehat{Y}_i = \overline{Y}$ $Y_i$ ${\boldsymbol X}_i$
(2) Предикторы совершенно линейно связаны с предикторами . В этом случае прогнозы абсолютно верны и . Следовательно, нет остаточной дисперсии, и вся дисперсия в результате - это дисперсия в самих предсказаниях, которые являются только функцией предикторов. Поэтому все отклонения в результате просто обусловлены отклонениями в предикторах . $\widehat{Y}_i = Y_i$ ${\boldsymbol X}_i$

Ситуации с реальными данными часто будут лежать между двумя крайностями, как и доля дисперсии, которая может быть отнесена к этим двум источникам. Чем больше «объясненной дисперсии» - то есть, чем больше вариация в из-за вариации - тем лучше выполняются прогнозы (т. меньше «Остаточная дисперсия» есть), это еще один способ сказать, что модель наименьших квадратов хорошо вписывается. $Y_i$ ${\boldsymbol X}_i$ $\widehat{Y}_{i}$

— макрос
источник

Это как мой ответ, но, возможно, немного лучше объяснено. Также я вижу возможную критику, о которой можно было бы упомянуть, это то, что я должен был написать вариацию относительно среднего значения Y.

— Майкл Р. Черник,

@MichaelChernick, да, но в регрессии наименьших квадратов (о которой я думаю, что OP говорит на основе связанных слайдов), среднее значение прогнозируемых значений равно среднему , так что вы можете просто назвать его выборочной дисперсией прогнозы.

Y

$Y$

— Макро

Я отредактировал свой ответ, потому что Yb необходим для правильной декомпозиции дисперсии.

— Майкл Р. Черник

Да, мне было ясно, что она имела в виду регрессию наименьших квадратов. Тем не менее, многое из того, что вы написали, просто повторяет то, что я сказал, немного по-другому. Я все еще дал тебе +1.

— Майкл Р. Черник

Макро, моя точка зрения заключалась в том, что эта декомпозиция происходит только в том случае, если и таким образом, «регрессия» по своей природе включает в себя ортогональную проекцию на пространство, содержащее постоянный вектор. Обратите внимание, что мы можем легко «сломать» эту декомпозицию, просто удалив вектор константы из нашей модели, что, кажется, противоречит вашему последнему комментарию.

⟨ y - \hat{y}, \hat{y} - \bar{y} 1 ⟩ = 0

$\langle \mathbf y - \hat {\mathbf y}, \hat{\mathbf{y}} - \bar{y} \mathbf{1} \rangle = 0$

— кардинал

Я не могу бегать с большими собаками статистики, которые отвечали до меня, и, возможно, мое мышление наивно, но я смотрю на это так ...

Представьте, что вы находитесь в машине, и вы едете по дороге, поворачиваете колесо влево и вправо и неистово нажимаете педаль газа и тормоза. И все же машина движется плавно, не зависит от ваших действий. Вы сразу заподозрили бы, что вас не было в реальной машине, и, возможно, если бы мы присмотрелись, мы бы определили, что вы едете в Disney World. (Если бы вы были в реальной машине, вы были бы в смертельной опасности, но давайте не будем туда идти.)

С другой стороны, если вы ехали по дороге на автомобиле и слегка повернули колесо влево или вправо, это сразу же привело к движению автомобиля, нажатие на педаль тормоза привело к сильному замедлению, а нажатие на педаль газа отбросило вас обратно в сиденье. Вы можете подозревать, что находились в спортивной машине с высокими эксплуатационными характеристиками.

В общем, вы, вероятно, испытываете что-то среднее между этими двумя крайностями. Степень, в которой ваши входные данные (рулевое управление, тормоза, газ) напрямую влияют на движение автомобиля, дает вам представление о качестве автомобиля. То есть, чем больше дисперсия движения вашего автомобиля, связанная с вашими действиями, тем лучше автомобиль, и чем больше автомобиль движется независимо от вашего контроля, тем хуже автомобиль.

Аналогичным образом вы говорите о создании модели для некоторых данных (назовем эти данные ) на основе некоторых других наборов данных (назовем их ). Если не меняется, это как машина, которая не движется, и нет смысла обсуждать, работает ли автомобиль (модель) хорошо или нет, поэтому мы предположим, что меняется. $y$ $x_1, x_2, ..., x_i$ $y$ $y$

Так же, как и у автомобиля, модель хорошего качества будет иметь хорошее соотношение между результатами меняются, и входными данными меняются. В отличие от автомобиля, не обязательно приводит к изменению , но если модель будет полезной, нужно менять в тесной связи с . Другими словами, объясняют большую часть дисперсии в . $y$ $x_i$ $x_i$ $y$ $x_i$ $y$ $x_i$ $y$

PS Я не смог придумать аналогию с Винни-Пухом, но я попытался.

PPS [EDIT:] Обратите внимание, что я решаю этот конкретный вопрос. Не смущайтесь, думая, что если вы учитываете 100% дисперсии, ваша модель будет работать замечательно. Вам также нужно подумать о переоснащении, когда ваша модель настолько гибкая, что она очень точно соответствует обучающим данным, включая ее случайные причуды и странности. Чтобы использовать аналогию, вам нужен автомобиль с хорошим рулевым управлением и тормозами, но вы хотите, чтобы он хорошо работал на дороге, а не только на тестовой трассе, которую вы используете.

— Wayne
источник