Почему сумма квадратов не увеличивается при добавлении пояснительной переменной?

9

В моем эконометрическом учебнике (Вводная эконометрика), посвященном МЖС, автор пишет: «SSR должен падать, когда добавляется еще одна объясняющая переменная». Почему это?

— Эрик Сюй
источник

1

По сути, потому что если линейная связь со следующей переменной отсутствует (частичная корреляция 0 выборок), SSR останется прежним. Если вообще существует какая-либо связь, следующая переменная может быть использована для уменьшения SSR.

— Glen_b

3

Утверждение верное по духу, но не совсем верно: SSR останется прежним (и не упадет) при добавлении любой переменной, которая является линейной комбинацией существующих переменных. В конце концов, игнорируя новую переменную, вы можете достичь того же минимального значения SSR, которое вы достигли со старой переменной, поэтому добавление новой переменной никогда не ухудшит ситуацию.

— whuber

Я ответил на аналогичный вопрос здесь: stats.stackexchange.com/questions/306267/… . Вы можете найти это полезным.

— Джош

18

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

I I : y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + ϵ_{i}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Подводя итог, можно сказать, что модели являются вложенными, в том смысле, что все, что мы можем моделировать с моделью 1, может быть сопоставлено с моделью два, модель два является более общей, чем модель 1. Таким образом, при оптимизации у нас больше свободы с моделью два, поэтому всегда найду лучшее решение.

Это на самом деле не имеет ничего общего со статистикой, но является общим фактом об оптимизации.

— Къетил б Халворсен
источник

1

Не думал таким образом, действительно полезно!

— Эрик Сюй

1

SSR - это мера расхождения между данными и моделью оценки.

Если у вас есть возможность принять во внимание другую переменную, то, если эта переменная содержит больше информации, подгонка, естественно, будет более жесткой, что означает более низкий SSR.

— Облачный Скайуокер
источник