Почему можно получить значительную статистику F (p <.001), но не значимые t-тесты регрессора?

70

Почему при множественной линейной регрессии возможно иметь очень значительную F-статистику (p <.001), но иметь очень высокие p-значения во всех t-тестах регрессора?

В моей модели 10 регрессоров. Один имеет значение р 0,1, а остальные выше 0,9

Для решения этой проблемы см. Следующий вопрос .

— Ηλίας
источник

2

Константа также незначительна? Сколько дел вовлечено? Сколько переменных?

— whuber

Как диагностировали мультиколлинеарность? Есть много методов, некоторые более информативны, чем другие. Чем больше вы нам сообщите, тем лучше сообщество сможет ответить.

— StasK

3

Этот вопрос стал часто задаваемыми вопросами. Некоторые ответы здесь были объединены из по существу похожих тем.

— whuber

3

См. Также здесь: как регрессия может быть значимой, но все предикторы могут быть несущественными , а обсуждение противоположного случая см. Здесь: значимый t-критерий против несущественной F-статистики .

— gung - Восстановить Монику

У меня была такая же проблема, и ни один из приведенных выше ответов не мог мне помочь. Теперь я знаю ответ (по крайней мере, на мою проблему): значение F модели 2 может быть значительным, потому что вы получили ту же «константу» (переменную), что и в модели 1 (значение F также значимо). Вы должны посмотреть на таблицу под названием «Сводка модели» в столбце «Sig. F Изменить ', чтобы увидеть, является ли изменение R в квадрате значительным (для модели 2). Если это значение является значимым, значения b также должны быть значимыми. Вы можете полностью игнорировать F-значение.

53

Как упоминает Роб, это происходит, когда у вас есть сильно коррелированные переменные. Стандартный пример, который я использую, - это прогнозирование веса по размеру обуви. Вы можете предсказать вес одинаково хорошо с правым или левым размером обуви. Но вместе это не сработает.

Краткий пример симуляции

RSS = 3:10 #Right shoe size
LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
cor(LSS, RSS) #correlation ~ 0.99

weights = 120 + rnorm(RSS, 10*RSS, 10)

##Fit a joint model
m = lm(weights ~ LSS + RSS)

##F-value is very small, but neither LSS or RSS are significant
summary(m)

##Fitting RSS or LSS separately gives a significant result. 
summary(lm(weights ~ LSS))

— csgillespie
источник

9

Интересно и важно отметить, что в этом случае обе ваши модели предсказывают одинаково хорошо. Высокие корреляции среди предикторов не обязательно являются проблемой для прогнозирования. Мультиколлинеарность является проблемой только тогда, когда 1) аналитики пытаются неправильно интерпретировать множественные коэффициенты регрессии; 2) модель не оценивается; и 3) SE завышены, а коэффициенты нестабильны.

— Бретт

Я понимаю, что две переменные сильно коррелируют друг с другом, поэтому результат t-теста незначителен, а результат F-критерия значим. Но как это случилось? Я имею в виду, что является причиной этого факта?

— yue86231

105

Требуется очень небольшая корреляция между независимыми переменными, чтобы вызвать это.

Чтобы понять почему, попробуйте следующее:

Нарисуйте 50 наборов из десяти векторов с коэффициентами в стандартной нормали. $(x_1, x_2, \ldots, x_{10})$
Вычислить для . Это делает индивидуально нормальным, но с некоторыми корреляциями между ними. $y_i = (x_i + x_{i+1})/\sqrt{2}$ $i = 1, 2, \ldots, 9$ $y_i$
Вычислить . Обратите внимание, что . $w = x_1 + x_2 + \cdots + x_{10}$ $w = \sqrt{2}(y_1 + y_3 + y_5 + y_7 + y_9)$
Добавьте некоторую независимую нормально распределенную ошибку в . Немного поэкспериментировав, я обнаружил, что с работает довольно хорошо. Таким образом, является суммой плюс некоторая ошибка. Кроме того , сумма некоторых в плюс та же ошибка. $w$ $z = w + \varepsilon$ $\varepsilon \sim N(0, 6)$ $z$ $x_i$ $y_i$

Мы будем считать независимыми переменными, а зависимой переменной. $y_i$ $z$

Вот матрица диаграммы рассеяния одного такого набора данных с вдоль верха и слева и в порядке. $z$ $y_i$

Матрица рассеяния

Ожидаемые корреляции между и являются при и в противном случае. Реализованные корреляции колеблются до 62%. Они появляются как более узкие диаграммы рассеяния рядом с диагональю. $y_i$ $y_j$ $1/2$ $|i-j|=1$ $0$

Посмотрите на регрессию против : $z$ $y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  9,    40) =    4.57
       Model |  1684.15999     9  187.128887           Prob > F      =  0.0003
    Residual |  1636.70545    40  40.9176363           R-squared     =  0.5071
-------------+------------------------------           Adj R-squared =  0.3963
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3967

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.184007   1.264074     1.73   0.092    -.3707815    4.738795
          y2 |   1.537829   1.809436     0.85   0.400    -2.119178    5.194837
          y3 |   2.621185   2.140416     1.22   0.228    -1.704757    6.947127
          y4 |   .6024704   2.176045     0.28   0.783    -3.795481    5.000421
          y5 |   1.692758   2.196725     0.77   0.445    -2.746989    6.132506
          y6 |   .0290429   2.094395     0.01   0.989    -4.203888    4.261974
          y7 |   .7794273   2.197227     0.35   0.725    -3.661333    5.220188
          y8 |  -2.485206    2.19327    -1.13   0.264     -6.91797    1.947558
          y9 |   1.844671   1.744538     1.06   0.297    -1.681172    5.370514
       _cons |   .8498024   .9613522     0.88   0.382    -1.093163    2.792768
------------------------------------------------------------------------------

F-статистика очень значительна, но ни одна из независимых переменных не имеет значения, даже без какой-либо корректировки для всех 9 из них.

Чтобы увидеть, что происходит, рассмотрим регрессию против нечетного : $z$ $y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  5,    44) =    7.77
       Model |  1556.88498     5  311.376997           Prob > F      =  0.0000
    Residual |  1763.98046    44  40.0904649           R-squared     =  0.4688
-------------+------------------------------           Adj R-squared =  0.4085
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3317

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.943948   .8138525     3.62   0.001     1.303736     4.58416
          y3 |   3.403871   1.080173     3.15   0.003     1.226925    5.580818
          y5 |   2.458887    .955118     2.57   0.013      .533973    4.383801
          y7 |  -.3859711   .9742503    -0.40   0.694    -2.349443    1.577501
          y9 |   .1298614   .9795983     0.13   0.895    -1.844389    2.104112
       _cons |   1.118512   .9241601     1.21   0.233    -.7440107    2.981034
------------------------------------------------------------------------------

Некоторые из этих переменных очень важны, даже с поправкой Бонферрони. (Гораздо больше можно сказать, посмотрев на эти результаты, но это отвлечет нас от основного момента.)

$z$ $y_2, y_4, y_6, y_8$ $z$

$y_i$

Из этого можно сделать один вывод : если в модель включено слишком много переменных, они могут маскировать действительно значимые переменные. Первым признаком этого является очень значимая общая F-статистика, сопровождаемая не столь значимыми t-тестами для отдельных коэффициентов. (Даже если некоторые из переменных являются индивидуально значимыми, это не означает автоматически, что другие не являются. Это один из основных недостатков стратегий поэтапной регрессии: они становятся жертвами этой проблемы маскирования.) Кстати, факторы инфляции дисперсиив первом диапазоне регрессии от 2,55 до 6,09 со средним значением 4,79: просто на границе диагностики некоторой мультиколлинеарности в соответствии с наиболее консервативными эмпирическими правилами; значительно ниже порога в соответствии с другими правилами (где 10 - верхний предел).

— Whuber
источник

5

Отличный ответ. А плюс 1 от меня. Я хотел бы дать это больше.

— Майкл Черник

41

Мультиколлинеарность

$R^2$
Конечно, мультиколлинеарность - это не просто абсолютный порог. Стандартные ошибки на коэффициентах регрессии будут увеличиваться по мере увеличения взаимосвязей с фокусным предиктором.

Несколько почти значимых предикторов

Даже если у вас не было мультиколлинеарности, вы все равно можете получить незначимые предикторы и общую значимую модель, если два или более отдельных предикторов близки к значимым и, таким образом, в совокупности общий прогноз превышает порог статистической значимости. Например, при использовании альфа 0,05, если у вас есть два предиктора с p-значениями 0,06 и 0,07, я не удивлюсь, если в общей модели p <0,05.

— Джером англим
источник

Хороший краткий ответ. Чтобы добавить к этому, я бы предложил возмущать данные (или удалять предиктор) и видеть, есть ли заметные изменения в коэффициентах регрессии. Например, обратите внимание на изменения знака.

— Мустафа С Эйса

38

Это происходит, когда предикторы сильно коррелированы. Представьте себе ситуацию, когда есть только два предиктора с очень высокой корреляцией. По отдельности они оба также тесно связаны с переменной ответа. Следовательно, F-критерий имеет низкое значение p (это говорит о том, что предикторы вместе очень важны для объяснения вариации в ответной переменной). Но t-критерий для каждого предиктора имеет высокое значение p, потому что после учета влияния другого предиктора мало что можно объяснить.

— Роб Хиндман
источник

Привет, Роб, извини, что беспокою тебя. Я читаю ваш ответ (потому что я сейчас сталкиваюсь с ситуацией вопроса), но я не могу понять, что вы имеете в виду, говоря: «после учета влияния другого предиктора не так уж и много осталось объяснить». Могу я попросить вас объяснить это мне? Большое спасибо.

— yue86231

1

@ yue86231 Это означает, что хотя у нас есть одно значение p для каждого предиктора, мы не можем интерпретировать каждое значение p отдельно. Каждый t-критерий предиктора может показывать значимость переменной только после учета дисперсии, объясненной всеми другими переменными. Коэффициенты линейной регрессии и стандартная ошибка создаются, так сказать, одновременно, и два предиктора уменьшают значимость друг друга.

— Роберт Кубрик

11

$X_1 \sim N(0,1)$ $X_2 = a X_1 + \delta$ $Y = bX_1 + cX_2 + \epsilon$ $\delta$ $\epsilon$ $X_1$ $N(0,1)$

C o v (X_{2}, Y) = E [(a X_{1} + δ) (b X_{1} + c X_{2} + ϵ)] = E [(a X_{1} + δ) ({b + a c} X_{1} + c δ + ϵ)] = a (b + a c) + c

${\rm Cov}(X_2,Y) = {\rm E}[(aX_1+\delta)(bX_1+cX_2+\epsilon)]={\rm E}[(aX_1+\delta)(\{b+ac\}X_1+c\delta+\epsilon)]=a(b+ac)+c$

$a=1$ $b=2$ $c=-1$

Вы сказали, что понимаете вопрос о корреляции переменных и о том, что регрессия незначительно лучше; это, вероятно, означает, что вы были обусловлены частым упоминанием мультиколлинеарности, но вам необходимо улучшить понимание геометрии наименьших квадратов.

— Stask
источник

10

Ключевым словом для поиска будет «коллинеарность» или «мультиколлинеарность». Это можно обнаружить с помощью диагностики, такой как дисперсионные коэффициенты инфляции (VIFs), или методами, описанными в учебнике «Диагностика регрессии: выявление влиятельных данных и источников коллинеарности» Белсли, Куха и Уэлша. VIF гораздо проще понять, но они не могут справиться с коллинеарностью, включающей перехват (т. Е. Предикторы, которые почти постоянны сами по себе или в линейной комбинации) - наоборот, диагностика BKW гораздо менее интуитивна, но может иметь дело с коллинеарностью, включающей перехват.

— С. Коласса - Восстановить Монику
источник

9

Ответ, который вы получите, зависит от вопроса, который вы задаете. В дополнение к уже сделанным пунктам, отдельные значения F параметров и общие значения F модели отвечают на разные вопросы, поэтому они получают разные ответы. Я видел, как это происходит, даже когда отдельные значения F не настолько близки к значимым, особенно если в модели более 2 или 3 IV. Я не знаю ни одного способа объединить отдельные p-значения и получить что-то осмысленное, хотя, возможно, есть способ.

— Питер Флом - Восстановить Монику
источник

2

(-1) Да - оригинальный автор отмечает, что он / она видел, что это тоже произошло. Вопрос заключался в том, какие именно вещи могут вызывать это, кроме коллинеарности, и я не понимаю, как это ответ.

— Макрос

4

@Macro Понижающее голос кажется немного резким, потому что в этом ответе есть полезное и достоверное наблюдение: тесты на общую значимость и на индивидуальную значимость переменной «отвечают на разные вопросы». По общему признанию, это качественно, но не более, чем первый ответ с большим количеством голосов; и к этому ответу это добавляет некоторую действительную интуицию, возможно делая это улучшение по сравнению с этим ответом.

— whuber

1

Я никогда не говорил, что в этом ответе нет достоверной информации или интуиции. Если бы у меня был хороший ответ на этот вопрос, я бы уже ответил - это довольно сложный вопрос - я только говорил, что этот ответ, кажется, не отвечает на вопрос в каком-либо смысле этого слова.

— Макрос

9

Еще одна вещь, которую нужно иметь в виду, состоит в том, что каждый из тестов на отдельные коэффициенты предполагает, что все остальные предикторы находятся в модели. Другими словами, каждый предиктор не имеет значения, пока все остальные предикторы находятся в модели. Должно быть какое-то взаимодействие или взаимозависимость между двумя или более вашими предикторами.

Как кто-то еще спросил выше - как вы диагностировали отсутствие мультиколлинеарности?

— Дэйв Кинкейд
источник

4

Один из способов понять это - геометрия наименьших квадратов, как предлагает @StasK.

Другое - осознать, что это означает, что X относится к Y при управлении другими переменными, но не в одиночку. Вы говорите, что X относится к уникальной дисперсии в Y. Это правильно. Однако уникальная дисперсия Y отличается от общей дисперсии. Итак, какую дисперсию удаляют другие переменные?

Было бы полезно, если бы вы могли сообщить нам свои переменные.

— Питер Флом - Восстановить Монику
источник