Каковы преимущества различных подходов к обнаружению коллинеарности?

Я хочу определить, является ли коллинеарность проблемой в моей регрессии МНК. Я понимаю, что факторы инфляции дисперсии и индекс состояния являются двумя часто используемыми показателями, но мне трудно найти что-то определенное с точки зрения достоинств каждого подхода или какими должны быть оценки.

Известный источник, который указывает, какой подход и / или какие оценки являются подходящими, был бы очень полезен.

Аналогичный вопрос был задан на вопросе: «Есть ли причина предпочитать конкретную меру мультиколлинеарности?» но я в идеале после ссылки, которую я могу привести.

Belsley, Кух, и Вельш является текст для ответа на этот вопрос. Они включают в себя подробное обсуждение старой диагностики в разделе «Историческая перспектива». По поводу ВИФ пишут

... Если мы предположим, что данные были отцентрированы и масштабированы, чтобы иметь единичную длину, корреляционная матрица R будет просто X ′$X$$R$$X^\prime X$ . ...

Мы рассматриваем . Диагональные элементы R - 1 , r i i , часто называют дисперсионными коэффициентами инфляции, VIF i , и их диагностическое значение следует из соотношения VIF i = $R^{-1} = (X^\prime X)^{-1}$$R^{-1}$$r^{ii}$$\text{VIF}_i$ гдеR 2 i - коэффициент множественной корреляцииXi,регрессированный по оставшимся поясняющим переменным. Очевидно, что высокий VIF указывает наR 2 i, близкий к единице, и, следовательно, указывает на коллинеарность. Следовательно, эта мера имеет некоторое значение в качестве общего показателя коллинеарности. Его слабости, как и у

$$\text{VIF}_i = \frac{1}{1 - R_i^2}$$ $R_i^2$$X_i$$R_i^2$$R$ , заключаются в невозможности различить несколько сосуществующих близких зависимостей и в отсутствии значимой границы, позволяющей различать значения VIF, которые можно считать высокими, и те, которые можно считать низкими.

$R$$R^{-1}$$X$$X$$\hat\beta_i$на компоненты, связанные с единичными значениями. Сила этого разложения заключается в его способности (во многих случаях) раскрывать природу коллинеарности, а не просто указывать ее наличие.

$X_{i_1}, \ldots, X_{i_k}$ вызывает нестабильность в вычислениях: посмотрите, какую из этих переменных вы можете обойтись без, или подумайте о выполнении принципала Анализ компонентов для уменьшения их количества. "

В конечном итоге BKW рекомендует диагностировать коллинеарность с помощью

... следующее двойное условие:

1. Единственное значение, которое оценивается как имеющее высокий индекс условия, и которое связано с
2. Высокие пропорции разложения дисперсии для двух или более оцененных дисперсий коэффициента регрессии.

$30$$X$$0.5$

• $R^2$$1/(1-R^2)$

  Тем не менее, VIFs, как правило, реализованы, не может сказать вам о коллинеарности с перехватом, так как перехват обычно молча включается в эти «вспомогательные» регрессии. Кроме того, если у регрессора высокий VIF, вы не сразу знаете, какие другие регрессоры ответственны за коллинеарность. Вам нужно будет взглянуть на стандартизированные коэффициенты в регрессиях помощников.

• Индексы состояния и пропорции декомпозиции коллинеарности Belsley, Kuh & Welsch (Belsley, DA; Kuh, E. & Welsch, RE. Регрессионная диагностика: выявление влиятельных данных и источников коллинеарности. John Wiley & Sons, 1980) гораздо сложнее понять. Я работал с ними несколько лет назад, но я не буду пытаться объяснить их здесь, не получив переподготовки ;-)

  Эта диагностика действительно позволяют обнаруживать коллинеарности с перехватом. И вы можете исследовать пропорции разложения коллинеарности, чтобы определить, какие другие регрессоры ответственны за коллинеарность одного данного регрессора.

Что касается широко доступных ссылок на цитирование, в книге «Далекий» на стр. 117 приведено практическое правило свыше 30 для выявления проблем на основе номеров условий, а в «Введении в статистическое обучение» , стр. 101, говорится, что значения VIF выше 5 или 10 указывают на проблему. ,

Вероятно, более важным, чем то, какой метод вы используете для определения мультиколлинеарности, будет то, как вы справитесь с этим.