Как вы находите веса для регрессии взвешенных наименьших квадратов?

23

Я немного потерян в процессе регрессии WLS. Мне дали набор данных, и моя задача состоит в том, чтобы проверить, есть ли гетероскедентность, и если да, я должен запустить регрессию WLS.

Я провел тест и нашел доказательства гетероскедентности, поэтому мне нужно запустить WLS. Мне сказали, что WLS - это в основном OLS-регрессия преобразованной модели, но я немного запутался в поиске функции преобразования. Я прочитал несколько статей, в которых предполагалось, что преобразование может быть функцией квадрата остатков от регрессии OLS, но я был бы признателен, если бы кто-то мог помочь мне встать на правильный путь.

regression heteroscedasticity weighted-regression

— m3d1v0
источник

2

Если вы предполагаете, что ковариационная матрица ошибок является диагональной, вы можете оценить ковариационную матрицу, а затем регрессию WLS с оценочными весами. Для этого вы можете проверить возможные обобщенные наименьшие квадраты на en.wikipedia.org/wiki/Generalized_least_squares

— Мануэль,

26

Регрессия взвешенных наименьших квадратов (WLS) не является трансформированной моделью. Вместо этого, вы просто обрабатывать каждое наблюдение как более или менее информативные подстилающие отношения между и . Те пункты, которые являются более информативными, получают больший «вес», а те, которые менее информативны, получают меньший вес. Вы правы в том, что регрессия взвешенных наименьших квадратов (WLS) технически действительна, только если веса известны априори. $X$ $Y$

$X$ ситуация. В результате вы можете попытаться оценить функцию, связывающую дисперсию невязок с уровнями переменных-предикторов.

Есть несколько вопросов, касающихся того, как такая оценка должна быть сделана:

Помните, что веса должны быть обратной величиной дисперсии (или того, что вы используете).
$X$ $X$
$X$ plot(model, which=2) $X$ Медиана абсолютного отклонения от медианы .
$X$ $X$
Получение весов от остатков регрессии OLS является разумным, потому что OLS является беспристрастным, даже при наличии гетероскедастичности. Тем не менее, эти веса зависят от исходной модели и могут изменить соответствие последующей модели WLS. Таким образом, вы должны проверить свои результаты, сравнивая предполагаемые бета-версии двух регрессий. Если они очень похожи, вы в порядке. Если коэффициенты WLS отличаются от коэффициентов OLS, вы должны использовать оценки WLS для вычисления остатков вручную (в отчетных остатках из соответствия WLS будут учитываться весовые коэффициенты). Вычислив новый набор остатков, снова определите веса и используйте новые веса во второй регрессии WLS. Этот процесс следует повторять до тех пор, пока два набора предполагаемых бета-версий не станут достаточно похожими (хотя даже сделать это один раз редко).

Если этот процесс делает вас несколько неудобным, потому что весовые коэффициенты оцениваются, и потому что они зависят от более ранней, неправильной модели, другой вариант заключается в использовании сэндвич-оценки Хьюбера-Уайта . Это согласуется даже при наличии гетероскедастичности, какой бы серьезной она ни была, и это не зависит от модели. Это также потенциально меньше хлопот.

В моем ответе я продемонстрирую простую версию взвешенных наименьших квадратов и использование сэндвичевых SE: альтернативы одностороннему ANOVA для гетероскедастических данных .

— Gung - Восстановить Монику
источник

10

При выполнении WLS вам необходимо знать вес. Есть несколько способов найти их, как сказано на странице 191 « Введение в анализ линейной регрессии » Дугласа К. Монтгомери, Элизабет А. Пек, Дж. Джеффри Вайнинга. Например:

Опыт или предварительная информация с использованием некоторой теоретической модели.
${\rm var}(\varepsilon_i)=\sigma^2x_i$ $w_i=1/x_i$
$n_i$ $x_i$ ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$ $w_i=n_i$
Иногда мы знаем, что разные наблюдения измерялись разными приборами, имеющими некоторую (известную или предполагаемую) точность. В этом случае мы можем принять решение использовать веса, обратно пропорциональные дисперсии ошибок измерений.

— Stat
источник