Определение весов наименьших квадратов: функция R lm против

Может кто-нибудь сказать мне, почему я получаю разные результаты от Rвзвешенных наименьших квадратов и ручного решения с помощью матричной операции ?

В частности, я пытаюсь вручную решить , где - диагональная матрица весов, - матрица данных, - ответ вектор. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Я пытаюсь сравнить результаты с R lmфункцией, используя weightsаргумент.

— Хайтау Ду
источник

Я редактировал теги: это определенно не было [самообучением]. Это также не совсем о GLS (но об очень особом случае), поэтому я удалил и этот.

— амеба

Как видно из математических выражений для ваших расчетов, вы получаете

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Очевидно , ваши веса , а не . Таким образом, вы должны сравнить свой ответ с выводом $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

Соглашение является совершенным (с точностью до ошибки с плавающей запятой - внутренне Rиспользует численно более устойчивый алгоритм.)

— Whuber
источник

Возможно, мы просто говорим о соглашениях программного обеспечения здесь: где программное обеспечение ожидает «весов», оно хочет, чтобы вы дали ему или ? Я думал, что это был ценный вопрос, потому что проблема могла затронуть любой статистический пакет. Независимо от условностей краткий анализ этого ответа показывает, какие альтернативные интерпретации «весов» могут быть разумными и с которыми стоит экспериментировать в любых обстоятельствах.

W

$W$

W^{2}

$W^2$

— whuber

Да, я думаю, что это сбивает с толку, я получил выражение из книги по линейной алгебре Гилберта Странга, глава 8.6, где он говорит, что взвешенный наименьший квадрат - это всего лишь корректировка от до

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Странг прав, но у него обратная педагогическая ориентация: он начинает с ответа, а не с проблемы. Проблема состоит в том, как выполнить аналог процедуры наименьших квадратов, когда дисперсии невязок имеют известные, но разные значения. По различным (но простым) теоретическим причинам данные должны быть взвешены с помощью обратных отклонений (иногда называемых «точностью»). Из этого можно понять, что должен быть квадратным корнем из весов.

W

$W$

— whuber