Вычисление стандартных ошибок для задач линейной регрессии без вычисления обратного

Существует ли более быстрый способ вычисления стандартных ошибок для задач линейной регрессии, чем путем инвертирования ? Здесь я предполагаю, что у нас есть регрессия: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

где - матрица а - вектор . $X$ $n\times k$ $y$ $n\times 1$

Для нахождения решения задачи наименьших квадратов нецелесообразно что-либо делать с , вы можете использовать разложения QR или SVD на матрицу напрямую. Или же вы можете использовать градиентные методы. Но как насчет стандартных ошибок? Нам действительно нужна только диагональ (и, естественно, решение LS для вычисления оценки стандартной ошибки ). Существуют ли какие-либо конкретные методы для расчета стандартных ошибок? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
источник

Предположим, что вы решили проблему наименьших квадратов, используя разложение по сингулярным числам (SVD) для , определяемое как $X$

X = U Σ V^{'},

$X = U\Sigma V',$

где и унитарные, а диагональные. $U$ $V$ $\Sigma$

потом

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(См. Ответ, который я дал на связанный вопрос на Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

— Джефф Оксберри
источник

+1, я забыл об этой прекрасной собственности SVD. Если других ответов не будет, я приму этот ответ, так как он довольно близок к тому, который я хотел получить (и, конечно, величины лучше, чем тот, который я ожидал получить :))

— mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Проигнорируйте последний комментарий, там есть ошибка. Я получил правильную формулу, хотя.

— mpiktas