Применение регрессии гребня для недоопределенной системы уравнений?

Когда $y = X\beta + e$ , задача наименьших квадратов, которая накладывает сферическое ограничение на значение может быть записана как для переопределенной системы. - евклидова норма вектора. $\delta$ $\beta$

\begin{matrix} мин | | Y - Икс β {| |}_{2}^{2} \\ s, T, | | β {| |}_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

Соответствующее решение для задается как который может быть получен из метода множителей Лагранжа ( - множитель): $\beta$

\hat{β} знак равно {({Икс}^{T} Икс + λ я)}^{- 1} {Икс}^{T} Y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$

λ

$\lambda$

L (β, λ) знак равно | | Y - Икс β {| |}_{2}^{2} + λ (| | β {| |}_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

Я понимаю, что есть свойство, которое Правая часть напоминает псевдообратную матрицу регрессора в недоопределенном случае (с добавленным параметром регуляризации ). Означает ли это, что одно и то же выражение можно использовать для аппроксимации для недоопределенного случая? Есть ли отдельный вывод для соответствующего выражения в недоопределенном случае, поскольку сферическое ограничение ограничения избыточно с целевой функцией (минимальная норма ):

{({Икс}^{T} Икс + λ я)}^{- 1} {Икс}^{T} знак равно {Икс}^{T} {(Икс {Икс}^{T} + λ я)}^{- 1},

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$

X

$X$

λ

$\lambda$

β

$\beta$

β

$\beta$

\begin{matrix} м я N, | | β {| |}_{2} \\ s, T, Икс β знак равно Y, \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
источник

Начиная с постановки задачи регрессии гребня как

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

Вы можете написать проблему как

$\min \| A\beta - b \|_{2}^{2}$

где

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

а также

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Матрица имеет полный ранг по столбцам из-за часть. Таким образом, проблема наименьших квадратов как единственное решение $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Записывая это с точки зрения и , и упрощая множество нулей, мы получаем $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Ничто в этом выводе не зависит от того, имеет ли больше строк или столбцов, или даже от того, имеет ли полный ранг. Таким образом, эта формула применима к неопределенному случаю. $X$ $X$

Это алгебраический факт, что для , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Таким образом, у нас также есть возможность использования

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Чтобы ответить на ваши конкретные вопросы:

Да, обе формулы работают как для неопределенного случая, так и для чрезмерно определенного случая. Они также работают , если меньше минимального числа строк и столбцов . Вторая версия может быть более эффективной для задач, которые не определены, потому что меньше, чем в этом случае. $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
Я не знаю какого-либо вывода альтернативной версии формулы, которая начинается с некоторой другой задачи с наименьшими квадратами и использует нормальные уравнения. В любом случае вы можете получить его прямым способом, используя немного алгебры.

Возможно, вы думаете о проблеме регрессии гребня в форме

$\min \| \beta \|_{2}^{2}$

при условии

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Тем не менее, эта версия проблемы регрессии гребня просто приводит к той же самой проблеме затухающих наименьших квадратов . $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— Брайан Борхерс
источник

Стоит отметить, что происходит в пределе, когда обращается в 0, если имеет полный ранг строки или полный ранг столбца. Если имеет полный ранг столбца, то в пределе вы получите псевдообратную форму . Точно так же, если имеет полный ранг строки, то в пределе вы получите псевдообратную . Итак, это работает так, как мы и ожидали.

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Брайан Борчерс

Это феноменально исчерпывающий ответ, и вывод из расширенных массивов (плюс пропущенная мной алгебра) очень удовлетворителен. Я не думал о проблеме регрессии гребня в форме, которую вы представили в конце, но интересно видеть, что она приводит к той же целевой функции. Большое спасибо!

— hatmatrix

Спасибо. Я вставлю здесь бесстыдную заглушку. Вы можете найти это (и множество связанных материалов) в учебнике по оценке параметров и обратным задачам, соавтором которого я был с Риком Астером и Клиффом Тербером.

— Брайан Борчерз

Позвольте мне также добавить, что на самом деле вычисление этой обратной матрицы обычно не лучший способ использования этой формулы. В зависимости от размера и возможной разреженности вы можете быть гораздо лучше использовать итерационную схему или просто с помощью Чолески факторизации матрицы .

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Брайан Борчерс

Спасибо за ваши предложения! Я ценю ссылку на вашу книгу, так как у меня возникли проблемы с поиском учебника по этому материалу. Наш размер данных на самом деле не очень большой (только то, что нам, возможно, придется применять это много раз для разделения наборов данных), поэтому может быть поддается прямому обращению, но спасибо за дополнительные указатели!

— hatmatrix