Как NumPy решает наименьшие квадраты для недоопределенных систем?

Скажем, у нас есть X формы (2, 5)
и y формы (2,)

Это работает: np.linalg.lstsq(X, y)

Мы ожидаем, что это сработает, только если X имеет форму (N, 5), где N> = 5. Но почему и как?

Мы получаем 5 весов, как и ожидалось, но как решить эту проблему?

Разве у нас не 2 уравнения и 5 неизвестных?
Как NumPy может решить это?
Это должно сделать что-то вроде интерполяции, чтобы создать более искусственные уравнения? ..

Насколько я понимаю, numpy.linalg.lstsq использует подпрограмму LAPACK dgelsd .

Задача состоит в том, чтобы решить:

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

Конечно, это не имеет единственного решения для матрицы A, ранг которой меньше длины вектора . В случае неопределенной системы предоставляет решение такое, что:$\mathbf{b}$dgelsd$\mathbf{z}$

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ для всех которые удовлетворяют . (то есть является минимальным решением для неопределенной системы.$\mathbf{x}$$A\mathbf{x} = \mathbf{b}$$\mathbf{z}$

Например, если система имеет , numpy.linalg.lstsq вернет .$x + y = 1$$x = .5, y = .5$

Как работает dgelsd?

Процедура dgelsdвычисляет разложение по сингулярным числам (SVD) в A.

Я просто набросаю идею использования SVD для решения линейной системы. Разложение по сингулярным значениям - это факторизация где и - ортогональные матрицы, а - диагональная матрица, в которой диагональные элементы известны как сингулярные значения.$U \Sigma V' = A$$U$$V$$\Sigma$

Эффективным рангом матрицы будет число сингулярных значений, которые фактически не равны нулю (т. Е. Достаточно отличаются от нуля относительно точности машины и т. Д.). Пусть - диагональная матрица ненулевых сингулярных значений. SVD, таким образом:$A$$S$

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

Псевдообратная из определяется по формуле:$A$

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

Рассмотрим решение . Потом:$\mathbf{x} = A^\dagger \mathbf{b}$

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

Здесь в основном два случая:

1. Число ненулевых сингулярных значений (т. Е. Размер матрицы ) меньше длины . Решение здесь не будет точным; мы решим линейную систему в смысле наименьших квадратов.$I$$\mathbf{b}$
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

Эта последняя часть немного хитрая ... нужно отслеживать размеры матрицы и использовать как ортогональную матрицу.$U$

Эквивалентность псевдообратного

Когда имеет линейно независимые строки (например, у нас толстая матрица), тогда: $A$

$$A^\dagger = A'\left(AA' \right)^{-1}$$

Для неопределенной системы вы можете показать, что псевдообратное решение дает минимальное решение для нормы.

Когда имеет линейно независимые столбцы (например, у нас есть тощая матрица), тогда: $A$

$$A^\dagger = \left(A'A \right)^{-1}A'$$