Обратная регрессия гребня: с учетом матрицы отклика и коэффициентов регрессии, найти подходящих предикторов

Рассмотрим стандартную задачу регрессии OLS $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ : У меня есть матрицы $\Y$ и $\X$ и я хочу найти $\B$ чтобы минимизировать

$$L=\|\Y-\X\B\|^2.$$ Решение дается $$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$$

Я также могу поставить «обратную» проблему: учитывая $\Y$ и $\B^*$ , найдите $\hat\X$ , который даст $\hat\B\approx \B^*$ , то есть сведет к минимуму \ | \ argmin_ \ B \ {L \} - \ B ^ * \ | ^ 2$\|\argmin_\B\{L\}-\B^*\|^2$ . Словом, у меня есть матрица ответов $\Y$ и вектор коэффициентов $\B^*$ и я хочу найти матрицу предикторов, которая выдает коэффициенты, близкие к $\B^*$ . Это, конечно, также проблема регрессии OLS с решением

$$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$$

Уточнение: как объяснил @ GeoMatt22 в своем ответе, если $\Y$ является вектором (т. Е. Если есть только одна переменная ответа), то этот $\hat \X$ будет рангом один, а обратная задача в значительной степени недоопределена. В моем случае, $\Y$ на самом деле является матрицей (т.е. есть много переменных ответа, это многомерная регрессия). Таким образом, $\X$ равно $n\times p$ , $\Y$ равно $n\times q$ и $\B$ равно $p\times q$ .

---

Я заинтересован в решении "обратной" проблемы регрессии гребня. А именно, моя функция потерь теперь

$$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$$ и решение $$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$$

«Обратной» проблемой является поиск

$$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$$

Опять же, у меня есть матрица ответов $\Y$ и вектор коэффициентов $\B^*$ и я хочу найти матрицу предикторов, которая выдает коэффициенты, близкие к $\B^*$ .

На самом деле есть две взаимосвязанные формулировки:

1. Найти $\hat\X$ учетом $\Y$ и $\B^*$ и $\mu$ .
2. Найдите $\hat\X$ и $\hat \mu$ учетом $\Y$ и $\B^*$ .

У кого-нибудь из них есть прямое решение?

---

Вот краткая выдержка из Matlab для иллюстрации проблемы:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Этот код выводит ноль, если, mu=0но не иначе.

Теперь, когда вопрос сошелся на более точную формулировку интересующей проблемы, я нашел решение для случая 1 (известный параметр гребня). Это также должно помочь в случае 2 (не аналитическое решение, а простая формула и некоторые ограничения).

Резюме: Ни одна из двух формулировок обратной задачи не имеет уникального ответа. В случае 2 , где параметр гребня неизвестен, существует бесконечно много решений для . В случае 1, где задано , существует конечное число решений для из-за неоднозначности в спектре сингулярных значений.X ω ω ∈ [ 0 , ω max ] ω X $\mu\equiv\omega^2$$X_\omega$$\omega\in[0,\omega_\max]$$\omega$$X_\omega$

(Вывод немного длинный, поэтому TL, DR: в конце есть рабочий код Matlab.)

---

Недоопределенный случай («МНК»)

задача - это где , и . X∈ R п × р B∈ R р × Q Y∈ R п ×

$$\min_B\|XB-Y\|^2$$ $X\in\mathbb{R}^{n\times p}$$B\in\mathbb{R}^{p\times q}$$Y\in\mathbb{R}^{n\times q}$

На основе обновленного вопрос, мы будем считать , так находится под определяется с учетом и . Как и в вопросе, мы будем считать « по умолчанию» (минимум -норм) решение , где является Псевдообратным из .B X Y L 2 B = X + Y X +$n<p<q$$B$$X$$Y$$L_2$

$$B=X^+Y$$ $X^+$$X$

Из разложения по сингулярным числам ( SVD ) для , заданного * псевдообратное значение можно вычислить как ** (* Первые выражения используют полный SVD, а вторые выражения используют сокращенный SVD. ** Для простоты я предполагаю, что имеет полный ранг, т. существует.)X = U S V T = U S 0 V T 0 X + = V S + U T = V 0 S - 1 0 U $X$

$$X=USV^T=US_0V_0^T$$ $$X^+=VS^+U^T=V_0S_0^{-1}U^T$$ S - 1$X$$S_0^{-1}$

Таким образом, прямая задача имеет решение Для дальнейшего использования отмечу, что , где - это вектор сингулярных значений.S 0 = d i

$$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$$ σ 0 > $S_0=\mathrm{diag}(\sigma_0)$$\sigma_0>0$

В обратной задаче задана и . Мы знаем , что пришли из вышеописанного процесса, но мы не знаем . Задача состоит в том, чтобы определить соответствующий .$Y$B X $B$$B$$X$$X$

Как было отмечено в обновленном вопросе, в этом случае мы можем восстановить , используя по существу тот же самый подход, т.е. теперь используется Псевдообратный .X 0 = Y $X$

$$X_0=YB^+$$ $B$

---

Переопределенный случай (оценка Риджа)

В случае «OLS» недоопределенная задача была решена путем выбора решения с минимальной нормой , т.е. наше «уникальное» решение было неявно регуляризовано .

Вместо того, чтобы выбирать минимальное решение для нормы, здесь мы вводим параметр чтобы контролировать «насколько мала» норма, т.е. мы используем регрессию гребня .$\omega$

В этом случае у нас есть ряд прямых задач для , , которые задаются как Сбор различных левых и правых векторов в этой коллекции задачи могут быть сведены к следующей проблеме "OLS" где мы ввели расширенные матрицы k = 1 , … , q min β ‖ X β - y k ‖ 2 + ω 2 ‖ β ‖ $\beta_k$$k=1,\ldots,q$

$$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$$ min B ‖ X ω B - Y ‖ $$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$$ $$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$$ $$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$$

В этом переопределенном случае решение по-прежнему задается псевдообратным но теперь псевдообратное изменение изменяется, в результате чего * где новая матрица "спектра сингулярности" имеет (обратную) диагональ ** (* Несколько сжатые вычисления, необходимые для получения этого, были опущены для краткости. Это похоже на описание здесь для случая . ** Здесь записи вектор выражается через вектор , где все операции вводятся по порядку.)B ω = ( V 0 S - 2 ω U T ) Y σ 2 ω =

$$B_\omega = \mathsf{X}^+\mathsf{Y}$$ $$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$$ p≤ $$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$$ $p\leq n$σ $\sigma_\omega$$\sigma_0$

Теперь в этой задаче мы все еще можем формально восстановить «базовое решение» как но это больше не является верным решением.

$$X_\omega=YB_\omega^+$$

Однако аналогия все еще сохраняется в том, что это «решение» имеет SVD с сингулярными значениями приведенными выше.

$$X_\omega=US_\omega^2V_0^T$$ $\sigma_\omega^2$

Таким образом, мы можем вывести квадратное уравнение, связывающее искомые сингулярные значения с восстанавливаемыми сингулярными значениями и параметром регуляризации . Тогда решение будет σ 2 ω$\sigma_0$$\sigma_\omega^2$$\omega$

$$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$$

---

Демонстрация Matlab ниже (протестирована онлайн через Octave ) показывает, что этот метод решения работает как на практике, так и в теории. Последняя строка показывает, что все сингулярные значения находятся в реконструкции , но я не совсем выяснил, какой корень взять ( = против ). Для это всегда будет root. Это , как правило , кажется, держит для «малых» , в то время как для «больших» в корень , кажется, взять на себя. (Демо ниже установлено в «большой» случай в настоящее время.)$X$$\bar{\sigma}\pm\Delta\sigma$sgn$+$$-$$\omega=0$$+$$\omega$$\omega$$-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

Я не могу сказать, насколько надежно это решение, поскольку обратные задачи обычно некорректны, а аналитические решения могут быть очень хрупкими. Однако поверхностные эксперименты, загрязняющие гауссовским шумом (т. Е. Так, что он имеет полный ранг сравнению с пониженным рангом ), показывают, что метод достаточно хорошо себя ведет.$B$$p$$n$

Что касается задачи 2 (то есть unknown), приведенное выше дает по крайней мере верхнюю границу для . Чтобы квадратичный дискриминант был неотрицательным, мы должны иметь $\omega$$\omega$

$$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$$

---

Для неоднозначности знака с четырьмя корнями следующий фрагмент кода показывает, что независимо от знака любой даст одно и то же прямое -решение для гребня, даже если отличается от .$\hat{X}$$B$$\sigma_0$$\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not