Линейное преобразование случайной величины с помощью высокой прямоугольной матрицы

Допустим, у нас есть случайный вектор , взятый из распределения с функцией плотности вероятности . Если мы линейно преобразуем его с помощью матрицы полного ранга, чтобы получить , то плотность определяется как $\vec{X} \in \mathbb{R}^n$ $f_\vec{X}(\vec{x})$ $n \times n$ $A$ $\vec{Y} = A\vec{X}$ $\vec{Y}$

f_{\vec{Y}} (\vec{y}) = \frac{1}{| det A |} f_{\vec{X}} (A^{- 1} \vec{y}) .

$f_{\vec{Y}}(\vec{y}) = \frac{1}{\left|\det A\right|}f_{\vec{X}}(A^{-1}\vec{y}).$

Теперь предположим, что мы преобразуем $\vec{X}$ вместо этого в $m \times n$ матрицы $B$ , с $m > n$ , что дает $\vec{Z} = B\vec{X}$ . Ясно, что $Z \in \mathbb{R}^m$ , но он "живет" в $n$ мерном подпространстве $G \subset \mathbb{R}^m$ . Какова условная плотность $\vec{Z}$ , если мы знаем, что она лежит в $G$ ?

Мой первый инстинкт должен был использовать псевдо-инверсию $B$ . Если $B = U S V^T$ представляет собой разложение по сингулярным значение $B$ , то $B^+ = V S^+ U^T$ является псевдообратная, где $S^+$ образуется инвертированием ненулевых элементов диагональной матрицы $S$ . Я догадывался, что это даст

f_{\vec{Z}} (\vec{z}) = \frac{1}{| \overset{+}{det} S |} f_{\vec{X}} (B^{+} \vec{z}),

$f_\vec{Z}(\vec{z}) = \frac{1}{\left|\det^+ S\right|} f_\vec{X}(B^+ \vec{z}),$ где под

\overset{+}{det} S

$\det^+ S$ я подразумеваю произведение ненулевых сингулярных значений.

Это рассуждение согласуется с плотностью для единственной нормали (обусловленной знанием того, что переменная живет в соответствующем подпространстве), приведенной здесь и упомянутой также здесь и в этой публикации CrossValidated .

Но это не правильно! Константа нормализации выключена. (Тривиальный) контрпример дается при рассмотрении следующего случая: С $X \sim \mathcal{N(0, 1)}$ , пусть

\vec{Y} = (\begin{matrix} 1 \\ 1 \end{matrix}) X = (\begin{matrix} X \\ X \end{matrix}) .

$\vec{Y} = \begin{pmatrix}1 \\ 1\end{pmatrix} X = \begin{pmatrix}X \\ X\end{pmatrix}.$ Здесь матрица

B

$B$ сверху является только вектором. Его псевдообратная последовательность:

B^{+} = (\begin{matrix} 1 / 2 & 1 / 2 \end{matrix})

$B^+ = \begin{pmatrix}1/2 & 1/2\end{pmatrix}$ и

\overset{+}{det} B = \sqrt{2}

$\det^+ B = \sqrt{2}$ . Вышеизложенное

что

f_{\vec{Y}} (\vec{y}) = \frac{1}{\sqrt{2 π} \sqrt{2}} \exp (- \frac{1}{2} {\vec{y}}^{T} (B^{+})^{T} B^{+} \vec{y}),

$f_\vec{Y}(\vec{y}) = \frac{1}{\sqrt{2\pi}\sqrt{2}}\exp\left(-\frac{1}{2}\vec{y}^T (B^+)^T B^+ \vec{y}\right),$ но на самом деле это объединяет (на линии

y = x

$y = x$ ) в

\frac{1}{\sqrt{2}}

$\frac{1}{\sqrt{2}}$ , Я понимаю, что в этом случае вы могли бы просто удалить одну из записей

\vec{Y}

$\vec{Y}$ что вы сделали, но когда

B

$B$ намного больше, идентификация набора записей для удаления раздражает. Почему не работает псевдообратное мышление? Существует ли общая формула для функции плотности линейного преобразования множества случайных величин с помощью «высокой» матрицы? Любые ссылки будут с благодарностью.

— Дэн
источник

Для тех, кто может столкнуться с этим в будущем ... источник ошибки фактически связан с интеграцией. В приведенном выше примере интегрирование происходит по линии . Поэтому необходимо «параметризовать» линию и учитывать якобиан параметризации при взятии интеграла, поскольку каждый единичный шаг в оси соответствует шагам длины на прямой. Параметризация, которую я неявно использовал, была дана , другими словами, определяя обе одинаковые записи в по значению. Это Якобиан , который аккуратно отменяется с помощью $y = x$ $x$ $\sqrt{2}$ $x \mapsto (x, x)$ $\vec{y}$ $\sqrt{2}$ $\sqrt{2}$ (происходит от точно такого же якобиана) в знаменателе.

Пример был искусственно прост - для общего преобразования можно иметь другую параметризацию для вывода, которая является естественной в контексте проблемы. Поскольку параметризация должна охватывать то же подпространство что и , и это подпространство является гиперплоскостью, параметризация сама по себе, вероятно, будет линейной. Вызывая матричное представление параметризации , требуется просто, чтобы он имел то же пространство столбцов, что и (покрывал одну и ту же гиперплоскость). Тогда конечная плотность становится $B$ $G$ $B$ $m \times n$ $L$ $B$

f_{\vec{Z}} (\vec{z}) = \frac{| \overset{+}{det} L |}{| \overset{+}{det} B |} f_{\vec{X}} (B^{+} \vec{z}) .

$f_{\vec{Z}}(\vec{z}) = \frac{\left|\det^+ L\right|}{\left|\det^+ B\right|}f_{\vec{X}}(B^+ \vec{z}).$

В общем, эта установка довольно странная, и я думаю, что правильнее всего сделать, это найти максимальный линейно независимый набор строк и удалить остальные строки (вместе с соответствующими компонентами преобразованной переменной ) , чтобы получить квадратную матрицу . Тогда задача сводится к случаю полного ранга (при условии, что имеет полный ранг столбца). $B$ $\vec{z}$ $\hat B$ $n \times n$ $B$

— Дэн
источник