Генерирующая момент функция внутреннего произведения двух гауссовских случайных векторов

Кто-нибудь может предложить, как я могу вычислить производящую момент функцию внутреннего произведения двух гауссовских случайных векторов, каждый из которых распределен как $\mathcal N(0,\sigma^2)$ , независимо друг от друга? Есть ли какой-то стандартный результат для этого? Любой указатель высоко ценится.

— abhibhat
источник

Адрес давайте сначала случай $\Sigma = \sigma\mathbb{I}$ . В конце (легкое) обобщение на произвольное $\Sigma$ .

Начнем с наблюдения, что внутренним произведением является сумма iid-переменных, каждая из которых является произведением двух независимых нормальных переменных, что сводит вопрос к нахождению mgf последних, поскольку mgf суммы является произведением мгфс. $(0,\sigma)$

MGF может быть найден путем интеграции, но есть более простой способ. Когда и стандартно нормальны, $X$ $Y$

Икс Y знак равно ((Икс + Y) / 2)^{2} - ((Икс - Y) / 2)^{2}

$XY = ((X+Y)/2)^2 - ((X-Y)/2)^2$

является разницей двух независимых масштабированных хи-квадратных переменных. (Масштабный коэффициент , так как дисперсии равно ) . Поскольку MGF из хи-квадрата случайной величины составляет $1/2$ $(X\pm Y)/2$ $1/2$ , мгсравно $1/\sqrt{1 - 2\omega}$ $((X+Y)/2)^2$ и мгф равно $1/\sqrt{1-\omega}$ $-((X-Y)/2)^2$ . Умножая, мы находим, что искомый mgf равен $1/\sqrt{1+\omega}$ . $1/\sqrt{1-\omega^2}$

(Для более поздней ссылки обратите внимание, что когда и масштабируются с помощью , их произведение масштабируется на , откуда должен масштабироваться на ) $X$ $Y$ $\sigma$ $\sigma^2$ $\omega$ $\sigma^2$

Это должно выглядеть знакомо: с точностью до некоторых постоянных факторов и знака это похоже на плотность вероятности для распределения Стьюдента с степенями свободы. (Действительно, если бы мы работали с характеристическими функциями вместо mgfs, мы получили бы $0$ , что еще ближе к PDF студента.) Не берите в голову, что не существует такого понятия, как студент t сdfs - все, что имеет значение, это то, что mgf будет аналитическим в окрестностии это ясно есть (по теореме бинома). $1/\sqrt{1 + \omega^2}$ $0$ $0$

Из этого сразу следует, что распределение внутреннего произведения этих i-гауссовых векторов имеет mgf, равное кратному произведению этого mgf, $n$ $n$

(1 - ω^{2} σ^{4})^{- N / 2}, N знак равно 1, 2, ...,

$(1 - \omega^2 \sigma^4)^{-n/2}, \quad n=1, 2, \ldots.$

При поиске характеристической функции распределения Стьюдента, мы выводим (с крошечным битом алгебры или интеграцией , чтобы найти постоянную нормализующую) , что сам по себе PDF даются

f_{n, σ} (x) = \frac{2^{\frac{1 - n}{2}} | x |^{\frac{n - 1}{2}} K_{\frac{n - 1}{2}} (\frac{| x |}{σ^{2}})}{\sqrt{π} σ^{4} Γ (\frac{n}{2})}

$f_{n,\sigma}(x) = \frac{2^{\frac{1-n}{2}} |x|^{\frac{n-1}{2}} K_{\frac{n-1}{2}}\left(\frac{|x|}{\sigma ^2}\right)}{\sqrt{\pi } \sigma ^4 \Gamma \left(\frac{n}{2}\right)}$

( - функция Бесселя). $K$

Например, здесь представлен график этой PDF , наложенной на гистограмме случайной выборки из таких внутренних произведений , где и : $10^5$ $\sigma=1/2$ $n=3$

Гистограмма

Труднее подтвердить точность mgf из моделирования, но обратите внимание (из теоремы о биноме), что

(1 + t^{2} σ^{4})^{- 3 / 2} = 1 - \frac{3 σ^{4} t^{2}}{2} + \frac{15 σ^{8} t^{4}}{8} - \frac{35 σ^{12} t^{6}}{16} + \frac{315 σ^{16} t^{8}}{128} + \dots,

$(1 + t^2 \sigma^4)^{-3/2} = 1-\frac{3 \sigma ^4 t^2}{2}+\frac{15 \sigma ^8 t^4}{8}-\frac{35 \sigma ^{12} t^6}{16}+\frac{315 \sigma ^{16} t^8}{128}+\ldots,$

из которого мы можем прочитать моменты (разделенные на факториалы). Из-за симметрии около только четные моменты. Для мы получим следующие значения, в сравнении с сырьевыми моментами этого моделирования: $0$ $\sigma=1/2$

 k    mgf           simulation/k!
 2    0.09375       0.09424920
 4    0.00732422    0.00740436
 6    0.00053406    0.00054128
 8    0.00003755    0.00003674
10    2.58 e-6      2.17 e-6

Как и следовало ожидать, высокие моменты моделирования начнут отходить от моментов, заданных mgf; но, по крайней мере, до десятого момента, есть отличное согласие.

Между прочим, когда распределение является биэкспоненциальным. $n=2$

Чтобы разобраться с общим случаем, начните с того, что заметите, что внутреннее произведение является независимым от координат объектом. Поэтому мы можем взять главные направления (собственные векторы) качестве координат. В этих координатах внутренним произведением является сумма независимых произведений независимых нормальных переменных, причем каждый компонент распределен с дисперсией, равной его собственному собственному значению. Таким образом, если ненулевые собственные значения равны (при ), то mgf должен быть равен $\Sigma$ $\sigma_1^2, \sigma_2^2, \ldots, \sigma_d^2$ $0 \le d \le n$

{(\prod_{i = 1}^{d} (1 - ω^{2} σ_{i}^{4}))}^{- 1 / 2} .

$\left(\prod_{i=1}^d (1 - \omega^2\sigma_i^4)\right)^{-1/2}.$

Чтобы подтвердить, что я не ошибся в этом рассуждении, я разработал пример, где - матрица $\Sigma$

(\begin{array}{ccc} 1 & \frac{1}{2} & - \frac{1}{8} \\ \frac{1}{2} & 1 & - \frac{1}{4} \\ - \frac{1}{8} & - \frac{1}{4} & \frac{1}{2} \end{array})

$\left( \begin{array}{ccc} 1 & \frac{1}{2} & -\frac{1}{8} \\ \frac{1}{2} & 1 & -\frac{1}{4} \\ -\frac{1}{8} & -\frac{1}{4} & \frac{1}{2} \end{array} \right)$

и вычислил, что его собственные значения

(σ_{1}^{2}, σ_{2}^{2}, σ_{3}^{2}) = (\frac{1}{16} (17 + \sqrt{65}), \frac{1}{16} (17 - \sqrt{65}), \frac{3}{8}) \approx (1.56639, 0.558609, 0.375) .

$\left(\sigma_1^2, \sigma_2^2, \sigma_3^2\right) = \left(\frac{1}{16} \left(17+\sqrt{65}\right),\frac{1}{16} \left(17-\sqrt{65}\right),\frac{3}{8}\right)\approx \left(1.56639,0.558609,0.375\right).$

$10^6$ $X_i$ $(0,\Sigma)$ $10^6$ $Y_i$ $10^6$ $X_i\cdot Y_i$ $-12$ $15$

Гистограмма и PDF

Как и прежде, соглашение отличное. Кроме того, моменты совпадают хорошо через восьмой и достаточно хорошо, даже на десятом:

 k    mgf           simulation/k!
 2     1.45313       1.45208
 4     2.59009       2.59605
 6     5.20824       5.29333
 8    11.0994       11.3115
10    24.4166       22.9982

добавление

(Добавлено 9 августа 2013 г.)

$f_{n,\sigma}$ $0$ $0$ $\sigma^2$ $n/2$

— Whuber
источник

Σ

$\Sigma$

Я добавил новый раздел, чтобы предоставить некоторые (простые) детали этого обобщения, чтобы было ясно, что здесь нет ничего нового. Вы также можете использовать основные свойства mgfs, чтобы записать mgf в случае, когда данные также имеют ненулевое значение, тем самым решая проблему в полной общности.

— whuber