Распределение скалярных произведений двух случайных единичных векторов в измерениях

Если и являются двумя независимыми случайными единичными векторами в (равномерно распределенными по единичной сфере), каково распределение их скалярного произведения (точечного произведения) ? $\mathbf{x}$ $\mathbf{y}$ $\mathbb{R}^D$ $\mathbf x \cdot \mathbf y$

Я думаю, что по мере роста распределение быстро (?) Становится нормальным с нулевым средним и уменьшением дисперсии в более высоких измерениях но существует ли явная формула для ? $D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Обновить

Я провел несколько быстрых симуляций. Во-первых, генерируя 10000 пар случайных единичных векторов для $D=1000$ легко увидеть, что распределение их точечных произведений совершенно гауссово (на самом деле это уже довольно гауссово уже для $D=100$ ), см. Подзаговор слева. Во-вторых, для каждого $D$ диапазоне от 1 до 10000 (с увеличением шага) я генерировал 1000 пар и вычислял дисперсию. Билогарифмической график показан справа, и ясно , что формула очень хорошо аппроксимировать $1/D$ . Обратите внимание, что для $D=1$ и $D=2$ эта формула даже дает точные результаты (но я не уверен, что произойдет позже).

произведения точек между случайными единичными векторами

mathematical-statistics linear-algebra beta-distribution

— амеба говорит восстановить монику
источник

@KarlOskar: спасибо, эта ссылка очень актуальна, и фактически делает мой вопрос почти дубликатом, но не совсем. Таким образом, существует явная формула для которая является кумулятивной функцией распределения точечных произведений. Можно взять производную, чтобы получить PDF, а затем изучить предел . Тем не менее, формула дана в терминах бета-функций и неполных бета-функций, поэтому вычисления, вероятно, будут неприятными.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

— говорит амеба, восстановите Монику

@KarlOskar: от равномерного распределения на единичной сфере в . Чтобы сгенерировать случайный вектор из этого распределения, можно сгенерировать случайный вектор из гауссиана с единичной дисперсией, а затем нормализовать его.

R^{D}

$\mathbb{R}^D$

— говорит амеба, восстанови Монику

Ответы:

Поскольку ( как известно ) равномерное распределение на единичной сфере получается путем нормализации вариативного нормального распределения, а скалярное произведение нормализованных векторов является их коэффициентом корреляции, ответы на три вопросы: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ имеет распределение бета . $((D-1)/2,(D-1)/2)$
Дисперсия равна (как предполагается в вопросе). $t$ $1/D$
Стандартизированное распределение приближается к нормальности со скоростью $t$ $O\left(\frac{1}{D}\right).$

метод

Точное распределение скалярного произведения единичных векторов легко получается геометрический, так как это компонент второго вектора в направлении первого. Поскольку второй вектор не зависит от первого и равномерно распределен по единичной сфере, его компонент в первом направлении распределяется так же, как любая координата сферы. (Обратите внимание, что распределение первого вектора не имеет значения.)

Нахождение плотности

Если эта координата будет последней, плотность при , следовательно, пропорциональна площади поверхности, лежащей на высоте между и на единичной сфере. Эта пропорция происходит в поясе высотой и радиусом который по существу является коническим усечением, построенным из радиуса высоты и склона . Откуда вероятность пропорциональна $t \in [-1,1]$ $t$ $t+dt$ $dt$ $\sqrt{1-t^2},$ $S^{D-2}$ $\sqrt{1-t^2},$ $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

Полагая влечет за собой . Подстановка этого в предыдущее дает элемент вероятности до нормализующей постоянной: $u=(t+1)/2 \in [0,1]$ $t = 2u-1$

f_{D} (u) d u \propto (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

Непосредственно, что имеет распределение Beta , потому что (по определению) его плотность также пропорциональна $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$

u^{(D - 1) / 2 - 1} {(1 - u)}^{(D - 1) / 2 - 1} = (u - u^{2})^{(D - 3) / 2} \propto f_{D} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Определение предельного поведения

Информация об ограничивающем поведении легко вытекает из этого с использованием элементарных методов: может быть интегрирована для получения константы пропорциональности ; можно интегрировать (например, используя свойства бета-функций) для получения моментов, показывающих, что дисперсия равна и уменьшается до (откуда, согласно теореме Чебышева, вероятность концентрируется вблизи ); и затем определяется предельное распределение, учитывая значения плотности стандартизированного распределения, пропорционального для малых значений $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ $f_D(t/\sqrt{D}),$ $t$ :

\begin{aligned} \log (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} \log (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 D}) t^{2} + O (\frac{t^{4}}{D}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

где представляют (логарифмические) константы интегрирования. Очевидно, что скорость, с которой это приближается к нормальности (для которой плотность бревен равна ), равна $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

фигура

На этом графике показаны плотности точечного произведения для , стандартизированные по единичной дисперсии, и их предельная плотность. Значения в увеличиваются с ростом (от синего до красного, золотого, а затем зеленого для стандартной нормальной плотности). При этом разрешении плотность для будет неотличима от нормальной плотности. $D=4, 6, 10$ $0$ $D$ $D=1000$

— Whuber
источник

(+1) Большое спасибо, @whuber, это отличный ответ! Отдельное спасибо за упоминание слова "усеченный". Случилось так, что я принял другой ответ за несколько минут до того, как вы опубликовали свой, и я не хотел бы сейчас отменять его; надеюсь ты понимаешь. Жаль, что невозможно принять оба! Кстати, обратите внимание на очень простое доказательство выражения для дисперсии из этого ответа: его можно увидеть непосредственно, не возиться с бета-функциями! Дисперсия точечного произведения равна дисперсии любой сферной координаты (как вы написали), и сумма всех из них должна быть , QED

1 / D

$1/D$

D

$D$

1

$1$

— амеба говорит Восстановить Монику

Это хорошее наблюдение за отклонениями.

— whuber

@amoeba, недавняя активность снова привлекла мое внимание и здесь, и насколько я ценю, что ты принял мой ответ, этот гораздо более полный. Я не против, если ты изменился.

— ekvall

@ Student001: это справедливый и щедрый комментарий. Я переключил принятый ответ. Я также нашел один вопрос Q и один ваш, чтобы восполнить это, чтобы восполнить это :)

— говорит амеба Восстановить Монику

@mat Распределение это распределение . Это делает его бета-распределением, которое масштабируется и сдвигается из интервала в интервал .

t

$t$

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

— whuber

Давайте найдем распределение, и тогда дисперсия будет следовать стандартным результатам. Рассмотрим векторное произведение и запишите его в форме косинуса, т.е. обратите внимание, что где - угол между и . На последнем шаге я использовал это для любых событий иТеперь рассмотрим термин . Ясно, что, поскольку выбран равномерно по отношению к поверхности сферы, не имеет значения, какой

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (A ∣ B) := E [E [χ_{A} ∣ B]] = E χ_{A} = P (A) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$ на самом деле, только угол между и имеет значение. Таким образом, термин внутри ожидания на самом деле постоянен как функция от и мы можем предположить, чтоТогда мы получаем, чтоно поскольку является первой координатой нормализованного гауссовского вектора в мы получаем, что является гауссовским с дисперсией , вызывая асимптотический результат этой статьи .

x

$x$

y

$y$

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (x^{'} y \leq t) = P (x_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Для явного результата дисперсии используйте тот факт, что скалярное произведение равно нулю по независимости и, как показано выше, распределено как первая координата . По этим результатам поиск равносилен поиску . Теперь обратите внимание, что для каждой конструкции и поэтому мы можем написать где последнее равенство следует из того, что координаты одинаково распределены. Собрав все воедино, мы обнаружили, что $x$ $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} E x_{i}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

— ekvall
источник

Спасибо, но я в замешательстве: что такое «желаемый результат» и как он вытекает из последнего уравнения? Окончательное распределение вероятностей должно зависеть от .

D

$D$

— говорит амеба: восстанови монику

На самом деле то, как результат следует из вашего последнего уравнения, именно то, что обсуждается в потоке math.SE, который вы нашли. Он включает в себя бета-дистрибутивы и т. Д., И ограничение поведения (для меня) далеко не очевидно. Я предполагаю , что должен быть более простой прямой путь , чтобы увидеть , что .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

— говорит амеба, восстанови Монику

Это зависит от размерности, поскольку , где - сгенерированный гауссовский вектор. Я обновлю ответ позже сегодня или завтра.

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$

— ekvall

Ух ты, здорово, ваша последняя ссылка обеспечивает предел этого выражения , включающее обратные бета - функцию (которые я побоялся вычисления) в третьем уравнении на странице 1. Итак , чтобы завершить рассуждение: если сфера имеет радиус , тогда (асимптотически) распределяется как . Это означает , что для сферы радиуса единицы дисперсии раз меньше, то есть . Тем не менее, у меня все еще есть проблема: я проверил на от 1 до 4, и кажется, дает точную дисперсию, даже если распределения для D = 1 или D = 2 очень далеки от нормальных. За этим должна быть более глубокая причина.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

— Амеба говорит Восстановить Монику

@amoeba Да, обновлено с доказательством этого.

— ekvall

Чтобы ответить на первую часть вашего вопроса, обозначим . Определение Произведение элементов из и обозначается здесь , как будут распределены в соответствии с совместным распределением и . так как , $Z = \langle X,Y \rangle = \sum X_i Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{D}) d z_{i}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{X_{i}, Y_{i}} (x, \frac{z_{i}}{x}) \frac{1}{| x |} d x

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

f_{Z} (z) = \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{d}) δ (z - \sum z_{i}) d z_{1} \dots d z_{d}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

Во второй части, я думаю, что если вы хотите сказать что-нибудь интересное об асимптотическом поведении вам нужно, по крайней мере, предположить независимость и , а затем применить CLT. $\sigma$ $X$ $Y$

Например, если вы хотите предположить, что с и вы можете скажем, что и . $\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ $\lim_{D\to\infty} \sigma^2(D) = 0$

— Том
источник

Спасибо, но я запутался во второй части. и , конечно, должны быть независимыми, я добавлю это к вопросу. Вы говорите, что , и это звучит разумно, но каково асимптотическое поведение ? Я думаю , что выражение , которое я ищу должно зависеть только от . Между прочим, в 2D если я не ошибаюсь, мне интересно, остается ли это верным в более высоких измерениях ...

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$

— говорит амеба Восстановить Монику

Действительно ли возможно, чтобы был независимым, учитывая, что и имеют единичную длину?

z_{i}

$z_i$

X

$X$

Y

$Y$

— ekvall

@tom: Кстати, я был ошибочно: в 2D равен 1, то , которое равно 1/2. Я обновил свой вопрос с некоторыми результатами моделирования. Похоже , правильная формула .

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$

— говорит амеба, восстанови Монику