Рисование образцов из многомерного нормального распределения с учетом квадратичных ограничений

Я хотел бы эффективно рисовать образцы из условии, что .$x \in \mathbb{R}^d$$\mathcal{N}(\mu, \Sigma)$$||x||_2 = 1$

Формальное решение этой проблемы в первую очередь требует правильного определения

« условии ограничения || x || ^ 2 = 1 »$\mathcal{N}_d(μ,Σ)$$||x||^2=1$

Естественным способом является определение распределения условного на . И применить это условие к случаю . Если мы используем полярные координаты , якобиан преобразования - Поэтому условная плотность распределения| | X | | = ϱ ϱ = 1 x 1 = ϱ cos ( θ 1$X\sim\mathcal{N}_d(μ,Σ)$$||X||=\varrho$$\varrho=1$ρd-1г-2ΠI=1грех(θя)d-1-яθ=(θ1,…,θd-1

$$\eqalign{ x_1&=\varrho\cos(\theta_1)\qquad&\theta_1\in[0,\pi]\\ x_2&=\varrho\sin(\theta_1)\cos(\theta_2)\qquad&\theta_2\in[0,\pi]\\ &\vdots\\ x_{d-1}&=\varrho \left( \prod_{i=1}^{d-2}\sin(\theta_i) \right) \cos(\theta_{d-1})\qquad&\theta_{d-1}\in[0,2\pi]\\ x_{d}&=\varrho\prod_{i=1}^{d-1}\sin(\theta_i) }$$ $$\varrho^{d-1}\prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$ $\mathbf{\theta}=(\theta_1,\ldots,\theta_{d-1})$ дано есть f ( θ | ϱ ) ∝ exp - $\varrho$ $$f(\mathbf{\theta}|\varrho) \propto \exp\frac{-1}{2}\left\{(x(\theta,\varrho)-\mu)^T\Sigma^{-1}(x(\theta,\varrho)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$

Вывод: эта плотность отличается от простого применения нормальной плотности к точке на единичной сфере из-за якобиана.

Второй шаг - рассмотреть целевую плотность и спроектируйте алгоритм Монте-Карло цепи Маркова, чтобы исследовать пространство параметров . Моя первая попытка была бы на сэмплере Гиббса, инициализированном в точке на сфере, ближайшей к , то естьи продолжая один угол за один раз способом Метрополиса в пределах Гиббса: [0,π] d - 2 ×[0,2π]μ

$$f(\mathbf{\theta}|\varrho=1) \propto \exp\frac{-1}{2}\left\{(x(\theta,1)-\mu)^T\Sigma^{-1}(x(\theta,1)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$ $[0,\pi]^{d-2}\times[0,2\pi]$$\mu$$\mu/||\mu||$

1. Создать (где вычисляются суммы по модулю ) и принять это новое значение с вероятностью else$\theta_1^{(t+1)}\sim\mathcal{U}([\theta_1^{(t)}-\delta_1,\theta_1^{(t)}+\delta_1])$$\pi$ $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t)},...|\varrho=1)}{f(\theta_1^{(t)},\theta_2^{(t)},...|\varrho=1)}\wedge 1$$ $\theta_1^{(t+1)}=\theta_1^{(t)}$
2. Создать (где вычисляются суммы по модулю ) и принять это новое значение с вероятностью else$\theta_2^{(t+1)}\sim\mathcal{U}([\theta_2^{(t)}-\delta_2,\theta_2^{(t)}+\delta_2])$$\pi$ $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},\theta_3^{(t)},...|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t)},\theta_3^{(t)},...|\varrho=1)}\wedge 1$$ $\theta_2^{(t+1)}=\theta_2^{(t)}$
3. $\ldots$
4. Создать (где суммы вычисляются по модулю ) и принимают это новое значение с вероятностью else$\theta_{d-1}^{(t+1)}\sim\mathcal{U}([\theta_{d-1}^{(t)}-\delta_{d-1},\theta_{d-1}^{(t)}+\delta_{d-1}])$$2\pi$ $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t+1)}|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t)}| \varrho=1)}\wedge 1$$ $\theta_{d-1}^{(t+1)}=\theta_{d-1}^{(t)}$

Шкалы , , , можно масштабировать в соответствии с показателями , чтобы идеальной цели .$\delta_1$$\delta_2$$\ldots$$\delta_{d-1}$$50\%$

Вот код R, иллюстрирующий вышесказанное, со значениями по умолчанию для и :$\mu$$\Sigma$

library(mvtnorm)
d=4
target=function(the,mu=1:d,sigma=diag(1/(1:d))){
 carte=cos(the[1])
 for (i in 2:(d-1))
  carte=c(carte,prod(sin(the[1:(i-1)]))*cos(the[i]))
 carte=c(carte,prod(sin(the[1:(d-1)])))
 prod(sin(the)^((d-2):0))*dmvnorm(carte,mean=mu,sigma=sigma)}
#Gibbs
T=1e4
#starting point
mu=(1:d)
mup=mu/sqrt(sum(mu^2))
mut=acos(mup[1])
for (i in 2:(d-1))
  mut=c(mut,acos(mup[i]/prod(sin(mut))))
thes=matrix(mut,nrow=T,ncol=d-1,byrow=TRUE)
delta=rep(pi/2,d-1)     #scale
past=target(thes[1,])   #current target
for (t in 2:T){
 thes[t,]=thes[t-1,]
 for (j in 1:(d-1)){
   prop=thes[t,]
   prop[j]=prop[j]+runif(1,-delta[j],delta[j])
   prop[j]=prop[j]%%(2*pi-(j<d-1)*pi)
   prof=target(prop)
   if (runif(1)<prof/past){
     past=prof;thes[t,]=prop}
   }
}

$||x||_2^2=1$ не является строго возможным, поскольку является (непрерывной) случайной величиной. Если вы хотите, чтобы оно имело дисперсию 1, т.е. (где тильда означает, что мы оцениваем дисперсию), тогда вам потребуется, чтобы ее дисперсия была . Однако это требование может противоречить . То есть, чтобы получить образцы с этой дисперсией, вам нужно, чтобы диагональ была равна .$x$$E[(x-\mu)^2]\tilde{=} \frac{1}{n}\sum (x-\mu)^2=\frac{1}{n} ||x-n||_2^2=\frac{1}{n}$$\frac{1}{n}$$\Sigma$$\Sigma$$\frac{1}{n}$

Чтобы получить образец этого распределения в целом, вы можете сгенерировать iid стандартных нормалей, а затем умножить на , квадратный корень из , а затем добавить средства .$\Sigma^{0.5}$$\Sigma$$\mu$