Это правильно ? (порождающий усеченную норму, многомерный гауссов)

Если $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$ т

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Я хочу аналогичную версию усеченного нормального распределения в многомерном случае.

Точнее, я хочу сгенерировать ограниченный по норме (до значения $\geq a$ ) многомерный гауссовский $Y$ st

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ где $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Сейчас я наблюдаю следующее:

Если $x=(x_1,x_2,\ldots,x_n)$ , $||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Поэтому, выбрав качестве выборок Гаусса, можно ограничить в качестве выборки из распределения с усеченным нормальным распределением (по гауссовскому хвосту ) , за исключением случайно выбранного знака с вероятностью .$x_1,\ldots,x_{n-1}$$x_n$$\geq T$$\mathcal{N}_T(0,\sigma^2)$$1/2$

Теперь мой вопрос заключается в следующем,

Если я сгенерирую каждый векторный образец из$(x_1,\ldots,x_n)$$(X_1,\ldots,X_n)$ как,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

а также

$x_n = Z_1 *Z_2~$ где, , , (т.е. усеченно-скалярно-нормальное RV с$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Будет ли ) многомерным гауссовским ограниченным по норме ( )? (т.е. такой же, как определенный выше). Как мне проверить? Любые другие предложения, если это не так?$(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

РЕДАКТИРОВАТЬ:

Вот график рассеяния точек в 2D-случае с укороченной нормой до значений выше «1»

Примечание. Ниже приведены некоторые отличные ответы, но отсутствует обоснование того, почему это предложение неверно. На самом деле, это главный вопрос этого вопроса.

Многомерное нормальное распределение сферически симметрично. Распределение, которое вы ищете, усекает радиус ниже в точке . Поскольку этот критерий зависит только от длины , усеченное распределение остается сферически симметричным. Поскольку не зависит от сферического углаи имеют распределение , то , следовательно , может генерировать значения из усеченного распределения всего за несколько простых шагов:$X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$$\rho\,\sigma$$\chi(n)$

1. Создайте .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Генерация как квадратный корень из усеченного в .$P$$\chi^2(d)$$(a/\sigma)^2$

3. Пусть,$Y = \sigma P\, X/||X||$

На шаге 1 получается как последовательность независимых реализаций стандартной нормальной переменной.$X$$d$

На шаге 2 легко генерируется инвертированием квантильной функции распределения : генерируется равномерная переменная поддерживаемая в диапазоне (квантилей) между и и установите .$P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Вот гистограмма из таких независимых реализаций для в измерениях, усеченная ниже при . Генерация заняла около одной секунды, что свидетельствует об эффективности алгоритма.$10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

Красная кривая - это плотность усеченного масштабированное на . Его близкое совпадение с гистограммой свидетельствует о достоверности этой техники.$\chi(11)$$\sigma=3$

Чтобы получить интуицию для усечения, рассмотрим случай , в измерениях. Вот график рассеяния против (для независимых реализаций). Это ясно показывает отверстие в радиусе :$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Наконец, обратите внимание, что (1) компоненты должны иметь идентичные распределения (из-за сферической симметрии) и (2) за исключением случаев, когда , это общее распределение не является нормальным. В самом деле, как вырастает большое, быстрое снижение (одномерный) нормального распределения вызывает большую часть вероятности сферически усечен многомерное нормальное группироваться вблизи поверхности -сферы (радиуса ). Таким образом, предельное распределение должно приближаться к масштабированному симметричному бета-распределению сосредоточенному в интервале . Это видно на предыдущем графике рассеяния, где$X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$уже велика в двух измерениях: точки ограничивают кольцо ( сфера ) радиуса .$2-1$$3\sigma$

Вот гистограммы маргинальных распределений из моделирования размера в измерениях с , (для которого аппроксимирующее распределение бета является равномерным):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Поскольку первые маргиналов процедуры, описанной в вопросе, являются нормальными (по построению), эта процедура не может быть правильной.$n-1$

---

Следующий Rкод сгенерировал первую цифру. Он сконструирован так, чтобы параллельные шаги 1-3 для генерации . Он был изменен , чтобы генерировать вторую цифру путем изменения переменных , , , и , а затем выдачи команды участок после того, как был создан.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

Поколение изменяется в коде для более высокого численного решения: код фактически производит и использует для вычисления .$U$$1-U$$P$

Тот же метод моделирования данных в соответствии с предполагаемым алгоритмом, суммирования его с гистограммой и наложения гистограммы может быть использован для проверки метода, описанного в вопросе. Это подтвердит, что метод не работает должным образом.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

Я написал это, предполагая, что вы не хотите никаких точек, имеющих || y || > a, который является аналогом обычного одномерного усечения. Тем не менее, вы написали, что хотите сохранить очки, имеющие | y || > = а выкинуть остальных. Тем не менее, очевидная корректировка моего решения может быть сделана, если вы действительно хотите сохранить точки, имеющие | y || > = а.

Самый простой способ, который, как оказывается, является очень общим методом, заключается в использовании Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_sampling . Это будет довольно быстро, пока Prob (|| X ||> a) будет довольно низким, потому что тогда будет не так много отклонений.

Сгенерируйте примерное значение x из многовариантного нормального значения без ограничений (даже если ваша задача утверждает, что многовариантный нормальный элемент является сферическим, метод можно применить, даже если это не так). Если || х || <= a, принять, т. е. использовать x, иначе отклонить его и сгенерировать новый образец. Повторяйте этот процесс, пока не получите столько принятых образцов, сколько вам нужно. Эффект применения этой процедуры состоит в том, чтобы генерировать y таким образом, чтобы его плотность была c * f_X (y), если || y || <= a и 0, если || y || > а, согласно моей поправке к вступительной части вашего вопроса. Вам никогда не нужно вычислять c; в действительности он определяется автоматически алгоритмом на основе частоты, с которой отбрасываются выборки.

Это хорошая попытка, но она не работает из-за «константы нормализации»: если вы учитываете общую плотность разложение

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ который интегрируется в в , показывает, что $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. Условное распределение по другим компонентам, , является усеченным нормальным распределением;$X_n$$X_{-n}$
2. Предельное распределение других компонентов, , не является нормальным распределением из-за дополнительного члена ;$X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

Единственный способ, которым я могу воспользоваться при использовании этого свойства, - запустить сэмплер Гиббса, по одному компоненту за раз, используя усеченные нормальные условные распределения.

Вопрос возникает из идеи использования - основного условного разложения совместных распределений - для рисования векторных выборок.

Пусть - многомерный гауссов с iid-компонентами.$X$

Пусть и $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

Рассматриваемый алгоритм предлагается на основе следующей (полностью корректной, но обманчивой интерпретации) условной факторизации:

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

Самый короткий ответ заключается в том, что последний фактор не является усеченным гауссовским, (что более важно) даже не распределением.

---

Вот подробное объяснение того, почему сама факторизация имеет некоторый фундаментальный недостаток. В одном предложении: любая условная факторизация данного совместного распределения должна удовлетворять некоторым очень фундаментальным свойствам, а вышеупомянутая факторизация не удовлетворяет им (см. Ниже).

В общем, если мы когда-либо разложим то будет маргиналом а является условным распределением . Что значит:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. Коэффициент «принятый как» должен быть распределением. А также,$f(x,y)$$f_X(x)$
2. Второй фактор, «предполагаемый как» должен быть распределением для каждого выбора$f_{Y|X}(y|x)$$x$

В приведенном выше примере мы пытаемся выполнить условие . Это означает, что свойство-1 должно сохраняться для фактора Гаусса, а свойство-2 должно сохраняться для последней части.$Y_n|(Y_1\ldots Y_{n-1})$

Понятно, что свойство-1 остается в силе по первому фактору. Но проблема со свойством-2. Последний фактор, приведенный выше, к сожалению, вообще не является распределением (забудьте про усеченный гауссов) практически для любого значения !!$(Y_1\ldots Y_{n-1})$

---

Такое предложение алгоритма, вероятно, является результатом следующего заблуждения: если распределение естественным образом выводится из совместного распределения (например, гауссианы выше), оно приводит к условной факторизации. ---- Это не так! ---- Другой (второй) фактор тоже должен быть хорошим.

---

Примечание: @whuber ранее дал отличный ответ, который фактически решает проблему генерации усеченного по норме многомерного гаусса. Я принимаю его ответ. Этот ответ только для того, чтобы уточнить и поделиться своим собственным пониманием и генезисом вопроса.