Существует ли объективная оценка расстояния Хеллингера между двумя распределениями?

В ситуации, когда наблюдается распределение $X_1,\ldots,X_n$ распределенное по распределению с плотностью $f$ , мне интересно, существует ли объективная оценка (на основе $X_i$ ) расстояния Хеллингера до другого распределения с плотностью $f_0$ , а именно

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Сиань
источник

Итак, f0 известен и исправлен. Но известно ли f из параметрического семейства или делают это в непараметрических рамках со всем, что вы знаете о f из вашей выборки? Я думаю, что это имеет значение при попытке ответа.

— Майкл Р. Черник

@MichaelChernick: предположим, что все, что вы знаете о

это образец

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Сиань

Я не думаю, что он был рассчитан (если существует). Если существует, то у AIC есть потерянный брат.

Атака на эту проблему выглядит выполнимой, если вы предполагаете, что

дискретны. Это приводит к очевидной оценке (вычислить расстояние Хеллингера между EDF и

). Начальная загрузка (теоретически, а не с помощью симуляции!) Даст нам представление о возможном смещении, а также способ уменьшить (или даже устранить) смещение. Я даю некоторую надежду на успех с квадратным расстоянием, а не с самим расстоянием, потому что оно математически более податливое. Предположение о дискретном

является проблемой в приложениях; в любом случае пространство дискретного

является плотным подмножеством.

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$

— uuber

Это напоминает доказательство Розенблатта о том, что не существует «добросовестной» объективной оценки

. Можем ли мы преодолеть это и получить непредвзятую оценку

? Я не знаю.

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Дзен

Ответы:

Никакой несмещенной оценки ни ни существует для из любого достаточно широкого непараметрического класса распределений. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Мы можем показать это с помощью красивого простого аргумента

Биккель и Леманн (1969). Несмещенная оценка в выпуклых семействах . Анналы математической статистики, 40 (5) 1523–1535. ( проект Евклид )

Зафиксируем некоторые распределения , и с соответствующими плотностями , и . Пусть обозначит , и пусть быть некоторая оценка на основе н.о.р. образцов . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Предположим , что является несмещенной для образцов из любого распределения вида Но тогда $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

так что

должна быть многочленом

из Степень не более

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Теперь давайте перейдем к разумному случаю и покажем, что соответствующий не является многочленом. $Q$

Пусть - некоторое распределение, которое имеет постоянную плотность на : для всех . (Его поведение вне этого диапазона не имеет значения.) Пусть - некоторое распределение, поддерживаемое только на , а некоторое распределение, поддерживаемое только на . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Теперь где

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

и аналогично для

. Отметим, что

для любых распределений

которые имеют плотность.

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

$1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

Это исключает почти все разумные непараметрические классы распределений, за исключением тех, чьи плотности ограничены ниже (предположение, которое иногда делают непараметрические анализы). Вероятно, вы могли бы убить и эти классы с помощью аналогичного аргумента, просто сделав плотность постоянной или что-то в этом роде.

— Дугал
источник

Я не знаю, как построить (если он существует) непредвзятую оценку расстояния Хеллингера. Кажется возможным построить последовательную оценку. У нас есть фиксированная известная плотность $f_0$ и случайная выборка $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
источник

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal