Пояснение формулы для медианы, ближайшей к началу N образцов из единичного шара

В Элементах Статистического Изучения введена проблема, чтобы выделить проблемы с k-nn в многомерных пространствах. Есть точек данных, которые равномерно распределены в мерном единичном шаре. $N$ $p$

Среднее расстояние от начала координат до ближайшей точки данных определяется выражением:

d (п, N) знак равно {(1 - {(\frac{1}{2})}^{\frac{1}{N}})}^{\frac{1}{п}}

$d(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p}$

Когда , формула разбивается на половину радиуса шара, и я могу видеть, как самая близкая точка приближается к границе как , таким образом, интуиция позади knn разрушается в больших измерениях. Но я не могу понять, почему формула зависит от N. Может кто-нибудь уточнить? $N=1$ $p \rightarrow \infty$

Кроме того, в книге также рассматривается эта проблема: «... прогнозирование намного сложнее вблизи границ обучающей выборки. Необходимо экстраполировать из соседних точек выборки, а не интерполировать между ними». Это кажется глубоким утверждением, но я не могу понять, что это значит. Может ли кто-нибудь перефразировать?

self-study proof k-nearest-neighbour

— user64773
источник

Вам нужно немного отредактировать отображаемое уравнение. Это

Показатель

применим только к этому

в числителе так, как он выглядит сейчас, или вы хотите применить его ко всему

\frac{1}{N}

$\frac 1N$

1

$1$

\frac{1}{2}

$\frac 12$

— Дилип Сарвейт

Это помогло бы отличить «гиперсферу» (которая в

является многообразием размерности

) от «единичного шара» (который имеет размерность

). Гиперсфера - это граница шара. Если, как говорится в вашем заголовке, все точки взяты из гиперсферы , то, по определению, все они имеют расстояние

от начала координат, медианное расстояние равно

, и все они одинаково близки к началу координат.

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

p

$p$

1

$1$

1

$1$

— whuber

@DilipSarwate применяется ко всему

. В книге есть пример, где

поэтому

\frac{1}{2}

$\frac{1}{2}$

N = 500, p = 10

$N=500, p=10$

d (p, N) \approx 0.52

$d(p, N) \approx 0.52$

— user64773

Ответы:

Объем мерного гипербола радиуса имеет объем, пропорциональный . $p$ $r$ $r^p$

Таким образом, доля объема, превышающего расстояние от начала координат, составляет $kr$ . $\frac{r^p-(kr)^p}{r^p}=1-k^p$

Вероятность того, что все случайным образом выбранные точки больше , чем расстояние от начала координат . Чтобы получить среднее расстояние до ближайшей случайной точки, установите эту вероятность равной $N$ $kr$ $\left(1-k^p\right)^N$ . Итак $\frac12$

{(1 - К^{п})}^{N} знак равно \frac{1}{2}

$\left(1-k^p\right)^N=\tfrac12$

⟹ К знак равно {(1 - \frac{1}{2^{1 / N}})}^{1 / п},

$\implies k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}.$

Наглядно это делает какой - то смысл: чем больше случайных точек есть, чем ближе вы ожидаете , что ближайший к происхождению быть, поэтому следует ожидать быть убывающей функцией от . Здесь - убывающая функция от , поэтому $k$ $N$ $2^{1/N}$ $N$ является возрастающей функцией, и, следовательно, $\tfrac1{2^{1/N}}$ $N$ - убывающая функциякак и егого корня. $1-\tfrac1{2^{1/N}}$ $N$ $p$

— Генри
источник

Ах, хороший способ посмотреть на это. Сможете ли вы переосмыслить цитату из моего второго вопроса?

— user64773

Я подозреваю, что это может означать, что в больших измерениях, точки для предсказания фактически далеки от обучающих данных, как будто на краю сферы, так что вы на самом деле не интерполируете, а скорее экстраполируете, и поэтому неопределенности намного больше. Но я не очень знаю.

— Генри

Я не понимаю - я понимаю, почему это выражение - вероятность того, что все точки будут дальше, чем kr, но почему установка этой вероятности на 1/2 дает среднее расстояние ??

— Ихаданни

@ihadanny: значение

дает долю радиуса, при которой вероятность того, что все

точек находятся дальше, равна

k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p}

$k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}$

N

$N$

, и поэтому, когда вероятность, по крайней мере, на одну точку ближе, равна

\frac{1}{2}

$\frac12$

, так что

является медианой распределения расстояния ближайшей точки.

1 - \frac{1}{2} = \frac{1}{2}

$1-\frac12=\frac12$

k r

$kr$

— Генри

Определение медианы, половина больше, а половина меньше.

— Грант Измирлян

А теперь без рук машет

Для любой последовательности iid rv's где - общий CDF
$п (\underset{1 \leq я \leq N}{мин} Y_{я} > Y) знак равно (1 - F (Y))^{N},$ $P( \min_{1\le i\le N} Y_i > y ) = (1-F(y))^N,$ $F$
Таким образом , если мы IID равномерно распределены в единичном шаре в измерениях, то где является общий CDF расстояний, $N$ $X_i$ $p$
$п (\underset{1 \leq я \leq N}{мин} | | {Икс}_{я} | | > р) знак равно (1 - F (р))^{N},$ $P( \min_{1\le i\le N} ||X_i|| > r ) = (1-F(r))^N,$ $F$ . Наконец, что такое CDF, , для равномерно распределенной точки в единичном шаре в ? Вероятность того, что точка лежит в шаре радиуса r внутри шара единичного радиуса, равна соотношению объемов: $||X_i||, i=1,2,\ldots,N$ $F$ $R^p$

F (р) знак равно п (| | {Икс}_{я} | | \leq р) знак равно С р^{п} / (С 1^{п}) знак равно р^{п}

$F(r) = P ( ||X_i|| \le r ) = C r^p/( C 1^p) = r^p$

Таким образом, решение

1 / 2 знак равно п (\underset{1 \leq я \leq N}{мин} | | {Икс}_{я} | | > r) = (1 - r^{p})^{N}

$1/2 = P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N$

является

r = (1 - (1 / 2)^{1 / N})^{1 / p} .

$r = (1 - (1/2)^{1/N})^{1/p}.$

$N$ $p$

$k$ $R^p$

— Грант Измирлян
источник

Как кратко, но на словах:

$N$ $p$ $r$ $N^{th}$ $r$ $r$ $r$ $r^p$ , Теперь мы можем написать выражение [1] как

P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N} .

$P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N.$

$1/2$ $r$

— Грант Измирлян
источник