Может кто-нибудь объяснить, как мне 5 лет, об этой проблеме из Книги ESL Хасти?

Я работаю над книгой Хэсти по ESL, и мне тяжело с вопросом 2.3. Вопрос в следующем:

Мы рассматриваем оценку ближайшего соседа в начале координат, и среднее расстояние от начала координат до ближайшей точки данных задается этим уравнением. Я понятия не имею, с чего начать, пытаясь вывести это.

Я знаю, что большинство точек данных находятся ближе к границе выборочного пространства, чем к любой другой точке данных (проклятие размерности), но у меня возникают проблемы с переводом этого в смысл линейной алгебры / вероятности.

Спасибо!

machine-learning computational-statistics

— Gary
источник

Что означает «ELI5» в названии? Если вы хотите вывести это уравнение, вам нужно начать с вероятностной модели для точек на шаре: что это за модель? (Пожалуйста, не требуйте, чтобы ваши читатели обращались к книге или другому сайту, чтобы понять ваш вопрос.)

— whuber

@whuber Я согласен - Сокращения - ужасная схема хеширования.

— Sycorax говорит восстановить Монику

Тебе пять лет. Благодарю вас за желание понять ESL, но вам придется подождать, пока вам не исполнится шесть лет. Это книга для больших мальчиков и девочек.

— Ник Кокс

Пятилетний ребенок может начать с рассмотрения одномерного случая (p = 1). И как только это в руке, возьмите это оттуда.

— Марк Л. Стоун

Если мы собираемся изложить ELI5, как насчет ESL?

— mdewey

Пусть - расстояние от начала координат, и пусть - объем единичной гиперсферы в измерениях. Тогда объем, содержащийся в гиперсфере радиуса равен $r$ $V_0[p]$ $p$ $r$

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

Если мы примем обозначим долю объема, содержащегося в этой гиперсфере, и определим , то $P=V[r]/V_0[p]$ $R=r^p$

P [R] = R

$P[R]=R$

Если точки данных равномерно распределены в пределах единичного шара, то для приведенная выше формула представляет собой интегральную функцию распределения (CDF) для . Это эквивалентно равномерной плотности вероятности для на единичном интервале, т.е. . Итак, как намекнул Марк Стоун в комментариях, мы можем свести мерный случай к эквивалентной одномерной задаче. $0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

Теперь, если мы имеем единственную точку , то по определению CDF имеем и , Если является наименьшим значением из точек, и все точки независимы, то CDF для определяется как (это стандартный результат одномерной теории экстремальных значений ). $R$ $\Pr[R\leq \rho]=P[\rho]$ $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

По определению медианы имеем который мы можем переписать как что эквивалентно желаемому результату.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

РЕДАКТИРОВАТЬ: Попытка ответа в стиле " ELI5 ", в трех частях.

Для одномерного случая с одной точкой расстояние равномерно распределено по , поэтому медиана будет . $[0,1]$ $\frac{1}{2}$
В 1D распределение для минимума по точкам является первым случаем степени. $n$ $n$
В измерениях расстояние не распределено равномерно, а . $p$ $r$ $r^p$

— GeoMatt22
источник

Ха-ха, я дал комментарий, что 5-летний может начать с рассмотрения случая p = 1. Я подумал добавить комментарий, что 4-летний может не только начать с случая p = 1, но и n = 1. Но я решил, что 5-летний ребенок это поймет.

— Марк Л. Стоун

Обратите внимание, что когда я ответил на вопрос, это было после того, как @fcop уточнить его следующим образом: «Рассмотрим N точек данных, равномерно распределенных в единичном p-мерном шаре с центром в начале координат. Покажите, что среднее расстояние от начала координат до ближайшая точка данных задается ... ". Таким образом, единичный шар относительно нормы в мерном пространстве. После этого вопрос был возвращен к оригиналу, который отличается и не очень понятен. (См.

L_{2}

$L_2$

p

$p$

— Цепочку