Интуиция позади, почему парадокс Штейна применим только в измерениях

Пример Стейна показывает, что оценка максимального правдоподобия $n$ нормально распределенных переменных со средними значениями $\mu_1,\ldots,\mu_n$ и дисперсиями $1$ недопустима (при функции квадрата потерь) тогда и только тогда, когда $n\ge 3$ . Для ясного доказательства см. Первую главу «Вывод в крупном масштабе: эмпирические байесовские методы оценки, тестирования и прогнозирования » Брэдли Эффрона.

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Мой вопрос: какое свойство мерного пространства (для ) отсутствует в что облегчает пример Штейна? Возможные ответы могут быть о кривизне сферы или о чем-то совершенно ином.$n$$n\ge 3$$\mathbb{R}^2$$n$

Другими словами, почему MLE допустимо в ?$\mathbb{R}^2$

Изменить 1: В ответ на озабоченность @mpiktas о 1,31 после 1,30:

Редактировать 2 : В этой статье Стейн доказывает, что MLE допустимо для .$N=2$

Дихотомия между случаями и для допустимости MLE среднего значения мерной многомерной нормальной случайной величины, безусловно, шокирует.$d < 3$$d \geq 3$$d$

Есть еще один очень известный пример вероятности и статистики, в котором существует дихотомия между случаями и . Это повторение простого случайного блуждания по решетке . То есть мерное простое случайное блуждание является рекуррентным в 1 или 2 измерениях, но является переходным в измерениях. Аналог непрерывного времени (в форме броуновского движения) также имеет место.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Оказывается, что эти два тесно связаны.

Ларри Браун доказал, что два вопроса по сути эквивалентны. То есть, лучший инвариант оценщик о -мерном многомерного нормального вектора средней допустимо тогда и только тогда , когда - мерное броуновское движение является возвратным.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

На самом деле его результаты идут гораздо дальше. Для любой разумной (т. Е. Обобщенной байесовской) оценки с ограниченным (обобщенным) риском существует явная (!) Соответствующая мерная диффузия такая, что оценка допустима тогда и только тогда, когда соответствующая диффузия является рекуррентной.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

Локальное среднее этой диффузии, по существу , расхождение между этими двумя оценками, т.е. и ковариация диффузии . Отсюда легко видеть, что для случая MLE мы восстанавливаем (пересчитываем) броуновское движение.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Таким образом, в некотором смысле мы можем рассмотреть вопрос о допустимости через призму случайных процессов и использовать хорошо изученные свойства диффузий, чтобы прийти к желаемым выводам.

Рекомендации

1. Л. Браун (1971). Допустимые оценки, рекуррентные диффузии и неразрешимые краевые задачи . Анна. Математика Стат. том 42, нет 3, с. 855–903.
2. Р. Н. Бхаттачарья (1978). Критерии рекуррентности и существования инвариантных мер для многомерных диффузий . Анна. Проб. том 6, нет. 4, 541–553.

@cardinal дал отличный ответ (+1), но вся проблема остается загадочной, если только вы не знакомы с доказательствами (а я нет). Поэтому я думаю, что остается вопрос относительно того, что является интуитивной причиной того, что парадокс Стейна не появляется в и .$\mathbb R$$\mathbb R^2$

Я нахожу очень полезным регрессионную перспективу, предложенную в Стивене Стиглере, 1990, «Галтонианская перспектива оценки усадки» . Рассмотрим независимые измерения , каждый из которых измеряет некоторый базовый (ненаблюдаемый) и выбирается из . Если бы мы каким-то образом знали , мы могли бы составить график из пар:$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

Диагональная линия соответствует нулевому шуму и совершенной оценке; на самом деле шум не равен нулю, и поэтому точки смещены от диагональной линии в горизонтальном направлении . Соответственно, можно рассматривать как линию регрессии на . Однако мы знаем и хотим оценить , поэтому нам лучше рассмотреть линию регрессии на - которая будет иметь другой наклон, смещенный по горизонтали , как показано на рисунке (пунктирная линия).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Цитата из статьи Стиглера:

Этот галтоновский взгляд на парадокс Штейна делает его почти прозрачным. «Обычные» оценки выводятся из теоретической линии регрессии на . Эта строка была бы полезна, если бы нашей целью было предсказать из , но наша проблема обратная, а именно предсказать из используя сумму квадратов ошибок как критерий. Для этого критерия оптимальные линейные оценки задаются линией регрессии наименьших квадратов на$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$и оценки Джеймса-Стейна и Эфрона-Морриса сами являются оценками этого оптимального линейного оценивания. «Обычные» оценки получены из неправильной линии регрессии, оценки Джеймса-Стейна и Эфрона-Морриса получены из приближений к правой линии регрессии.

И теперь наступает решающий момент (акцент добавлен):

Мы даже можем понять, почему необходимо: если или , линия наименьших квадратов на должна проходить через точки , и, следовательно, для или , две линии регрессии ( на и на ) должны совпадать в каждом .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Я думаю, что это очень ясно показывает, что особенного в и .$k=1$$k=2$