Оценщик Джеймса-Стейна с неравными отклонениями

Каждое утверждение, которое я нахожу относительно оценки Джеймса-Стейна, предполагает, что оцениваемые случайные переменные имеют одинаковую (и единичную) дисперсию.

Но во всех этих примерах также упоминается, что оценка JS может использоваться для оценки величин, не имеющих ничего общего друг с другом. Пример википедии является скорость света, потребление чая в Тайване, и вес свиней в штате Монтана. Но, вероятно, ваши измерения по этим трем величинам будут иметь разные «истинные» отклонения. Это представляет проблему?

Это связано с большей концептуальной проблемой, которую я не понимаю, связанной с этим вопросом: оценка Джеймса-Стейна: как Эфрон и Моррис рассчитали в коэффициенте усадки для своего примера бейсбола? $\sigma^2$ Мы рассчитываем коэффициент усадки следующим образом: $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Интуитивно я думаю, что член самом деле - различный для каждой оцениваемой величины. Но обсуждение в этом вопросе говорит только об использовании объединенной дисперсии ... $\sigma^2$ $\sigma^2_i$

Я был бы очень признателен, если бы кто-нибудь смог разобраться в этой путанице!

estimation shrinkage steins-phenomenon

— exp1orer
источник

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— парень

@guy: это разумное предложение (+1), однако это приведет к одному и тому же коэффициенту усадки для всех переменных, тогда как можно было бы уменьшить переменные по-разному, в зависимости от их дисперсии / неопределенности. Смотрите ответ, который я только что опубликовал.

— говорит амеба: восстанови Монику

@amoeba Конечно; Я не предполагал, что моя оценка была практичной, только то, что она иллюстрировала, почему люди говорят то, что ОП упомянул во втором абзаце.

— парень

На этот вопрос явным образом ответили в классической серии работ по оценке Джеймса-Стейна в эмпирическом байесовском контексте, написанной в 1970-х годах Efron & Morris. Я в основном имею в виду:

Эфрон и Моррис, 1973, Правило оценки Штейна и его конкуренты - эмпирический байесовский подход
Эфрон и Моррис, 1975, анализ данных с оценкой Штейна и ее обобщения
Эфрон и Моррис, 1977, парадокс Штейна в статистике

$c$

Тем не менее, они приводят еще один пример, который оценивает уровень токсоплазмоза в ряде городов Сальвадора. В каждом городе было опрошено разное количество людей, поэтому можно думать, что индивидуальные наблюдения (уровень токсоплазмоза в каждом городе) имеют разные отклонения (чем меньше число опрошенных, тем выше отклонение). Интуиция, безусловно, заключается в том, что точки данных с низкой дисперсией (низкой неопределенностью) не нужно сокращать так сильно, как точки данных с высокой дисперсией (высокой неопределенностью). Результат их анализа показан на следующем рисунке, где это действительно можно увидеть:

введите описание изображения здесь

Те же данные и анализ представлены также в гораздо более техническом документе 1975 года, в гораздо более элегантной форме (хотя, к сожалению, не показаны отдельные отклонения), см. Раздел 3:

введите описание изображения здесь

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

$D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

$D_j$ $\hat A_i$ $k$

Соответствующий раздел в статье 1973 года - это Раздел 8, и он немного сложнее. Интересно, что у них есть явный комментарий на предложение, сделанное @guy в комментариях выше:

$\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

$\hat A_i$

— амеба говорит восстановить монику
источник