Почему асимптотическая относительная эффективность теста Уилкоксона

Хорошо известно, что асимптотическая относительная эффективность (ARE) критерия Уилкоксона со знаком ранга равна $\frac{3}{\pi} \approx 0.955$по сравнению стстудента , если данные получены из нормально распределенной популяции. Это верно как для базового теста с одним образцом, так и для варианта с двумя независимыми образцами (Уилкоксон-Манн-Уитни U). Это также АР теста Крускала-Уоллиса по сравнению с ANOVA F -тестом для нормальных данных.

Есть ли у этого замечательного (для меня, одного из « самых неожиданных явлений $\pi$ ») и удивительно простого результата проницательное, замечательное или простое доказательство?

Краткий эскиз ARE для $t$ теста с одним образцом , подписанный тест и тест со знаком ранга

Я ожидаю, что длинная версия ответа @ Glen_b включает в себя подробный анализ теста с двумя выборками со знаком ранга и интуитивное объяснение ARE. Поэтому я пропущу большую часть вывода. (случай с одним образцом, вы можете найти недостающие детали в Lehmann TSH).

Задача тестирования : Пусть $X_1,\ldots,X_n$ - случайная выборка из модели местоположения $f(x-\theta)$ , симметричная относительно нуля. Мы должны вычислить ARE знакового теста, знакового рангового теста для гипотезы $H_0: \theta=0$ относительно t-критерия.

Чтобы оценить относительную эффективность тестов, рассматриваются только локальные альтернативы, потому что последовательные тесты имеют тенденцию к 1 против фиксированной альтернативы. Локальные альтернативы, которые приводят к нетривиальной асимптотической степени, часто имеют вид для фиксированногоh, которыйв некоторых литературахназываетсядрейфом Питмана.$\theta_n=h/\sqrt{n}$$h$

Наша задача впереди

• найти предельное распределение каждой тестовой статистики под нулевым
• найти предельное распределение каждой тестовой статистики по альтернативе
• вычислить локальную асимптотическую мощность каждого теста

Проверка статистики и асимптотики

1. t-критерий (при наличии ) t n = $\sigma$t n = $$t_n=\sqrt{n}\frac{\bar{X}}{\hat{\sigma}}\to_dN(0,1)\quad \text{under the null}$$ $$t_n=\sqrt{n}\frac{\bar{X}}{\hat{\sigma}}\to_dN(h/\sigma,1)\quad \text{under the alternative }\theta=h/\sqrt{n}$$
   • поэтому тест, который отклоняет, если имеет асимптотическую степенную функцию 1 - Φ ( z α - h $t_n>z_\alpha$ $$1-\Phi\left(z_\alpha-h\frac{1}{\sigma}\right)$$
2. подписанный тест $S_n=\frac{1}{n}\sum_{i=1}^{n}1\{X_i>0\}$ $$\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(0,\frac{1}{4}\right)\quad \text{under the null }$$ и имеет локальную асимптотическую степень 1 - Φ ( z α - 2 h f ( 0 ) $$\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(hf(0),\frac{1}{4}\right)\quad \text{under the alternative }$$ $$1-\Phi\left(z_\alpha-2hf(0)\right)$$
3. Тест подписал ранга W n → d N ( 2 h ∫ f 2 , $$W_n=n^{-2/3}\sum_{i=1}^{n}R_i1\{X_i>0\}\to_dN\left(0,\frac{1}{3}\right)\quad \text{under the null }$$ и имеет локальную асимптотическую степень 1 - Φ ( z α - $$W_n\to_dN\left(2h\int f^2,\frac{1}{3}\right)\quad \text{under the alternative }$$ $$1-\Phi\left(z_\alpha-\sqrt{12}h\int f^2\right)$$

Следовательно,

$f$$ARE(S_n)=1/3$$ARE(W_n)=1/3$

Замечание о выводе распределения по альтернативе

Есть, конечно, много способов получить предельное распределение по альтернативе. Один общий подход заключается в использовании третьей леммы Ле Кама. Упрощенная версия этого гласит

$\Delta_n$$W_n$

$$(W_n,\Delta_n)\to_d N\left[\left(\begin{array}{c} \mu\\ -\sigma^2/2 \end{array}\right),\left(\begin{array}{cc} \sigma^2_W & \tau \\ \tau & \sigma^2/2 \end{array}\right)\right]\\ $$ under the null, then $$W_n\to_d N\left(\mu+\tau,\sigma^2_W\right)\quad\text{under the alternative}$$

For quadratic mean differentiable densities, local asymptotic normality and contiguity are automatically satisfied, which in turn implies Le Cam lemma. Using this lemma, we only need to compute $\mathrm{cov}(W_n,\Delta_n)$ under the null. $\Delta_n$ obeys LAN

This has nothing to do with explaining why $\pi$ appears (which was explained nicely by others) but may help intuitively. The Wilcoxon test is a $t$-test on the ranks of $Y$ whereas the parametric test is computed on the raw data. The efficiency of the Wilcoxon test with respect to the $t$-test is the square of the correlation between the scores used for the two tests. As $n\rightarrow \infty$ the squared correlation converges to $\frac{\pi}{3}$. You can easily see this empirically using R:

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297

Short version: The basic reason with the Wilcoxon-Mann-Whitney under a shift alternative is that finding the asymptotic relative efficiency (WMW/t) corresponds to evaluating $12\sigma^2[\int f^2(x) dx]^2$ where $f$ is the common density at the null and $\sigma$ is the common variance.

So at the normal, $f^2$ is effectively a scaled version of $f$; its integral will have a $\frac{1}{\sqrt{\pi}}$ term; when squared, that's the source of the $\frac{ \;}{\pi}$.

The same term - with the same integral - is involved in the ARE for the signed rank test, so it takes the same value.

For the sign test relative to t, the ARE is $4\sigma^2f(0)^2$... and $f(0)^2$ again has a $\frac{ \;}{\pi}$ in it.

So essentially it's as I said in comments; $\pi$ is in the ARE for the Wilcoxon-Mann-Whitney vs the two-sample t test, for the Wilcoxon signed rank test vs the one-sample t and the sign test vs the one-sample t test (in each case at the normal) quite literally because it appears in the normal density.

Reference:

J. L. Hodges and E. L. Lehmann (1956),
"The Efficiency of Some Nonparametric Competitors of the t-Test",
Ann. Math. Statist., 27:2, 324-335.