Приблизительная статистика порядка для нормальных случайных величин

39

Существуют ли хорошо известные формулы для статистики порядка некоторых случайных распределений? В частности, статистика первого и последнего порядка нормальной случайной величины, но также следует принять более общий ответ.

Изменить: чтобы уточнить, я ищу приближающие формулы, которые могут быть более или менее явно оценены, а не точное интегральное выражение.

Например, я видел следующие два приближения для статистики первого порядка (т.е. минимума) нормального rv:

$e_{1:n} \geq \mu - \frac{n-1}{\sqrt{2n-1}}\sigma$

а также

$e_{1:n} \approx \mu + \Phi^{-1} \left( \frac{1}{n+1} \right)\sigma$

Первый из них при дает примерно который выглядит как дико свободная граница. $n=200$ $e_{1:200} \geq \mu - 10\sigma$

Второе дает тогда как быстрый Монте-Карло дает , так что это не плохое приближение, но тоже не велико, и что более важно, у меня нет никакой интуиции о том, откуда она взялась. $e_{1:200} \approx \mu - 2.58\sigma$ $e_{1:200} \approx \mu - 2.75\sigma$

Любая помощь?

— Крис Тейлор
источник

4

Если вы используете R, см. Функцию ppoints .

— кардинал

1

@probabilityislogic дал хорошую интуицию для перечисленных вами приближений. Было бы полезно, если бы я дал еще немного с альтернативной точки зрения, или вы удовлетворили свое любопытство по этому поводу?

— кардинал

31

Классическая ссылка - это Royston (1982) [1], в котором алгоритмы выходят за рамки явных формул. Он также цитирует известную формулу Блома (1958): с . Эта формула дает множитель -2,73 для . $E(r:n) \approx \mu + \Phi^{-1}(\frac{r-\alpha}{n-2\alpha+1})\sigma$ $\alpha=0.375$ $n=200, r=1$

[1]: Алгоритм AS 177: Ожидаемая статистика нормального порядка (точная и приблизительная) JP Royston. Журнал Королевского статистического общества. Серия C (Прикладная статистика) Том. 31, № 2 (1982), с. 161-165

— Анико
источник

21

$\newcommand{\Pr}{\mathrm{Pr}}\newcommand{\Beta}{\mathrm{Beta}}\newcommand{\Var}{\mathrm{Var}}$ Распределение статистики i-го порядка любой непрерывной случайной случайной величины переменная с PDF задается составным распределением "бета-F". Интуитивный способ думать об этом распределении, чтобы рассмотреть статистику заказа Ith в образце . Теперь, чтобы значение i-го порядка статистики случайной величины было равно нам нужно 3 условия:

N

$N$

X

$X$

x

$x$

$i-1$ ниже , это имеет вероятность для каждого наблюдения, где - CDF случайной величины X. $x$ $F_{X}(x)$ $F_X(x)=\Pr(X<x)$
$N-i$ Значения выше , это имеет вероятность $x$ $1-F_{X}(x)$
1 значение в бесконечно малом интервале, содержащем , имеет вероятность где равно PDF случайной величины $x$ $f_{X}(x)dx$ $f_{X}(x)dx=dF_{X}(x)=\Pr(x<X<x+dx)$ $X$

Есть способов сделать этот выбор, поэтому мы имеем: ${N \choose 1}{N-1 \choose i-1}$

f_{i} (x_{i}) = \frac{N!}{(i - 1)! (N - i)!} f_{X} (x_{i}) {[1 - F_{X} (x_{i})]}^{N - i} {[F_{X} (x_{i})]}^{i - 1} d x

$f_{i}(x_{i})=\frac{N!}{(i-1)!(N-i)!}f_{X}(x_{i})\left[1-F_{X}(x_{i})\right]^{N-i}\left[F_{X}(x_{i})\right]^{i-1}dx$

РЕДАКТИРОВАТЬ в своем первоначальном посте, я сделал очень плохую попытку продвинуться дальше от этого пункта, и комментарии ниже отражают это. Я попытался исправить это ниже

Если мы возьмем среднее значение этого PDF, мы получим:

E (X_{i}) = \int_{- \infty}^{\infty} x_{i} f_{i} (x_{i}) d x_{i}

$E(X_{i})=\int_{-\infty}^{\infty} x_{i}f_{i}(x_{i})dx_{i}$

И в этом интеграле мы делаем следующее изменение переменной (принимая подсказку @ Генри), и интеграл становится: $p_{i}=F_{X}(x_{i})$

E (X_{i}) = \int_{0}^{1} F_{X}^{- 1} (p_{i}) B e t a (p_{i} | i, N - i + 1) d p_{i} = E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})]

$E(X_{i})=\int_{0}^{1} F_{X}^{-1}(p_{i})\Beta(p_{i}|i,N-i+1)dp_{i}=E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]$

Так что это ожидаемое значение обратного CDF, которое можно хорошо аппроксимировать, используя дельта-метод, чтобы получить:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [E_{B e t a (p_{i} | i, N - i + 1)}] = F_{X}^{- 1} [\frac{i}{N + 1}]

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[E_{\Beta(p_{i}|i,N-i+1)}\right]=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

Чтобы сделать лучшее приближение, мы можем расширить до 2-го порядка (простое обозначает дифференцирование), и отметив, что вторая производная от обратного:

\frac{\partial^{2}}{\partial a^{2}} F_{X}^{- 1} (a) = - \frac{F_{X}^{^{″}} (F_{X}^{- 1} (a))}{{[F_{X}^{^{'}} (F_{X}^{- 1} (a))]}^{3}} = - \frac{f_{X}^{^{'}} (F_{X}^{- 1} (a))}{{[f_{X} (F_{X}^{- 1} (a))]}^{3}}

$\frac{\partial^{2}}{\partial a^{2}}F_{X}^{-1}(a)=-\frac{F_{X}^{''}(F_{X}^{-1}(a))}{\left[F_{X}^{'}(F_{X}^{-1}(a))\right]^{3}}=-\frac{f_{X}^{'}(F_{X}^{-1}(a))}{\left[f_{X}(F_{X}^{-1}(a))\right]^{3}}$

Пусть . Тогда имеем: $\nu_{i}=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [ν_{i}] - \frac{{V a r}_{B e t a (p_{i} | i, N - i + 1)} [p_{i}]}{2} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[\nu_{i}\right]-\frac{\Var_{\Beta(p_{i}|i,N-i+1)}\left[p_{i}\right]}{2}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

= ν_{i} - \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$=\nu_{i}-\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

Теперь, специализируясь на нормальном случае, мы имеем

f_{X} (x) = \frac{1}{σ} ϕ (\frac{x - μ}{σ}) \to f_{X}^{^{'}} (x) = - \frac{x - μ}{σ^{3}} ϕ (\frac{x - μ}{σ}) = - \frac{x - μ}{σ^{2}} f_{X} (x)

$f_{X}(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})\rightarrow f_{X}^{'}(x)=-\frac{x-\mu}{\sigma^{3}}\phi(\frac{x-\mu}{\sigma})=-\frac{x-\mu}{\sigma^{2}}f_{X}(x)$

F_{X} (x) = Φ (\frac{x - μ}{σ}) ⟹ F_{X}^{- 1} (x) = μ + σ Φ^{- 1} (x)

$F_{X}(x)=\Phi(\frac{x-\mu}{\sigma})\implies F_{X}^{-1}(x)=\mu+\sigma\Phi^{-1}(x)$

Обратите внимание, что И ожидание примерно становится: $f_{X}(\nu_{i})=\frac{1}{\sigma}\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]$

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{σ Φ^{- 1} (\frac{i}{N + 1})}{{[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)}{\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}$

И наконец:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) [1 + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2) {[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}]

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)\left[1+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}\right]$

Хотя, как заметил @whuber, это не совсем точно. На самом деле я думаю, что это может быть хуже из-за асимметрии бета-версии с различными параметрами

— probabilityislogic
источник

1

«Оценка максимального правдоподобия случайной величины »? Не уверен, что это такое, но я думаю, что вы (почти) рассчитали режим .

— кардинал

1

Нечто загадочное происходит на двух третях пути, когда внезапно появляются и без предупреждения или определения.

μ

$\mu$

σ

$\sigma$

— whuber

2

Я не имею в виду «наваливать», но мне также трудно понять, как количество в скобках может быть аппроксимировано отрицательным числом.

— кардинал

1

@probabilityislogic, хотя на уровне исчисления вы можете сказать, что в этом случае мы рассматриваем двумерную функцию и просто максимизируем одну переменную вместо другой, я думаю, что существуют математические, статистические и педагогические причины не называть то, что вы сделали "оценку максимального правдоподобия". Их слишком много, чтобы перечислять в этом пространстве, но я считаю, что достаточно убедительным является то, что мы по какой-то причине используем определенный, загадочный словарь в статистике. Изменение этого на прихоти для единственной проблемы может привести к недоразумению (ям) ... / ...

— кардинал

2

@probabilityislogic (+1) для исправленного ответа. Одно предположение, может быть, лучше, чем to означать «подразумевает». Потребовалось несколько секунд разглядывать пару строк, чтобы понять, что вы не претендуете на конвергенцию.

\Rightarrow

$\Rightarrow$

\to

$\to$

— кардинал

13

Ответ Анико опирается на хорошо известную формулу Блома, которая предполагает выбор . Оказывается, что эта формула сама по себе является простым приближением к точному ответу Г. Эльфвинга (1947), Асимптотическое распределение диапазона в образцах из нормальной популяции , Biometrika, Vol. 34, с. 111-119. Формула Эльфвинга нацелена на минимум и максимум выборки, для которой правильный выбор альфа равен . Формула Блома получается, когда мы приближаем на . $\alpha = 3/8$ $\pi/8$ $\pi$ $3$

Используя формулу Эльфвинга, а не приближение Блома, мы получаем множитель -2,744165. Это число ближе к точному ответу Эрика П. (-2,746) и приближению Монте-Карло (-2,75), чем приближение Блома (-2,73), но его легче реализовать, чем точную формулу.

— Хэл М. Свиткай
источник

Не могли бы вы рассказать немного подробнее о том, как достигается через Эльфвинг (1947)? Это не очевидно в статье.

α = π / 8

$\alpha=\pi/8$

— Энтони

1

Энтони. Я полагаюсь на учебник «Математическая статистика» Сэмюэля Уилкса, паб. Wiley (1962). Упражнение 8.21 на с. 249 гласит: «Если x_ (1), x_ (n) - это статистика наименьшего и наибольшего порядка для выборки размера n из непрерывного cdf F (x) ... случайная величина 2n * sqrt {[F (x_ ( 1))] [1-F (x_ (n))]} имеет предельное распределение как n -> бесконечность, со средним пи / 2 и дисперсией 4- (пи ^ 2) / 4. " (Извините, я не знаю код разметки!) Для симметричного распределения F (x_ (1)) = 1-F (x_ (n)). Таким образом, F (x_ (n)) составляет около pi / (4n), или x_ (n) составляет около F ^ (- 1) (pi / (4n)). Формула Блома использует приближение 3 / (4n).

— Хэл М. Свиткай,

Это напоминает мне о печально известном законопроекте " ", приписанном законодательному органу штата Индиана. (Хотя статья в википедии предполагает, что популярная версия этой истории не точна.)

π = 3

$\pi=3$

— steveo'america

7

В зависимости от того, что вы хотите сделать, этот ответ может или не может помочь - я получил следующую точную формулу из пакета статистики Maple .

with(Statistics):
X := OrderStatistic(Normal(0, 1), 1, n):
m := Mean(X):
m;

\int_{- \infty}^{\infty} 1 / 2 \frac{_t 0 n! \sqrt{2} e^{- 1 / 2 {_t 0}^{2}} {(1 / 2 - 1 / 2 e r f (1 / 2_t 0 \sqrt{2}))}^{- 1 + n}}{(- 1 + n)! \sqrt{π}} d_t 0

$\int _{-\infty }^{\infty }\!1/2\,{\frac {{\it \_t0}\,n!\,\sqrt {2}{ {\rm e}^{-1/2\,{{\it \_t0}}^{2}}} \left( 1/2-1/2\, {{\rm erf}\left(1/2\,{\it \_t0}\,\sqrt {2}\right)} \right) ^{-1+n}}{ \left( -1+n \right) !\,\sqrt {\pi }}}{d{\it \_t0}}$

Само по себе это не очень полезно (и, вероятно, его можно получить довольно легко вручную, так как это минимум из случайных величин), но оно позволяет быстро и очень точно приближать данные значения - гораздо более точно, чем Монте-Карло: $n$ $n$

evalf(eval(m, n = 200));
evalf[25](eval(m, n = 200));

дает -2,746042447 и -2,746042447451154492412344 соответственно.

(Полное раскрытие - я поддерживаю этот пакет.)

— Эрик П.
источник

1

@ProbabilityIsLogic вывел этот интеграл для всей статистики заказов в первой половине своего ответа.

— whuber