Как рассчитать функцию плотности вероятности максимума выборки равномерных случайных величин IID?

45

Учитывая случайную величину

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

где $X_i$ - однородные переменные IID, как рассчитать PDF для $Y$ ?

pdf maximum

— Маскарпоне
источник

4

Если это домашняя работа, пожалуйста, прочитайте FAQ и обновите свой вопрос соответственно.

— кардинал

Можно ли использовать личность Вандермонда, чтобы показать совместную функцию статистики 2 порядка, скажем, F_y (r) * G_y (r)?

— Ларри Минц

Из курса, какой курс покрывает такого рода проблемы? Это не то, с чем я столкнулся в моем курсе вероятности разработки.

— Алекс

@ Алекс Как насчет статистического курса, который охватывает повторную выборку?

— SOFe

65

Возможно, этот вопрос - домашнее задание, но я чувствовал, что этот классический элементарный вопрос о вероятности все еще не получил полного ответа через несколько месяцев, поэтому я дам его здесь.

Из постановки задачи мы хотим, чтобы распределение

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

где - это iid . Мы знаем, что тогда и только тогда, когда каждый элемент выборки меньше . Тогда это, как указано в подсказке @ varty, в сочетании с тем фактом, что независимы, позволяет нам сделать вывод $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

где - CDF равномерного распределения . Следовательно, CDF для имеет вид $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Поскольку имеет абсолютно непрерывное распределение, мы можем вывести его плотность, дифференцируя CDF . Поэтому плотность является $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

В частном случае, когда , мы имеем , то есть плотность распределения бета с и , поскольку . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Как примечание, последовательность, которую вы получаете, если сортируете свою выборку в возрастающем порядке - - называется статистикой заказа . Обобщение этого ответа состоит в том, что все статистические данные порядка распределенной выборки имеют бета-распределение , как отмечено в ответе @ bnaul. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— макрос
источник

Это на самом деле был домашний вопрос для меня. Спасибо за объяснение.

— Пол вечера

Я чувствую, что должен быть в состоянии принять ваши идеи здесь и ответить на этот вопрос , но я не вижу, как это сделать. Можете ли вы помочь мне? Можете ли вы порекомендовать учебник или главу, посвященную этой общей проблеме?

@PaulPM Из интереса, какой курс покрывает такую проблему? Это не то, с чем я столкнулся в моем курсе вероятности разработки.

— Алекс

6

Максимум выборки - это одна из статистики порядка , в частности статистика го порядка выборки . В общем, вычисление распределения статистики заказов затруднено, как описано в статье в Википедии; для некоторых специальных распределений статистика порядка хорошо известна (например, для равномерного распределения, которое имеет бета-распределенную статистику порядка). $n$ $X_1,\dots,X_n$

РЕДАКТИРОВАТЬ: статья в Википедии о максимуме и минимуме образца также полезна и более специфична для вашей проблемы.

— bnaul
источник

5

Для распределений с плотностями вычисление предельного распределения статистики определенного порядка довольно просто. Это даже проще для «особой» статистики заказов, как минимум и максимум.

— кардинал

Я думаю, это зависит от того, что подразумевается под «вычислить» в исходном вопросе. Конечно, делать это численно просто; Я интерпретировал этот вопрос как вопрос о том, как найти решение в закрытой форме, что в общем случае нелегко.

— bnaul

8

@bnaul: Пусть быть произвольной функции распределения и пусть быть IID выборка из . Пусть будет статистикой го порядка. ТогдаКЕД .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— кардинал

1

Возможно, способ понять ответ кардиналов (учитывая, что вы понимаете статистику порядка для униформ) состоит в том, что, поскольку cdfs являются монотонными преобразованиями 1-в-1 унифицированного cdf, мы всегда можем выразить событие {X <a} в терминах униформы случайная величина (вот почему работает Монте-Карло). Таким образом, любой результат, основанный на равномерном распределении, легко обобщается на другие случайные переменные - просто примените преобразование .

U = F_{X} (X)

$U=F_{X}(X)$

— вероятностная

2

@probabilityislogic: Интуиция хорошая, хотя кажется, что в вашем комментарии есть постоянные случайные переменные. (Результат в моем втором комментарии выше, например, работает для произвольной функции распределения.)

— Кардинал

1

Если является CDF для , то Затем можно использовать свойство iid и cdf унифицированной переменной для вычисления . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— Varty
источник

-3

Максимум набора случайных величин IID при соответствующей нормализации обычно сходится к одному из трех типов экстремальных значений. Это теорема Гнеденко, эквивалентность центральной предельной теоремы для крайностей. Конкретный тип зависит от поведения хвоста распределения популяции. Зная это, вы можете использовать предельное распределение, чтобы приблизить распределение к максимуму.

Поскольку равномерное распределение на [a, b] является предметом этого вопроса, Макро дал точное распределение для любого n и очень хороший ответ. Результат довольно тривиальный. Для нормального распределения хорошая замкнутая форма невозможна, но соответственно нормализованный максимум для нормального сходится к распределению Гумбеля F (x) = exp (- e ). $^-$ $^x$

Для униформы нормализация равна (ba) -x / n и F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

которая сходится к е . Обратите внимание, что y = bax / n. и F (y) сходится к 1, когда y переходит к ba. Это верно для всех 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

В этом случае легко сравнить точное значение с его асимптотическим пределом.

— Майкл Черник
источник

4

Чтобы этот ответ был практически осуществимым, вам необходимо подробно указать, как «надлежащим образом нормализовать» значения, и вам также нужно предоставить какой-то способ оценить, насколько большим должно быть прежде чем асимптотическая формула станет надежным приближением.

n

$n$

— whuber

@whuber Любой может взглянуть на теорему Гнеденко, чтобы увидеть нормализацию. Не менее важными являются характеристики хвоста, которые определяют, какой из трех типов применяется. Теорема обобщается на стационарные случайные процессы. Таким образом, любой, кто хочет узнать мельчайшие подробности, может взглянуть на книгу Лидбеттера или на мою диссертацию. Когда n достаточно велико, трудно ответить на любую асимптотику. Я предполагаю, что теорема Берри-Эссеена помогает для центральной предельной теоремы. Я не знаю, что сопоставимо для крайностей.

— Майкл Черник