Почему в функции плотности распределения бета -1?


18

Бета-распределение появляется при двух параметризации (или здесь )

(1)f(x)xα(1x)β

или тот, который, кажется, используется чаще

(2)f(x)xα1(1x)β1

Но почему именно « » во второй формуле?1

Кажется, что первая формулировка более точно соответствует биномиальному распределению

(3)g(k)pk(1p)nk

но «видно» из точки зрения «sp . Это особенно очевидно в бета-биномиальной модели, где можно понимать как предыдущее число успехов, а - это предыдущее количество неудач.αβ

Так почему именно вторая форма завоевала популярность и в чем ее причина ? Каковы последствия использования любой из параметризации (например, для связи с биномиальным распределением)?

Было бы замечательно, если бы кто-то мог дополнительно указать источник такого выбора и исходные аргументы для него, но это не является необходимостью для меня.


3
В этом ответе указывается на глубокую причину : f равно xα(1x)β относительно меры dμ=dx/((x(1x)) . Это сводит ваш вопрос к «почему именно эта мера «Признавая, что эта мера
dμ=d(log(x1x))
предлагает «правильный» способ понять эти распределения - применить логистическое преобразование:термины«1» исчезнут.
whuber

1
Я думаю, что настоящая причина, по которой это произошло, - историческая, потому что так выглядит в бета-функции, для которой назван дистрибутив. Что касается того , почему это имеет во власти, я ожидаю, что это в конечном счете будет связано с причиной, которую упоминает Уабер (хотя исторически это не имеет ничего общего с мерой или даже вероятностью). 1
Glen_b

2
@Glen_b Это больше, чем историческое: есть глубокие причины. Они обусловлены тесной связью между бета-функциями и гамма-функциями, сводящими вопрос к тому, почему показатель в равен s - 1, а не s . Это потому, что Г является суммой Гаусса . Эквивалентно, «правильно» рассматривать Γ как интеграл мультипликативного гомоморфизма t t s, умноженного на аддитивный характерΓ(s)=0ts1etdts1sΓΓtts против меры Хаара d t / t на мультипликативной группе R × . tetdt/tR×
whuber

1
@ wh Это хорошая причина, по которой гамма-функция должна быть выбрана именно таким образом (и я уже предположил, что такая причина существовала выше, и я принимаю некоторую форму рассуждения, сродни этому - но обязательно с другим формализмом - пришла к выбору Эйлера); соответственно веские причины возникают с плотностью; но это не доказывает, что это было причиной выбора (почему форма была выбрана такой, какой она была), только то, что это хорошая причина для этого. Форма гамма-функции ... ctd
Glen_b

1
ctd ... само по себе может быть достаточной причиной, чтобы выбрать эту форму для плотности и для других, чтобы последовать их примеру. [Часто выбор делается по более простым причинам, которые мы можем определить позже, и тогда часто требуются веские причины, чтобы сделать что-то еще. Знаем ли мы , что именно поэтому он был изначально выбран] - вы четко объяснить , что есть причина , почему мы должны выбрать плотность быть так, а не почему это является таким образом. Это включает в себя последовательность людей, делающих выбор (использовать их таким образом и следовать их примеру), и их причины в то время, которое они выбрали.
Glen_b

Ответы:


9

Это история о степенях свободы и статистических параметрах, а также о том, что хорошо, что они имеют прямую простую связь.

Исторически, термины « » появились в исследованиях Эйлера функции Бета. Он использовал эту параметризацию к 1763 году, как и Адриен-Мари Лежандр: их использование установило последующее математическое соглашение. Эта работа предшествует всем известным статистическим приложениям.1

Современная математическая теория дает множество указаний, благодаря множеству приложений в анализе, теории чисел и геометрии, что термины « » на самом деле имеют некоторое значение. Я набросал некоторые из этих причин в комментариях к вопросу.1

Более интересным является то, какой должна быть «правильная» статистическая параметризация. Это не так ясно, и это не должно совпадать с математическим соглашением. Существует огромная сеть широко используемых, хорошо известных, взаимосвязанных семейств распределений вероятностей. Таким образом, соглашения, используемые для именования (то есть параметризации) одного семейства, обычно подразумевают связанные соглашения для именования связанных семейств. Измените одну параметризацию, и вы захотите изменить их все. Поэтому мы могли бы посмотреть на эти отношения для подсказок.

Мало кто не согласится с тем, что наиболее важные семьи распределения происходят из нормальной семьи. Напомним , что случайная величина называется «нормально распределены» , когда ( Х - μ ) / σ имеет плотность вероятности п ( х ) , пропорциональный ехр ( - х 2 / 2 ) . Когда σ = 1 и µ = 0 , говорят , что X имеет стандартное нормальное распределение.X(Xμ)/σf(x)exp(x2/2)σ=1μ=0X

Многие наборы данных изучаются с использованием относительно простой статистики, включающей рациональные комбинации данных и малые мощности (обычно квадраты). Когда эти данные моделируются как случайные выборки из нормального распределения - так что каждый x i рассматривается как реализация нормальной переменной X i , все X i имеют общее распределение и независимы - распределения этих статистических данных. определяются этим нормальным распределением. На практике чаще всего возникаютx1,x2,,xnxiXiXi

  1. ,распределениеСтьюдента t с ν = n - 1 «степенями свободы». Это распределение статистики t = ˉ Xtνtν=n1 где ˉ X =(X1+X2++Xn)/nмоделирует среднее значение данных иse(X)=(1/

    t=X¯se(X)
    X¯=(X1+X2++Xn)/n - стандартная ошибка среднего. Деление наn-1показывает, чтоnдолжно быть2или больше, откудаνявляется целым числом1или больше. Формула, хотя и немного сложная, является корнем квадратным из рациональной функции данных второй степени: она относительно проста.se(X)=(1/n)(X12+X22++Xn2)/(n1)X¯2n1n2ν1
  2. , χ 2 распределения (хи-квадрат)с v , "степеней свободы" (ДФ). Это распределение суммы квадратов ν независимых стандартных нормальных переменных. Следовательно, распределение средних квадратов этих переменных будетраспределением χ 2, масштабированным на 1 / ν : я буду называть это «нормализованным»распределением χ 2 .χν2χ2ννχ21/νχ2

  3. ,в F распределение коэффициента с параметрами ( ν 1 , ν 2 ) представляет собой отношение двух независимых нормированная х 2 распределений с v , 1 и ν 2 степенями свободы.Fν1,ν2F(ν1,ν2)χ2ν1ν2

Математические расчеты показывают, что все три из этих распределений имеют плотности. Важно отметить, что плотность распределения пропорциональна подынтегральному выражению в интегральном определении Эйлера функции Гамма ( Γ ). Давайте сравним их:χν2Γ

fχν2(2x)xν/21ex;fΓ(ν)(x)xν1ex.

Это показывает, что дважды переменная имеет гамма-распределение с параметром ν / 2 . Половина коэффициента достаточно мешающая, но вычитание 1 сделало бы отношения намного хуже. Это уже поставляет убедительный ответ на вопрос: если мы хотим , чтобы параметр с χ 2 распределения , чтобы подсчитать количество квадратов нормальных переменные , которые производят его ( с точностью до множителя из 1 / 2 ), то показателя в его функции плотности сусла быть на половину меньше. χν2ν/21χ21/2

Почему фактор меньше неприятностей , чем разница в 1 ? Причина в том, что этот фактор останется неизменным, когда мы все сложим. Если сумма квадратов n независимых стандартных нормалей пропорциональна гамма-распределению с параметром n (умноженным на некоторый коэффициент), то сумма квадратов m независимых стандартных нормалей пропорциональна гамма-распределению с параметром m (умноженным на тот же коэффициент) откуда сумма квадратов всех n + m переменных пропорциональна гамма-распределению с параметром m + n (все еще раз тот же коэффициент). 1/21nnmmn+mm+nТот факт, что добавление параметров так близко имитирует добавление счетчиков, очень полезно.

Однако, если бы мы убрали эту надоедливую " " из математических формул, эти хорошие отношения стали бы более сложными. Например, если мы изменили параметризацию гамма-распределений так, чтобы они ссылались на фактическую степень x в формуле, чтобы распределение χ 2 1 было связано с распределением «Gamma ( 0 ) » (так как степень x в его PDF равен 1 - 1 = 0 ), тогда сумму трех χ 2 1 распределений нужно было бы назвать «Гамма ( 2 )1xχ12(0)x11=0χ12(2)"распределение. Короче говоря, тесная аддитивная связь между степенями свободы и параметром в гамма-распределениях будет потеряна, если удалить формулу из формулы и поглотить ее в параметре.1

Точно так же функция вероятности распределения отношения тесно связана с бета-распределениями. Действительно, когда Y имеет F распределение коэффициента, распределение Z = ν 1 Y / ( ν 1 Y + ν 2 ) имеет бета ( ν 1 / 2 , ν 2 / 2 ) распределения. Его функция плотности пропорциональнаFYFZ=ν1Y/(ν1Y+ν2)(ν1/2,ν2/2)

fZ(z)zν1/21(1z)ν2/21.

Кроме того, принимая эти идеи по кругу, квадрат распределения Стьюдента с ν df имеет F- отношение с параметрами ( 1 , ν ) . Еще раз очевидно, что поддержание традиционной параметризации поддерживает четкую связь с основными показателями, которые способствуют степеням свободы.tνF(1,ν)

Таким образом, со статистической точки зрения было бы наиболее естественным и простым использовать вариант традиционных математических параметризаций распределений и бета: мы бы предпочли называть распределение Γ ( α ) « распределением Γ ( 2 α ) ». и бета ( α , β ) распределение следует называть «бета ( 2 α , 2 β ) распределением». Фактически, мы уже сделали это: именно поэтому мы продолжаем использовать имена "хи-квадрат" и " F"ΓΓ(α)Γ(2α)(α,β)(2α,2β)FСоотношение "распределение вместо" Гамма "и" Бета ". Независимо от того, мы ни в коем случае не хотим удалять термины " ", которые появляются в математических формулах для их плотности.1 Если бы мы сделали это, мы потеряли бы прямую связь между параметрами в плотностях и количеством данных, с которыми они связаны: мы всегда были бы на единицу.


1
Спасибо за ваш ответ (я уже + 1d). У меня есть только небольшой дополнительный вопрос: может быть, я что-то упускаю, но разве мы не жертвуем прямой связью с биномиальным, используя параметризацию -1?
Тим

Я не уверен, какое "прямое отношение к биному" ты имеешь в виду, Тим. Например, когда распределение Beta используется в качестве предшествующего конъюгата для биномиального образца, очевидно, что параметры являются именно теми, которые нужно использовать: вы добавляете a (не a - 1 ) к числу успехов, а b (не б - 1 ) на количество отказов. (a,b)aa1bb1
whuber

1

Запись вводит вас в заблуждение. Существует «скрытый » в формуле ( 1 ) , так как в ( 1 ) , альфа и β должны быть больше , чем - 1 (второе звено вы указали в своем вопросе говорит , что это явно). Α «s и β » s в этих двух формулах не являются теми же самыми параметрами; они имеют разные диапазоны: в ( 1 ) , α , β > - 1 и в ( 2 ) , α , β1(1)(1)αβ1αβ(1)α,β>1(2) . Эти диапазоны для α и β необходимы, чтобы гарантировать, что интеграл плотности не расходится. Чтобы увидеть это, рассмотрим в ( 1 ) случай α = - 1 (или меньше) и β = 0 , затем попытайтесьинтегрироватьплотность (ядро) между 0 и 1 . Эквивалентно, попробуйте то же самое в ( 2 ) для α = 0 (или меньше) и β = 1 .α,β>0αβ(1)α=1β=001(2)α=0β=1


2
Проблема диапазона определения и β, кажется, исчезает, когда интеграл интерпретируется, как Покхаммер в 1890 году, как особый контурный интеграл. В этом случае его можно приравнять к выражению, которое определяет аналитическую функцию для всех значений α и β, включая все комплексные. Это проливает свет на озабоченность в вопросе: почему именно эта конкретная параметризация была принята, поскольку существует много других возможных параметризаций, которые, кажется, могут одинаково хорошо служить? αβαβ
whuber

1
Мне сомнение ОП кажется гораздо более основательным. Он немного запутался насчет «-1» в (2), но не в (1) (конечно, это не так). Кажется, ваш комментарий отвечает на другой вопрос (кстати, гораздо интереснее).
Дзен

2
Спасибо за ваши усилия и ответ, но он все еще не отвечает моей главной заботе: почему был выбран -1? Следуя вашей логике, можно выбрать любое значение, меняя произвольную нижнюю границу на другое. Я не могу понять, почему -1 или 0 могут быть лучше или хуже нижней границы для значений параметров, кроме того факта, что 0 "эстетически" более хорошая граница. С другой стороны, Beta (0, 0) будет хорошим «по умолчанию» для равномерного распределения при использовании первой формы. Да, это очень субъективные комментарии, но это мой главный вопрос: есть ли какие-то непроизвольные причины для такого выбора?
Тим

1
Дзен, я согласен, что возник вопрос о том, как интерпретировать оригинальный пост. Спасибо, Тим, за ваши разъяснения.
whuber

1
Привет, Тим! Я не вижу какой-либо определенной причины, хотя она делает более прямой связь с тем, что для , если U G a m m a ( α , 1 ) и V G a m m a ( β , 1 ) независимы, то X = U / ( U + V ) есть B e t a ( α , βα,β>0UGamma(α,1)VGamma(β,1)X=U/(U+V) , а плотность X пропорциональна x α - 1 ( 1 - x ) β - 1 . Но тогда вы можете подвергнуть сомнению параметризацию гамма-распределения ...Beta(α,β)Xxα1(1x)β1
Дзен,

0

Для меня наличие -1 в показателе степени связано с развитием гамма-функции. Мотивация гамма-функции - найти плавную кривую, соединяющую точки факториала x!, Поскольку невозможно вычислить x!непосредственно, если x не является целым числом, идея состояла в том, чтобы найти функцию для любого x0 которая удовлетворяет рекуррентному соотношению, определенному факториалом, а именно

f(1)=1f(x+1)=xf(x).

Решение было с помощью сходимости интеграла. Для функции, определенной как

f(x+1)=0txexdt,

Интеграция по частям обеспечивает следующее:

f(x+1)=0txexdt=[txex]0+0xtx1exdt=limx(txex)0e0+x0tx1exdt=00+x0tx1exdt=xf(x).

Таким образом, вышеприведенная функция удовлетворяет этому свойству, а -1 в показателе степени получается из процедуры интегрирования по частям. Смотрите статью в Википедии https://en.wikipedia.org/wiki/Gamma_function .

Изменить: я прошу прощения, если мой пост не полностью ясно; Я просто пытаюсь указать, что, по моей идее, существование -1 в бета-распределении происходит от обобщения факториала посредством гамма-функции. Есть два условия: f(1)=1 и f(x+1)=xf(x) . Мы имеем Γ(x)=(x1)!следовательно, оно удовлетворяет Γ(x+1)=xΓ(x)=x(x1)!=x!, Кроме того, имеемΓ(1)=(11)!=0!=1 . Что касается бета-распределения с параметрамиα,β , то обобщение биномиального коэффициента имеет видΓ(α+β)Γ(α)Γ(β)=(α+β1)!(α1)!(β1)!, Там у нас есть -1 в знаменателе, для обоих параметров.


Это не имеет смысла, потому что рекуррентная функция, которой удовлетворяет факториал, - это не то, что вы заявляете: (x+1)!xx!.
whuber

Функция удовлетворяющая рекуррентному соотношению, является гамма: Γ ( x + 1 ) = x Γ ( x ) . Вот как это определяется. f(x)Γ(x+1)=xΓ(x)
aatr

Да, но ваша заявленная мотивация основана на факторной функции, а не на гамме.
whuber

Важно вспомнить связь между гаммой и факториалом: , Γ(x)=(x1)!
aatr

К сожалению, это круговая логика: вы начинаете с факториала, характеризуете гамму как интерполирующую ее, а затем делаете вывод, что есть -1. Фактически, ваш пост показывает -1, как будто он ошибочно выпал, путая Гамму с факториалом. Мало кто найдет это либо освещающим, либо убедительным.
whuber
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.