Как ученые выяснили форму функции плотности вероятности нормального распределения?

36

Это, вероятно, любительский вопрос, но меня интересует, как ученые пришли к форме функции плотности вероятности нормального распределения? В основном меня беспокоит то, что для кого-то, возможно, было бы более интуитивно понятно, что функция вероятности нормально распределенных данных имеет форму равнобедренного треугольника, а не кривой колокола, и как бы вы доказали такому человеку, что функция плотности вероятности все нормально распределенные данные имеют форму колокола? Экспериментом? Или каким-то математическим выводом?

В конце концов, что мы на самом деле считаем нормально распределенными данными? Данные, которые соответствуют вероятностному закону нормального распределения или что-то еще?

В основном мой вопрос: почему функция плотности вероятности нормального распределения имеет форму колокола, а не какую-либо другую? И как ученые выяснили, к каким сценариям реальной жизни можно применить нормальное распределение, путем эксперимента или изучения природы различных данных?

Таким образом, я нашел эту ссылку действительно полезной для объяснения происхождения функциональной формы кривой нормального распределения и, таким образом, для ответа на вопрос «Почему нормальное распределение выглядит так, как оно есть, а не что-нибудь еще?». Истинно умопомрачительные рассуждения, по крайней мере для меня.

normal-distribution history

— Ахра
источник

2

Проверьте этот вопрос - неверно утверждать, что только нормальное распределение является «колоколообразным».

— Серебряная

11

Нормальное распределение обладает некоторыми жизненно важными статистическими свойствами, которые делают его особым объектом исследования, а также означают, что оно часто возникает «естественно», например, в качестве предельного случая других распределений. В частности, см. Центральную предельную теорему . Тем не менее, это не единственный дистрибутив, который достигает пика в середине и имеет хвосты по обе стороны. Люди часто считают, что такие данные нормальны, потому что гистограмма «выглядит колоколообразно», но мой связанный ответ показывает, как много других вариантов распределения для таких наборов данных.

— Серебряная

4

Обратите внимание, что статистики не обнаружили нормальное распределение, просмотрев множество наборов данных и осознав, что эта функция плотности была эмпирически подходящей для многих из них. Как вы удивляетесь в своем вопросе, произошел процесс математического исследования некоторых проблем в теории вероятностей, на который в ответ на это «нормальное» распределение. Это хорошо объяснено, например, в этом ответе здесь .

— Серебряная

3

И в основном, если бы кто-то попросил меня объяснить им, почему нормальное распределение является «нормальным», мне нужно было бы объяснить им историю нормального распределения, которое является длинным и сложным само по себе, начиная с биномиального распределения и т. Д., А затем, возможно, докажите центральную предельную теорему и покажите, что нормальное распределение применимо при изучении многих ситуаций в реальной жизни.

— Ахра

5

Вы можете визуализировать форму нормального распределения, используя одно из этих изящных устройств, называемых досками Galton. На самом деле это биномиальное распределение, но, вы знаете, центральная предельная теорема.

— Федерико Полони

21

« Эволюция нормального распределения » SAUL STAHL - лучший источник информации, чтобы ответить практически на все вопросы в вашем посте. Я приведу несколько пунктов только для вашего удобства, потому что вы найдете подробное обсуждение в статье.

Это, наверное, любительский вопрос

Нет, это интересный вопрос для всех, кто использует статистику, потому что это подробно не рассматривается нигде в стандартных курсах.

В основном меня беспокоит то, что для кого-то, возможно, было бы более интуитивно понятно, что функция вероятности нормально распределенных данных имеет форму равнобедренного треугольника, а не кривой колокола, и как бы вы доказали такому человеку, что функция плотности вероятности все нормально распределенные данные имеют форму колокола?

Посмотрите на эту картинку из бумаги. Он показывает кривые ошибок, которые Симпсон придумал до того, как было обнаружено гауссово (нормальное) значение для анализа экспериментальных данных. Итак, ваша интуиция на месте.

Экспериментом?

Да, именно поэтому они назывались «кривыми ошибок». Эксперимент проводился по астрономическим измерениям. Астрономы боролись с ошибками измерений на протяжении веков.

Или каким-то математическим выводом?

Снова ДА! Короче говоря: анализ ошибок в астрономических данных привел Гаусса к его (иначе говоря, нормальному) распределению. Вот предположения, которые он использовал:

Кстати, Лаплас использовал несколько разных подходов, а также придумал свое распределение при работе с астрономическими данными:

Относительно того, почему нормальное распределение показывает в эксперименте как ошибки измерения, здесь приводятся типичные объяснения, которые используют физики с волнистой рукой (цитата из Герхарда Бома, Гюнтера Цеха, Введение в статистику и анализ данных для физиков, стр. 85):

Многие экспериментальные сигналы в очень хорошем приближении соответствуют нормальному распределению. Это связано с тем, что они состоят из суммы многих вкладов и следствия центральной предельной теоремы.

— Аксакал
источник

2

Ссылка на Stahl обращается к исходному вопросу очень с точки зрения, с которой он был задан - это действительно хорошая находка.

— Серебряная

44

Вы, кажется, предполагаете в своем вопросе, что концепция нормального распределения существовала до того, как распределение было идентифицировано, и люди пытались выяснить, что это было. Мне не ясно, как это будет работать. [Редактировать: есть по крайней мере один смысл, который мы могли бы рассматривать как «поиск дистрибутива», но это не «поиск дистрибутива, который описывает множество явлений»]

Это не вариант; распределение было известно еще до того, как его назвали нормальным распределением.

как бы вы доказали такому человеку, что функция плотности вероятности всех нормально распределенных данных имеет форму колокола

Функция нормального распределения - это то, что имеет то, что обычно называется «формой колокола» - все нормальные распределения имеют одинаковую «форму» (в том смысле, что они отличаются только по масштабу и расположению).

Данные могут выглядеть более или менее «колоколообразно» в распределении, но это не делает его нормальным. Многие ненормальные распределения выглядят аналогично «колоколообразному».

Фактическое распределение населения, из которого извлекаются данные, вероятно, никогда не бывает нормальным, хотя иногда это довольно разумное приближение.

Как правило, это справедливо почти для всех дистрибутивов, которые мы применяем к вещам в реальном мире - это модели , а не факты о мире. [Например, если мы сделаем определенные предположения (те, которые относятся к пуассоновскому процессу), мы можем вывести распределение Пуассона - широко используемое распределение. Но полностью ли удовлетворены эти предположения ? Как правило, лучшее, что мы можем сказать (в правильных ситуациях), это то, что они почти правдивы.]

что мы на самом деле считаем нормально распределенными данными? Данные, которые соответствуют вероятностному закону нормального распределения или что-то еще?

Да, чтобы фактически быть нормально распределенным, популяция, из которой была взята выборка, должна иметь распределение, которое имеет точную функциональную форму нормального распределения. В результате, любое конечное население не может быть нормальным. Переменные, которые обязательно должны быть ограничены, не могут быть нормальными (например, время, затрачиваемое на выполнение определенных задач, длины определенных вещей не могут быть отрицательными, поэтому они не могут быть распределены нормально).

возможно, было бы более интуитивно понятно, что функция вероятности нормально распределенных данных имеет форму равнобедренного треугольника

Я не понимаю, почему это обязательно более интуитивно понятно. Это конечно проще.

При первой разработке моделей для распределения ошибок (особенно для астрономии в раннем периоде) математики рассматривали различные формы в отношении распределений ошибок (включая в одной ранней точке треугольное распределение), но в большей части этой работы это была математика (скорее чем интуиция), который был использован. Например, Лаплас рассмотрел двойное экспоненциальное и нормальное распределения (среди нескольких других). Точно так же Гаусс использовал математику, чтобы вывести ее примерно в одно и то же время, но в связи с другим набором соображений, чем Лаплас.

В узком смысле, что Лаплас и Гаусс рассматривали «распределения ошибок», мы могли бы рассматривать их как «поиск распределения», по крайней мере, какое-то время. Оба постулировали некоторые свойства для распределения ошибок, которые они считали важными (Лаплас рассматривал последовательность несколько разных критериев во времени), что привело к различным распределениям.

В основном мой вопрос: почему функция плотности вероятности нормального распределения имеет форму колокола, а не какую-либо другую?

Функциональная форма вещи, которая называется функцией нормальной плотности, придает ей такую форму. Рассмотрим стандартную нормаль (для простоты; каждая другая нормаль имеет одинаковую форму, отличающуюся только масштабом и расположением):

е_{Z} (Z) знак равно К \cdot е^{- \frac{1}{2} Z^{2}}; - \infty < Z < \infty

$f_Z(z) = k \cdot e^{-\frac12 z^2};\;-\infty<z<\infty$

$k$

$x$

В то время как некоторые люди считают нормальное распределение как-то «обычным», на самом деле только в определенных ситуациях вы склонны рассматривать его как приблизительное.

Обнаружение распределения обычно приписывается де Моивру (как приближение к биномиальному). Он фактически получил функциональную форму, пытаясь приблизить биномиальные коэффициенты (/ биномиальные вероятности) для аппроксимации утомительных в других отношениях вычислений, но - хотя он эффективно выводит форму нормального распределения - он, похоже, не думал о своем приближении как распределение вероятностей, хотя некоторые авторы предполагают, что он сделал. Требуется определенное количество толкований, поэтому существуют различия в этой интерпретации.

Гаусс и Лаплас работали над этим в начале 1800-х годов; Гаусс писал об этом в 1809 году (в связи с тем, что это распределение, для которого среднее значение является MLE центра), а Лаплас в 1810 году - как приближение к распределению сумм симметричных случайных величин. Десять лет спустя Лаплас дает раннюю форму центральной предельной теоремы для дискретных и непрерывных переменных.

Ранние названия для распределения включают в себя закон ошибки , закон частоты ошибок , и он также был назван в честь Лапласа и Гаусса, иногда совместно.

Термин «нормальный» использовался для независимого описания распределения тремя разными авторами в 1870-х годах (Пирс, Лексис и Гальтон), первым в 1873 году и двумя другими в 1877 году. Это более чем через шестьдесят лет после работы Гаусса и Лапласа и более чем вдвое больше, чем в приближении де Мойр. Использование Гальтона, вероятно, было наиболее влиятельным, но он использовал термин «нормальный» по отношению к нему только один раз в работе 1877 года (в основном называя это «законом отклонения»).

Однако в 1880-х годах Гальтон много раз использовал прилагательное «нормальное» по отношению к распределению (например, как «нормальная кривая» в 1889 году), и он, в свою очередь, оказал большое влияние на более поздних статистиков в Великобритании (особенно на Карла Пирсона). ). Он не сказал, почему он использовал термин «нормальный» таким образом, но, вероятно, имел в виду его в смысле «типичный» или «обычный».

Первое явное использование фразы «нормальное распределение», по-видимому, принадлежит Карлу Пирсону; он, безусловно, использует его в 1894 году, хотя утверждает, что использовал его задолго до этого (претензию я бы рассматривал с некоторой осторожностью).

Ссылки:

Миллер, Джефф
"Самые ранние из известных применений некоторых слов математики:"
Нормальное распределение (статья Джона Олдрича)
http://jeff560.tripod.com/n.html

Шталь, Саул (2006),
"Эволюция нормального распределения",
Математический журнал , Vol. 79, № 2 (апрель), стр. 96-113
https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf

Нормальное распределение, (2016, 1 августа).
В Википедии, Свободная энциклопедия.
Получено 12:02, 3 августа 2016 г., из
https://en.wikipedia.org/w/index.php?title=Normal_distribution&oldid=732559095#History

Hald, A (2007),
«Нормальное приближение де Моивра к биному, 1733 и его обобщение»,
В: История параметрического статистического вывода от Бернулли до Фишера, 1713–1935; С. 17-24

[Вы можете заметить существенные расхождения между этими источниками по отношению к их описанию де Моивр]

— Glen_b - Восстановить Монику
источник

Спасибо за подробный ответ! Я изучил, как была получена форма нормального распределения, и нашел этот документ courses.ncssm.edu/math/Talks/PDFS/normal.pdf , и у меня возникли проблемы с пониманием того, как можно предположить, что ошибки не зависят от ориентации системы координат (предположение, которое позволяет сделать важный вывод позже), когда мне кажется, что такое предположение будет иметь место только в примере дротиков, но не в примере случайных экспериментальных ошибок ,

— ахра

На самом деле весь подход к дартс смущает меня, так как я изучаю нормальное распределение в контексте случайных экспериментальных ошибок. Я предполагаю, что подход дартс предполагает, что вы можете делать независимые ошибки в двух измерениях, что хорошо в используемом контексте, но мне неясно, что бы это перевести в контексте экспериментальных ошибок, где у вас есть зависимая и независимая переменная Это означает, что вы можете сделать ошибку только в одном измерении.

— Ахра

1

Отличное использование ссылок. +1

— Аарон Холл

2

Я думаю, что где-то здесь следует упомянуть «центральную предельную теорему», поскольку ОП, кажется, (по крайней мере, частично) задает вопрос, почему именно это распределение так распространено.

— Joc

1

@joc Я не вижу вопроса о распространенности или даже вопроса о нем. Тем не менее, я говорю о работе де Мойвра, касающейся бинома, и о работе Лапласа, касающейся нормальных приближений для сумм симметричных случайных величин ... которые более непосредственно связаны с вопросом. Тем не менее, я добавлю предложение, касающееся работы Лапласа над этой проблемой (хотя это не будет называться так в течение другого столетия).

— Glen_b

11

«Нормальное» распределение определяется как конкретное распределение.

Вопрос в том, почему мы ожидаем, что это конкретное распределение будет общим по своей природе, и почему оно так часто используется в качестве приближения, даже если реальные данные точно не соответствуют этому распределению? (Реальные данные часто имеют «толстый хвост», т. Е. Значения, далекие от среднего, встречаются гораздо чаще, чем предсказывает нормальное распределение).

Другими словами, что особенного в нормальном распределении?

Нормаль имеет много «хороших» статистических свойств (см., Например, https://en.wikipedia.org/wiki/Central_limit_theorem ), но наиболее важным IMO является тот факт, что это функция «максимальной энтропии» для любого распределения с данное среднее значение и дисперсия. https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution

Чтобы выразить это на обычном языке, если вам даны только среднее значение (центральная точка) и дисперсия (ширина) распределения, и вы больше ничего не предполагаете, вы будете вынуждены нарисовать нормальное распределение. Все остальное требует дополнительной информации (в смысле теории информации Шеннона ), например асимметрии, для ее определения.

Принцип максимальной энтропии был введен Э.Т. Джейнсом как способ определения разумных априоров в байесовском выводе, и я думаю, что он был первым, кто обратил внимание на это свойство.

См. Это для дальнейшего обсуждения: http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/tutorials/Gaussian-distribution.pdf

— Gareth
источник

6

«Другими словами, если вам дается только среднее значение (центральная точка) и дисперсия (ширина) распределения, и вы больше ничего не предполагаете об этом, вы будете вынуждены нарисовать нормальное распределение». Я предполагаю, что это зависит от того, что является определением «принудительного». Вы можете быть вынуждены. Я не был бы. То, что вы описали, - это моральный эквивалент «принуждения» к предположению, что функция линейна, когда вы не знаете ее форму, или случайные переменные независимы, когда вы не знаете их точную зависимость. Я не имею и не буду вынужден делать какие-либо из этих предположений.

— Марк Л. Стоун

5

@Neil Я считаю, что часть мнения Марка может заключаться в том, что оправдание - это не принуждение.

— whuber

5

@ Нейл Далеко от этого! Сначала вы должны предположить, что принцип максимальной энтропии полезен и применим к вашей статистической проблеме. Затем вы должны быть абсолютно уверены, что больше ничего нельзя предположить о распределении. Оба из них являются проблематичными. (В большинстве статистических проблем, с которыми я столкнулся - за пределами теоретической физики - первое не было правдой; и я никогда не видел реальной проблемы, где последнее имеет место.)

— whuber

1

@ Нейл Марк и Уубер. Я попытался уточнить этот пункт. Я думаю, что «не предполагайте ничего другого» является разумным объяснением обычного языка того, что пытается сделать принцип максимальной энтропии. Будучи обычным языком, вы, конечно, можете по-другому интерпретировать его. Вот почему нам нужна математика. Более точное утверждение состоит в том, что мы не добавляем информацию в смысле Шеннона. Ссылки объясняют это дальше.

— Гар

1

@gareth равномерное распределение по всем реалам (что, я думаю, вы имели в виду в своем последнем комментарии) было бы крайне неподходящим. Ваше требование максимальной энтропии как вашего драйвера к нормальному распределению делает главное предположение; почему это более убедительно, чем предполагать что-то еще, например, минимальный диапазон?

— Генри

3

Нормальное распределение (ака « Гауссово распределение ») имеет прочную математическую основу. Центральная предельная теорема гласит , что если у вас есть конечное множество п независимые и одинаково распределенные случайные величины , имеющие определенное среднего значение и дисперсию, и вы берете среднее из этих случайных величин, распределение результата будет сходиться к гауссовскому распределению при п уходит в бесконечность. Здесь нет догадок, поскольку математический вывод приводит к этой конкретной функции распределения и никакой другой.

Чтобы выразить это более осмысленно, рассмотрим одну случайную переменную, такую как подбрасывание справедливой монеты (2 одинаково возможных результата). Вероятность получения определенного результата составляет 1/2 для головы и 1/2 для хвоста.

Если вы увеличите количество монет и отследите общее количество голов, полученных с каждым испытанием, вы получите биномиальное распределение , которое имеет примерно форму колокола. Просто нарисуйте число головок вдоль оси x и количество раз, когда вы перевернули столько головок вдоль оси y.

Чем больше монет вы используете, и чем чаще вы подбрасываете монеты, тем ближе график будет выглядеть, как кривая гауссова колокола. Это то, что утверждает Центральная предельная теорема.

Удивительно, что теорема не зависит от того, как на самом деле распределены случайные переменные, лишь бы каждая из них имела одинаковое распределение. Одна из ключевых идей теоремы заключается в том, что вы добавляете или усредняете случайные величины. Другая ключевая концепция заключается в том, что теорема описывает математический предел по мере того, как число случайных величин становится все больше и больше. Чем больше переменных вы используете, тем ближе распределение будет приближаться к нормальному распределению.

Я рекомендую вам взять класс по математической статистике, если вы хотите увидеть, как математики определили, что нормальное распределение на самом деле является математически правильной функцией для кривой колокола.

— user126665
источник

Спасибо за ваш вклад. Было бы правильно, если бы вы объяснили, что распределение суммы (или среднего значения) должно быть стандартизировано. В противном случае распределение суммы не приближается к пределу, а распределение среднего значения приближается к константе. Но как этот пост отвечает на поставленные вопросы? (Следует признать, что существуют различные вопросы, и они все запутаны и расплывчаты, но, похоже, они спрашивают о том, как формула для гауссовского PDF была обнаружена или получена.)

— whuber

2

Есть несколько отличных ответов на эту тему. Я не могу не чувствовать, что ОП не задавал тот же вопрос, на который все хотят ответить. Я понимаю, что это потому, что этот вопрос близок к тому, чтобы ответить на один из самых захватывающих вопросов - я действительно нашел его, потому что надеялся, что у кого-то возник вопрос: «Как мы узнаем, что обычный PDF - это PDF?» и я искал это. Но я думаю, что ответом на вопрос может стать демонстрация происхождения нормального распределения.

$n$ $n$ $np$ $np(1-p)$ $n\to\infty$ и замены факторных значений приближением Стирлинга.

$n\to\infty$ $p\to0$ $np=1$

$n=10$ $p=0.5$ $n=100$ $p=0.5$ $n$

Если я сейчас брошу 100 монет на землю и посчитаю, сколько голов я получу, я могу считать 0 голов или 100 голов, но я с большей вероятностью посчитаю число где-то посередине. Вы понимаете, почему эта гистограмма должна иметь форму колокола?

— birdsoong
источник

+1 - однако, обратите внимание, что я обсуждаю де Моивр в нескольких частях моего ответа. Вы можете найти заключительное примечание в моем ответе относительно расхождений в ссылках, которые интересны - на самом деле стоит посмотреть на то, что де Моивр написал, чтобы увидеть, насколько различные характеристики его работы, кажется, соответствуют. Конкретное обсуждение того, почему биномиальный cdf становится хорошо аппроксимируемым нормальным cdf при подходящих условиях, обсуждается в разделе Почему биномиальное распределение имеет форму колокола?

— Glen_b

1

Также упомянул бы вывод Максвелла-Гершеля о независимом многомерном нормальном распределении из двух предположений:

Распределение не зависит от поворота вектора.
Компоненты вектора независимы.

Вот экспозиция Джейнса

— Roah
источник