История и происхождение
Согласно Роберту Д. Казинсу и Томмазо Дориго , происхождение порогового значения лежит в ранней работе по физике элементарных частиц 60-х годов, когда многочисленные гистограммы экспериментов по рассеянию были исследованы и искали пики / удары это может указывать на недавно обнаруженную частицу. Порог - это грубое правило, учитывающее множественные сравнения.12 5σ25σ
Оба автора ссылаются на статью Розенфельда 1968 года , в которой рассматривался вопрос о том, существуют ли далекие мезоны и барионы, для которых было измерено несколько эффектов. Статья ответила на вопрос отрицательно, утверждая, что количество опубликованных претензий соответствует статистически ожидаемому количеству колебаний. Наряду с несколькими расчетами, поддерживающими этот аргумент, в статье предлагалось использовать уровень :34σ5σ
Розенфельд: «Прежде чем мы приступим к обзору отдаленных масс-спектров, где отмечены удары в
мы должны сначала решить, что порог значимости для спроса в 1968 году. Я хочу показать вам, что, хотя экспериментаторы, вероятно, должны отмечать эффекты, теоретики и феноменологи лучше подождать, пока эффект достигнет ".(Kππ)3/2,(πρ)−−3σ>4σ
и позже в газете (акцент мой)
Розенфельд: «Тогда, чтобы повторить мое предупреждение в начале этого раздела; мы генерируем не менее 100 000 потенциальных ударов в год, и следует ожидать нескольких колебаний и сотен . Каковы последствия? Для теоретика или феноменолог мораль проста: жди эффектов ".4σ3σ5 σ5σ
Томмазо, кажется, осторожен, заявляя, что это началось со статьи Розенфельда
Томмазо: «Тем не менее, мы должны отметить, что статья была написана в 1968 году, но строгий критерий пяти стандартных отклонений для заявлений об обнаружении не был принят в семидесятых и восьмидесятых годах. Например, не использовался такой термин, как критерий пяти сигм» за открытие бозонов W и Z, которые в 1984 году принесли Руббии и Ван дер Мееру Нобелевскую премию по физике ».
Но в 80-х годах использование было распространено. Например, астроном Стив Шнайдер упоминается в 1989 году , что она что - то преподается (подчеркнуть мое в цитате ниже):5σ44
Шнайдер: «Часто« уровни достоверности »в 95% или 99% приводятся для явно несоответствующих данных, но это составляет всего две или три статистические сигмы. Меня учили не верить ничему, кроме пяти сигм , что, если вы думаете, это абсурдно строгое требование - что-то вроде уровня достоверности 99,9999%. Но, конечно, такой предел используется, потому что фактический размер сигмы почти никогда не известен. В астрономии слишком много свободных переменных, которые мы можем не контролируете или не знаете.
Тем не менее, в области физики элементарных частиц многие публикации до сих пор основаны на расхождениях вплоть до конца 90-х годов. Это только изменилось на в начале 21-го века. Вероятно, это предписано в качестве руководства для публикаций около 2003 года (см. Пролог в книге Франклина «Стандарты изменения» )4σ5σ55
Франклин: К 2003 году критерий «наблюдения за 5» для стандартного отклонения, похоже, уже действовал
...
Член коллаборации BaBar напоминает, что примерно в это же время редакторы Physical Review Letters выпустили критерий 5 сигм в качестве руководства.
Современное использование
В настоящее время порог является стандартом учебника. Например, это встречается в виде стандартной статьи на phys.org или в некоторых работах Глена Коуэна, таких как раздел статистики в обзоре физики частиц из группы данных частиц (хотя и с несколькими критическими идентификаторами)5σ6 767
Глен Коуэн: Часто в HEP уровень значимости, когда говорят, что эффект считается открытием, равенZ=5 , то есть эффект , соответствующий p-значению , Однако фактическая степень уверенности в том, что новый процесс присутствует, будет в целом зависеть и от других факторов, таких как достоверность гипотезы нового сигнала и степень, в которой он может описывать данные, уверенность в модели, которая привело к наблюдаемому p-значению и возможным поправкам для нескольких наблюдений, из которых основное внимание уделяется наименьшему полученному p-значению («эффект поиска в другом месте»).5σ2.87×10−7
Использование уровня теперь объясняется четырьмя причинами:5σ
История, основанная на практике, показала, что - это хороший порог. ( кажется, что экзотические вещи случаются случайно, даже между и сигмами , как в последнее время избыток дифотона 750 ГэВ )5σ3 σ 4 σ3σ4σ
Эффект поиска в другом месте (или множественные сравнения ). Либо потому, что проверяются несколько гипотез, либо потому, что эксперименты проводятся много раз, люди приспосабливаются к этому (очень приблизительно), устанавливая ограничение на . Это относится к аргументу истории.5σ
Систематические эффекты и неопределенность вσ часто неопределенности результатов эксперимента не очень хорошо известны. происходит, но вывод включает в себя слабые предположения , такие как отсутствие систематических эффектов, или возможность игнорировать их. Увеличение порога, кажется, является своего рода защитой от этих событий. (Хотя это немного странно. Вычисленная не имеет отношения к размеру систематических эффектов, и логика разрушается, примером является «открытие» сверхсветовых нейтрино, которое, как сообщалось, имеет значение .)σσ6 σ6σ
Чрезвычайные требования требуют чрезвычайных доказательств. Научные результаты часто публикуются, например, с использованием доверительных интервалов или значений p. Но они часто интерпретируются байесовским способом. Уровеньсчитается ответственным за это.5σ
В настоящее время Луи Лайонс написал несколько критических замечаний по поводу порога , а также ранее упомянутые статьи Роберта Д. Казинса и Томмазо Дориго содержат критические замечания.5σ8 , 9 1 28,912
Другие поля
Интересно отметить, что многие другие научные области не имеют аналогичных порогов или не занимаются каким-либо образом этой проблемой. Я полагаю, что это имеет некоторый смысл в случае экспериментов с людьми, когда очень дорого (или невозможно) продлить эксперимент, который дал бы значение 0,05 или 0,01.
Результатом игнорирования этих эффектов является то, что более половины опубликованных результатов могут быть ошибочными или, по крайней мере, не воспроизводимыми (Моня Бейкер аргументировала это в случае психологии , и я полагаю, что есть много другие, которые приводили аналогичные аргументы. Я лично думаю, что в науке о питании ситуация может быть еще хуже). И теперь люди из других областей, кроме физики, думают о том, как им следует решать эту проблему (случай медицины / фармакологии ).101111
Кузены Р.Д. (2017). Парадокс Джеффриса – Линдли и критерии открытия в физике высоких энергий. Synthese, 194 (2), 395-432. архивная ссылка
Дориго, т. (2013), демистифицируя критерий пяти сигм, от science20.com 2019-03-07
Розенфельд А.Х. (1968). Есть ли отдаленные мезоны или барионы? Источник: escholarship
Бербидж Г., Робертс М., Шнайдер С., Шарп Н. и Тиффт В. (1990, ноябрь). Панельная дискуссия: Проблемы, связанные с Redshift. В публикации конференции НАСА (том 3098, стр. 462). ссылка на фотокопию на harvard.edu
Франклин А. (2013). Изменяющиеся стандарты: эксперименты по физике элементарных частиц в двадцатом веке. Университет Питтсбург Пресс.
Что означает 5 сигма? from physics.org 2019-03-07
Beringer, J., Arguin, JF, Barnett, RM, Copic, K., Dahl, O., Groom, DE, ... & Yao, WM (2012). Обзор физики элементарных частиц. Физический обзор D-частицы, поля, гравитация и космология, 86 (1), 010001. (раздел 36.2.2. Тесты значимости, стр. 394, ссылка aps.org )
Lyons, L. (2013). Открытие значения 5 сигм. Препринт arXiv arXiv: 1310.1284. архивная ссылка
Лион Л. (2014). Статистические проблемы в поисках новой физики. препринт arXiv ссылка arxiv
Бейкер М. (2015). Более половины психологических исследований не проходят тест на воспроизводимость. Новости природы. от nature.com 2019-03-07
Хортон Р. (2015). Оффлайн: что такое 5 сигма медицины? The Lancet, 385 (9976), 1380. от thelancet.com 2019-03-07