Приспосабливая укоренившиеся представления значений p

Иногда в отчеты я включаю заявление об отказе от p-значений и другую логическую статистику, которую я предоставил. Я говорю, что, поскольку выборка не была случайной, такая статистика не будет строго применяться. Моя конкретная формулировка обычно приводится в сноске:

«В то время как, строго говоря, логическая статистика применима только в контексте случайной выборки, мы придерживаемся соглашения, сообщая об уровнях значимости и / или доверительных интервалах в качестве удобных критериев даже для неслучайных выборок. См. Статистический вывод Майкла Оукса : комментарий к социальным и поведенческие науки (NY: Wiley, 1986).

Пару раз - один раз для рецензируемой статьи, один или два раза в неакадемической обстановке - редактор или рецензент возразили против этого отказа от ответственности, назвав его запутанным, и посчитали, что выводы должны просто стоять как написано (и получить мантию власти). Кто-нибудь еще сталкивался с этой проблемой и нашел хорошее решение? С одной стороны, понимание людьми р-значений, как правило, мрачно, даже в контексте случайной выборки, поэтому, возможно, не имеет большого значения, что мы говорим. С другой стороны, дальнейшее недопонимание, по-видимому, составляет одну часть проблемы. Я должен добавить, что я часто имею дело с исследованиями, в которых случайное распределение не применяется и где симуляции Монте-Карло часто не решают проблему репрезентативности.

Действительно, есть аргумент, чтобы не включать отказ от ответственности. Честно говоря, я бы нашел небольшой трактат о природе p-значений в журнальной статье, который немного отталкивает, и на мгновение пришлось бы остановиться и попытаться выяснить, не сделали ли вы что-то особенно ... .esoteric ... оправдать выделение этого места для определения.

Как рецензент, я бы назвал это ненужным, потому что читатель уже должен знать, что такое p-значение и что оно делает. Я мог бы даже возразить против этого, потому что создание такой заметки на самом деле не предотвращает ни одно из многих преступлений анализа и интерпретации, которые сопровождают р-значения, это просто надевает плащ «доверяй мне, я знаю, что я делаю». Это также немного странно - «Я собираюсь сделать смелое выступление против p-значений, но не настолько смелое, я не сообщу о них».

Когда я рассматриваю «укоренившиеся представления о p-значениях», я гораздо меньше беспокоюсь о чем-то вроде того, что вы опубликовали выше, и гораздо больше беспокоюсь о настойчивости рецензентов в статистической значимости для публикации или в фокусе статьи ( звезда, обнаруженная и внезапно ставшая большой выгодой) или сочетающая статистическую значимость со значением открытия.

Использование логической статистики может быть оправдано не только на основе популяционной модели, но и на основе модели рандомизации. Последний не делает никаких предположений о том, как был получен образец. Фактически, именно Фишер предположил, что модель рандомизации должна быть основой для статистического вывода (в отличие от Неймана и Пирсона). Смотрите, например:

Ernst, MD (2004). Методы перестановок: основа для точного вывода. Статистическая наука, 19, 676-685. [ссылка (открытый доступ)]

Ludbrook, J. & Dudley, H. (1998). Почему перестановочные тесты превосходят t и F тесты в биомедицинских исследованиях. Американский статистик, 52, 127-132. [ссылка (если у вас есть доступ к JSTOR)]

Я почему-то сомневаюсь, что редакторы или рецензенты использовали это как причину для того, чтобы назвать ваш отказ от ответственности «запутанным».

$p$значения на самом деле необходимо сообщать, несмотря на их ничтожную недействительность в проблемном исследовании (класс, в который попадает слишком много опубликованных статей), их можно неявно преуменьшать. Вместо этого подумайте о том, чтобы сфокусировать свое повествование - возможно, даже исключительно - на эффектах. Если ваше исследование является достаточно репрезентативным, чтобы быть полезным информативным (это не должно требовать совершенно случайной выборки, только осторожность в общности интерпретаций), размеры вашего эффекта должны иметь более широкие последствия, чем просто указание на существование и направления отношений или различий в любом случае. Сосредоточение дискуссии на размерах эффекта может способствовать более глубокому пониманию того, насколько важны отношения или различия в практическом смысле, хотя это все еще необходимо учитывать в контексте предмета исследования (например,$r = .03$$p$$p$$p$

Другим, потенциально дополнительным вариантом будет расширение вашей сноски. Как ваши описания проблемы, которую испытали рецензенты, так и принятый в настоящее время ответ на этой странице, указывают на то, что недостаточно информации, чтобы объяснить вашу мотивацию для включения сноски, или недостаточно, чтобы мотивировать читателя следовать вашей цитате к ссылке. что вы используете, чтобы объяснить это так кратко. Одно дополнительное предложение, даже краткая цитата из вашей ссылки, может в значительной степени объяснить ценность вашей сноски и побудить читателей читать глубже. Очевидно, что ваша сноска как можно раньше мотивирует простую, негативную, пренебрежительную реакцию на вашу заниженную попытку нарушить их самодовольство по поводу их неправильных предположений. Читатели могут быть немного менее интеллектуально ленивы, если вы кормите их одним или двумя главными пунктами о проблемах, которые они, вероятно, упускают из виду. Кроме того, для многих особых проблем с$p$

$p$

• Что означает значения p и t в статистических тестах?
• Понимание р-значения

$p$$p$$p$

Ссылки

<sup>- Goodman, SN (1992). Комментарий к репликации, P-значения и доказательства. Статистика в медицине, 11 (7), 875–879.
- Goodman, SN (2001). Из P -значения и Байеса: скромное предложение. Эпидемиология, 12 (3), 295–297. Получено с http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf .
- Goodman S. (2008). Грязная дюжина: двенадцать неправильных представлений о P- значении. Семинары по гематологии, 45 (3), 135–140. Получено с http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .
- Горроохурн П., Ходж С.Е., Хейман Г.А., Дюрнер М. и Гринберг Д.А. (2007). Отсутствие репликации ассоциативных исследований: «псевдо-неудачи» для репликации? Генетика в медицине, 9 (6), 325–331. Получено с http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .
- Hurlbert, SH & Lombardi, CM (2009). Окончательный крах теоретической основы решения Неймана – Пирсона и рост неофишерианства. Annales Zoologici Fennici, 46 (5), 311–349. Получено с http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .
- Лью, МДж (2013). К P или нет к P: Об доказательной природе P-значений и их месте в научном заключении. arXiv: 1311.0081 [stat.ME]. Полученное изhttp://arxiv.org/abs/1311.0081 .
- Нуццо Р. (2014, 12 февраля). Научный метод: статистические ошибки. Новости природы, 506 (7487). Получено с http://www.nature.com/news/scientific-method-statistical-errors-1.14700 .
- Розенталь Р., Роснов Р.Л. и Рубин Д.Б. (2000). Контрасты и величины эффекта в поведенческих исследованиях: корреляционный подход. Издательство Кембриджского университета.
- Senn S. (2001). Два ура для P-значений? Журнал эпидемиологии и биостатистики, 6 (2), 193–204. Получено с http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .
- Wagenmakers, EJ (2007). Практическое решение распространенных проблемр значения. Psychonomic Bulletin & Review, 14 (5), 779–804. Получено с http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .</sup>