Существуют ли высоко цитируемые статьи по статистике, которые фактически распространяют плохую статистическую практику?

Очевидно, существует множество способов злоупотребления статистическими методами. Знаете ли вы о каких-либо примерах плохой статистической практики, которые были впервые опубликованы в качестве явного совета (например, «вы должны использовать этот метод для…») в авторитетных научных журналах, которые затем неоднократно цитировались?

Примером может служить правило 10 событий на предиктор, которое часто вызывается для логистических моделей или моделей регрессии Кокса PH ( LINK ).

Чтобы быть ясным, я не имею в виду цитируемые статьи, в которых использовались методы плохой статистики - к сожалению, они довольно распространены.

Р.А. Фишер, "Организация полевых экспериментов". Журнал Министерства сельского хозяйства Великобритании. 33: 503–513. 1926.

$\alpha = 0.05$

... удобно провести черту примерно на том уровне, на котором мы можем сказать: «Либо в лечении что-то есть, либо произошло совпадение, такое, которое не происходит более одного раза в двадцати испытаниях».

... Если один из двадцати не имеет достаточно высоких шансов, мы можем, если захотим, провести черту в соотношении один из пятидесяти (точка 2%) или один из ста (точка 1%). Лично автор предпочитает устанавливать низкий уровень значимости на уровне 5 процентов и полностью игнорировать все результаты, которые не достигают этого уровня. Научный факт следует рассматривать как экспериментально установленный, только если правильно спланированный эксперимент редко не дает такого уровня значимости.

В эконометрике вы, безусловно, можете найти некоторые примеры распространенных методов известных (и высококвалифицированных) эконометристов, опубликованных в приличных журналах. Я не знаю теоретической статьи, но Лалонд (1986) довольно известен тем, что указывает на то, что используемые в настоящее время методы не очень хороши: он сравнивает те же экспериментальные методы набора данных с наблюдательными и обнаруживает большие различия в области (причинной) обработки оценка . Существует большая литература, которая распространяла эти не экспериментальные методы, которые использовались тогда и которые часто используются до сих пор.

Впоследствии были (и я думаю, что все еще) дебаты о том, является ли сопоставление оценки склонности возможным решением (см., Например, здесь ).

Кроме того, существует много противоречий по поводу оценки инструментальных переменных . Выводы цитируемых оригинальных работ были оспорены. Это, наверное, самый близкий пример к вашему вопросу. Bound и Jaeger (1996, и последующие статьи) подвергли сомнению результаты хорошо известной статьи Angrist and Krueger (1991; 2700 ссылок по данным Google Scholar), в которой в литературе по прикладной эконометрике был основан метод инструментальных переменных.

Также ведутся широкие дебаты по поводу уместности так называемых оценок приведенных форм для установления причинности, см., Например, Imbens (2010) .

Другая большая тема, конечно же, о стандартной ошибке. Возможно, можно найти известную статью о распространении p-значений. В эконометрике стандартная ошибка для более длинных временных рядов часто неправильно просчитывается (при расчете разности в разнице ) из-за неправильных существующих методов, см. Здесь . Однако я не знаю оригинальной цитируемой статьи, предлагающей эти методы в этом контексте, но я уверен, что вы найдете несколько примеров в этой области.

Источники:

Angrist, Joshua D. и Alan B. Keueger. «Влияет ли обязательное посещение школы на обучение и заработок?» Ежеквартальный журнал экономики 106, нет. 4 (1991): 979-1014.

Бертран, Марианна, Эстер Дюфло и Сендхил Малленатан. «Насколько мы должны доверять оценкам различий в различиях?». Ежеквартальный экономический журнал 119, нет. 1 (2004): 249-275.

Связанные, Джон и Дэвид А. Джегер. Об обоснованности сезона рождения как инструмента в уравнениях заработной платы: комментарий к Angrist & Krueger "Влияет ли обязательная школьная посещаемость на Scho. № w5835. Национальное бюро экономических исследований, 1996.

Дехеджиа, Раджив. «Практическое совпадение показателей склонности: ответ Смиту и Тодду». Журнал эконометрики 125, нет. 1-2 (2005): 355-364.

Имбенс, Гвидо В. «Лучше ПОЗДНО, чем ничего: некоторые комментарии к Дитону (2009) и Хекману и Урсуа (2009)». Журнал экономической литературы 48, нет. 2 (2010): 399-423.

LaLonde, Robert J. «Оценка эконометрических оценок учебных программ с экспериментальными данными». Американский экономический обзор (1986): 604-620. *

Я попробую (хотя и не так сильно):

Очень полезно [Камерон, AC, & Miller, DL (2015). Практическое руководство по кластерно-устойчивому выводу. Journal of Human Resources, 50 (2), 317-372.] // уже 1900 цитирований учёных Google // дает советы относительно соответствующего уровня кластеризации стандартных ошибок:

«Консенсус заключается в том, чтобы быть консервативным и избегать предвзятости и использовать более крупные и более совокупные кластеры, когда это возможно, вплоть до точки, в которой существует обеспокоенность по поводу слишком малого количества кластеров».

Однако [Abadie, A., Athey, S., Imbens, GW, & Wooldridge, J. (2017). Когда следует корректировать стандартные ошибки для кластеризации? (№ w24003). Национальное бюро экономических исследований.] Показывает, что «на самом деле вред кластеризации на слишком агрегированном уровне». Пожалуйста, смотрите страницу 1 позже: https://economics.mit.edu/files/13927

Возможно, вам также удастся привести более убедительные аргументы, исходя из двух заблуждений, отмеченных Abadie et al (2017).