Являются ли большинство опубликованных корреляций в социальных науках ненадежными и что с этим делать? [закрыто]

9

Несмотря на важные, но отвратительные попытки отдельных людей «разобраться» в хищнических журналах , большая и более фундаментальная угроза вырисовывается в тени исследований в области социальных наук ( хотя, безусловно, существует множество проблем, которые исследователи должны решить ). Чтобы перейти непосредственно к точке зрения, согласно одной точке зрения, мы не можем доверять коэффициентам корреляции, полученным из выборок, меньших 250 .

Можно было бы с трудом найти тест, на который больше полагались бы, чтобы вывести наличие, направление и силу связи между мерами в социальной науке, чем надежный коэффициент корреляции. Тем не менее, не составит труда найти рецензируемые отчеты , в которых будут содержаться серьезные утверждения о связи между двумя конструкциями на основе коэффициентов корреляции, рассчитанных на основе данных менее чем 250 случаев.

Учитывая текущий кризис репликации, стоящий перед общественными науками (см. Вторую ссылку выше), как мы должны рассматривать этот отчет относительно стабилизации коэффициентов корреляции только в больших выборках (по крайней мере, по некоторым полевым стандартам социальных наук)? Это еще одна трещина в стене рецензируемых исследований в области социальных наук, или это относительно тривиальный вопрос, который был раздут в его презентации?

Поскольку, скорее всего, нет единственно правильного ответа на этот вопрос, я надеюсь вместо этого создать поток, где ресурсы по этому вопросу могут быть разделены, вдумчиво рассмотрены и обсуждены (конечно, вежливо и с уважением).

correlation methodology publication-bias

— Мэтт Барстед
источник

Я признаю, что это вопрос, основанный на мнении, который не соответствует общим правилам сайта. Дело в том, что широкий круг людей приходит на этот сайт для ознакомления со статистикой, включая лучшее понимание подводных камней, присущих методам, которые они стремятся использовать. Я надеюсь, что, поставив этот широкий вопрос, я смогу помочь с этой заведомо смутной целью. Научиться вычислять стандартную ошибку - это одно. Узнать, что значит владеть им при принятии предположительно основанного на фактических данных решения, - это другое.

— Мэтт Барстед

Еще хуже то, как выбираются эти «обязательные 250» дел. Я все чаще и чаще вижу, что кто-то публикует просьбу о проведении опроса, необходимого ему для публикации статьи или тезиса, на сайте социальной сети. В комплекте с темой опроса. Совершенно не знаю, как люди будут выбирать сам. Прощай случайные выборки, так как люди в чьей-то социальной группе не случайны, обычно принадлежат к сходным идеологическим / политическим / экономическим группам, а также выбирают сами, основываясь на том, насколько они заинтересованы в данной теме. Подсказка «90% в пользу Х» только потому, что те, кто безразличен, не стали добровольцами.

— 17

7

$\rho$ $L = 0.3$ $\rho \ne 0$ $|\rho| > L$ $\rho$ $L$ $-L$

Конечно, простое добавление доверительного интервала и использование значимых тестов не решит слишком много проблем (например, неправильные схемы выборки, пропущенные факторы и т.д.). Но это в основном бесплатно. Я предполагаю, что даже SPSS может рассчитать их!

— Майкл М
источник

1

Действительно, если SPSS может сделать это ... На более серьезной ноте, я думаю, что идея сделать упор на КИ имеет большой смысл. Это также поможет в мета-аналитических усилиях. Кроме того, мне кажется, что сообщение о КИ вместо значений р является частым приближением байесовского подхода. Я всегда думал, что байесовские модели имеют тенденцию «чувствовать» более честно, поскольку они сосредоточены на моделировании распределения оценок, а не на поиске максимально вероятной оценки для параметра совокупности, полученного из одной выборки.

— Мэтт Барстед

4

Как отмечает Майкл М. , достоверность сообщаемых корреляций - или любой другой оценки - может быть оценена с использованием доверительных интервалов. В некоторой степени это так. КИ будут слишком узкими, если модели будут выбраны после сбора данных, что, по моим оценкам, происходит в 95% случаев в социальных науках (что я честно скажу - мое полное предположение).

Лекарство имеет два аспекта:

Мы говорим о « кризисе воспроизводимости ». Таким образом, неудачные репликации сообщают нам, что первоначальный эффект, вероятно, был просто случайным шумом. Нам нужно сделать (и финансировать, и написать, и представить, и принять) больше копий. Исследования репликации постепенно набирают респектабельность, и это хорошо.
$n$

— Стефан Коласса
источник

@ Стефан, вопрос: что означает «тиражирование», если использовать одинаковые или разные данные для воспроизведения исходного исследования? Есть ли разница между репликацией и повторяемостью?

— синоптик

К вашему первому замечанию, я думаю, что в последние несколько лет наблюдалось реальное движение в области воспроизводимости. В следующей главе предлагается несколько советов для исследователей эмоций, которые, как мне кажется, хорошо отражаются на ряде подполей в поведенческой науке.

— Мэтт Барстед

@forecaster: репликация должна выполняться с независимо собранными новыми данными, иначе вы не узнаете ничего нового . «Повторяемость» - это не термин, с которым я сталкивался. Конечно, всегда возникает вопрос о том, является ли оригинальная публикация достаточно подробной, чтобы кто-то еще мог фактически повторить анализ.

— Стефан Коласса