Просмотр статистики в бумагах


43

Для некоторых из нас судейство документов является частью работы. При рассмотрении статей по статистической методологии, я думаю, что советы из других предметных областей довольно полезны, например, информатика и математика .

Этот вопрос касается рассмотрения более прикладных статистических работ. Под этим я подразумеваю, что статья представлена ​​в нестатистическом / математическом журнале, а статистика только что упоминается в разделе «методы».

Некоторые конкретные вопросы:

  1. Сколько усилий мы должны приложить, чтобы понять область применения?
  2. Сколько времени я должен потратить на отчет?
  3. Насколько вы разборчивы, когда смотрите на цифры / таблицы.
  4. Как вы справляетесь с недоступными данными?
  5. Вы пытаетесь перезапустить анализ, используемый.
  6. Какое максимальное количество статей вы бы рассмотрели за год?

Есть пропущенные вопросы? Не стесняйтесь редактировать или добавлять комментарии.

редактировать

Я подхожу к этому вопросу как статистик, рецензирующий биологическую статью, но меня интересует статистический обзор любой нематематической дисциплины.


Я не уверен, что это должен быть CW. С одной стороны это немного открыто, но с другой я вижу себя принимающим ответ. Кроме того, ответы, вероятно, будут довольно длинными.

Ответы:


21

Я не уверен, к какой области науки вы обращаетесь (я уверен, что ответ будет действительно другим, если, например, иметь дело с биологией против физики ...)

Во всяком случае, как биолог, я отвечу с «биологической» точки зрения:

Сколько усилий мы должны приложить, чтобы понять область применения?

Я склонен, по крайней мере, читать предыдущие статьи тех же авторов и искать несколько обзоров на эту тему, если я не слишком знаком с ними. Это особенно верно, когда я имею дело с новыми техниками, которых я не знаю, потому что мне нужно понять, все ли они правильно контролировали и т.д.

Сколько времени я должен потратить на отчет?

Столько, сколько нужно (ОК, тупой ответ, я знаю!: P) В общем, я не хотел бы, чтобы кто-то просматривал мою статью, чтобы выполнить приблизительную работу только потому, что у него / нее есть другие дела, поэтому я стараюсь не делать это сам ,

Насколько вы разборчивы, когда смотрите на цифры / таблицы.

Довольно придирчив. Цифры - это первое, на что вы обращаете внимание при просмотре бумаги. Они должны быть последовательными (например, правильные заголовки на осях, правильная легенда и т. Д.). Иногда я предлагал использовать другой тип графика для отображения данных, когда я думал, что использованный график не самый лучший. Это часто случается в биологии, в области, где преобладает тип графика «barplot +/- SEM». Я также довольно требователен к разделу «материалы и методы»: совершенный статистический анализ по своей сути неверной биологической модели совершенно бесполезен.

Как вы справляетесь с недоступными данными?

Вы просто делаете и доверяете Авторам, я полагаю. Во многих случаях в биологии вы мало что можете сделать, особенно когда имеете дело с такими вещами, как визуализация, поведение животных и тому подобное. Если вы не хотите, чтобы люди публиковали тонны изображений, видео и т. Д. (Которые вы, скорее всего, в любом случае не пройдете), но это может быть очень непрактично. Если вы считаете, что данные действительно необходимы, попросите авторов предоставить их в качестве дополнительных данных / рисунков.

Вы пытаетесь перезапустить анализ, используемый.

Только если у меня есть серьезные сомнения по поводу выводов, сделанных авторами. В биологии часто существует разница между тем, что является (или нет) «статистически значимым» и что «биологически значимым». Я предпочитаю более тонкий статистический анализ с хорошими биологическими рассуждениями, чем наоборот. Но опять же, в очень маловероятном случае, когда я должен был просмотреть документ по биостатистике (ахах, это было бы забавно !!!), я, вероятно, уделил бы гораздо больше внимания статистике, чем биологии там.


6
Я бы дал почти такой же ответ, но здесь он также и хорошо сформулирован. Позвольте мне добавить две вещи, основанные на опыте. Во-первых, я обнаружил, что почти всегда стоит повторить любой анализ, который я только смогу: он служит для проверки моего понимания и чаще, чем можно было бы ожидать, выявляет ошибки в самой статье. Во-вторых, важно найти ключевые ссылки и найти собственные ссылки, выполнив поиск в Интернете фраз в статье. В последнее время значительный вклад вносят (авто) плагиаты или лысые попытки вытащить еще одну статью из старой работы.
whuber

Я добавил дополнительный вопрос. Если это не слишком много хлопот, не могли бы вы обновить свой ответ?
csgillespie

1
@csgillespie: Я думаю, что я слишком рано в своей карьере, чтобы ответить на это, так как меня, вероятно, не просят рецензировать столько статей, сколько кто-то с большим опытом, чем я. Я думаю, что @whuber ответ имеет большой смысл, хотя.
Нико

16

Это отвечает на новый вопрос № 6: «Какое максимальное количество статей вы бы просмотрели за год?» Я отвечаю как член нескольких редакций. Извечная проблема - найти достаточно рецензентов. В зависимости от журнала, каждая представленная статья требует от одного до трех рецензентов, обычно три. Если журнал имеет коэффициент принятия в %, то среднее число рецензий на принятый документ, очевидно, составляет около . Например , если коэффициент принятия составляет 33%, редакторы должны получить девять рецензий на каждую опубликованную статью. Если вы, как автор, относитесь к этому серьезно, то вам следует попытаться предоставить девять рецензий (или любое другое число для ваших целевых журналов) для каждой публикуемой вами статьи!x3/(x/100)

Я был вынужден написать это из-за сильной параллели с голосованием на этом сайте: для того, чтобы вы заработали репутацию , другие люди должны поднять некоторую комбинацию ваших ответов и ваших вопросов. Таким образом, если вы тянете свой вес, проверка вашего профиля должна показать не менее голосов. Это относится ко многим, но, конечно, не ко всем наиболее активным участникам этого сайта. Есть о чем подумать ... Не забудьте проголосовать!rr/10r/5 r/10


1
@chl из всех людей здесь, вы должны быть меньше всего обеспокоены достаточным голосованием!
whuber

1
@chl: вы установили высокую планку во всех отношениях! :) Возможно, нашим первым проектом polystats следует настроить некоторые сценарии для поддержки и обновления набора диаграмм, таких как: meta.stats.stackexchange.com/questions/314/…
ars

11

Мой POV будет рецензировать статью по психологии или прогнозировать ее статистические достоинства. В основном я поддержу очень хорошие замечания Нико.

Сколько усилий мы должны приложить, чтобы понять область применения?

На самом деле довольно много. Я бы не стал доверять себе, чтобы прокомментировать больше, чем самые основные статистические проблемы, не разбираясь в этой области. К счастью, это часто не очень сложно во многих областях психологии.

Сколько времени я должен потратить на отчет?

Я выйду на конечность и укажу определенное время: я потрачу на обзор от двух до восьми часов, иногда больше. Если я обнаружил, что я трачу больше одного дня на бумагу, это, вероятно, означает, что я действительно недостаточно квалифицирован, чтобы понять это, поэтому я рекомендую журналу найти кого-то другого (и постараюсь предложить некоторых людей).

Насколько вы разборчивы, когда смотрите на цифры / таблицы.

Очень придирчивый действительно. Цифры будут тем, что люди помнят о работе, и тем, что заканчивается лекциями без особого контекста, так что это действительно нужно делать хорошо.

Как вы справляетесь с недоступными данными?

В психологии данные, как правило, не передаются: измерение 50 человек с помощью МРТ очень дорого, и авторы захотят использовать эти данные для дальнейших работ, поэтому я понимаю их нежелание просто выдавать данные. Таким образом, любой, кто делится своими данными, получает большой бонус в моей книге, но не делиться им понятно.

При прогнозировании многие наборы данных общедоступны. В этом случае я обычно рекомендую авторам делиться своим кодом (и делаю это сам).

Вы пытаетесь перезапустить анализ, используемый.

Без данных можно извлечь из этого очень многое. Я поиграюсь с симулированными данными, если что-то очень удивительное в результатах статьи; в противном случае часто можно отличить подходящие методы от неподходящих без данных (как только вы поймете область, см. выше).

Какое максимальное количество статей вы бы рассмотрели за год?

В самом деле, мало что можно добавить к вышеприведенному пункту - если предположить, что каждая статья с в среднем n соавторов, которую я (со) представляю, получает 3 рецензии, нужно действительно стремиться рецензировать не менее 3 / ( n + 1 ) статей для каждого отдельного представления. (считая представленные материалы, а не собственные документы, которые могут быть отклонены и представлены повторно). И, конечно же, количество заявок, а также количество соавторов сильно зависит от дисциплины.


Я добавил дополнительный вопрос. Если это не слишком много хлопот, не могли бы вы обновить свой ответ?
csgillespie

1
Интересно, что большинство исследователей в области генетики поощряются или рады (это зависит от обзора) сделать данные доступными. Я также напоминаю о @csgillepsie хороший ответ о воспроизводимых исследованиях , stats.stackexchange.com/questions/1980/…
chl

@chl: да, доступность данных во многом зависит от дисциплины, и я хотел бы видеть больше этого в «основной» психологии - я просто не могу вспомнить, чтобы видел один экземпляр психической бумаги, которая действительно выдавала данные.
С. Коласса - Восстановить Монику
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.