Что такое надежный статистический тест? Что такое мощный статистический тест?

Некоторые статистические тесты являются надежными, а некоторые нет. Что именно означает надежность? Удивительно, но я не смог найти такой вопрос на этом сайте.

Более того, иногда надежность и мощь теста обсуждаются вместе. И интуитивно я не мог различить эти два понятия. Что такое мощный тест? Чем он отличается от надежного статистического теста?

statistical-significance power robust

— Расстройство суточного биоритма в связи с дальним перелетом
источник

Мощность и надежность - это ортогональные понятия, даже если они являются двумя важными свойствами теста. Мне кажется, было бы лучше задать два отдельных вопроса.

— Стефан Коласса

Мы могли бы назвать устойчивость как свойство адаптированной процедуры, которая нечувствительна к нарушениям некоторых допущений ее основной теории.

— Firebug

Ответы:

Надежность имеет различные значения в статистике, но все они подразумевают некоторую устойчивость к изменениям в типе используемых данных. Это может показаться немного двусмысленным, но это потому, что устойчивость может относиться к различным видам нечувствительности к изменениям. Например:

Устойчивость к выбросам
Устойчивость к ненормальности
Устойчивость к непостоянной дисперсии (или гетероскедастичности)

В случае испытаний устойчивость обычно относится к тесту, который все еще остается действительным с учетом такого изменения. Другими словами, является ли результат значительным или нет, имеет смысл только при выполнении предположений теста. Когда такие предположения ослаблены (то есть не так важны), тест считается надежным.

Сила теста заключается в его способности обнаружить значительную разницу, если есть истинная разница. Причина, по которой конкретные тесты и модели используются с различными допущениями, заключается в том, что эти допущения упрощают проблему (например, для оценки требуется меньше параметров). Чем больше допущений делает тест, тем менее он надежен, потому что все эти допущения должны быть выполнены, чтобы тест был действительным.

С другой стороны, тест с меньшим количеством допущений является более надежным. Однако надежность обычно достигается за счет мощности, потому что либо используется меньшее количество информации из входных данных, либо необходимо оценить больше параметров.

$t$

$F$ $F$

— Франс Роденбург
источник

Ваш ответ очень ясен и прост для понимания. Я отредактировал вопрос, чтобы спросить больше о том, является ли тест, powerfulкак я вижу, вы обсуждали это в своем ответе. Не могли бы вы объяснить, что означает мощный тест?

— JetLag

Я включил краткое описание того, как это связано с силой теста.

— Франс Роденбург

Это отличный ответ, просто хочу добавить, что есть способы формализовать определение. Некоторые считают, что тест является надежным, если он имеет как надежность достоверности , то есть уровень значимости теста стабилен, учитывая небольшие отклонения от нуля, так и надежность эффективности , т.е. мощность все еще хороша, учитывая небольшие отклонения от указанной альтернативы; и эти качества могут быть определены количественно с помощью функций влияния .

— Фрэнсис

@ Эрик, разве эквивалентность верна только для двух групп?

— Секст Эмпирик

F

$F$

Формального определения «надежного статистического теста» не существует, но существует своего рода общее согласие относительно того, что это означает. На сайте Wikipedia есть хорошее определение этого (с точки зрения статистики, а не самого теста):

Надежная статистика - это статистика с хорошей производительностью для данных, полученных из широкого диапазона вероятностных распределений, особенно для ненормальных распределений.

https://en.wikipedia.org/wiki/Robust_statistics

— Роб Устинов
источник