Есть ли статистический тест, который является параметрическим и непараметрическим?

20

Есть ли статистический тест, который является параметрическим и непараметрическим? Этот вопрос был задан группой интервью. Это правильный вопрос?

nonparametric terminology parametric

— Биостат
источник

1

Изучение записи в Википедии для непараметрической статистики может быть достаточно, чтобы подготовить вас к интервьюеру. Вы могли бы ответить на вопрос вопросом, например, «что вы подразумеваете под непараметрическими? Моделями без распределения или статистикой рангов?»

— jrhorn424

3

В качестве отправной точки это может помочь вам, как и вашим респондентам, проконсультироваться с органом (а не с Интернетом!) Относительно определений. « Параметрические случаи ... это все те, в которых класс всех [состояний природы] можно представить в виде вектора

состоящего из конечного числа вещественных компонентов естественным образом. (... распределение и Функция потерь зависит от

достаточно плавно.) Все остальные проблемы называются непараметрическими . - JC Kiefer, Введение в статистический вывод, стр. 23.

θ

$\theta$

θ

$\theta$

— whuber

Один из профессоров сказал мне, что «критерий хи-квадрат» имеет оба поведения (то есть параметрическое и непараметрическое). Я вообще не понимал, почему «критерий хи-квадрат» имеет оба поведения.

— Биостат

3

Это не параметрический тест , а модель . Распределения хи-квадрат возникают в обеих ситуациях (естественным образом в общей линейной модели с предположениями нормального распределения и в качестве приближения для разности логарифмических правдоподобий - оба они являются параметрическими приложениями), а также в качестве приближения для многочлена распределений, которые возникают во многих непараметрических приложениях), поэтому существует много разных тестов с общим названием «хи-квадрат». Это, вероятно, то, что предложил комментарий вашего профессора.

— whuber

@whuber: Означает ли ваш последний комментарий, что критерий хи-квадрат для определения пригодности непараметрический?

— Тим

6

Принципиально сложно точно сказать, что подразумевается под «параметрическим тестом» и «непараметрическим тестом», хотя существует множество конкретных примеров, в которых большинство согласится с тем, является ли тест параметрическим или непараметрическим (но никогда не бывает и тем, и другим). , Быстрый поиск дал эту таблицу , которая, как мне кажется, представляет собой общее практическое различие в некоторых областях между параметрическими и непараметрическими тестами.

Прямо над упомянутой таблицей есть замечание:

«... параметрические данные имеют нормальное нормальное распределение .... все остальное непараметрическое».

В некоторых областях может быть принятым критерием, что либо мы принимаем нормальность и используем ANOVA, и это параметрический, либо мы не предполагаем нормальность и не используем непараметрические альтернативы.

Возможно, это не очень хорошее определение, и, на мой взгляд, оно не совсем правильное, но это может быть практическое правило. Главным образом потому, что конечной целью в социальных науках, скажем, является анализ данных, и что хорошего в том, чтобы иметь возможность формулировать параметрическую модель на основе ненормального распределения и затем не иметь возможности анализировать данные?

Альтернативное определение состоит в том, чтобы определить «непараметрические тесты» как тесты, которые не полагаются на предположения о распределении и параметрические тесты, как что-либо еще.

Первое, а также второе приведенное определение определяют один класс тестов, а затем определяют другой класс как дополнение (все остальное). По определению это исключает, что тест может быть как параметрическим, так и непараметрическим.

Правда в том, что последнее определение также проблематично. Что если существуют определенные естественные «непараметрические» предположения, такие как симметрия, которые могут быть навязаны? Превратит ли это тестовую статистику, которая в противном случае не полагается на какие-либо предположения о распределении, в параметрический тест? Большинство скажет нет!

Следовательно, в классе непараметрических тестов есть тесты, которым разрешено делать некоторые предположения о распределении при условии, что они не являются «слишком параметрическими». Граница между «параметрическими» и «непараметрическими» тестами стала размытой, но я полагаю, что большинство будет придерживаться того, что либо тест является параметрическим, либо непараметрическим, возможно, это может быть ни одно, а утверждение, что он имеет мало смысла. $-$

С другой точки зрения, многие параметрические тесты являются (эквивалентными) тестами отношения правдоподобия. Это делает возможной общую теорию, и у нас есть единое понимание распределительных свойств тестов отношения правдоподобия при подходящих условиях регулярности. Непараметрические тесты, напротив, не эквивалентны тестам отношения правдоподобия как таковым нет вероятности и без объединяющей методологии, основанной на вероятности, мы должны получать результаты распределения в каждом конкретном случае. Теория эмпирического правдоподобия $-$ $-$ Разработанный в основном Арт Оуэном в Стэнфорде, это очень интересный компромисс. Он предлагает основанный на вероятности подход к статистике (для меня это важный момент, так как я рассматриваю вероятность как более важный объект, чем , скажем, значение) без необходимости типичных параметрических предположений о распределении. Фундаментальная идея - умное использование многочленного распределения на эмпирических данных, методы очень «параметрические», но действительные без ограничения параметрических допущений. $p$

Тесты, основанные на эмпирическом правдоподобии, имеют, IMHO, достоинства параметрических тестов и универсальность непараметрических тестов, поэтому среди тестов, которые я могу себе представить, они ближе всего подходят для квалификации как параметрических, так и непараметрических, хотя я бы Не используйте эту терминологию.

— NRH
источник

+1 Очень интересные комментарии. Поскольку граница становится «размытой», я воспринимаю это как правильное утверждение о восприятии, но в самих определениях нет размытости: различие между параметрическим и непараметрическим столь же ясно и четко, как и между, скажем, конечным и бесконечный.

— whuber

@whuber, относительно того, что «размыто», я имел в виду тот факт, что могут быть допущения о распределении и для непараметрических тестов, поэтому мое второе определение также не работает. Если я попытаюсь дать точное определение, параметрический тест основан на модели, которая может быть параметризована подмножеством конечного размерного евклидова пространства. Что я считаю наиболее «размытым», так это то, что мне неясно, как далеко от «никаких распределительных предположений» вы можете пройти, прежде чем непараметрические предположения станут такой же проблемой, как параметрические предположения.

— NRH

@whuber, я сейчас читаю ваш комментарий к вопросу со ссылкой на Кифера, и да, это определенно хорошая идея, чтобы проконсультироваться с властью для формального определения! На самом деле меня больше интересовало, что люди обычно имеют в виду, когда говорят «непараметрический», и я полагаю, что немногие имеют в своем уме определение Кифера.

— NRH

Смотрите мою цитату из Кифера в комментарии к первоначальному вопросу. В частности, «непараметрический» не означает «никаких распределительных предположений». Напротив, наиболее известные непараметрические тесты все делают дистрибутивные предположения. Я думаю, что я понимаю ваше чувство «размытости»: я выбрал конечную / бесконечную аналогию из уважения к этому, потому что на практике очень большое (но конечное) число параметров можно также считать бесконечным.

— whuber

2

Параметрический используется в (как минимум) двух значениях: A - чтобы объявить, что вы принимаете семейство распределения шума вплоть до его параметров. B - Чтобы заявить, что вы предполагаете конкретные функциональные отношения между объясняющими переменными и результатом.

Несколько примеров:

Квантильная регрессия с линейной связью будет квалифицироваться как B-параметрическая и A-непараметрическая.
Сплайн-сглаживание временного ряда с гауссовским шумом может оцениваться как A-непараметрический и B-параметрический.

Термин «полупараметрический» обычно относится к случаю B и означает, что вы не принимаете полное функциональное отношение, а скорее имеете более мягкие предположения, такие как «аддитивность в некотором плавном преобразовании предикторов».

Вы также можете иметь более мягкие предположения о распределении шума, такие как «все моменты конечны», без конкретного указания формы распределения. Насколько мне известно, нет термина для этого типа предположения.

Обратите внимание, что ответ связан с базовыми предположениями, лежащими в основе процесса генерации данных. Говоря «a-параметрический тест», обычно подразумевают непараметрический в смысле A. В этом вы и имели в виду то, что я отвечал «нет». Было бы невозможно быть параметрическим и непараметрическим в одном и том же смысле одновременно.

— JohnRos
источник

Два значения в первом параграфе часто встречаются в литературе как единое целое: то есть между ними нет фундаментального или важного различия. Кстати, случай «все моменты конечны», безусловно, является непараметрической проблемой.

— whuber

@whuber: определение в Keifer, кажется, охватывает оба случая (я признаю, я никогда не читал его и все еще ищу исключения). С другой стороны, термины меняют свое значение. «Эмпирический байесовский» больше не означает, для чего Роббинс использовал его в 1955 году. Нельзя игнорировать тот факт, что циркулирует более одной интерпретации.

— JohnRos

Хорошо, но мы должны быть немного разборчивы: очевидно, что многие интерпретации и попытки определения «параметрического» и «непараметрического» являются выражением невежества, а не понимания. Можете ли вы привести альтернативное определение, которое является одновременно ясным, строгим и авторитетным (точнее, авторитетным в том смысле, что оно будет принято без вопросов заслуживающим доверия рецензируемым журналом)?

— whuber

1

@whuber: я принимаю вызов! :-) Хотя обратите внимание, поскольку все исследователи начинают свои поиски в Википедии, это вопрос времени, когда заслуживающие доверия рецензируемые журналы приведут в соответствие с определением Вики. («Если вы не можете победить их ...»)

— JohnRos

1

В статье Википедии цитируется Вулфовиц 1940-х годов, который не только первым использовал «непараметрический», но и является одним из прямых интеллектуальных предков Кифера. Я не думаю, что мы найдем здесь реальную разницу. (Кифер только добавляет техническое требование к функции потерь.) Однако я подозреваю, что очень немногие (если таковые имеются) подлинные исследователи принимают Википедию как отправную точку, особенно не в областях с математическими основами!

— whuber

1

Я полагаю, это зависит от того, что они подразумевают под «параметрическим и непараметрическим»? В то же время точно оба, или смесь двух?

Многие считают, что модель пропорциональных рисков Кокса является полупараметрической, поскольку она не дает параметрической оценки базовой опасности.

Или вы можете просмотреть многие непараметрические статистические данные как массивно-параметрические.

— фомиты
источник

7

Это кажется уловкой. Вопрос состоит в том, оценивает ли человек различие между «параметрическим» и «непараметрическим», является ли оно четким или нет. Хороший ответ осветит это различие, а не запутает его.

— whuber

1

@whuber Какой "вопрос"? Панель или ОП? Потому что, на мой взгляд, ОП не исследует различия. Что означает, что это зависит от того, где люди проводят черту. Я не думаю, что приводить общий и философский пример «Ну, это зависит» - это хитрость. Я думаю, что это ответ. Например, хочет ли кто-то считать «параметрический» полностью параметрическим или просто иметь параметры.

— Fomite

Вопрос о том, «какой вопрос» хорош. Я думаю, что когда я начинаю испытывать некоторые затруднения с вашим ответом, он делает различия, которые, согласно моим ресурсам, не имеют смысла («смесь» бессмысленна, как и идея о том, что «статистика» может быть параметрической), что наводит на мысль о том, что Вы используете другое определение «параметрический» и «непараметрический», чем я. Хотя вы прекрасно понимаете, что ответ должен зависеть от того, что означают эти термины, на самом деле вы не предлагаете определение, чтобы сделать ваши последующие комментарии ясными или понятными.

— whuber

@ достаточно честно. Я обнаружил, что первоначальный вопрос был несколько бессмысленным, поэтому делал то, что мог. Теперь у вопроса есть лучшие ответы, которые делают некоторые предположения о том, что означает ОП.

— Fomite

0

Брэдли в своих классических статистических тестах без распределения (1968, стр. 15–16 - см. Этот вопрос для цитаты) разъясняет разницу между тестами без распределения и непараметрическими , которые, по его словам, часто связаны друг с другом, и дает Пример параметрического критерия без распределения в качестве критерия знака для медианы. В этом тесте не делается никаких предположений о базовом распределении выборочной совокупности значений переменных, поэтому он не распространяется . Однако, если выбранная медиана верна, значения выше и ниже ее следует выбирать с равной вероятностью, проверяя случайные выборки из $p=0.5$

Обновить

$(A \cap \neg A)$

— Авраам
источник

1

Мне нравится начало этого ответа, потому что он делает интересное различие и поддерживает его с хорошей ссылкой. Однако, мне кажется, что остальная часть ответа путает предположения о данных со свойствами тестовой статистики. Допущения теста знака действительно «бесплатны». Однако тот факт, что выборочное распределение тестовой статистики является биномиальным, является совершенно отдельным вопросом и не делает процедуру параметрической!

— whuber

Что ж, сам Брэдли называет тест Sign бесплатной, но параметрической на стр. 15. Поле для комментариев слишком мало, чтобы привести два ключевых предложения во всей их полноте. Пожалуйста, прочитайте другой ответ, в частности, предложения, которые начинаются с «Грубо говоря…» и «Чтобы быть полностью ясным…». Спасибо.

— Авраам

Если дело обстоит так с Брэдли, то либо значения этих терминов с тех пор изменились, либо (мне неприятно это говорить), вы неверно истолковали то, что он написал. (У меня нет доступа к копии, которую я могу проверить.) В настоящее время это определенно не так, как и в течение последних 30 лет, когда «параметрический» ссылается на распределение тестовой статистики. Смотрите цитату Вулфовица в статье в Википедии .

— whuber

2

F

$F$

Ω

$\Omega$

θ

$\theta$

2

Что бы это ни стоило, я посмотрел два других статистических текста: Вероятность и статистика ДеГрута (2-е изд, с. 520-521) и Введение Ларсона в Теорию вероятностей и статистический вывод (3-е издание, с. 508-509), и оба используют термин параметрическая означает , что Bradly называет распределение свободной , которая, как Кифер, я считаю. Итак, чтобы ответить на ОП, это зависит от того, как вы определяете «параметрический».

— Авраам