Пример, где принцип правдоподобия * действительно * имеет значение?

Существует ли пример, в котором два различных защищаемых теста с пропорциональными правдоподобиями приведут один к заметно различным (и одинаково оправданным) выводам, например, где значения p на порядок величин далеко друг от друга, но мощность альтернатив аналогична?

Все примеры, которые я вижу, очень глупы, сравнивая бином с отрицательным биномом, где значение p первого равно 7%, а второго 3%, которые «отличаются» только тем, что один принимает двоичные решения на произвольных порогах значения, например, 5% (что, кстати, является довольно низким стандартом для умозаключений) и даже не удосуживаются взглянуть на мощность. Если я изменю порог на 1%, например, оба приведут к одному и тому же выводу.

Я никогда не видел пример, где это привело бы к заметно другим и оправданным выводам. Есть ли такой пример?

Я спрашиваю, потому что я видел столько чернил, потраченных на эту тему, как будто принцип правдоподобия является чем-то фундаментальным в основах статистического вывода. Но если лучшим примером являются глупые примеры, подобные приведенному выше, то принцип кажется совершенно несущественным.

Таким образом, я ищу очень убедительный пример, где, если кто-то не следует LP, вес свидетельства в подавляющем большинстве случаев будет указывать в одном направлении, учитывая один тест, но, в другом тесте с пропорциональной вероятностью, вес доказательства будет быть в подавляющем большинстве указывают в противоположном направлении, и оба вывода выглядят разумными.

В идеале можно продемонстрировать, что мы можем иметь произвольно далеко друг от друга, но все же разумные ответы, такие как тесты с $p =0.1$ против $p= 10^{-10}$ с пропорциональными правдоподобиями и эквивалентной мощностью для обнаружения одной и той же альтернативы.

PS: ответ Брюса не касается вопроса вообще.

Подумайте о гипотетической ситуации, когда точечная нулевая гипотеза верна, но выборка продолжается до $p<0.05$ (это всегда произойдет раньше или позже, то есть это произойдет с вероятностью 1), а затем решает прекратить испытание и отклонить нулевое значение. Это по общему признанию крайнее правило остановки, но рассмотрим его ради аргумента.

Эта дебильная процедура будет иметь 100% частоту ошибок типа I, но в этом нет ничего плохого в соответствии с принципом правдоподобия.

Я бы сказал, что это действительно имеет значение. Конечно, вы можете выбрать любой $\alpha$ в этом аргументе. Байесовцы могут использовать фиксированное ограничение по байесовскому фактору, если пожелают. Та же логика применима. Основным уроком здесь является то, что вы не можете придерживаться LP и иметь гарантию частоты ошибок. Там нет бесплатного обеда.

Отказ от ответственности: я полагаю, что этот ответ лежит в основе всего аргумента, поэтому его стоит обсудить, но я не до конца изучил проблему. Поэтому я приветствую исправления, уточнения и комментарии.

Наиболее важный аспект связан с последовательно собираемыми данными. Например, предположим, что вы наблюдали двоичные результаты, и вы увидели 10 успехов и 5 неудач. Принцип правдоподобия говорит о том, что вы должны прийти к одному и тому же выводу относительно вероятности успеха, независимо от того, собирали ли вы данные до тех пор, пока у вас не было 10 успехов (отрицательный биномиальный) или не было проведено 15 испытаний, из которых 10 были успешными (биномиальный) .

Почему это так важно?

Потому что в соответствии с принципом правдоподобия (или, по крайней мере, определенной интерпретации этого) вполне нормально позволить данным влиять, когда вы собираетесь прекратить сбор данных, без необходимости изменять свои инструменты вывода.

Конфликт с последовательными методами

Идея, заключающаяся в том, что использование ваших данных для определения того, когда следует прекратить сбор данных без изменения инструментов вывода, полностью противоречит традиционным методам последовательного анализа. Классическим примером этого являются методы, используемые в клинических испытаниях. Чтобы уменьшить потенциальное воздействие вредных обработок, данные часто анализируются в промежуточные промежутки времени, прежде чем анализ будет выполнен. Если исследование еще не закончено, но у исследователей уже есть достаточно данных, чтобы сделать вывод, что лечение работает или вредно, медицинская этика говорит нам, что мы должны остановить испытание; если лечение работает, этично прекратить испытание и начать предоставлять лечение пациентам, не участвующим в исследовании. Если это вредно, более этично остановиться, чтобы мы прекратили подвергать испытательных пациентов вредному лечению.

Проблема в том, что теперь мы начали делать множественные сравнения, поэтому мы увеличили частоту появления ошибок типа I, если не настроим наши методы для учета множественных сравнений. Это не совсем то же самое, что традиционные проблемы множественных сравнений, поскольку это действительно множественные частичные сравнения (т. Е. Если мы проанализируем данные один раз с 50% собранных данных и один раз со 100%, эти две выборки явно не являются независимыми!) , но в целом, чем больше сравнений мы делаем, тем больше нам нужно изменить наши критерии для отклонения нулевой гипотезы, чтобы сохранить частоту ошибок типа I, с большим количеством запланированных сравнений, требующих больше доказательств для отклонения нулевого значения.

Это ставит клинических исследователей перед дилеммой; хотите ли вы часто проверять свои данные, но затем увеличивать количество необходимых доказательств, чтобы отклонить нулевое значение, или же вы хотите нечасто проверять свои данные, увеличивая свои возможности, но потенциально не действуя оптимальным образом в отношении медицинской этики (то есть, можете задержать продукт на рынке или подвергать пациентов излишне длительному вредному лечению).

Я (возможно, ошибочно) понимаю, что принцип правдоподобия говорит нам, что не имеет значения, сколько раз мы проверяем данные, мы должны сделать один и тот же вывод. Это в основном говорит о том, что все подходы к разработке последовательных испытаний совершенно не нужны; просто используйте принцип правдоподобия и остановитесь, когда соберете достаточно данных, чтобы сделать вывод. Поскольку вам не нужно изменять методы вывода, чтобы скорректировать количество анализов, которые вы подготовили, дилемма между количеством проверенных раз и мощностью не компенсируется. Бэм, вся область последовательного анализа решена (согласно этой интерпретации).

Лично меня очень смущает то, что факт, хорошо известный в области последовательного проектирования, но довольно тонкий, заключается в том, что вероятность окончательной статистики теста в значительной степени изменяется правилом остановки; в основном, правила остановки увеличивают вероятность прерывистым образом в точках остановки. Вот сюжет такого искажения; пунктирная линия - это PDF итоговой статистики теста под нулевым значением, если данные анализируются только после сбора всех данных, а сплошная линия показывает распределение под нулевой статистикой теста, если вы проверяете данные 4 раза с заданным править.

С учетом вышесказанного, я понимаю, что принцип правдоподобия, по-видимому, подразумевает, что мы можем выбросить все, что мы знаем о последовательном дизайне Frequentist, и забыть о том, сколько раз мы анализируем наши данные. Очевидно, что последствия этого, особенно для области клинических разработок, огромны. Однако я не задумывался над тем, как они оправдывают игнорирование того, как правила остановки изменяют вероятность окончательной статистики.

Некоторое легкое обсуждение можно найти здесь , в основном на последних слайдах.

План LR тестов для экспоненциальных данных.

Пусть $X_1, X_2, \dots, X_n$ - случайная выборка из $\mathsf{Exp}(\text{rate} =\lambda),$ так что $E(X_i) = \mu = 1/\lambda.$ При $x > 0,$ функция плотности $f(x) = \lambda e^{-\lambda x}$ и ВПР является $F(x) = 1 - e^{-\lambda x}.$

1. Тестовая статистика - образец минимума.

Пусть $V = X_{(1)} = \min_n (X_i).$Тогда $V \sim \mathsf{Exp}(n\lambda).$Как набросок доказательства,

Чтобы проверить $H_9:\mu \le \mu_0$ против $H_a: \mu > \mu_0,$ на уровне $\alpha = 5\%,$ мы рассматриваем $V$ как единичное наблюдение из его экспоненциального распределения. Мы находим, что логарифмическое отношение правдоподобия указывает отклонение, когда $V > c,$ где $P(V > c\, |\, \mu = \mu_0) = 0.05.$

For the specific case in which $n = 100$ and $\mu_0 =10,\, \lambda_0 = 0.1,$ we have exponential rate $10 = n/\mu_0 = 100/10 = 10,$ so that $c = 0.2295$ from R, where the exponential distribution is parameterized by the rate.

 qexp(.95, 10)
 [1] 0.2995732
 1 - pexp(0.2996, 10)
 [1] 0.04998662

Accordingly, the power against the alternative $\mu_a = 100$ (rate $n/\mu_a = 1)$ is about 74%.

1 - pexp(0.2996, 1)
[1] 0.7411146

2. Test statistic is the sample mean.

Oxford U. class notes (second page) show that the likelihood ratio test of $H_0: \mu \le \mu_0$ against $H_0: \mu > \mu_0$ at the 5% level of significance rejects for $\bar X > c,$ where $P(\bar X > c\, |\, \mu = \mu_0) = 0.5.$ Furthermore, one can show using moment generating functions that $\bar X \sim \mathsf{Gamma}(n, n\lambda).$

For the specific case in which $n = 100$ and $\mu_0 =10,\, \lambda_0 = 0.1,$ we have $\bar X \sim \mathsf{Gamma}(100, 10),$ so that $c = 11.7.$

qgamma(.95, 100, 10)
[1] 11.69971
1 - pgamma(11.7, 100, 10)
[1] 0.04997338

Accordingly, power against the alternative $\mu_a = 14$ is about 95.6%.

1 - pgamma(11.7, 100, 100/14)
[1] 0.9562513

Clearly, for purposes of testing hypotheses about the exponential mean $\mu,$ the information in the sufficient statistic $\bar X$ is much greater than the information in the sample minimum.

Violation by different pdf functions $f(x,\theta)$ and $g(x,\theta)$

This case will be an example of 'violation' because the probability distribution functions $f(x,\theta)$ $g(x,\theta)$ are intrinsically different. Even when $f$ and $g$, differ, they may relate to the likelihood principle because at fixed measurement $x$ they give the same functions of $\theta$ up to scaling. The difference, opens up a possibility for "violations".

The coin flip with or without optional stopping rule

The coin flip with or without optional stopping rule is a typical example, the pdf is binomial or negative binomial which are different pdf functions and lead to different calculation of p-values, and confidence intervals, but they lead to the same likelihood functions for fixed sample/measurement (up to scaling).

More extreme example

Consider some measurement of $X$ which is distributed as

where $a$ is some known parameter that depends on the type of experiment, and $\theta$ is some parameter that may be unknown and could be inferred from the measurement $x$.

For any given $x$ and $a$ the likelihood function is proportional to the same function that is independent from $a$:

• If $x<1$ then $\mathcal{L}(\theta | x) \propto 1$
• If $x\geq 1$ then $\mathcal{L}(\theta | x) \propto \theta \exp(-\theta (x-1))$

But, albeit the same likelihood function, the p-value can vary widely depending on the experiment (ie the value of $a$). For instance when you measure $x=2$ and test $H_0:\theta = 1$ against $H_0:\theta < 1$ then the p-value is

Intuition: The reason for violation in these cases is that p-values and hypothesis tests are not solely based on the likelihood function for the particular observed value $x$.

The p-value is not calculated from the likelihood $f(θ|x)$ with $x$ fixed, but with the pdf $f(x|θ)$ with $θ$ fixed which is a different slice. Confidence intervals, p-value, and hypothesis tests, are different things than the information from likelihood ratios.

p-values are not really evidence: The p-value relates to type I error which is a measure that relates to an ensemble of measurements rather than to a single measurement. This type I error or p-value is not the same as 'evidential meaning' from Birnbaums 'foundations of statistical evidence'. This relates a lot to the problems with p-values and scientist searching for outcomes solely with statistical significance rather than important effects.

Do we need examples where inferences are markedly different? The extreme case is a contrived example. Such a case, or anything with a similar extreme difference, is of course not occurring easily in practice. It is more often the case that the difference will be small such as in the cases that you refer to as silly.

To ask for examples where the likelihood principle 'really matters', or where two different inferences lead to extremely different results, is a bit of a loaded question. At least when the intention for this question relates to some philosophical argument. It is a loaded question because it presupposes that principles that matter should lead to extremely varying results. In many practical cases the results are however small (in terms of different p-values less than an order). I believe that this is not a strange for two different, but both plausible, methods to result in more or less similar results. I would consider the likelihood principle not to be 'less violated' when the differences are only small.

Вот пример, адаптированный из теории статистических решений и байесовского анализа Джеймсом О. Бергером (Второе издание, стр. 29).

Скажите, что двух видов ос можно отличить по количеству выемок на крыльях (назовите это $x$) и по количеству черных колец вокруг живота (назовите это $y$). Распределение символов в двух видах (помечены$H_0$ и $H_1$) являются следующими:

Скажем, мы находим образец с 1 выемкой на крыльях и 1 кольцом вокруг живота. Вес доказательств, если в 100 раз больше в пользу$H_1$ против $H_0$ для обоих персонажей.

Теперь, если кто-то хотел настроить тест для $H_0$ на уровне 5% правило принятия решения будет для первого символа «принять» $H_0$ если на крыле 1 выемка, в противном случае отклоните ее », а для второго символа« примите $H_0$если вокруг живота 3 кольца, иначе откажитесь ». Есть много других возможностей, но это самые мощные тесты на этом уровне. Тем не менее, они приводят к разным выводам для обоих персонажей.

Примечание : конечно, можно настроить тест с правилом «принять»$H_0$если вокруг живота 1 или 3 кольца, в противном случае отклоните его ». Вопрос в том, предпочитаем ли мы тест на уровне 5% с риском типа II 0 или тест на уровне 4,9% с риском типа II 0,00001. Разница настолько мала, что нам, вероятно, было бы наплевать, но, насколько я понимаю, в этом суть аргумента принципа правдоподобия: не стоит ставить результат в зависимость от чего-то, что кажется неуместным.

Функции правдоподобия пропорциональны, и все же значение р $x = 1$ 0,95, а $y = 1$ is 0.001 (assuming that we reject $H_0$ with events of the form $y \leq \alpha$). It is obvious from the structure of the table that I could have chosen any number smaller than 0.001. Also, the type II risk of the rejection is 0, so it looks like there is nothing “wrong” here.

Still, I admit that this example is somewhat contrived and not completely honest because it plays with the difficulty of arranging tests with discrete data. One could find equivalent examples with continuous data but they would be even more contrived. I agree with the OP that the likelihood principle has almost no practical value; I interpret it as a principle to guarantee some consistency within the theory.