Если вы используете точечную оценку, которая максимизирует

Если кто-то сказал

«Этот метод использует MLE точечную оценку для параметра, который максимизирует , поэтому он частый; и, кроме того, он не байесовский».$\mathrm{P}(x|\theta)$

Вы бы согласились?

• Обновление на фоне : я недавно прочитал газету, которая утверждает, что часто. Я не согласен с их утверждением, в лучшем случае я чувствую, что это неоднозначно. В документе явно не упоминается ни MLE (или MAP , в этом отношении). Они просто берут балльную оценку, и они просто поступают так, как если бы эта балльная оценка была верной. Они непровести анализ распределения выборки по этой оценке или что-то в этом роде; модель довольно сложна, и поэтому такой анализ, вероятно, невозможен. Они ни в коем случае не используют слово «задний». Они просто принимают эту точную оценку за чистую монету и переходят к своей основной теме - выводу недостающих данных. Я не думаю, что в их подходе есть что-то, что подсказывает их философию. Возможно, они намеревались быть частыми (потому что чувствуют себя обязанными носить свою философию на рукаве), но их реальный подход довольно прост / удобен / ленив / неоднозначен. Теперь я склонен сказать, что в основе исследования нет философии; вместо этого я думаю, что их отношение было более прагматичным или удобным

  «Я наблюдал за данными и хочу оценить некоторые отсутствующие данные, . Существует параметр который контролирует отношения между и . Меня не волнует кроме как для достижения цели Если у меня есть оценка для , это облегчит прогнозирование по . Я выберу точечную оценку потому что это удобно, в частности я выберу который максимизирует . "г & thetas ; г х & thetas ; & thetas ; г х & thetas ; & thetas ; Р ( х | & thetas ; $x$$z$$\theta$$z$$x$$\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

В байесовских методах роли данных и параметров несколько противоположны. В частности, теперь мы приводим условия к наблюдаемым данным и переходим к выводам о значении параметра. Это требует предварительного.

Пока все хорошо, но где MLE (максимальная оценка правдоподобия) вписывается во все это? У меня складывается впечатление, что многие люди считают, что это часто (или, точнее, не байесовски). Но я чувствую, что это байесовский метод, потому что он включает в себя получение данных наблюдений, а затем нахождение параметра, который максимизирует . MLE неявно использует единый априор и обусловливает данные и максимизирует . Справедливо ли сказать, что MLE выглядит как Frequentist и Bayesian? Или каждый простой инструмент должен попадать точно в одну из этих двух категорий?P ( p a r a m e t e r | d a t a $P(data | parameter)$$P(parameter | data)$

MLE является последовательным, но я чувствую, что последовательность может быть представлена ​​как байесовская идея. Для произвольно больших выборок оценка сходится к правильному ответу. Утверждение «оценка будет равна истинному значению» справедливо для всех значений параметра. Интересно то, что это утверждение также верно, если вы включите наблюдаемые данные, сделав их байесовскими. Это интересное замечание справедливо для MLE, но не для объективной оценки.

Вот почему я чувствую, что MLE - это «самый байесовский» из методов, которые могут быть описаны как Frequentist.

В любом случае, большинство свойств Frequentist (например, беспристрастность) применимы во всех случаях, включая конечные размеры выборки. Тот факт, что согласованность имеет место только в невозможном сценарии (бесконечная выборка в одном эксперименте), предполагает, что согласованность не является таким полезным свойством.

Учитывая реалистичную (то есть конечную) выборку, есть ли свойство Frequentist, справедливое для MLE? Если нет, то MLE на самом деле не частый.

Или каждый простой инструмент должен попадать точно в одну из этих двух категорий?

Нет. Простые (и не очень простые инструменты) можно изучать с разных точек зрения. Функция правдоподобия сама по себе является краеугольным камнем как в байесовской, так и в частистической статистике, и ее можно изучать с обеих точек зрения! Если вы хотите, вы можете изучать MLE как приближенное байесовское решение, или вы можете изучать его свойства с помощью асимптотической теории на частой основе.

Когда вы выполняете оценку максимального правдоподобия, вы учитываете значение оценки и свойства выборки оценщика, чтобы установить неопределенность вашей оценки, выраженную как доверительный интервал. Я думаю, что это важно в отношении вашего вопроса, потому что доверительный интервал, как правило, будет зависеть от точек выборки, которые не наблюдались, что, по мнению некоторых, является небайсовым свойством.

PS Это связано с более общим фактом, что оценка максимального правдоподобия (точка + интервал) не удовлетворяет принципу правдоподобия , в то время как полный (« дикий стиль») байесовский анализ делает это.

Функция правдоподобия - это функция, которая включает данные и неизвестный параметр (ы). Его можно рассматривать как плотность вероятности для наблюдаемых данных, учитывая значение (я) параметра (ов). Параметры фиксированы. Таким образом, сама по себе вероятность является частым понятием. Максимизация вероятности заключается в том, чтобы просто найти конкретное значение (я) параметра (ов), который заставляет вероятность принимать максимальное значение. Таким образом, оценка максимального правдоподобия является распространенным методом, основанным исключительно на данных и форме модели, которая должна их генерировать. Байесовская оценка вступает в силу только тогда, когда на параметр (ы) помещается предварительное распределение, а формула Байеса используется для получения апостериорного распределения для параметра (параметров) путем объединения априорного значения с вероятностью.

Предполагая, что под «байесовским» вы ссылаетесь на субъективный байесовский (он же эпистемический байесовский, де-финетти байесовский), а не на нынешнее эмпирическое байесовское значение - это далеко не тривиально. С одной стороны, вы делаете выводы, основываясь только на ваших данных. Нет субъективных убеждений под рукой. Это кажется достаточно частым ... Но критика, выраженная даже в отношении самого Фишера (строгого не (субъективного) байесовского), заключается в том, что при выборе выборочного распределения субъективности данных проникли. Параметр определяется только с учетом нашего убеждения процесса генерации данных.

В заключение - я полагаю, что MLE, как правило, считается понятием частоты, хотя это просто вопрос того, как вы определяете «частоту» и «байесовский».

(отвечая на свой вопрос)

Оценка является функцией , которая принимает некоторые данные и производит ряд (или диапазон чисел). Сам по себе оценщик на самом деле не «байесовский» или «частый» - вы можете думать о нем как о чёрном ящике, в который входят числа и выходят числа. Вы можете представить один и тот же оценщик частому специалисту и байесовскому эксперту, и у них будут разные вещи относительно оценщика.

(Меня не устраивает мое упрощенное различие между частыми и байесовскими - есть и другие вопросы, которые следует рассмотреть. Но для простоты давайте представим, что это всего лишь два четко определенных философских лагеря.)

Вы не можете сказать, является ли исследователь частым из байесовских, какой именно оценщик они выбирают. Важно выслушать, какие анализы они проводят на оценщике и какие причины они приводят для выбора этой оценки.

$\theta$$\mathrm{P}(\mathbf{x}|\theta)$

Когда такое же программное обеспечение представляется байесовскому, байесовский вполне может быть доволен большей частью анализа часто встречающегося. Да, при прочих равных условиях смещение не хорошее, а последовательность хорошая. Но байесовский будет больше интересоваться другими вещами. Байесовский будет хотеть видеть, принимает ли оценка форму некоторой функции апостериорного распределения; и если да, то какой предыдущий использовался? Если оценка основана на апостериорной шкале, байесовский задастся вопросом, является ли предварительная оценка хорошей. Если они довольны предыдущим, и если оценщик сообщает о режиме апостериорного (в отличие, скажем, от среднего значения апостериорного значения), тогда они с удовольствием применят эту интерпретацию к оценке: «Эта оценка является точкой оценка, которая имеет больше шансов быть правильной. "

Я часто слышу, как говорят, что частые и байесовские «интерпретируют» вещи по-разному, даже когда вовлеченные числа одинаковы. Это может немного сбить с толку, и я не думаю, что это действительно так. Их интерпретации не противоречат друг другу; они просто делают заявления о различных аспектах системы. Давайте отложим точечные оценки на данный момент и рассмотрим интервалы. В частности, существуют частые доверительные интервалы и байесовские достоверные интервалы . Они обычно дают разные ответы. Но в определенных моделях с определенными априорными значениями два типа интервалов дают одинаковый числовой ответ.

Когда интервалы одинаковы, как мы можем интерпретировать их по-разному? Частик скажет об интервальной оценке:

Прежде чем я увижу данные или соответствующий интервал, я могу сказать, что есть, по крайней мере, 95% -ная вероятность того, что истинный параметр будет содержаться в пределах интервала.

тогда как байесовский скажет об интервальной оценке:

После того, как я увижу данные или соответствующий интервал, я могу сказать, что есть, по крайней мере, 95% вероятность того, что истинный параметр содержится в этом интервале.

Эти два утверждения идентичны, за исключением слов «До» и «После». Байесовец поймет и согласится с предыдущим утверждением, а также признает, что его истина не зависит от любого предшествующего, тем самым делая его «сильнее». Но, выступая как байесовец, я бы беспокоился, что первое утверждение может быть не очень полезным . Частому участнику не понравится последнее утверждение, но я не понимаю его достаточно хорошо, чтобы дать точное описание возражений этого участника.

После просмотра данных будет ли оптимист по-прежнему надеяться, что истинное значение содержится в интервале? Возможно, нет. Это немного нелогично, но важно для истинного понимания доверительных интервалов и других концепций, основанных на распределении выборки. Вы могли бы предположить, что частый участник все еще сказал бы: «Учитывая данные, я все еще думаю, что есть 95% -ая вероятность, что истинное значение находится в этом интервале». Частик не только ставит под сомнение, верно ли это утверждение, но и спрашивает, имеет ли смысл атрибутировать вероятности таким образом. Если у вас есть еще вопросы по этому поводу, не задавайте мне, это слишком много для меня!

Байесовский рад сделать это утверждение: «Если учесть данные, которые я только что видел, вероятность того, что истинное значение находится в этом диапазоне, составляет 95%».

Я должен признать, что я немного запутался в одном последнем пункте. Я понимаю и соглашаюсь с утверждением, сделанным участником до того, как данные увидят. Я понимаю и согласен с заявлением, сделанным байесовским представлением после просмотра данных. Тем не менее, я не уверен, что частый человек скажет после просмотра данных; Изменится ли их вера в мир? Я не в состоянии понять философию частолюбителей здесь.

$P(x|\theta)$