Признает ли байесовский факт, что существует одно фиксированное значение параметра?

В байесовском анализе данных параметры рассматриваются как случайные величины. Это связано с байесовской субъективной концептуализацией вероятности. Но признают ли байесовцы теоретически, что в «реальном мире» существует одно истинное фиксированное значение параметра?

Кажется, что очевидный ответ - «да», потому что тогда попытка оценить параметр была бы почти бессмысленной. Академическая цитата для этого ответа будет принята с благодарностью.

ИМХО "да"! Вот одна из моих любимых цитат Гренландии (2006: 767):

Часто говорят (неправильно), что «параметры рассматриваются как фиксированные частотой, но как случайные байесовскими». Как для частых людей, так и для байесовских, значение параметра могло быть зафиксировано с самого начала или могло быть сгенерировано с помощью физически случайного механизма. В любом случае, оба предполагают, что он принял какое-то фиксированное значение, которое мы хотели бы знать. Байесовский использует формальные вероятностные модели, чтобы выразить личную неуверенность в этом значении. «Случайность» в этих моделях представляет личную неопределенность в отношении значения параметра; это не свойство параметра (хотя мы должны надеяться, что оно точно отражает свойства механизмов, которые произвели параметр).

Гренландия, С. (2006). Байесовские перспективы эпидемиологических исследований: I. Основы и основные методы. Международный журнал эпидемиологии , 35 (3), 765–774.

Байесовская концепция вероятности не обязательно субъективна (ср. Джейнс). Важным отличием здесь является то, что байесовский пытается определить свой уровень знаний о значении параметра, комбинируя предварительное распределение для его вероятного значения с вероятностью, которая обобщает информацию, содержащуюся в некоторых наблюдениях. Следовательно, как байесовец я ​​бы сказал, что я доволен идеей, что параметр имеет истинное значение, которое точно не известно, и цель апостериорного распределения состоит в том, чтобы обобщить то, что я знаю о его вероятных значениях, основанный на моих предыдущих предположениях и наблюдениях.

Теперь, когда я делаю модель, модель не реальность. Таким образом, в некоторых случаях рассматриваемый параметр существует в действительности (например, средний вес вомбата), а в некоторых вопросах его нет (например, истинное значение параметра регрессии - модель регрессии является лишь моделью результата физические законы, управляющие системой, которые на самом деле не могут быть полностью охвачены регрессионной моделью). Поэтому говорить, что в реальном мире существует одно истинное фиксированное значение параметра, не обязательно верно.

С другой стороны, я бы предположил, что большинство частых пользователей сказали бы, что есть одно истинное значение для статистики, но они также не знают, что это такое, но у них есть оценки для этого и доверительные интервалы на их оценках, которые (в некотором смысле ) количественно определяет их неопределенность относительно правдоподобия различных значений (но частое представление о вероятности не позволяет им выразить это как непосредственное выражение).

К вашему главному, в Байесовском анализе данных (3-е изд., 93), Гельман также пишет

С точки зрения байесовского анализа данных, мы часто можем интерпретировать классические точечные оценки как точные или приблизительные апостериорные сводки, основанные на некоторой неявной модели полной вероятности. Фактически, в пределе большого размера выборки мы можем использовать асимптотическую теорию для построения теоретического байесовского обоснования для классического вывода о максимальном правдоподобии.

Так что, возможно, не «байесовцы» должны «признать», что, по правде говоря, существуют единственные реальные значения параметров, но частые лица, которые должны обращаться к байесовской статистике, чтобы оправдать свои процедуры оценки! (Я говорю это с языком твердо в щеке.)

$\Pr(\theta|y)$

Но идея о том, что в природе или в социальных системах существуют отдельные параметры, является лишь упрощающим предположением. Там может быть какой-то витиеватый процесс, генерирующий наблюдаемые результаты, но обнаружить эту систему невероятно сложно; Предположим, что существует единственное фиксированное значение параметра, значительно упрощает задачу. Я думаю, что это сокращает суть вашего вопроса: байесовцы не должны были «допускать» к тому, чтобы сделать это упрощение, так же, как это должны делать частые пользователи.

Считаете ли вы, что существует единый «истинно фиксированный параметр» для чего-то вроде вклада употребления молока в рост ребенка? Или для уменьшения размера опухоли в зависимости от количества химического вещества, которое вы вводите в организм пациента? Выберите любую модель, с которой вы знакомы, и спросите себя, действительно ли вы считаете, что существует одно истинное, универсальное, точное и фиксированное значение для каждого параметра, даже теоретически.

Не обращайте внимания на погрешность измерения, просто посмотрите на вашу модель, как если бы все измерения были абсолютно точными и бесконечно точными. Учитывая вашу модель, вы думаете, что каждый параметр реально имеет конкретное значение балла?

Тот факт, что у вас есть модель, означает, что вы упускаете некоторые детали. Ваша модель будет иметь некоторую неточность, потому что вы усредняете параметры / переменные, которые вы пропустили, чтобы создать модель - упрощенное представление реальности. (Точно так же, как вы не делаете карту планеты 1: 1, полную всех деталей, а карту 1: 10000000, или как-то еще упрощенное. Карта является моделью.)

Учитывая, что вы усредняете по пропущенным переменным, параметры для переменных, которые вы включаете в вашу модель, будут распределениями, а не точечными значениями.

Это только часть байесовской философии - я игнорирую теоретическую неопределенность, неопределенность измерения, априорные значения и т. Д. - но мне кажется, что идея о том, что ваши параметры имеют распределения, имеет интуитивный смысл, так же как и описательная статистика имеет распределение.

Но признают ли байесовцы теоретически, что в «реальном мире» существует одно истинное фиксированное значение параметра?

На мой взгляд, ответ - да. Существует неизвестное значение параметра, и предыдущее распределение описывает наши знания / неопределенность по этому поводу. В байесовском математическом моделировании рассматривается как реализация случайной величины, следующей за предшествующим распределением.θ $\theta_0$$\theta_0$

Если мы пойдем и соединим байесианство с детерминированной вселенной (прежде чем вы скажете что-нибудь со словом «квант», приколите меня и вспомните, что это не физика. Обмен стеками), мы получим некоторые интересные результаты.

Делая наши предположения явными:

1. У нас есть байесовский агент, который является частью детерминированной вселенной и наблюдает за ней.
2. Агент имеет ограниченные вычислительные ресурсы.

Теперь детерминированная вселенная может быть той, где атомы представляют собой маленькие ньютоновы бильярдные шары. Это может быть совершенно не квант. Скажем так.

Агент теперь подбрасывает честную монету. Задумайтесь об этом на секунду, что представляет собой честная монета в детерминированной вселенной? Монета с вероятностью 50/50?

Но это детерминистично! Обладая достаточной вычислительной мощностью, вы можете точно рассчитать, как приземлится монета, просто имитируя модель монеты, которая подбрасывается таким же образом.

В детерминированной вселенной честная монета была бы диском из металла с однородной плотностью. Никакая сила не заставляет его проводить больше времени одной лицом вниз, чем другой (подумайте о том, как функционируют взвешенные кости).

Таким образом, агент подбрасывает справедливую монету. Тем не менее, агент не достаточно мощный. У него нет достаточно острых глаз, чтобы измерить, как монета вращается при подбрасывании, он видит только пятно.

И поэтому в нем говорится: «Эта монета принесет головы с вероятностью 50%». Недостаток информации ведет к вероятностям.

Мы можем посмотреть на фазовое пространство того, как брошена монета. Большая многомерная система координат с осями, относящимися к направлению броска, силе броска, вращению монеты, скорости и направлению ветра и так далее. Одна точка в этом пространстве соответствует единственному возможному флип-флипу.

Если мы попросим агента ранее покрасить в системе координат градиент серого, соответствующий назначению агентом вероятности появления головок для каждого данного броска, он будет наиболее окрашен в равномерный оттенок серого.

Если мы постепенно дадим ему более мощные внутренние компьютеры, с помощью которых можно будет вычислять вероятности появления головок, он сможет производить все более и более проницательные раскраски. Когда мы наконец дадим ему самый мощный внутренний компьютер, сделав его всеведущим, он фактически раскрасит странную шахматную доску.

Справедливые монеты не сделаны из вероятностей, они сделаны из металла. Вероятности существуют только в вычислительных структурах. Так говорит байесовский.

Есть неправильные априоры, например, Джеффрис, который имеет определенное отношение к информационной матрице Фишера. Тогда это не субъективно.