Параметры против скрытых переменных

Я спрашивал об этом раньше и действительно пытался определить, что делает параметр модели, а что скрытой переменной. Итак, глядя на различные темы по этой теме на этом сайте, основное различие выглядит следующим образом:

Скрытые переменные не наблюдаются, но имеют связанное с ними распределение вероятностей, так как они являются переменными, а параметры также не наблюдаются и не имеют связанного с ними распределения, которое, как я понимаю, является постоянным и имеет фиксированное, но неизвестное значение, которое мы пытаемся находить. Кроме того, мы можем поставить априоры на параметры, чтобы представить нашу неопределенность относительно этих параметров, даже если с ними связано только одно истинное значение или, по крайней мере, это то, что мы предполагаем. Надеюсь, я прав до сих пор?

Теперь я смотрел на этот пример для байесовской линейной регрессии из журнальной статьи и действительно пытался понять, что такое параметр, а что переменная:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Здесь и наблюдаются, но только рассматривается как переменная, т.е. имеет распределение, связанное с ней. $x$ $y$ $y$

Теперь предположения моделирования:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Таким образом, дисперсия взвешена. $y$

Существует также предварительное распределение для и , которые являются нормальным и гамма-распределением соответственно. $\beta$ $w$

Итак, полная логарифмическая вероятность определяется как:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Теперь, насколько я понимаю, и и являются параметрами модели. Однако в статье они продолжают называть их скрытыми переменными. Мое рассуждение и оба являются частью распределения вероятностей для переменной и они являются параметрами модели. Однако авторы рассматривают их как скрытые случайные величины. Это верно? Если да, то какими будут параметры модели? $\beta$ $w$ $\beta$ $w$ $y$

Документ можно найти здесь ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

В статье «Автоматическое обнаружение выбросов: байесовский подход» Ting et al.

— Лука
источник

Это может помочь перечислить ссылку на статью (и, возможно, ссылку). Частично проблема заключается в том, что именно они отличаются от частых и байесовских взглядов. С точки зрения байесовского, параметр делает иметь распределение - это не просто что - то добавлено , чтобы представлять неопределенность.

— gung - Восстановить Монику

Я думал, что это будет несправедливо, так как люди будут думать, что я ожидаю, что они прочитают газету, не объясняя ничего, но я изложил это сейчас.

— Лука

Почему вы не можете поместить априор в скрытую переменную? Я начинающий байесовец, но, похоже, ты должен это сделать.

— robin.datadrivers

Я думаю, конечно, можно и нужно в байесовской установке. Однако я не уверен, почему

или

являются переменными в этой настройке. Для меня они выглядят как параметры модели. У меня возникают проблемы , рассказывающие , что это такое , что заставляет сказать

переменной , а не параметром в этой установке. Я тоже новичок, как вы можете ясно видеть ...

w

$w$

β

$\beta$

w

$w$

— Лука

Спасибо, Лука. Было бы не хорошо, если бы вы требовали, чтобы люди читали газету, но хорошо иметь ее там для контекста. Я думаю, что вы сделали это правильно.

— gung - Восстановить Монику

В статье, и вообще, (случайные) переменные - это все, что взято из распределения вероятностей. Скрытые (случайные) переменные - это те, которые вы непосредственно не наблюдаете ( $y$ наблюдается, $\beta$ нет, но обе являются rv). Из скрытой случайной величины вы можете получить апостериорное распределение, то есть распределение вероятностей, обусловленное наблюдаемыми данными.

С другой стороны, параметр является фиксированным, даже если вы не знаете его значение. Оценка максимального правдоподобия, например, дает вам наиболее вероятное значение вашего параметра. Но это дает вам точку, а не полное распространение, потому что фиксированные вещи не имеют распределения! (Вы можете указать распределение того, насколько вы уверены в этом значении или в каком диапазоне это значение, но это не то же самое, что распределение самого значения, которое существует, только если значение на самом деле является случайным переменная)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

В этом предложении:

Эти уравнения обновления должны выполняться итеративно, пока все параметры и полная логарифмическая вероятность не сойдутся в устойчивые значения

теоретически они говорят о двух параметрах, а не о тех, которые являются случайными переменными, поскольку в EM это то, что вы делаете, оптимизируя параметры.

— альберто
источник

Вопрос был о скрытых переменных.

— Тим

исправлено, я надеюсь, теперь это стало понятнее.

— Альберто