Оценщики максимального правдоподобия - многомерный гауссов

контекст

Многомерный гауссов часто появляется в машинном обучении, и следующие результаты используются во многих книгах и курсах по ML без дериваций.

Данные даны в виде матрицы измерений , если мы предположим, что данные следуют вариативному гауссовскому распределению с параметрами mean ( ) и ковариационной матрицей ( ) Оценки максимального правдоподобия определяются как: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Я понимаю, что знание многомерного гауссовского языка является обязательным условием для многих курсов ML, но было бы полезно получить полный вывод в отдельном ответе раз и навсегда, так как я чувствую, что многие самообучающиеся люди бегают вокруг статистики. Веб-сайты stackexchange и math.stackexchange ищут ответы.

Вопрос

Каков полный вывод оценок максимального правдоподобия для многомерного гауссова

Примеры:

Эти лекционные заметки (стр. 11) о линейном дискриминантном анализе или те, которые используют результаты и предполагают наличие предшествующих знаний.

Есть также несколько постов, на которые частично ответили или закрыли:

— Ксавье Бурре Сикотт
источник

Ответы:

Вывод оценок максимального правдоподобия

Предположим, что у нас есть случайных векторов, каждый из которых имеет размер : где каждый случайный вектор может быть интерпретируется как наблюдение (точка данных) через переменных. Если каждый указан как многовариантный гауссовский вектор: $m$ $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

Где параметры неизвестны. Чтобы получить их оценку, мы можем использовать метод максимального правдоподобия и максимизировать функцию логарифмического правдоподобия. $\mu, \Sigma$

Обратите внимание, что в силу независимости случайных векторов общая плотность данных является произведением отдельных плотностей. , то есть . Взятие логарифма дает функцию правдоподобия $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} l (μ, Σ | x^{(i)}) & = \log \prod_{i = 1}^{m} f_{X^{(i)}} (x^{(i)} | μ, Σ) \\ = \log \prod_{i = 1}^{m} \frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \\ = \sum_{i = 1}^{m} (- \frac{p}{2} \log (2 π) - \frac{1}{2} \log | Σ | - \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} l (μ, Σ;) & = - \frac{m p}{2} \log (2 π) - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

Деривация $\hat \mu$

Чтобы взять производную по и приравнять к нулю, мы будем использовать следующий тождество матричного исчисления: $\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ если не зависит от и симметричен. $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} l (μ, Σ | x^{(i)}) & = \sum_{i = 1}^{m} Σ^{- 1} (μ - x^{(i)}) = 0 \\ Since Σ is positive definite \\ 0 & = m μ - \sum_{i = 1}^{m} x^{(i)} \\ \hat{μ} & = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

Который часто называют вектором выборки .

Деривация $\hat \Sigma$

Вывод MLE для ковариационной матрицы требует больше работы и использования следующих свойств линейной алгебры и исчисления:

След инвариантен относительно циклических перестановок матричных произведений: $tr[ACB] = tr[CAB] = tr[BCA]$

Поскольку является скалярным, мы можем взять его след и получить то же значение: $x^TAx$ $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

Объединение этих свойств позволяет нам рассчитать

\frac{\partial}{\partial A} x^{t} A x = \frac{\partial}{\partial A} t r [x^{T} x A] = [x x^{t}]^{T} = x^{T T} x^{T} = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

Который является внешним произведением вектора с самим собой. $x$

Теперь мы можем переписать функцию логарифмического правдоподобия и вычислить производную по (примечание постоянно) $\Sigma^{-1}$ $C$

\begin{aligned} l (μ, Σ | x^{(i)}) & = C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \\ = C + \frac{m}{2} \log | Σ^{- 1} | - \frac{1}{2} \sum_{i = 1}^{m} t r [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} l (μ, Σ | x^{(i)}) & = \frac{m}{2} Σ - \frac{1}{2} \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} Since Σ^{T} = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

Приравнивая к нулю и решая для $\Sigma$

\begin{aligned} 0 & = m Σ - \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} \\ \hat{Σ} & = \frac{1}{m} \sum_{i = 1}^{m} {(x^{(i)} - \hat{μ}) (x^{(i)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

источники

— Ксавье Бурре Сикотт
источник

Альтернативные доказательства, более компактные формы или интуитивное толкование приветствуются!

— Ксавье Бурре Сикотт

В выводе для , почему должен быть положительно определенным? Достаточно ли кажется, что обратима? Для обратимой матрицы , только тогда , когда ?

μ

$\mu$

Σ

$\Sigma$

Σ

$\Sigma$

A

$A$

A x = 0

$Ax=0$

x = 0

$x=0$

— Том Беннетт

Чтобы уточнить, - это матрица которая может иметь конечные диагональные и недиагональные компоненты, указывающие на корреляцию между векторами, верно? Если это так, то в каком смысле эти векторы независимы? Кроме того, почему совместная функция вероятности равна вероятности? Разве плотность соединения, , не должна быть равна вероятности, умноженной на предыдущую, то есть ?

Σ

$\Sigma$

m \times m

$m \times m$

f (x, y)

$f(x,y)$

f (x | y) f (y)

$f(x|y)f(y)$

— Mathews24

@ TomBennett сигма-матрица положительно определена по определению - см. Stats.stackexchange.com/questions/52976/… для доказательства. Тождество матричного исчисления требует, чтобы матрица была симметричной, а не положительно определенной. Но поскольку положительно определенные матрицы всегда симметричны, это работает

— Ксавье Бурре Сикотт

Да, действительно - независимость между наблюдениями позволяет получить вероятность - формулировка может быть недостаточно ясной, - это многовариантная версия вероятности.

— Предшествующий по-

Альтернативное доказательство для которое напрямую принимает производную по : $\widehat{\Sigma}$ $\Sigma$

Подобрать логарифмическую вероятность, как указано выше: где и мы использовали циклические и линейные свойства . Чтобы вычислить мы сначала заметим, что

\begin{array}{rcl} ℓ (μ, Σ) & = & C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} tr [(x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)] \\ = & C - \frac{1}{2} (m \log | Σ | + \sum_{i = 1}^{m} tr [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}]) \\ = & C - \frac{1}{2} (m \log | Σ | + tr [S_{μ} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$

tr

$\text{tr}$

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$

\frac{\partial}{\partial Σ} \log | Σ | = Σ^{- T} = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$ по четвертому свойству выше. Чтобы взять производную от второго слагаемого, нам понадобится свойство, которое (из Матрицы поваренной книги , уравнение 63). Применяя это с мы получаем, что потому что и симметричны. потом

\frac{\partial}{\partial X} tr (A X^{- 1} B) = - (X^{- 1} B A X^{- 1})^{T} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$

B = I

$B=I$

\frac{\partial}{\partial Σ} tr [S_{μ} Σ^{- 1}] = - {(Σ^{- 1} S_{μ} Σ^{- 1})}^{T} = - Σ^{- 1} S_{μ} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$

Σ

$\Sigma$

S_{μ}

$S_\mu$

\frac{\partial}{\partial Σ} ℓ (μ, Σ) \propto m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ Установка этого значения в 0 и перестановка дает

\hat{Σ} = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

Этот подход более сложен, чем стандартный, использующий производные по , и требует более сложной идентификации трассы. Я нашел это полезным только потому, что в настоящее время мне нужно взять производные от модифицированной функции правдоподобия, для которой гораздо сложнее использовать, чем . $\Lambda = \Sigma^{-1}$ $\partial/{\partial \Sigma^{-1}}$ $\partial/\partial \Sigma$

— Эрик Кейтли
источник

Оценщики максимального правдоподобия - многомерный гауссов

контекст

Вопрос

Примеры:

Вывод оценок максимального правдоподобия

Деривацияμ^μ^\hat \mu

ДеривацияΣ^Σ^\hat \Sigma

источники

Деривация $\hat \mu$

Деривация $\hat \Sigma$