Насколько значима связь между MLE и кросс-энтропией в глубоком обучении?

Я понимаю, что, учитывая набор из независимых наблюдений максимального правдоподобия оценщик (или, что эквивалентно, карта с плоской / равномерной до) , который идентифицирует параметров \ mathbf {θ} , которые производят распределение модели P_ {модель} \ слева (\, \ cdot \,; \ mathbf {θ} \ right), который лучше всего соответствует этим наблюдениям, будет$m$$\mathbb{O}=\{\mathbf{o}^{(1)}, . . . , \mathbf{o}^{(m)}\}$$\mathbf{θ}$$p_{model}\left(\,\cdot\, ; \mathbf{θ}\right)$

$$\mathbf{θ}_{ML}(\mathbb{O})= p_{model}\left(\mathbb{O}; \mathbf{θ}\right) = \underset{\mathbf{θ}}{\arg\max}‎‎\prod_{i=1}^{m} p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right)$$

или, более удобно

$$\mathbf{θ}_{ML}(\mathbb{O})= \underset{\mathbf{θ}}{\arg\min}\sum_{i=1}^{m} -\log p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right)$$

и посмотрите роль, которую $\mathbf{θ}_{ML}$ может сыграть в определении функции потерь для многоклассовых глубоких нейронных сетей, в которой $\mathbf{θ}$ соответствует обучаемым параметрам сети (например, $\mathbf{θ} = \{\mathbf{W}, \mathbf{b}\} )$ и наблюдения являются парами входных активаций $\mathbf{x}$ и соответствующих правильных меток классов $y \in [1, k]$ , $\mathbf{o}^{(i)}$ = { $\mathbf{x}^{(i)}, y^{(i)}$ }, взяв

$$p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) \equiv p_{model}\left(y^{(i)} | \mathbf{x}^{(i)}; \mathbf{θ}\right)$$

Я не понимаю, как это связано с так называемой «перекрестной энтропией» (векторизованного) правильного вывода и соответствующими выходными активациями сети, , который используется на практике при измерении ошибки / потери во время тренировки , Есть несколько связанных вопросов:$\mathbf{y}^{(i)}$$\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ})$

$$H(\mathbf{o}^{(i)}; \mathbf{θ}) = -\mathbf{y}^{(i)}\cdot \mathbf{log}\,\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ})‎$$

Активации "как вероятности"

Одним из шагов в установлении взаимосвязи между MLE и кросс-энтропией является использование выходных активаций «как будто», они являются вероятностями. Но мне не ясно, что они есть, или, по крайней мере, они .$all$

При расчете ошибки обучения - в частности, при названии ее «кросс-энтропийной потери» - предполагается, что (после нормализации активаций сумма равна 1)

$$p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) \equiv a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ})\tag{1}\label{1}‎‎$$

или

$$\log p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) = \log a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ})‎‎$$

так что мы можем написать

$$-\log p_{model}\left(\mathbf{o}^{(i)}; \mathbf{θ}\right) = -\mathbf{y}^{(i)}\cdot \mathbf{log}\,\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ})‎\tag{3}\label{3}$$

и поэтому

$$\mathbf{θ}_{ML}(\mathbb{O})=\underset{\mathbf{θ}}{\arg\min}\sum_{i=1}^{m} H(\mathbf{o}^{(i)}; \mathbf{θ})$$

Но хотя это, безусловно, делает вероятностью (в той степени, в которой что-либо есть), оно не накладывает никаких ограничений на другие активации.$a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$

Можно ли в действительности сказать, что действительно являются PMF? Есть ли что-нибудь, что делает на самом деле не вероятностями (а просто «похожими» на них) )?$\mathbf{a}_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$$a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$

Ограничение по категоризации

Вышеупомянутый важный шаг при отождествлении MLE с кросс-энтропией полностью опирается на «одну горячую» структуру которая характеризует (однокомпонентную) проблему обучения в нескольких классах. Любая другая структура для сделает невозможным от к .$\mathbf{y}^{(i)}$$\mathbf{y}^{(i)}$$\eqref{1}$$\eqref{3}$

Ограничено ли уравнение MLE и минимизации кросс-энтропии случаями, когда являются "горячими"? $\mathbf{y}^{(i)}$

Различные вероятности обучения и прогнозирования

Во время предсказания это почти всегда

$$p_{model}\left(y^{(i)} | \mathbf{x}^{(i)}; \mathbf{θ}\right) \equiv P\left(\underset{j\in[1,k]}{\arg\max}\,a_j(\mathbf{x}^{(i)}; \mathbf{θ}) = y^{(i)}\right)\tag{2}\label{2}$$

что приводит к правильному прогнозированию вероятностей, которые отличаются от вероятностей, извлеченных во время обучения, если только это не является достоверно

$$a_{y^{(i)}}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML}) = P\left(\underset{j\in[1,k]}{\arg\max}\,a_j(\mathbf{x}^{(i)}; \mathbf{θ}_{ML}) = y^{(i)}\right)$$

Надежно ли это когда-нибудь? Вероятно ли это хотя бы приблизительно верно? Или есть какой-то другой аргумент, который оправдывает это уравнение значения изученной активации в позиции метки с вероятностью того, что там происходит максимальное значение изученных активаций?

Энтропия и теория информации

Даже если предположить, что вышеупомянутые проблемы решены и активации являются действительными PMF (или могут быть осмысленно рассматриваться как таковые), так что роль, которую играет кросс-энтропия в вычислениях вызывает проблем, неясно, мне, почему полезно или полезно говорить об энтропии , поскольку энтропия Шенона применяется к определенному вид кодирования , который не используется для обучения сети.$\mathbf{θ}_{ML}$$\mathbf{a}(\mathbf{x}^{(i)}; \mathbf{θ}_{ML})$

Какую роль играет теоретико-информационная энтропия в интерпретации функции стоимости, в отличие от простого предоставления инструмента (в форме кросс-энтропии) для его вычисления (которое соответствует MLE)?

Нейронные сети не обязательно дают вероятности в качестве выходных данных, но они могут быть разработаны для этого. Чтобы быть интерпретированным как вероятности, набор значений должен быть неотрицательным и иметь сумму, равную единице. Проектирование сети для вывода вероятностей обычно сводится к выбору выходного слоя, который накладывает эти ограничения. Например, в задаче классификации с классами распространенным выбором является выходной слой softmax с единицами. Функция softmax заставляет выходы быть неотрицательными и суммировать в единицу. - й выходной блок дает вероятность того, что класс . Для задач бинарной классификации другим популярным выбором является использование единого блока вывода с логистикой$k$$k$$j$$j$функция активации. Выходные данные логистической функции находятся в диапазоне от нуля до единицы и дают вероятность того, что класс равен 1. Вероятность того, что класс равен 0, неявно равна единице минус это значение. Если сеть не содержит скрытых слоев, то эти два примера эквивалентны полиномиальной логистической регрессии и логистической регрессии соответственно.

Перекрестная энтропия измеряет разницу между двумя вероятностными распределениями и . Когда перекрестная энтропия используется в качестве функции потерь для дискриминационных классификаторов, и являются распределениями по меткам классов, учитывая входные данные (то есть конкретную точку данных). - это «истинное» распределение, а - это распределение, предсказанное моделью. В типичных задачах классификации каждый вход в наборе данных связан с целочисленной меткой, представляющей истинный класс. В этом случае мы используем эмпирическое распределение для$H(p, q)$$p$$q$$p$$q$$p$$q$$p$, Это просто присваивает вероятность 1 истинному классу точки данных, а вероятность 0 - всем другим классам. - распределение вероятностей класса, предсказанное сетью (например, как описано выше).$q$

Скажем, данные iid, - эмпирическое распределение, а - прогнозируемое распределение (для й точки данных). Тогда минимизация кросс-энтропийных потерь (т. усредненных по точкам данных) эквивалентна максимизации вероятности данных. Доказательство относительно простое. Основная идея состоит в том, чтобы показать, что кросс-энтропийная потеря пропорциональна сумме отрицательных логарифмических вероятностей точек данных. Это выпадает аккуратно из-за формы эмпирического распределения.$p_i$$q_i$$i$$H(p_i, q_i)$

Перекрестная потеря энтропии также может применяться более широко. Например, в задачах «мягкой классификации» нам даны распределения по меткам классов, а не по меткам жестких классов (поэтому мы не используем эмпирическое распределение). Я описываю, как использовать кросс-энтропийную потерю в этом случае здесь .

Для решения некоторых других вопросов в вашем вопросе:

Различные вероятности обучения и прогнозирования

Похоже, вы находите модуль вывода с максимальной активацией и сравниваете его с меткой класса. Это не сделано для обучения с использованием перекрестной потери энтропии. Вместо этого вероятности, выведенные моделью, сравниваются с «истинными» вероятностями (обычно принимается за эмпирическое распределение).

Энтропия Шенона применяется к определенному виду кодирования, который не используется при обучении сети.

Кросс-энтропия может интерпретироваться как количество битов в сообщении, необходимое (в среднем) для кодирования событий, извлеченных из истинного распределения , если используется оптимальный код для распределения . Перекрестная энтропия принимает минимальное значение (энтропия Шеннона ), когда . Чем лучше совпадение между и$H(p,q)$$p$$q$$H(p)$$p$$q = p$$q$$p$, чем короче длина сообщения. Обучение модели для минимизации перекрестной энтропии можно рассматривать как обучение ее для лучшего приближения к истинному распределению. В контролируемых задачах обучения, которые мы обсуждали, модель дает распределение вероятностей по возможным выходным данным с учетом входных данных. Явный поиск оптимальных кодов для распределения не является частью процесса.

Я отвечу с несколько более общей точки зрения относительно характера того, как, когда и почему мы можем рассматривать выходные данные NN как распределения вероятностей.

В том смысле, что softmax приводит к тому, что выходные данные суммируются с 1 и также являются неотрицательными, выходные данные сети представляют собой дискретное распределение вероятностей по классам или, по крайней мере, могут интерпретироваться как таковые. Следовательно, совершенно разумно говорить о кросс-энтропиях и максимальных вероятностях.

Тем не менее, я думаю, что вы видите (и это правильно), что выходные «вероятности» могут не иметь ничего общего с реальной вероятностью правильности . Это хорошо известная проблема в ML, называемая калибровкой . Например, если ваш классификатор собак и кошек говорит , то вы ожидаете, что если вы взяли набор примеров всех из которых , тогда примерно 30% входных данных будут ошибочно классифицированы (так как они были уверены только на 70%).$f_\theta$$D$$C$$f_\theta(x_i,C) = P(x_i = C|\theta) = 0.7$$S=\{x_j\}$ $P(x_j = C|\theta) = 0.7$

Однако, оказывается, что современные методы обучения не навязывают это вообще! Посмотрите Guo и др., О калибровке современных нейронных сетей, чтобы увидеть некоторые обсуждения этого.

Другими словами, «вероятность» вывода из softmax вполне может не иметь ничего общего с фактической достоверностью модели. И это не удивительно: мы просто хотим максимизировать нашу точность, и каждый входной пример имеет вероятность 1 быть его целевым классом. Существует мало стимулов для модели, чтобы получить это право. Если не нужно оценивать неопределенность, то зачем это нужно? Кросс-энтропия не устраняет эту проблему; на самом деле, вы говорите, чтобы каждый раз переходил к дельта-функции!

Много недавних работ по Байесовским нейронным сетям пытаются исправить эту проблему. Такие модели используют распределение по параметрам с учетом данных , которые можно интегрировать для получения фактического распределения вероятности . Это помогает гарантировать полезные измерения неопределенности и лучшую калибровку. Тем не менее, это более проблематично в вычислительном отношении.$P(\theta|X) = P(X|\theta)P(\theta)/P(X)$$P(y_i|x_i,X)=\int P(y_i|\theta,x_i) P(\theta|X) \,d\theta$

Надеюсь, я не поняла ваш вопрос!

Нейронные сети с прямой связью аппроксимируют истинные классовые вероятности при надлежащем обучении.

В 1991 году Ричард и Липпманн доказали, что нейронные сети с прямой связью приближаются к вероятностям апостериорных классов, когда обучаются с {0,1} шаблонами целевых показателей класса [ Richard MD, & Lippmann RP (1991). Классификаторы нейронной сети оценивают байесовские апостериорные вероятности. Нейронные вычисления, 3, 461–483. ]. В своей линии доказательств они используют нейронные сети прямой связи с одним скрытым слоем.

В математической аннотации Duda & Hart [ Duda RO & Hart PE (1973): классификация образов и анализ сцен, Wiley ] определите распределения признаков, предоставляемые в качестве входного вектора для нейронной сети прямой связи, как , где, например, вектор данных равен , для задачи классификации с 4 признаками-переменными. Индекс указывает возможные классов, .$P({\bf{\it x}}\,\mid\,\omega_i)$${\bf{\it x}}=(0.2,10.2,0,2)$$i$$n$$i \in \{1,\ldots,n\}$

Классификатор нейронной сети с прямой связью изучает апостериорные вероятности при обучении градиентным спуском. Например, требуемый шаблон вывода должен быть для задачи классификации двух классов. Нейронная сеть с прямой связью имеет один выходной узел на класс. Вектор указывает, что наблюдаемый признак-вектор принадлежит 2-му классу.${\hat P}(\omega_i\,\mid\,{\bf{\it x}})$${\bf {\it o}}=(0,1)$$(0,1)$

Логарифмическая вероятность не связана напрямую с энтропией в контексте вашего вопроса. Сходство поверхностно: оба имеют суммы логарифмов вероятностных величин.

Логарифм в логарифмическом правдоподобии (MLE) выполняется исключительно по причинам численного расчета. Произведение вероятностей может быть очень маленьким, особенно если ваша выборка велика. Тогда диапазон вероятностей переходит от 1 к исчезающе малой стоимости продукта. Когда вы получаете журнал, продукт становится суммой, а функция журнала сжимает диапазон значений в меньший, более управляемый домен. Логарифм является монотонной функцией, поэтому максимальное (минимальное) логарифмическое правдоподобие даст тот же ответ самой вероятности. Следовательно, наличие лог в выражении MLE не важно в математическом смысле, а просто вопрос удобства.

Наличие логарифмической функции в энтропии является более существенным и имеет свои корни в статистической механике, отрасли физики. Это связано с распределением Больцмана , которое используется в теории газов. Например, вы можете определить давление воздуха как функцию высоты над уровнем моря.