Является ли среднеквадратическая ошибка всегда выпуклой в контексте нейронных сетей?

9

Множество ресурсов, о которых я упоминал, упоминают, что MSE великолепен, потому что он выпуклый. Но я не понимаю, как, особенно в контексте нейронных сетей.

Допустим, у нас есть следующее:

$X$ : учебный набор данных
$Y$ : цели
$\Theta$ : набор параметров модели (модель нейронной сети с нелинейностями) $f_\Theta$

Затем:

MSE (Θ) знак равно (е_{Θ} (Икс) - Y)^{2}

$\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2$

Почему эта функция потерь всегда будет выпуклой? Это зависит от ? $f_\Theta(X)$

— user74211
источник

1

Ответ вкратце: MSE сам по себе является выпуклым по своим данным и параметрам. Но в произвольной нейронной сети она не всегда выпукла из-за наличия нелинейностей в виде функций активации. Источник для моего ответа здесь .

— Varsh
источник

1

выпуклость

Функция $f(x)$ с является выпуклой, если для любого , и для любого , $x ∈ Χ$ $x_1 ∈ Χ$ $x_2 ∈ Χ$ $0 ≤ λ ≤ 1$
$е (λ {Икс}_{1} + (1 - λ) {Икс}_{2}) \leq λ е ({Икс}_{1}) + (1 - λ) е ({Икс}_{2}),$ $f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$

Можно доказать, что такой выпуклый имеет один глобальный минимум. Уникальный глобальный минимум устраняет ловушки, создаваемые локальными минимумами, которые могут возникать в алгоритмах, которые пытаются достичь сходимости по глобальному минимуму, например, минимизации функции ошибки. $f(x)$

Хотя функция ошибок может быть на 100% надежной во всех непрерывных, линейных контекстах и во многих нелинейных контекстах, она не означает сходимости по глобальному минимуму для всех возможных нелинейных контекстов.

Средняя квадратическая ошибка

Дана функция описывающая поведение идеальной системы, и модель системы (где - вектор параметров, матрица, куб или гиперкуб и ), созданная рационально или путем сходимости (как в обучении нейронной сети), функция среднеквадратичной ошибки (MSE) может быть представлена следующим образом. $s(x)$ $a(x, p)$ $p$ $1 ≤ n ≤ N$

е (β) знак равно N^{- 1} \underset{N}{Σ} [a ({Икс}_{N}) - s ({Икс}_{N})]^{2}

$e(β) := N^{-1} \sum_{n} [a(x_n) − s(x_n)]^2$

Материал, который вы читаете, вероятно, не утверждает, что или являются выпуклыми относительно , но что является выпуклым относительно и независимо от того, что они есть. Это более позднее утверждение может быть доказано для любых непрерывных и . $a(x, p)$ $s(x)$ $x$ $e(β)$ $a(x, p)$ $s(x)$ $a(x, p)$ $s(x)$

Смешанный алгоритм сходимости

Если вопрос заключается в том, могут ли быть смешаны конкретные и метод достижения который аппроксимирует пределах разумного запаса сходимости MSE, ответ - «Да». Вот почему MSE не единственная модель ошибок. $a(x, p)$ $s(x)$ $a(x, p)$

Резюме

Лучше всего подытожить, что следует определять или выбирать из набора моделей выпуклых погрешностей запаса, основанных на следующих знаниях. $e(β)$

Известные свойства системы $s(x)$
Определение аппроксимационной модели $a(x, p)$
Тензор используется для генерации следующего состояния в сходящейся последовательности

Набор стандартных выпуклых моделей ошибок, безусловно, включает модель MSE из-за ее простоты и вычислительного подхода.

— FauChristian
источник

Таким образом, краткий ответ - MSE относительно Theta, всегда выпуклый. Хотя Feedforard (X, Theta) может быть невыпуклым?

— user74211

Ну, @ user74211, этот комментарий на самом деле не отвечает на вопрос. В частности, заданный вопрос, КАК среднеквадратическая ошибка всегда может быть выпуклой, если функция, к которой она применяется, не является. Ваш комментарий является подмножеством утверждений в вопросе, без искомого объяснения.

— Фаучристиан