Регуляризация: зачем умножать на 1 / 2м?

10

В неделю 3 - конспектов в классе Coursera Machine Learning Эндрю Нг , термин добавляется к функции стоимости реализации упорядочению:

J^{+} (θ) знак равно J (θ) + \frac{λ}{2 м} Σ_{J знак равно 1}^{N} θ_{J}^{2}

$J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2$

В примечаниях к лекции говорится:

Мы также можем упорядочить все наши тэта-параметры в одном суммировании:

$м я N_{θ} \frac{1}{2 м} [Σ_{я знак равно 1}^{м} ({час}_{θ} ({Икс}^{(я)}) - Y^{(я)})^{2} + λ Σ_{J знак равно 1}^{N} θ_{J}^{2}]$ $min_\theta\ \dfrac{1}{2m}\ \left[ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\ \sum_{j=1}^n \theta_j^2 \right]$

$\frac 1 {2m}$ позже применяется к термину регуляризации нейронных сетей :

Напомним, что функция стоимости для упорядоченной логистической регрессии была:

$J (θ) знак равно - \frac{1}{м} Σ_{я знак равно 1}^{м} [Y^{(я)} журнал ({час}_{θ} ({Икс}^{(я)})) + (1 - Y^{(я)}) журнал (1 - {час}_{θ} ({Икс}^{(я)}))] + \frac{λ}{2 м} Σ_{J знак равно 1}^{N} θ_{J}^{2}$ $J(\theta) = - \frac{1}{m} \sum_{i=1}^m [ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)}))] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$
Для нейронных сетей это будет немного сложнее:
$\begin{matrix} J (Θ) = - \frac{1}{m} \sum_{i = 1}^{m} \sum_{k = 1}^{K} [y_{k}^{(i)} \log ((h_{Θ} (x^{(i)}))_{k}) + (1 - Y_{К}^{(я)}) журнал (1 - ({час}_{Θ} ({Икс}^{(я)}))_{К})] + \frac{λ}{2 м} Σ_{L знак равно 1}^{L - 1} Σ_{я знак равно 1}^{s_{L}} Σ_{J знак равно 1}^{s_{L + 1}} (Θ_{J, я}^{(L)})^{2} \end{matrix}$ $\begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*}$

Почему постоянная половина используется здесь? Так что это отменяется в производной ? $J'$
Почему деление на обучающих примеров? Как количество обучающих примеров влияет на вещи? $m$

regularization

— Том Хейл
источник

Вы уверены, что 1 / m относится к регуляризации, а не к J (theta) AFAIK @DikranMarsupial отвечает на это предположение ...... или сам J (theta) имеет термин 1 / m?

— seanv507

Это предположение неверно - применяется как к нерегулируемой функции стоимости, так и к члену регуляризации. Я обновил вопрос, чтобы дать полную формулу.

\frac{1}{2 m}

$1 \over 2m$

— Том Хейл,

5

Предположим, у вас есть 10 примеров, и вы не делите стоимость регуляризации L2 на количество примеров m . Тогда «доминирование» стоимости регуляризации L2 по сравнению со стоимостью кросс-энтропии будет равно 10: 1, потому что каждый пример обучения может вносить вклад в общую стоимость пропорционально 1 / m = 1/10.

Если у вас есть больше примеров, скажем, 100, то «доминирование» стоимости регуляризации L2 будет примерно равно 100: 1, поэтому вам нужно соответственно уменьшить λ , что неудобно. Лучше иметь постоянную λ независимо от размера партии.

Обновление: чтобы усилить этот аргумент, я создал блокнот Jupyter .

— грез
источник

1

Хм, но разве цель коэффициента 1 / m перед функцией стоимости не в том, чтобы каждый пример обучения вносил одинаковый вклад в стоимость? Таким образом, поскольку мы уже усредняем индивидуальные затраты, это не должно быть причиной доминирования термина L2. Однако из вашей замечательной симуляции я вижу, что коэффициент 1 / m также перед термином L2 помогает. Я просто не понимаю интуицию (пока).

— Милания,

Почему это неудобно ?? просто разделить стоимость L2 на количество образцов. Я думаю, что, возможно, вы сформулировали это неправильно. Я думаю, что вы хотели сказать, что неудобно каждый раз вручную масштабировать стоимость L2, лучше поделить на количество выборок как часть формулы для автоматического масштабирования.

— SpaceMonkey

6

Функция потерь в обучающем наборе как правило, представляет собой сумму по шаблонам, составляющим обучающий набор, поэтому, когда обучающий набор становится больше, первый член масштабируется по существу линейно с . Мы можем сузить диапазон для поиска хорошего значения , если сначала разделим член регуляризации на чтобы компенсировать зависимость от . 2, конечно, действительно находится в знаменателе, чтобы упростить производные, необходимые для алгоритма оптимизации, используемого для определения оптимального . $J(\theta)$ $m$ $\lambda$ $m$ $J(\theta)$ $m$ $\theta$

— Дикран Сумчатый
источник

Спасибо за объяснение нерегулярного масштабирования стоимости с

. Я до сих пор не понимаю, как деление на

поможет лучше работать одному значению

с широко различающимися значениями

. Нерегулируемая стоимость уже сильно зависит от

, так зачем заботиться о члене регуляризации, который зависит от

параметров, а не от

примеров? Это потому, что при большем количестве обучающих примеров дисперсия будет уменьшаться при одинаковом количестве параметров?

m

$m$

m

$m$

λ

$\lambda$

m

$m$

m

$m$

n

$n$

m

$m$

— Том Хейл

Функция потерь в вопросе является средней величиной по всем примерам (т.е. она делится на m), а не суммой, поэтому я не очень понимаю, как работает этот ответ.

— Дензилое

@Denziloe это относится и к члену регуляризации.

— Дикран Сумчатый

2

Я задавался вопросом о том же самом, когда брал этот курс, и закончил тем, что исследовал это немного. Я дам короткий ответ здесь, но вы можете прочитать более подробный обзор в блоге, который я написал об этом .

Я полагаю, что, по крайней мере, одна из причин этих коэффициентов масштабирования заключается в том, что регуляризация L², вероятно, вошла в область глубокого обучения благодаря внедрению связанной, но не идентичной концепции снижения веса.

Затем существует коэффициент 0,5, чтобы получить хороший коэффициент только для λ для снижения веса в градиенте, и масштабирование по m ... ну, есть по крайней мере 5 различных мотиваций, которые я нашел или придумал:

Побочный эффект пакетного градиентного спуска: когда вместо всей формации обучения формализована одна итерация градиентного спуска, в результате чего алгоритм, иногда называемый пакетным градиентным спуском, вводится с коэффициентом масштабирования 1 / м, чтобы сделать функцию стоимости сопоставимой для разных наборов данных, автоматически применяется к сроку снижения веса.
Измените вес одного примера: посмотрите интересную интуицию Греза .
Репрезентативность обучающего набора: имеет смысл уменьшить регуляризацию по мере роста размера обучающего набора, так как по статистике его репрезентативность в общем распределении также возрастает. По сути, чем больше у нас данных, тем меньше требуется регуляризация.
Обеспечение сопоставимости λ: Будем надеяться, что уменьшая необходимость изменения λ при изменении m, это масштабирование сделает само сопоставление λ по наборам данных разных размеров. Это делает λ более репрезентативной оценкой фактической степени регуляризации, требуемой конкретной моделью для конкретной задачи обучения.
Эмпирическая ценность: отличный ноутбук от компании grezдемонстрирует, что это повышает производительность на практике.

— ShayPal5
источник

0

Я также был смущен этим, но потом в лекции для глубокого обучения. Эндрю предполагает, что это всего лишь константа масштабирования:

http://www.youtube.com/watch?v=6g0t3Phly2M&t=2m50s

Возможно, есть более глубокая причина для использования 1 / 2m, но я подозреваю, что это просто гиперпараметр.

— Кейан П
источник

Это не отвечает на вопрос.

— Майкл Р. Черник