Каковы различия между «эпохой», «партией» и «мини-партией»?

Насколько я знаю, при принятии Stochastic Gradient Descent в качестве алгоритма обучения кто-то использует «эпоху» для полного набора данных и «пакет» для данных, используемых на одном этапе обновления, тогда как другой использует соответственно «пакет» и «мини-пакет», и другие используют «эпоху» и «минибат». Это приносит много путаницы при обсуждении.

Так что же правильно сказать? Или это просто диалекты, которые все приемлемы?

• Эпоха означает один проход по всему тренировочному набору
• Пакетный режим означает, что вы используете все свои данные для вычисления градиента за одну итерацию.
• Мини-пакет означает, что вы берете только часть всех ваших данных за одну итерацию.

Одна эпоха обычно означает, что ваш алгоритм видит каждый обучающий экземпляр один раз. Теперь предположим, что у вас есть обучающих примеров:$n$

Если вы запускаете пакетное обновление, каждое обновление параметра требует, чтобы ваш алгоритм видел каждый из обучающих экземпляров ровно один раз, т. Е. Каждую эпоху ваши параметры обновляются один раз.$n$

Если вы запускаете мини-пакетное обновление с размером пакета = , каждое обновление параметра требует, чтобы ваш алгоритм видел b из n обучающих экземпляров, т. Е. Каждую эпоху ваши параметры обновляются примерно n / b раз.$b$$b$$n$$n/b$

$n$$n$

«Эпоха» обычно означает раскрытие алгоритма обучения всему набору обучающих данных. Это не всегда имеет смысл, поскольку мы иногда генерируем данные.

«Пакетный режим» и «Мини-пакет» могут сбивать с толку.

Иногда обучающие примеры необходимо «пакетировать», потому что не все данные могут быть сразу подвергнуты алгоритму (обычно из-за ограничений памяти).

В контексте SGD «мини-пакет» означает, что градиент рассчитывается по всему пакету перед обновлением весов. Если вы не используете «мини-пакет», каждый обучающий пример в «пакете» обновляет параметры алгоритма обучения независимо.