В чем разница между онлайн и пакетным обучением?

В настоящее время я читаю статью « Эффективное онлайн и пакетное обучение с использованием прямого и обратного разделения » Джона Дючи и Йорама Сингера. Я очень смущен использованием терминов «Онлайн» и «Пакетный режим».

Я подумал: «Онлайн» означает, что мы обновляем весовые параметры после обработки одной единицы тренировочных данных. Затем мы используем новые весовые параметры для обработки следующего блока данных тренировки.

Тем не менее, в статье выше, использование не так ясно.

Мне кажется, они правильно используют групповое и онлайн-обучение. В разделе 3 они работают над всем набором данных для выполнения обучения, т. Е. Пакетного обучения, в то время как в разделе 4 они переключаются на стохастический градиент, который можно использовать в качестве алгоритма онлайн-обучения.

Я никогда не использовал стохастическое отслеживание градиента в качестве алгоритма онлайн-обучения; тем не менее, можно просто остановить процесс оптимизации в середине учебного цикла, и это все еще является полезной моделью. Для очень больших наборов данных это полезно, так как вы можете измерить сходимость и прекратить обучение на ранней стадии. Вы можете использовать стохастическое отслеживание градиента в качестве метода онлайн-обучения, поскольку вы обновляете модель для каждого нового элемента данных, как вы, как я думаю, сказали сами. Хотя я бы осторожно назвал это «данными тренировок». Данные обучения - это набор данных, а не точка назначения, но я думаю, что я вас понял, поскольку вы сказали « по данным обучения».

Короче говоря,

Онлайн: обучение на основе каждого шаблона, как он наблюдается.

Пакет: Обучение над группами скороговорок. Большинство алгоритмов являются пакетными.

Источник: http://machinelearningmastery.com/basic-concepts-in-machine-learning/

Пакетное и онлайн-обучение

Он-лайн и пакетный режимы немного отличаются, хотя оба будут хорошо работать на параболических рабочих поверхностях. Одно из основных отличий состоит в том, что пакетный алгоритм поддерживает постоянные веса системы при вычислении ошибки, связанной с каждой выборкой на входе. Поскольку онлайн-версия постоянно обновляет свои веса, при расчете ошибок (и, следовательно, при оценке градиента) используются разные веса для каждой входной выборки. Это означает, что два алгоритма посещают разные наборы точек во время адаптации. Однако они оба сходятся к одному минимуму.

Обратите внимание, что количество весовых обновлений двух методов для одного и того же числа представлений данных сильно отличается. Он-лайн метод (LMS) обновляет каждый образец, а пакетный - каждую эпоху, то есть

Обновления LMS = (пакетные обновления) x (количество образцов в обучающем наборе).

Пакетный алгоритм также немного более эффективен с точки зрения количества вычислений.