Градиентный спуск имеет проблему застревания в локальных минимумах. Нам нужно запустить экспоненциальное время градиентного спуска, чтобы найти глобальные минимумы.
Кто-нибудь может рассказать мне о каких-либо альтернативах градиентного спуска, применяемых в обучении нейронных сетей, наряду с их плюсами и минусами.
Ответы:
Это больше проблема для минимизируемой функции, чем для используемого метода. Если важно найти истинный глобальный минимум, используйте такой метод, как имитация отжига . Это сможет найти глобальный минимум, но это может занять очень много времени.
В случае нейронных сетей локальные минимумы не обязательно являются большой проблемой. Некоторые из локальных минимумов связаны с тем, что вы можете получить функционально идентичную модель, переставляя единицы скрытого слоя, или отрицая входные и выходные веса сети и т. Д. Также, если локальные минимумы только немного неоптимальны, то разница в производительности будет минимальной, и это не будет иметь большого значения. Наконец, и это важный момент, ключевая проблема в настройке нейронной сети является чрезмерной, поэтому агрессивный поиск глобальных минимумов функции стоимости может привести к переобучению и модели, которая работает плохо.
Добавление условия регуляризации, например, снижение веса, может помочь сгладить функцию стоимости, которая может немного уменьшить проблему локальных минимумов, и это то, что я бы порекомендовал в любом случае как средство избежать переобучения.
Однако лучший способ избежать локальных минимумов в нейронных сетях - это использовать модель гауссовского процесса (или нейронную сеть с радиальной базисной функцией), у которой меньше проблем с локальными минимумами.
Градиентный спуск - это алгоритм оптимизации .
Есть много алгоритмов оптимизации , которые работают на фиксированное число из действительных значений , которые коррелируют ( неразборный ). Мы можем разделить их примерно на 2 категории: оптимизаторы на основе градиента и оптимизаторы без производных. Обычно вы хотите использовать градиент для оптимизации нейронных сетей в контролируемых условиях, потому что это значительно быстрее, чем оптимизация без производных. Существует множество алгоритмов оптимизации на основе градиента, которые использовались для оптимизации нейронных сетей:
И было много других алгоритмов, предложенных для оптимизации нейронных сетей, вы можете использовать Google для оптимизации без гессиана или v-SGD (есть много типов SGD с адаптивной скоростью обучения, см., Например, здесь ).
Оптимизация для NNs - не решенная проблема! По моему опыту, самая большая проблема - не найти хороший местный минимум. Однако, проблема состоит в том, чтобы выбраться из очень плоских областей, иметь дело с плохо обусловленными функциями ошибок и т. Д. Именно поэтому LMA и другие алгоритмы, использующие приближения гессиана, обычно так хорошо работают на практике, и люди пытаются разработать стохастические версии. которые используют информацию второго порядка с низкой сложностью. Однако часто очень хорошо настроенный набор параметров для мини-пакета SGD лучше, чем любой сложный алгоритм оптимизации.
Обычно вы не хотите найти глобальный оптимум. Потому что это обычно требует переобучения тренировочных данных.
Интересной альтернативой градиентному спуску являются основанные на населении алгоритмы обучения, такие как эволюционные алгоритмы (EA) и оптимизация роя частиц (PSO). Основная идея, лежащая в основе популяционных подходов, заключается в том, что создается совокупность возможных решений (NN весовых векторов), и возможные варианты решений итеративно исследуют пространство поиска, обмениваются информацией и, в конечном итоге, сходятся в минимумах. Поскольку используется много начальных точек (возможных решений), шансы сходиться на глобальных минимумах значительно увеличиваются. Было показано, что PSO и EA выполняют очень конкурентоспособные, часто (хотя и не всегда) опережающие градиентные спуски по сложным задачам обучения NN.
Я знаю, что эта ветка довольно старая, а другие проделали большую работу по объяснению таких понятий, как локальные минимумы, переоснащение и т. Д. Однако, поскольку OP искал альтернативное решение, я постараюсь внести одно и надеюсь, что оно вдохновит на более интересные идеи.
Идея состоит в том, чтобы заменить каждый вес w на w + t, где t - случайное число, следующее за распределением Гаусса. Конечный выходной сигнал сети представляет собой средний выходной сигнал по всем возможным значениям t. Это можно сделать аналитически. Затем вы можете оптимизировать проблему с помощью градиентного спуска или LMA или других методов оптимизации. После завершения оптимизации у вас есть два варианта. Один из вариантов - уменьшить сигма в распределении Гаусса и проводить оптимизацию снова и снова, пока сигма не достигнет 0, тогда у вас будет лучший локальный минимум (но потенциально это может привести к переобучению). Другой вариант - продолжать использовать тот, у которого случайное число в его весах, обычно он имеет лучшее свойство обобщения.
Первый подход - это трюк оптимизации (я называю его сверточным туннелированием, поскольку он использует свертку параметров для изменения целевой функции), он сглаживает поверхность ландшафта функции стоимости и избавляет от некоторых локальных минимумов, таким образом облегчить поиск глобального минимума (или лучше локального минимума).
Второй подход связан с введением шума (на весах). Обратите внимание, что это делается аналитически, что означает, что конечный результат - одна сеть, а не несколько сетей.
Ниже приведены примеры выходных данных для задачи с двумя спиралями. Архитектура сети одинакова для всех трех: существует только один скрытый уровень из 30 узлов, а выходной уровень является линейным. Используемый алгоритм оптимизации - LMA. Левое изображение для настройки ванили; середина использует первый подход (а именно многократное уменьшение сигмы к 0); третий использует сигма = 2.
Вы можете видеть, что ванильное решение является наихудшим, сверточное туннелирование работает лучше, а внедрение шума (с сверточным туннелированием) является лучшим (с точки зрения свойства обобщения).
И сверточное туннелирование, и аналитический способ введения шума - мои оригинальные идеи. Возможно они - альтернатива, кому-то может быть интересно. Подробности можно найти в моей статье « Объединение бесконечного числа нейронных сетей в одну» . Предупреждение: я не профессиональный академический писатель, и статья не рецензируется. Если у вас есть вопросы по поводу упомянутых мной подходов, пожалуйста, оставьте комментарий.
Машины для экстремального обучения По сути, они представляют собой нейронную сеть, в которой веса, соединяющие входы со скрытыми узлами, назначаются случайным образом и никогда не обновляются. Веса между скрытыми узлами и выходами изучаются за один шаг путем решения линейного уравнения (обратная матрица).
Когда речь идет о задачах глобальной оптимизации (например, попытка найти глобальный минимум целевой функции), вы можете взглянуть на:
Как упоминалось выше, имитация отжига, оптимизация роя частиц и генетические алгоритмы являются хорошими алгоритмами глобальной оптимизации, которые хорошо ориентируются в огромных пространствах поиска и, в отличие от градиентного спуска , не нуждаются в информации о градиенте и могут успешно использоваться с целевыми функциями и задачами черного ящика. которые требуют запуска моделирования.