Как улучшить стабильность нейронной сети?

Я использую нейронную сеть в R, чтобы построить NN с 14 входами и одним выходом. Я строю / обучаю сеть несколько раз, используя одни и те же входные данные обучения и ту же архитектуру / настройки сети.

После создания каждой сети я использую ее на отдельном наборе тестовых данных для вычисления некоторых прогнозируемых значений. Я обнаружил, что существует большая разница в каждой итерации прогнозируемых данных, несмотря на то, что все входные данные (и данные обучения, и тестовые данные) остаются неизменными каждый раз, когда я строю сеть.

Я понимаю, что будут существовать различия в весовых коэффициентах, производимых в пределах NN каждый раз, и что никакие две нейронные сети не будут идентичны, но что я могу попытаться создать сети, которые являются более согласованными для каждой последовательности, учитывая идентичные данные?

В целом, вы получите большую стабильность, увеличив количество скрытых узлов и используя соответствующее снижение веса (иначе как штраф за гребень).

В частности, я бы порекомендовал использовать этот caretпакет, чтобы лучше понять вашу точность (и даже неопределенность в вашей точности). Кроме того, следует обратить внимание на avNNetто, что делает ученика из множества нейронных сетей для уменьшения эффекта начальных семян. Лично я не видел огромного улучшения при использовании, avNNetно это могло бы ответить на ваш оригинальный вопрос.

Я бы также позаботился о том, чтобы все ваши данные были должным образом обусловлены. Вы ортогонализировали, а затем пересчитали их? Caret также может выполнить эту предварительную обработку для вас с помощью своей pcaNNetфункции.

Наконец, вы можете рассмотреть возможность добавления некоторых пропущенных соединений. Вы должны убедиться, что в ваших данных отсутствуют выбросы / рычаги для перекоса этих соединений.

Я не работал с R, поэтому я могу дать только более общие советы.

Вы проверили, сходился ли алгоритм? Одним из возможных объяснений может быть то, что разные наборы параметров находятся где-то на полпути к одному и тому же оптимуму.

Если алгоритм всегда сходится, но с другим локальным оптимумом, то есть много эвристик, которые вы могли бы попытаться избежать. Одна из простых стратегий при использовании стохастического градиентного спуска (SGD) состоит в том, чтобы использовать меньшие партии и больший импульс . Меньшие размеры партий эффективно вносят некоторый шум в тренировку, что может помочь избежать некоторых локальных оптимумов. Гораздо более сложной стратегией будет инициализация весов с использованием автоэнкодеров .