Потеря обучения увеличивается со временем [дубликат]

Я тренирую модель (Recurrent Neural Network), чтобы классифицировать 4 типа последовательностей. Во время тренировок я вижу, что потери тренировок снижаются до того момента, когда я правильно классифицирую более 90% образцов в моих тренировочных партиях. Однако спустя пару эпох я замечаю, что потеря тренировок увеличивается и моя точность падает. Это кажется мне странным, так как я ожидаю, что на тренировочной площадке производительность должна улучшаться со временем, а не ухудшаться. Я использую перекрестную потерю энтропии, и моя скорость обучения составляет 0,0002.

Обновление: оказалось, что скорость обучения была слишком высокой. При низкой и достаточно низкой скорости обучения я не наблюдаю такого поведения. Однако я все еще нахожу это странным. Любые хорошие объяснения приветствуются, почему это происходит

У меня было такое же поведение при обучении CNN, потому что я использовал градиентный спуск с затухающей скоростью обучения для вычисления ошибки. Вы значительно увеличили количество итераций и проверили, появилось ли это поведение намного позже с новой низкой скоростью обучения?

Поскольку скорость обучения слишком велика, она будет расходиться и не сможет найти минимум функции потерь. Использование планировщика для снижения скорости обучения после определенных эпох поможет решить проблему

При более высоких скоростях обучения вы слишком сильно двигаетесь в направлении, противоположном градиенту, и можете отойти от локальных минимумов, что может увеличить потери. Могут помочь планирование скорости обучения и отсечение градиента.