Связь между скоростью обучения и количеством скрытых слоев?

Есть ли эмпирическое правило между глубиной нейронной сети и скоростью обучения? Я заметил, что чем глубже сеть, тем ниже должна быть скорость обучения.

Если это правильно, то почему?

На этот вопрос ответили здесь:

При использовании нейронных сетей скорость обучения должна быть пропорциональна размерам скрытых слоев? Должны ли они влиять друг на друга?

Короткий ответ - да, есть связь. Хотя отношение не так тривиально, все, что я могу вам сказать, это то, что вы видите, потому что поверхность оптимизации становится более сложной по мере увеличения числа скрытых слоев, поэтому меньшие скорости обучения, как правило, лучше. Хотя застревание в локальных минимумах возможно при низкой скорости обучения, оно намного лучше, чем при сложной поверхности и высокой скорости обучения.