Нет никаких сильных, хорошо документированных принципов, которые бы помогли вам выбрать между типами регуляризации в нейронных сетях. Вы можете даже комбинировать методы регуляризации, вам не нужно выбирать только один.
Работоспособный подход может быть основан на опыте и на основании литературы и результатов других людей, чтобы увидеть, что дало хорошие результаты в различных проблемных областях. Имея это в виду, отсев оказался очень успешным для широкого круга проблем, и вы, вероятно, можете считать его хорошим первым выбором почти независимо от того, что вы пытаетесь.
Также иногда может помочь просто выбор варианта, с которым вы знакомы - работа с техниками, которые вы понимаете и у которых есть опыт, может дать вам лучшие результаты, чем пробовать целый пакет с различными вариантами, когда вы не уверены, какой порядок значений использовать для параметра. , Ключевая проблема заключается в том, что методы могут взаимодействовать с другими параметрами сети - например, вы можете увеличить размер слоев с выпадением в зависимости от процента выпадения.
Наконец, может не иметь большого значения, какие методы регуляризации вы используете, просто то, что вы понимаете свою проблему и достаточно хорошо моделируете, чтобы определить, когда она переизбыточна, и можете сделать это с большей регуляризацией. Или, наоборот, определите, когда он недостаточно подходит, и что вы должны уменьшить регуляризацию.