Вопросы с тегом «hyperparameter»

Есть ли литература, в которой рассматривается выбор размера мини-партии при выполнении стохастического градиентного спуска? По моему опыту, это, кажется, эмпирический выбор, обычно находящийся в перекрестной проверке или с использованием различных практических правил. Является ли хорошей идеей медленно увеличивать размер мини-пакета по мере уменьшения ошибки проверки? Как это повлияет на ошибку …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

В иерархической модели данных где на практике типичным является выбор значений ( , что среднее значение и дисперсия гамма-распределения примерно соответствуют среднему значению и дисперсии данных (например, Clayton and Kaldor, 1987 "Эмпирические байесовские оценки стандартизированных по возрасту относительных рисков для картирования заболеваний", " Биометрия" ). Очевидно, что это только специальное …

11 poisson-distribution  gamma-distribution  hierarchical-bayesian  hyperparameter 

Я реализовывал довольно популярную статью « ОБЪЯСНЕНИЕ И ПРИМЕНЕНИЕ ОБОБЩЕННЫХ ПРИМЕРОВ », и в статье она обучает противоборствующей целевой функции. J '' (θ) = αJ (θ) + (1 - α) J '(θ). Он рассматривает α как гиперпараметр. α может быть 0,1, 0,2, 0,3 и т. д. Независимо от этой конкретной …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

Есть ли эмпирическое правило между глубиной нейронной сети и скоростью обучения? Я заметил, что чем глубже сеть, тем ниже должна быть скорость обучения. Если это правильно, то почему?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

Я часто вижу людей, говорящих о перекрестной проверке 5x2 как частном случае вложенной перекрестной проверки . Я предполагаю, что первое число (здесь: 5) относится к числу сгибов во внутренней петле, а второе число (здесь: 2) относится к числу сгибов во внешней петле? Итак, чем это отличается от «традиционного» подхода к …

10 machine-learning  cross-validation  hyperparameter 

В настоящее время я изучаю регрессию гребня, и меня немного смущает вопрос о наказании за более сложные модели (или определение более сложной модели). Из того, что я понимаю, сложность модели не обязательно соотносится с полиномиальным порядком. Итак: - более сложная модель, чем:2 + 3 + 4 х2+ 5 х3+ 6 …

9 regression  regularization  hyperparameter 

В книге «глубокое обучение Франсуа Шоле с Python» говорится: В результате настройка конфигурации модели на основе ее производительности на наборе проверки может быстро привести к подгонке к набору проверки, даже если ваша модель никогда не обучалась непосредственно этому. Центральное место в этом явлении занимает понятие утечки информации. Каждый раз, когда …

9 neural-networks  cross-validation  hyperparameter