Вопросы с тегом «sgd»

Предположим, у нас есть некоторый обучающий набор ( х( я ), у( я ))(x(i),y(i))(x_{(i)}, y_{(i)}) для я = 1 , … , мi=1,…,mi = 1, \dots, m . Также предположим, что мы запускаем некоторый тип контролируемого алгоритма обучения на тренировочном наборе. Гипотезы представлены в виде часθ( х( я )) = …

101 optimization  gradient-descent  sgd 

Я пытаюсь понять историю градиентного спуска и стохастического градиентного спуска . Градиентный спуск был изобретен в Коши в 1847 году. Общий метод решения проблем симуляций . С. 536–538. Подробнее об этом см. здесь . С тех пор методы градиентного спуска продолжали развиваться, и я не знаком с их историей. В …

36 references  gradient-descent  history  sgd 

Учитывая выпуклую функцию стоимости, используя SGD для оптимизации, мы будем иметь градиент (вектор) в определенной точке в процессе оптимизации. Мой вопрос, учитывая точку на выпуклом, градиент только указывает в направлении, в котором функция увеличивается / уменьшается быстрее всего, или градиент всегда указывает на оптимальную / крайнюю точку функции стоимости ? …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Я видел аналогичный вывод из многих дискуссий, что с увеличением размера мини-пакета конвергенция SGD становится все труднее / хуже, например, в этой статье и в этом ответе . Также я слышал о людях, использующих такие уловки, как небольшая скорость обучения или размеры партий на ранней стадии, для решения этой проблемы …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Стандартный градиентный спуск будет вычислять градиент для всего набора обучающих данных. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Для заранее определенного числа эпох мы сначала вычисляем вектор градиента weights_grad функции потерь для всего набора данных с нашими параметрами вектора параметров. Stochastic …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

В настоящее время я немного озадачен тем, как мини-пакетный градиентный спуск может быть пойман в ловушку. Решение может быть слишком тривиальным, чтобы я его не понял. Вы получаете новую выборку каждую эпоху, и она вычисляет новую ошибку на основе новой партии, поэтому функция стоимости является статической только для каждой партии, …

14 gradient-descent  sgd 

Я выполняю эксперименты на валидации EMNIST, используя сети с RMSProp, Adam и SGD. Я достиг 87% точности с SGD (скорость обучения 0,1) и отсева (0,1 отсева), а также регуляризация L2 (1e-05 штраф). При тестировании точно такой же конфигурации с RMSProp и Adam, а также с начальной скоростью обучения 0,001 я …

12 machine-learning  optimization  sgd  adam 

В чем разница между авто-кодированием вариационного байесовского алгоритма и стохастическим обратным распространением для моделей с глубокой генерацией ? Приводит ли вывод в обоих методах к тем же результатам? Я не знаю каких-либо явных сравнений между этими двумя методами, несмотря на то, что обе группы авторов цитируют друг друга.

10 deep-learning  inference  latent-variable  variational-bayes  sgd