Вопросы с тегом «optimization»

Каковы преимущества и недостатки обоих методов?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Если мы начнем с набора данных , применим к нему Лассо и получим решение , мы можем снова применить Лассо к набору данных , где - это набор ноль индексов , чтобы получить решение, , называемое «расслабленным решением LASSO» (поправьте меня, если я ошибаюсь!). Решение должно удовлетворять условиям Каруша-Куна-Такера (KKT) …

16 regression  optimization  lasso  regularization  shrinkage 

Мои вопросы: Обязательно ли обобщенные линейные модели (GLM) сходятся к глобальному максимуму? Если так, то почему? Кроме того, какие ограничения существуют для функции связи для обеспечения выпуклости? Мое понимание GLM состоит в том, что они максимизируют крайне нелинейную функцию правдоподобия. Таким образом, я бы предположил, что существует несколько локальных максимумов, …

16 generalized-linear-model  optimization  convergence  exponential-family 

Мне нужно найти минимум функции. Читая документы по адресу http://docs.scipy.org/doc/scipy/reference/optimize.html, я вижу, что есть несколько алгоритмов, которые делают одно и то же, то есть находят минимум. Как я узнаю, какой из них выбрать? некоторые из перечисленных алгоритмов Минимизируйте функцию, используя алгоритм симплексного спуска. Минимизируйте функцию, используя алгоритм BFGS. Минимизируйте функцию …

16 optimization 

Существует много литературы, в которой подчеркивается, что метод максимизации ожиданий на моделях смесей (смесь гауссовской, скрытой марковской модели и т. Д.). Почему EM важен? EM - это просто способ оптимизации, который широко не используется в качестве метода, основанного на градиенте (метод градиентного приличия или метод Ньютона / квазиньютона) или другого …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Стандартный градиентный спуск будет вычислять градиент для всего набора обучающих данных. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Для заранее определенного числа эпох мы сначала вычисляем вектор градиента weights_grad функции потерь для всего набора данных с нашими параметрами вектора параметров. Stochastic …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Я немного поэкспериментировал с различными реализациями Perceptron и хочу убедиться, правильно ли я понимаю «итерации». Оригинальное правило персептрона Розенблатта Насколько я понимаю, в классическом алгоритме персептрона Розенблатта веса обновляются одновременно после каждого примера обучения через Δ ш( т + 1 )= Δ ш( т )+ η( Т г ге т …

15 optimization  gradient-descent  perceptron 

Я пытаюсь понять, как оцениваются параметры в моделировании ARIMA / Box Jenkins (BJ). К сожалению, ни одна из книг, с которыми я столкнулся, подробно не описывает процедуру оценки, такую ​​как процедура оценки правдоподобия. Я нашел сайт / учебный материал, который был очень полезным. Ниже приведено уравнение из источника, указанного выше. …

15 time-series  forecasting  arima  optimization  box-jenkins 

Я много читал о сверточных нейронных сетях и удивлялся, как они избегают исчезающей проблемы градиента. Я знаю, что сети глубокого убеждения объединяют одноуровневые автокодеры или другие предварительно обученные мелкие сети и, таким образом, могут избежать этой проблемы, но я не знаю, как этого избежать в CNN. Согласно Википедии : «Несмотря …

15 machine-learning  optimization  deep-learning  gradient-descent 

Я хотел бы сравнить выходные данные lmer (действительно glmer) с примером игрушечного бинома. Я прочитал виньетки и, кажется, понимаю, что происходит. Но, видимо, я не. Застряв, я исправил «правду» в терминах случайных эффектов и пошел оценивать только фиксированные эффекты. Я включаю этот код ниже. Чтобы увидеть, что это законно, вы …

15 r  mixed-model  optimization  lme4-nlme 

В качестве продолжения Моей нейронной сети не могу даже изучить евклидово расстояние, я упростил еще больше и попытался обучить один ReLU (со случайным весом) одному ReLU. Это самая простая сеть, которая существует, и все же половину времени она не может сходиться. Если исходное предположение имеет ту же ориентацию, что и …

15 machine-learning  neural-networks  optimization  keras 

Я читал об оптимизаторе Адама для глубокого обучения и натолкнулся на следующее предложение в новой книге Бегнио, Гудфеллоу и Кортвилла « Глубокое обучение »: Адам включает поправки смещения к оценкам как моментов первого порядка (члена импульса), так и (нецентрированных) моментов второго порядка, чтобы учесть их инициализацию в начале координат. Кажется, …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

В общих настройках алгоритма градиентного спуска мы имеем где - текущая точка, - размер шага, а - градиент оценивается в . х п η г г д я е н т х п х пИксn + 1= хN- η∗ гр а дя е н тИксNxn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta * …

15 algorithms  optimization 

Глубокая учебная литература полна умных трюков с использованием непостоянных скоростей обучения при градиентном спуске. Такие вещи, как экспоненциальный распад, RMSprop, Adagrad и т. Д., Легко реализовать и они доступны в каждом пакете глубокого обучения, но, похоже, их не существует за пределами нейронных сетей. Есть ли причина для этого? Если людям …

14 machine-learning  deep-learning  optimization  gradient-descent 

Этот вопрос касается оценки ограниченного максимального правдоподобия (REML) в конкретной версии линейной модели, а именно: Y= Х( α ) β+ ϵ ,ε ~ NN( 0 , Σ ( α ) ) ,Yзнак равноИкс(α)β+ε,ε~NN(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), где - ( ) матрица, параметризованная , как …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml