Вопросы с тегом «optimization»

Поэтому я пытаюсь научить себя нейронным сетям (для регрессионных приложений, а не для классификации изображений кошек). Моими первыми экспериментами было обучение сети внедрению КИХ-фильтра и дискретного преобразования Фурье (обучение сигналам «до» и «после»), поскольку обе эти линейные операции могут быть реализованы одним слоем без функции активации. Оба работали нормально. Тогда …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Предположим, что мы делаем игрушечный пример с градиентом приличия, минимизируя квадратичную функцию , используя фиксированный размер шага α = 0,03 . ( A = [ 10 , 2 ; 2 , 3 ] )ИксTхxTAxx^TAxα = 0,03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Если …

9 r  machine-learning  optimization  gradient-descent 

Я тренирую простую сверточную нейронную сеть для регрессии, где задача состоит в том, чтобы предсказать (x, y) расположение блока на изображении, например: Выход сети имеет два узла, один для х, а другой для у. Остальная часть сети является стандартной сверточной нейронной сетью. Потеря представляет собой стандартную среднеквадратичную ошибку между прогнозируемым …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Предположим, мы хотим вычислить некоторое ожидание: EYЕИкс| Y[f(X,Y) ]EYЕИкс|Y[е(Икс,Y)]E_YE_{X|Y}[f(X,Y)] Предположим, мы хотим приблизить это с помощью моделирования Монте-Карло. ЕYЕИкс| Y[ ф( Х, Y) ] ≈ 1R SΣг = 1рΣs = 1Sе(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Но предположим , что это дорого брать пробы из обоих распределений, так что мы только можем себе …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Я думал решить Лассо с помощью ванильных субградиентных методов. Но я читал людей, предлагающих использовать проксимальный градиентный спуск. Может ли кто-нибудь подчеркнуть, почему для лассо используются проксимальный GD вместо ванильных субградиентных методов?

9 machine-learning  optimization  lasso  gradient-descent 

В моем эконометрическом учебнике (Вводная эконометрика), посвященном МЖС, автор пишет: «SSR должен падать, когда добавляется еще одна объясняющая переменная». Почему это?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Я ищу пакет, который поможет мне решить некоторые задачи квадратичной оптимизации, и я вижу, что есть как минимум полдюжины различных пакетов. Согласно этой странице: QP (квадратичное программирование, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Некоторые из них (Rmosek и cplexAPI) зависят от других …

9 r  optimization 

По умолчанию, когда мы используем glmфункцию в R, она использует метод итеративно перевешиваемых наименьших квадратов (IWLS), чтобы найти оценку максимального правдоподобия параметров. Теперь у меня есть два вопроса. Гарантируют ли оценки IWLS глобальный максимум функции правдоподобия? Основываясь на последнем слайде в этой презентации, я думаю, что нет! Я просто хотел …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Как я могу оценить 95% доверительные интервалы, используя профилирование для параметров, оцениваемых путем максимизации логарифмической функции правдоподобия с использованием optim в R? Я знаю, что могу асимптотически оценить ковариационную матрицу, инвертировав гессиан , но я обеспокоен тем, что мои данные не соответствуют предположениям, необходимым для того, чтобы этот метод был …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Это довольно общий вопрос (т.е. не обязательно специфический для статистики), но я заметил тенденцию в машинном обучении и статистической литературе, где авторы предпочитают придерживаться следующего подхода: Подход 1 : Получить решение практической проблемы, сформулировав функцию стоимости, для которой можно (например, с вычислительной точки зрения) найти глобально оптимальное решение (например, путем …

9 optimization  function 

Я ищу надежную ссылку (или ссылки) на методы числовой оптимизации, предназначенные для статистиков, то есть они применили бы эти методы к некоторым стандартным выводным задачам (например, MAP / MLE в распространенных моделях). Такие вещи, как градиентный спуск (прямой и стохастический), ЭМ и его побочные эффекты / обобщения, моделируемый отжиг и …

9 estimation  references  optimization 

Итак, у меня есть 16 испытаний, в которых я пытаюсь идентифицировать человека по биометрической характеристике, используя расстояние Хэмминга. Мой порог установлен на 3,5. Мои данные ниже, и только пробная версия 1 является истинным положительным результатом: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction