Вопросы с тегом «optimization»

Есть ли математическое или алгоритмическое определение переоснащения? Часто предоставляемые определения представляют собой классический двухмерный график точек с линией, проходящей через каждую точку, и кривая потерь при проверке внезапно растет. Но есть ли математически строгое определение?

18 mathematical-statistics  optimization  overfitting 

Из любого общего алгоритма выборки можно получить алгоритм оптимизации. Действительно, чтобы максимизировать произвольную функцию , достаточно извлечь образцы из . При достаточно малых значениях эти выборки окажутся вблизи глобального максимума (или на практике локального максимума) функции .е: x → f( х )е:Икс→е(Икс)f: \textbf{x} \rightarrow f(\textbf{x})грамм∼ ее/ Tграмм~ее/Tg \sim e^{f/T}TTTееf Под …

18 sampling  optimization 

Я пытаюсь свести к минимуму пользовательские функции. Он должен принимать пять параметров и набор данных и выполнять все виды вычислений, выдавая в качестве выходных данных одно число. Я хочу найти комбинацию из пяти входных параметров, которая дает наименьший выход моей функции.

18 r  optimization 

Многие учебники онлайн рассказывают о градиентном спуске, и почти во всех из них используется фиксированный размер шага (скорость обучения ). Почему не используется поиск строк (например, поиск по линии с возвратом или точный поиск по строке)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Я видел аналогичный вывод из многих дискуссий, что с увеличением размера мини-пакета конвергенция SGD становится все труднее / хуже, например, в этой статье и в этом ответе . Также я слышал о людях, использующих такие уловки, как небольшая скорость обучения или размеры партий на ранней стадии, для решения этой проблемы …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Мы определяем эпоху как пройденную через все доступные обучающие выборки, а размер мини-пакета как число выборок, по которым мы усредняем, чтобы найти обновления весов / смещений, необходимые для снижения градиента. Мой вопрос заключается в том, следует ли нам рисовать без замены из набора обучающих примеров, чтобы генерировать каждую мини-серию в …

18 machine-learning  neural-networks  optimization  deep-learning 

Я только изучаю оптимизацию и испытываю трудности с пониманием разницы между выпуклой и невыпуклой оптимизацией. Насколько я понимаю, выпуклая функция - это та, где «отрезок прямой между любыми двумя точками на графике функции лежит выше или на графике». В этом случае можно использовать алгоритм градиентного спуска, поскольку существует единственный минимум, …

18 optimization 

Я предполагаю, что это основной вопрос, и он связан с направлением самого градиента, но я ищу примеры, где методы 2-го порядка (например, BFGS ) более эффективны, чем простой градиентный спуск.

18 optimization 

Можно выполнить логит-регрессию в R, используя такой код: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Похоже, что алгоритм оптимизации сходится - есть информация о количестве шагов алгоритма Фишера: Call: glm(formula = cbind(Menarche, Total - Menarche) ~ Age, …

17 r  generalized-linear-model  optimization  algorithms  logit 

Я нашел эту реализацию Python в Дженкс Natural Breaks алгоритма , и я мог бы сделать его запустить на моем компьютере Windows 7. Это довольно быстро, и он находит разрывы за короткое время, учитывая размер моих геоданных. Прежде чем использовать этот алгоритм кластеризации для моих данных, я использовал sklearn.clustering.KMeans (здесь) …

17 python  clustering  optimization 

Я пытаюсь использовать квадратичные потери, чтобы выполнить двоичную классификацию для набора данных игрушек. Я использую mtcarsнабор данных, использую милю на галлон и вес, чтобы предсказать тип передачи. На приведенном ниже графике показаны два типа данных типа передачи в разных цветах и ​​границы решения, сформированные различными функциями потерь. Квадратный убыток равен …

16 r  machine-learning  logistic  optimization  loss-functions 

Я пытаюсь воспроизвести optimрезультаты простой линейной регрессии, снабженной glmили даже nlsR-функциями. Оценки параметров одинаковы, но оценка остаточной дисперсии и стандартные ошибки других параметров не одинаковы, особенно при небольшом размере выборки. Я полагаю, что это из-за различий в способе вычисления остаточной стандартной ошибки между подходами максимального правдоподобия и наименьшего квадрата (деление …

16 r  maximum-likelihood  optimization 

Я использую glmerфункцию из lme4пакета в R, и я использую bobyqaоптимизатор (т.е. по умолчанию в моем случае). Я получаю предупреждение, и мне любопытно, что это значит. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to …

16 r  optimization  lme4-nlme  convergence  glmm 

Я пытался написать алгоритм для предложения ставок в 1X2 (взвешенных) играх. По сути, в каждой игре есть набор матчей (домашние и выездные команды): 1: дом побеждает X: привлечь 2: прочь побеждает Для каждого совпадения и символа ( 1, Xи 2) я назначу процент, который представляет шансы / вероятность того, что …

16 optimization 

Мне любопытно, почему мы относимся к подгонке GLMS, как к какой-то особой проблеме оптимизации. Они? Мне кажется, что это просто максимальная вероятность, и мы записываем вероятность, а затем ... мы максимизируем ее! Так почему же мы используем оценку Фишера вместо множества схем оптимизации, разработанных в прикладной математической литературе?

16 generalized-linear-model  optimization  fisher-scoring