Критерий остановки для Nelder Mead

11

Я пытаюсь реализовать алгоритм Nelder-Mead для оптимизации функции. Страница Википедии о Nelder-Mead удивительно ясна обо всем алгоритме, за исключением критерия его остановки. Там это печально говорит:

Проверьте сходимость _{[требуется уточнение]} .

Я попробовал и протестировал пару критериев сам:

Стоп , если , где мала и где это -я вершина симплекса, заказал у минимума ( ) до высокой ( $f(x_{N+1}) - f(x_1) < \epsilon$ $\epsilon$ $x_i$ $i$ $f(x_1)$ $f(x_{N+1})$ ) значения функции. Другими словами, когда максимальное значение симплекса почти равно минимальному значению. Я обнаружил, что это не работает должным образом, так как это не дает никаких гарантий относительно того, что функция делает внутри симплекса. В качестве примера рассмотрим функцию: Это, конечно, тривиальная задача для оптимизации, но давайте скажем, что мы делаем это с NM, и пусть наши две симплексные точки будут и . Алгоритм будет сходиться здесь, не находя своего оптимума.
$f (x) = x^{2}$ $f(x) = x^2$ $x_1 = -1$ $x_2=1$
Второй вариант предполагает оценку центроида симплекса: остановите, если . Это предполагает, что если нижняя точка симплекса и центроида имеют такие сходные значения, симплекс достаточно мал, чтобы вызвать сходимость. $|f(x_1) - f(x_c)| < \epsilon$

Это правильный способ проверки на сходимость? Или есть проверенный способ проверить это? Я не смог найти никаких источников по этому поводу, так как большинство поисковых хитов фокусируется на сложности алгоритма.

optimization algorithms

— JAD
источник

x_{N + 1}

$x_{N+1}$

x_{1}

$x_1$

x_{N}

$x_N$

3

Лучший критерий остановки для Nelder Mead - это прежде чем вы начнете.

— Марк Л. Стоун

N

$N$

N + 1

$N+1$

@NatePope Это было мое намерение, да, я добавлю разъяснения к вопросу. \

— JAD

6

Изложение этого «алгоритма нисходящего симплекса» в оригинальных версиях Numeric Recipes особенно понятно и полезно. Поэтому я процитирую соответствующие части этого. Вот фон:

$N$ $N$

$N+1$ $P_0$
$\begin{matrix} (10.4.1) & P_{i} = P_{0} + λ e_{i} \end{matrix}$ $P_i = P_0 + \lambda e_i\tag{10.4.1}$ $e_i$ $N$ $\lambda$
Большинство шагов просто [перемещают] точку симплекса, где функция является наибольшей («наивысшая точка») через противоположную грань симплекса, в нижнюю точку. ...

Теперь о проблеме под рукой, заканчивая алгоритм. Обратите внимание на общность учетной записи: авторы дают интуитивно понятный и полезный совет для завершения работы любого многомерного оптимизатора, а затем показывают, как конкретно он применяется к этому конкретному алгоритму. Первый абзац отвечает на вопрос перед нами:

Критерии прекращения могут быть деликатными ... Обычно мы можем определить один «цикл» или «шаг» нашего многомерного алгоритма. Затем можно завершить, когда векторное расстояние, перемещаемое на этом шаге, будет немного меньше по величине, чем некоторый допуск TOL. В качестве альтернативы, мы могли бы потребовать, чтобы уменьшение значения функции на шаге завершения было немного меньше некоторого допуска FTOL. ...

$N$ $N+1$ $(10.4.1)$ $P_0$

Перезапуск никогда не должен быть очень дорогим; Ваш алгоритм, в конце концов, сходился к точке перезапуска один раз, и теперь вы запускаете алгоритм уже там.

[Страницы 290-292.]

$x$ $y$ $T\gt 0$

\begin{matrix} (1) & \frac{| x | - | y |}{f (x, y)} = 2 \frac{| x | - | y |}{| x | + | y |} < T \end{matrix}

$\frac{|x| - |y|}{f(x,y)} = 2\frac{|x|-|y|}{|x| + |y|} \lt T\tag{1}$

$f(x,y) = (|x|+|y|)/2$

$(1)$

Ссылка

Уильям Х. Пресс и соавт. , Численные Рецепты: Искусство Научного Вычисления. Издательство Кембриджского университета (1986). Посетите http://numeric.recipes/ для последних выпусков.

— Whuber
источник

1

Спасибо за понимание о перезапуске. Я думал, что это просто запуск алгоритма из разных начальных точек, но на самом деле, похоже, есть кое-что еще.

— JAD

Раньше я не думал о возможных значениях «перезагрузки». В данном контексте я мог бы использовать термин «полировка» для «перезапуска», но, возможно, это не совсем верно. Тип «перезапуска», рекомендуемый для симплекс-метода, может быть довольно особенным для него.

— whuber

9

Не полный ответ, но слишком длинный для комментария и может поставить вас на правильный путь.

Эта тема кратко рассматривается на странице 171 "Компактные численные методы для компьютеров" 2-е издание, Джон С. Нэш. И, как оказалось, это ссылка, процитированная для подпрограммы Nelder-Mead, реализованной в optim()функции R. Цитирую соответствующую часть:

$t e s t = {[(\sum_{i = 1}^{n + 1} [S (b_{i}) - \bar{S}]^{2}) / n]}^{1 / 2}$ $\mathrm{test} = \left[ \left( \sum_{i=1}^{n+1}[S(b_i) - \bar{S}]^2 \right) / n \right]^{1/2}$ $\bar{S} = \sum_{i = 1}^{n + 1} S (b_{i}) / (n + 1) .$ $\bar{S} = \sum_{i=1}^{n+1} S(b_i)/(n+1).$

$S(.)$ $b$ $n+1$ $n$ $b_H$ $b_L$

$S(b_L)$ $S(b_H)$

Беглый взгляд на источник optim()показывает, что он использует разницу между самым высоким и самым низким значениями функций (точек, определяющих симплекс), чтобы определить сходимость: if (VH <= VL + convtol || VL <= abstol) break;где VHнаходится высокое значение и VLнизкое значение. Это связано с предупреждением, что я очень быстро взглянул на источник и, возможно, что-то упустил.

Теперь ваш вариант (1) представляется вторым подходом, отстаиваемым Нэшем. Он также обсуждает проблему, с которой вы столкнулись:

$(n+1)$ $(n-1)$ $n$

Оригинальные ссылки, на которые ссылается Нэш здесь:

Нелдер Дж. А., Мид Р. 1965. Симплексный метод минимизации функций. Компьютерный журнал 7: 308-313.

О'Нил Р. 1971. Алгоритм А.С. 47: Минимизация функций с помощью симплексной процедуры. Прикладная статистика 20: 338-345.

— Нейт Папа
источник

3

f_{min} (t) \equiv {min}_{all corners} f (X_{i}, t)

$f_{\text{min}}(t) \equiv \text{min}_{\text{all corners}} \ f(X_i, t)$

# stop when you run out of patience, no improvement for say 10 iterations in a row:
if t > tbest + patience:
    message = "iter %d: f %g >= fbest %g" ...
    return message, fbest, xbest

$n+1$

проблема: пересеченная местность, возможно, с плохим масштабированием или глупыми ограничениями
алгоритм, балансирующий исследование и перемещение (и сложность программного обеспечения)
собственно правило остановки

еще предстоит выяснить - реальные тестовые случаи приветствуются.

(Реальный Stopiterкласс имеет много условий остановки, в дополнение к patience; самое простое - время настенных часов.)

Смотрите также:
NLopt : множество алгоритмов, включая Nelder-Mead, их легко сравнивать. В особенности обратите внимание на примечания по сравнению алгоритмов
Downhill : терпение останавливается сmin_improvement

— Денис
источник