Путаница в правлении Армихо

У меня путаница с правилом Армихо, который используется при поиске строк. Я перечитывал поиск по линии отслеживания, но не понял, о чем это правило Армихо. Кто-нибудь может уточнить, что такое правило Армихо? Википедия не очень хорошо объясняет. Благодарность

optimization

— user34790
источник

Что если в уравнении переменная x является не вектором, а матрицей? Как обновлять правило Армихо?

— Франк Пук

ничего не меняется. Вы должны просто преобразовать свою матрицу

в вектор (столбец)

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

Вот где я застрял. Когда

становится матрицей, значение в левой части (

) все еще является скаляром. Но значение с правой стороны не является - вместо этого, это матрица (

- скаляр, а

- матрица.)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— Франк Пук

вам нужно будет работать с вектором, а не с матрицей. поэтому вы преобразуете свою

матрицу управляющих переменных (я обозначил ее через

) в вектор

элементами. Направление поиска и градиент также будут векторами с

элементами. таким образом, как RHS, так и LHS условия Armijo являются скалярами и их можно сравнивать.

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies

Ответы:

Как только вы получите направление спуска для вашей целевой функции , вам нужно выбрать «хорошую» длину шага. Вы не хотите делать слишком большой шаг, чтобы функция в новой точке была больше, чем ваша текущая точка. В то же время, вы не хотите, чтобы ваш шаг был слишком маленьким, так что для того, чтобы сходиться, требуется вечность. $p$ $f(x)$

Условие Армихо в основном предполагает, что «хорошая» длина шага такова, что у вас есть «достаточное уменьшение» в новой точке. Условие математически определяется как где - направление спуска в и . $f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

Интуиция за этим заключается в том, что значение функции в новой точке должно находиться под уменьшенной «касательной линией» в в направлении . См. Книгу Nocedal & Wright "Численная оптимизация". В главе 3 приведено отличное графическое описание условия достаточного уменьшения armijo. $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— Пол
источник

Вместо того, чтобы думать об этом как о касательной линии, вы также можете думать об этом как о расширении Тейлора первого порядка. В этом случае

просто гарантирует, что такой размер шага

существует.

β

$\beta$

α

$\alpha$

— cjordan1

Причина, по которой это имеет значение, то есть, почему необходим «хороший» шаг, заключается в том, что многие схемы оптимизации будут сходиться медленнее, как говорит Пол, или могут вообще не сходиться. Таким образом, поиск строк - которые бывают нескольких разновидностей, Armijo - просто самый популярный - может использоваться для придания алгоритмам более надежных свойств сходимости.

— cjordan1

Пол: ваше объяснение неполное. Одно это неравенство не гарантирует «достаточного» уменьшения. На самом деле, вы можете иметь альфа = 0 и все же удовлетворять неравенству, которое вы написали. Важной особенностью правила Армихо является ограничение размера шага от нуля, что достигается другим неравенством: f (gamma * x_new) -f (x_old)> beta * (gamma * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

Пять лет спустя этот вопрос остается в силе.

Здесь (страницы 16 и 17) вы можете найти отличное объяснение, в том числе алгоритм.

— Боян Хрнкас
источник