Критерии остановки для итерационных линейных решателей, применяемые к почти сингулярным системам

Рассмотрим $Ax=b$ где $A$ почти особенное, что означает, что есть собственное значение $\lambda_0$ в $A$ , которое очень мало. Обычный критерий остановки итерационного метода основан на остаточном $r_n:=b-Ax_n$ и рассматривает итерации можно остановить , когда $\|r_n\|/\|r_0\|<tol$ с $n$ числа итераций. Но в случае, который мы рассматриваем, может быть большая ошибка $v$ живя в собственном пространстве, связанном с малым собственным значением $\lambda_0$ которое дает малую невязку $Av=\lambda_0v$ . Предположим , что начальная остаточная $r_0$ велико, то это может произойти , мы останавливаемся на $\|r_n\|/\|r_0\|<tol$ но ошибка $x_n-x$ по - прежнему велика. Что является лучшим индикатором ошибки в этом случае? Is $\|x_{n}-x_{n-1}\|$ хороший кандидат?

linear-algebra

— Хуэй Чжан
источник

Вы можете подумать о своем определении «почти единственного числа». Матрица

I \cdot ϵ

$I \cdot \epsilon$ (с

ϵ ≪ 1

$\epsilon\ll 1$ и

I

$I$ единичная матрица) имеет очень малое собственное значение, но как далеко от единственного числа , как любая матрица может быть.

— Дэвид Кетчесон

Также,

| | r_{n} / r_{0} | |

$||r_n/r_0||$ похоже на неправильную запись

| | r_{n} | | / | | r_{0} | |

$||r_n||/||r_0||$ более типично, нет?

— Билл Барт

Да, ты прав, Билл! Я исправлю эту ошибку.

— Хуэй Чжан

А как насчет

‖ b - A x ‖ / ‖ b ‖

$\| b - Ax \| / \| b \|$ ? а какой у тебя алгоритм, точно?

— Шухало

Приложение: Я думаю, что следующая статья в значительной степени посвящена плохо обусловленным системам, о которых вы беспокоитесь, по крайней мере, если вы используете CG: Аксельсон, Капорин: Оценка нормы ошибок и критерии остановки в предварительно обусловленных итерациях сопряженного градиента. DOI: 10.1002 / nla.244

— шухало

Ответы:

Пожалуйста, никогда не используйте разницу между последовательными итерациями для определения критериев остановки. Это неправильно диагностирует стагнацию конвергенции. Большинство несимметричных итераций матрицы не являются монотонными, и даже GMRES в точной арифметике без перезапусков может стагнировать в течение произвольного числа итераций (вплоть до размерности матрицы) перед тем, как сойтись внезапно. Смотрите примеры в Nachtigal, Reddy и Trefethen (1993) .

Лучший способ определить сходимость

Нас обычно интересует точность нашего решения больше, чем размер остатка. В частности, мы могли бы гарантировать, что разность между приближенным решением и точным решением удовлетворяет для некоторого указанного пользователем . Оказывается, что можно добиться этого, найдя такой, что где - наименьшее единственное значение , обусловленное $x_n$ $x$

| x_{n} - x | < c

$|x_n - x| < c$

c

$c$

x_{n}

$x_n$

| A x_{n} - b | < c ϵ

$|A x_n - b| < c\epsilon$

ϵ

$\epsilon$

A

$A$

\begin{aligned} | x_{n} - x | & = | A^{- 1} A (x_{n} - x) | \\ \leq \frac{1}{ϵ} | A x_{n} - A x | \\ = \frac{1}{ϵ} | A x_{n} - b | \\ < \frac{1}{ϵ} \cdot c ϵ = c \end{aligned}

$\begin{align} |x_n - x| &= |A^{-1} A (x_n - x)| \\ & \le \frac 1 \epsilon |A x_n - A x| \\ & = \frac 1 \epsilon |A x_n - b| \\ & < \frac 1 \epsilon \cdot c \epsilon = c \end{align}$

где мы использовали, что является наибольшим единичным значением (вторая строка) и что точно решает $1/\epsilon$ $A^{-1}$ $x$ $A x = b$ (третья строка).

Оценка наименьшего единственного значения $\epsilon$

Точная оценка наименьшего сингулярного значения обычно не доступна непосредственно из задачи, но ее можно оценить как побочный продукт сопряженного градиента или итерации GMRES. Следует отметить , что хотя оценки наибольших собственных и сингулярных значений, как правило , довольно хорошо после нескольких итераций, точная оценка наималейшего собственному / сингулярных обычно получается только один раз сходимость достигнута. До конвергенции оценка, как правило, будет значительно больше, чем истинное значение. Это говорит о том, что вы должны решить уравнения прежде, чем сможете определить правильный допуск . Автоматический допуск сходимости, который принимает заданную пользователем точность $\epsilon$ $c\epsilon$ $c$ для решения и оценки наименьшее сингулярное значение с текущим состоянием метода Крылова может сходиться слишком рано, потому что оценка была намного больше истинного значения. $\epsilon$ $\epsilon$

Примечания

Выше обсуждение также работает с заменено левым-выдержано оператором и выдержано остаточный или с правым выдержано оператором и ошибками . Если $A$ $P^{-1}A$ $P^{-1} (A x^n - b)$ $A P^{-1}$ $P (x_n - x)$ $P^{-1}$ является хорошим предобусловливателем, предобусловленный оператор будет хорошо подготовлен. Для левого предварительного кондиционирования это означает, что предварительно обработанный остаток может быть сделан небольшим, но истинный остаток может не быть. Для правильной предварительной обработки, легко сделать маленьким, но истинная ошибка может не быть. Это объясняет, почему левое предварительное кондиционирование лучше для уменьшения ошибок, в то время как правильное предварительное кондиционирование лучше для уменьшения остатка (и для отладки нестабильных предварительных кондиционеров). $|P(x_n - x)|$ $|x_n-x|$
Смотрите этот ответ для более подробного обсуждения норм, минимизированных GMRES и CG.
Оценки экстремальных сингулярных значений можно отслеживать с -ksp_monitor_singular_valueпомощью любой программы PETSc. См. KSPComputeExtremeSingularValues () для вычисления особых значений из кода.
При использовании GMRES для оценки единичных значений крайне важно, чтобы перезапуски не использовались (например, -ksp_gmres_restart 1000в PETSc).

— Джед браун
источник

'' также работает с А, замененным предобусловленным оператором '' - однако в этом случае он применяется только к предобусловленному остаточному

если используется

, соответственно. с заранее заданной ошибкой

если используется

P^{- 1} r

$P^{-1}r$

P^{- 1} A

$P^{-1}A$

P^{- 1} δ x

$P^{-1}\delta x$

A P^{- 1}

$AP^{-1}$

— Арнольд Ноймайер

Хороший вопрос, я отредактировал свой ответ. Обратите внимание, что в случае с правильным предварительным условием вы можете управлять

, разматывание устройства предварительного кондиционирования (применяя

) обычно усиливает низкоэнергетические моды в ошибке.

P δ x

$P\delta x$

P^{- 1}

$P^{-1}$

— Джед Браун

Другой способ взглянуть на эту проблему - рассмотреть инструменты из дискретных обратных задач, то есть задач, которые включают решение или где очень плохо обусловлен (то есть отношение между первым и последним единственным значением велико). $Ax=b$ $\min ||Ax-b||_2$ $A$ $\sigma_1/\sigma_n$

Здесь у нас есть несколько методов для выбора критерия остановки, и для итерационного метода я бы рекомендовал критерий L-кривой, поскольку он включает только те количества, которые уже доступны (ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Мой консультант впервые применил этот метод, поэтому я определенно склонен к Это). Я использовал это с успехом в итеративном методе.

$\rho_k=||Ax_k-b||_2$ $\eta_k=||x_k||_2$ $x_k$ $k$

$(\rho_k,\eta_k)$

$abs(\frac{\log(\eta_k)-\log(\eta_{k-1})}{\log(\rho_k)-\log(\rho_{k-1})})$

Существуют также более подробные методы поиска угла, и они работают лучше, но требуют хранения значительного числа итераций. Поиграйте с этим немного. Если вы находитесь в Matlab, вы можете использовать панель инструментов Regularization Tools, которая реализует некоторые из этих функций (в частности, применима «угловая» функция).

Обратите внимание, что этот подход особенно подходит для крупномасштабных задач, так как дополнительное вычислительное время является крошечным.

— OscarB
источник

Большое спасибо! Итак, на графике loglog (rho, eta) мы начинаем справа от кривой L и заканчиваем сверху L, не так ли? Я просто не знаю принцип, стоящий за этим критерием. Можете ли вы объяснить, почему он всегда ведет себя как кривая L и почему мы выбираем угол?

— Хуэй Чжан

| | A x - b | |_{2} = | | e | |_{2}

$||Ax-b||_2=||e||_2$

e

$e$

b_{e x a c t} = b + e

$b_{exact}=b+e$ , Для более подробного анализа см. Hansen, PC, & O'Leary, DP (1993). Использование L-кривой в регуляризации дискретных некорректных задач. Журнал SIAM по научным вычислениям, 14. Обратите внимание, что я только что сделал небольшое обновление в этой публикации.

— ОскарБ

@HuiZhang: это не всегда буква L. Если регуляризация неоднозначна, это может быть двойная буква L, приводящая к двум кандидатам на решение, один с лучшим разрешением, а другой с определенными деталями. (И, конечно, могут появиться более сложные формы.)

— Арнольд Ноймайер

Применима ли L-кривая к плохо обусловленным задачам, где должно быть единственное решение? То есть меня интересуют проблемы Ax = b, где b известно «точно», а A почти единично, но все еще технически обратимо. Мне кажется, что если вы используете что-то вроде GMRES, норма вашего текущего предположения о x не сильно меняется со временем, особенно после первых, но многих итераций. Мне кажется, что вертикальная часть L-кривой возникает потому, что в некорректной задаче нет единственного / правильного решения; будет ли эта вертикальная черта присутствовать во всех плохо обусловленных проблемах?

— nukeguy

В какой-то момент вы достигнете такой вертикальной линии, обычно потому, что числовые ошибки в вашем методе решения приводят к || Ax-b || не уменьшается Тем не менее, вы правы в том, что в таких задачах, не связанных с шумом, кривая не всегда выглядит как буква L, а это означает, что у вас, как правило, есть несколько углов для выбора, и выбор одного из них может быть трудным. Я считаю, что в статье, на которую я ссылался в моем комментарии выше, кратко обсуждаются сценарии без шума.

— ОскарБ

Критерии остановки для итерационных линейных решателей, применяемые к почти сингулярным системам

Лучший способ определить сходимость

Оценка наименьшего единственного значения ϵϵ\epsilon

Примечания

Оценка наименьшего единственного значения $\epsilon$