Проблемы, когда градиент сопряжения работает намного лучше, чем GMRES

Меня интересуют случаи, когда градиент сопряжения работает намного лучше, чем метод GMRES.

Вообще, CG является предпочтительным выбором во многих случаях SPD (симметрично-положительно определенного), потому что он требует меньшего объема памяти и теоретическая оценка скорости сходимости для CG вдвое больше, чем GMRES. Есть ли проблемы, когда такие показатели действительно наблюдаются? Есть ли какая-либо характеристика случаев, когда GMRES работает лучше или сравнимо с CG для того же числа spmvs (редкие умножения матрицы на вектор).

Одна вещь, которую CG имеет в свою пользу, это то, что она не минимизирует дискретную норму $l^2$ для своих остаточных полиномов (что делает GMRES). Вместо этого она сводит к минимуму матрично-индуцированную норму, и очень часто эта матрично-индуцированная норма оказывается очень близкой к энергетической норме для дискретизации физических задач, и зачастую это гораздо более разумная норма для измерения погрешности из-за появления свойств сохранения из физики.

На самом деле вы можете добиться такого же эффекта и с GMRES, если выполнение факторизации массива Холецкого не слишком дорого, вы можете заставить внутренние продукты быть энергетическими внутренними продуктами, которые вы хотите.

Тогда случаи, когда следует ожидать, что CG будет работать совершенно иначе, чем GMRES, - это когда константы, подразумеваемые в эквивалентности норм, сильно отличаются. Это может быть справедливо, например, в методе спектрального Галеркина высокого порядка, где дискретная норма $l^2$ используемая в GMRES, рассматривает все степени свободы как равные, когда в действительности полиномиальные градиенты являются самыми острыми вблизи границ (следовательно, кластеризация узлов), и поэтому константы эквивалентности нормы между этой нормой и, скажем, непрерывной нормой $L^2$ задаваемой матрицей масс, могут быть очень большими.

Я подозреваю, что вообще нет большой разницы между GMRES и CG для матрицы SPD.

Скажем , мы решаем х = Ь с А симметричным положительно определенным и исходным предположением х 0 = 0 и порождающей итерацией с CG и GMRES, назовем их х с к и х г к . Оба итерационных метода будут строить$Ax = b$$A$$x_0 = 0$$x_k^c$$x_k^g$ из одного и того же пространства Крылова K k = { b , A b , A 2 b , … } . Они будут делать это по-разному.$x_k$$K_k = \{ b, Ab, A^2b, \ldots \}$

CG характеризуется минимизацией ошибки в энергетической норме, индуцированной A , так что ( A e c k , e c k ) = ( A ( x - x c k ) , x - x c k ) = min y ∈ K ( A ( x - y ) , x $e_k^c = x - x_k^c$$A$

$$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$$

GMRES минимизирует вместо этого невязку и делает это в дискретной норме ℓ 2 , так что ( r k , r k ) = ( b - A x g k , b - A x g $r_k = b - A x^g_k$$\ell^2$

$$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$$ Теперь, используя уравнение ошибки мы также можем записать GMRES как минимизирующее ( r k , r k ) = ( A e g k , A e g k ) = ( A 2 e g k , e g k ), где Я хочу подчеркнуть , что это справедливо только для СПД матрицы A . Тогда мы имеем CG минимизировать ошибку относительно $A e_k = r_k$ $$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$$ $A$$A$норма и GMRES минимизируют ошибку по отношению к норме . Если мы хотим, чтобы они вели себя по-разному, интуитивно нам понадобился бы такой А , чтобы эти две нормы были очень разными. Но для SPD А эти нормы будут вести себя совершенно аналогично.$A^2$$A$$A$

Чтобы быть еще более конкретным, на первой итерации с пространством Крылова и CG, и GMRES построят приближение вида x 1 = α b . CG выберет α = ( b , b $K_1 = \{ b \}$$x_1 = \alpha b$

$$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$$ $$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$$ $A$$(\epsilon,1,1,1,\ldots)$$b = (1,1,0,0,0,\ldots)$$\epsilon \rightarrow 0$$A$$b$ так что этот коэффициент двух различий сохраняется на протяжении всей итерации, но я сомневаюсь, что он станет еще хуже.

Одна вещь состоит в том, что GMRES никогда не используется везде, где может применяться CG. Я не думаю, что имеет смысл сравнивать эти два. Для матриц SPD CG определенно является победителем из-за требований к хранилищу и причин, упомянутых выше. Вопрос, который был бы интересен, состоит в том, чтобы найти расширение CG, которое применимо к задачам, где CG не может быть применен. Существуют такие методы, как BiCG-stab, которые не требуют линейного увеличения памяти, такие как GMRES, но конвергенция не так хороша, как GMRES (иногда даже с перезапущенным GMRES).