Понимание «скорости сходимости» для итерационных методов

Согласно Википедии скорость сходимости выражается в виде определенного отношения векторных норм. Я пытаюсь понять разницу между «линейными» и «квадратичными» скоростями в разные моменты времени (в основном, «в начале» итерации и «в конце»). Можно ли сказать, что:

• $e_{k+1}$$x_{k+1}$$\|e_k\|$

• с квадратичной сходимостью норма ошибки итерации x_ {k + 1} ограничена \ | e_k \ | ^ 2$e_{k+1}$$x_{k+1}$$\|e_k\|^2$

Такая интерпретация будет означать, что при нескольких (небольшом числе) итераций линейно сходящегося алгоритма A1 (предполагается случайная инициализация) будет достигнута меньшая ошибка, чем при нескольких итерациях квадратично сходящегося алгоритма A2. Однако, поскольку ошибка уменьшается, и из-за возведения в квадрат более поздние итерации означают меньшую ошибку с A2.

Является ли приведенная выше интерпретация действительной? Обратите внимание, что он игнорирует коэффициент скорости $\lambda$ .

На практике да. Хотя все еще велико, коэффициент скорости будет доминировать в ошибке, а не в q-скорости. (Обратите внимание, что это асимптотические показатели, поэтому ссылки, к которым вы привязаны, относятся только к пределу как .)$e_k$$\lambda$$k\to\infty$

Например, для методов первого порядка в оптимизации вы часто наблюдаете изначально быстрое уменьшение ошибки, которое затем выравнивается. Для метода Ньютона, с другой стороны, может пройти некоторое время, прежде чем начнется суперлинейная (или квадратичная) сходимость (в конце концов, она только локально суперлинейно сходящаяся). По этой причине обычно либо начинать с нескольких шагов градиента, прежде чем перейти к методу Ньютона, либо использовать гомотопические или квазиньютоновские методы, которые изначально ведут себя как методы первого порядка и превращаются в метод Ньютона при приближении к цель.

В дополнение к ответу Кристиана также стоит отметить, что для линейной конвергенции у вас есть где у вас есть$e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$То есть, что ваше начальное предположение достаточно близко. Это обычно наблюдаемое поведение: квадратично сходящиеся алгоритмы должны запускаться «достаточно близко» от решения, чтобы сходиться, тогда как линейно сходящиеся алгоритмы обычно более устойчивы. Это еще одна причина, по которой часто начинают с нескольких шагов алгоритма линейной сходимости (например, метода наискорейшего спуска), а затем переходят на более эффективные (например, метод Ньютона).

Интерпретация качественно правильна.

Обратите внимание, что линейная и квадратичная сходимость относятся к наихудшему случаю, ситуация в конкретном алгоритме может быть лучше, чем та, которую вы получаете из анализа наихудшего случая, данного Вольфгангом Бангертом, хотя качественная ситуация обычно соответствует этому анализу.

В конкретных алгоритмах (например, в оптимизации) часто имеет смысл сначала выполнять итерации с помощью дешевого, но только линейно сходящегося метода, пока прогресс не замедляется, а затем заканчивать квадратично (или, по крайней мере, суперлинейно) сходящимся методом. На практике суперлинейная конвергенция имеет тенденцию быть такой же хорошей, как и квадратичная конвергенция, только потому, что начальная, медленно сходящаяся часть имеет тенденцию доминировать в общей работе.