Помогите выбрать между кубической и квадратичной интерполяцией в поиске строк

Я выполняю поиск строки как часть квазиньютоновского алгоритма BFGS. В одном шаге поиска строки я использую кубическую интерполяцию, чтобы приблизиться к локальному минимизатору.

Позволять $f : R \rightarrow R, f \in C^1$быть функцией интереса. Я хочу найти$x^*$ такой, что $f'(x^*) \approx 0$,

Позволять $f(x_k)$, $f'(x_k)$, $f(x_{k+1})$ а также $f'(x_{k+1})$быть известным. Также предположим,$0\le x_k<x^*<x_{k+1}$, Я подгоняю кубический полином$Q(x)=ax^3+bx^2+cx+d$ так что $Q(0)=f(x_k)$, $Q'(0)=f'(x_k)$, $Q(x_{k+1}-x_{k})=f(x_{k+1})$ а также $Q'(x_{k+1}-x_{k})=f'(x_{k+1})$,

Я решаю квадратное уравнение: $(1): Q'(x^*-x_k) = 0$ для моего разыскиваемого $x^*$ используя решение в закрытой форме.

Вышеуказанное работает хорошо в большинстве случаев, кроме случаев, когда $f(x)=\mathcal{O}(x^2)$ как решение в закрытой форме для $(1)$ делится на $a$ который становится очень близко или точно $0$,

Мое решение состоит в том, чтобы посмотреть на $a$ и если оно «слишком мало», просто примите решение в замкнутой форме для минимизатора квадратичного полинома $Q_2(x)=bx^2+cx+d$ для которого у меня уже есть коэффициенты $b,c,d$ от более раннего $Q(x)$,

Мой вопрос: как мне разработать хороший тест для того, когда брать квадратичную интерполяцию по кубике? Наивный подход к тестированию на$a \equiv 0$ плохо по численным причинам, поэтому я смотрю на $|a| < \epsilon\tau$ где $\epsilon$ это точность машины, но я не могу определиться с хорошим $\tau$ это масштабный инвариант $f$,

Бонусный вопрос: есть ли какие-либо проблемы с использованием коэффициентов,$b,c,d$из неудачной кубической подгонки или я должен выполнить новую квадратичную подгонку с подходящим способом вычисления коэффициентов?

Изменить для уточнения: По моему вопросу$f$ на самом деле то, что обычно называют $\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$в литературе. Я просто упростил формулировку вопроса. Задача оптимизации, которую я решаю, нелинейна в 6 измерениях. И я хорошо знаю, что условий Вульфа достаточно для поиска линии BFGS, следовательно, заявляя, что я был заинтересован в$f'(x^*) \approx 0$; Я ищу что-то, что удовлетворит сильные условия Вольфа, и использование минимизатора кубического приближения - хороший шаг на этом пути.

Вопрос был не о BFGS, а о том, как определить, когда кубический коэффициент достаточно мал, чтобы квадратичное приближение было более подходящим.

Редактировать 2: обновить обозначения, уравнения без изменений.

Хм ... кубическая интерполяция не является неслыханной задачей для поиска строк, но обычно излишняя.

Если я правильно читаю вашу проблему, $x$это просто скаляр? В этом случае BFGS, вероятно, не самый эффективный способ решения вашей проблемы. Алгоритмы скалярной оптимизации, такие как метод Брента, могут решить вашу проблему быстрее.

Для BFGS существует ряд алгоритмов поиска строк. Для моих собственных приложений, использующих BFGS с ограниченным объемом памяти (L-BFGS), этот поиск строки работает очень хорошо. Помните, что вам нужно только выполнить условия Вулфа, и вы, вероятно, не получите много, найдя точный минимизатор.

В любом случае, чтобы ответить на ваш вопрос: я бы рассмотрел простой переход к квадратичному полиному, если при решении кубического получаются «плохие» значения, такие как NaN или Inf (как это делается здесь ).

Я не совсем уверен, что вы имеете в виду, используя $b,c,d$? Эти коэффициенты для кубической подгонки не будут такими же, как для квадратичной подгонки, поэтому их нельзя использовать повторно.

Наконец, вы можете использовать $f(x_{k-1})$ , скорее, чем $f(x_0)$, поскольку ваша функция (вероятно) будет только приблизительно кубической или квадратичной локально, и $x_k$ а также $x_{k-1}$ должны быть ближе друг к другу (и решение), чем $x_0$,

Надеюсь это поможет.

Есть статья Море, выполненная Nocedal, о которой:

Хорхе Х. Море и Дэвид Дж. Туенте. 1994. Алгоритмы линейного поиска с гарантированным достаточным уменьшением. ACM Trans. Математика Softw. 20, 3 (сентябрь 1994 г.), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( препринт ).