Недостатки приближения Ньютона-Рафсона с приближенной числовой производной

Предположим, у меня есть некоторая функция $f$ и я хочу найти $x$ такой, что $f(x)\approx 0$ . Я мог бы использовать метод Ньютона-Рафсона. Но для этого необходимо, чтобы я знал производную функцию $f'(x)$ . Аналитическое выражение для $f$ может быть недоступно. Например, $f$ может быть определен сложным фрагментом компьютерного кода, который обращается к базе данных экспериментальных значений.

Но даже если сложно, я могу приблизить для любого конкретного , выбрав небольшое число и вычислив $f'$ $f'(a)$ $a$ $\epsilon$ . $f'(a) \approx {f(a+\epsilon) - f(a)\over\epsilon}$

Я слышал, что у этого подхода есть свои недостатки, но я не знаю, что это такое. Википедия намекает на то, что «Использование этого приближения приведет к чему-то вроде секущего метода, сходимость которого медленнее, чем у метода Ньютона».

Может ли кто-нибудь подробно остановиться на этом и дать ссылку, в которой конкретно обсуждаются проблемы с этой техникой?

reference-request approximation

— Марк Доминус
источник

Секущий метод является отличной альтернативой, когда производная требует больших вычислений. Три шага, как правило, примерно эквивалентны двум шагам Ньютона, а шаги дешевле.

Всякий раз, когда вы вычисляете производную численно по конечной разнице (как вы предлагаете), любой шум в функции усиливается, поэтому вы должны тщательно выбирать эпсилон. Одна из возможностей заключается в том, что когда вы приближаетесь к решению, переключитесь на метод двоичного подразделения, который гарантированно будет сходиться, пока f локально монотонен.

— Майк Данлавей

Как упоминал Андре, двухточечные числовые производные, как вы предлагаете, эквивалентны перезапущенному методу Секанта . Однако для более быстрой конвергенции я бы предложил так называемый алгоритм Иллинойса , который является близким родственником метода Secant и будет использовать только одну точку на шаг, в отличие от двух в вашем случае, и не будет застревать, как Метод ложного положения.

— Педро

Каково измерение

? Чем выше размер, тем ценнее становится производная. Свободный от якобиана Ньютон-Крылов - это вариант, который не нуждается в явных производных (хотя предобусловливание важно для плохо обусловленных систем).

x

$x$

— Джед Браун

Для обозначения предположим, что (т. Е. Это вектор-функция, которая принимает вектор в качестве входных данных и выводит вектор того же размера). Есть две проблемы: вычислительные затраты и численная точность. $f: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}$

Вычисление производной (матрицы Якоби, или , или что вы предпочитаете) с использованием конечных разностей потребует вычислений функций. Если бы вы могли вычислить производную с использованием арифметики с плавающей запятой непосредственно из определения, вам пришлось бы рассчитать коэффициент разности $\mathrm{D}f(x)$ $J(x)$ $(\nabla f(x))^{T}$ $n$

\begin{aligned} D е (Икс) е_{я} знак равно \underset{ε \to 0}{Ит} \frac{е (Икс + ε е_{я}) - е (Икс)}{ε} \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} = \lim_{\varepsilon \rightarrow 0} \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon} \end{align}$

$i = 1, \ldots, n$ $\mathrm{D}f$ $n$ $\mathrm{D}f$ $\mathrm{D}f$

$\mathrm{D}f$ $\varepsilon$

\begin{aligned} D е (Икс) е_{я} \approx \frac{е (Икс + ε е_{я}) - е (Икс)}{ε}, \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} \approx \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon}, \end{align}$

где $\approx$ $\varepsilon$ $\varepsilon$

$\mathrm{D}f$

$(n = 1)$

— Джефф Оксберри
источник