Когда имеется аналитический якобиан, лучше ли аппроксимировать гессиан или конечными разностями якобиана?

Допустим, я вычисляю некоторые параметры модели, минимизирую сумму квадратов невязок и предполагаю, что мои ошибки гауссовские. Моя модель производит аналитические производные, поэтому оптимизатору не нужно использовать конечные различия. После завершения подгонки я хочу вычислить стандартные ошибки подгоночных параметров.

Как правило, в этой ситуации гессиан функции ошибки считается связанным с ковариационной матрицей: где - дисперсия невязок.

σ^{2} H^{- 1} = C

$\sigma^2 H^{-1} = C$

σ^{2}

$\sigma^2$

Когда аналитические производные ошибки отсутствуют, обычно нецелесообразно вычислять гессиан, поэтому в качестве хорошего приближения используется . $J^TJ$

Тем не менее, в моем случае у меня есть аналитическая J, так что мне сравнительно дешево вычислить H с помощью конечной разности J.

Итак, мой вопрос таков: будет ли более точным приближать H, используя мой точный J и применяя вышеупомянутое приближение, или приближать H путем конечного разностного J?

standard-error fitting

— Колин К
источник

Хороший вопрос. Сначала вспомним, откуда берется это приближение Пусть будут вашими точками данных, $H \approx J^T J$ $(x_i, y_i)$ будет вашей моделью, а будет параметрами вашей модели. Тогда целевая функция нелинейной задачи наименьших квадратов равна $f(\cdot)$ $\beta$ где- вектор невязок,. Точный гессиан целевой функции есть. Таким образом, ошибка в этом приближении $\frac{1}{2} r^T r$ $r$ $r_i = y_i - f(x_i, \beta)$ $H = J^T J + \sum r_i \nabla^2 r_i$ $H - J^T J = \sum r_i \nabla^2 r_i$ , Это хорошее приближение, когда сами остатки невелики; или когда 2-я производная от остатков мала. Линейные наименьшие квадраты можно считать частным случаем, когда вторая производная от остатков равна нулю.

Что касается конечно-разностного приближения, то оно относительно дешевое. Чтобы вычислить центральную разницу, вам нужно оценить якобиан дополнительно раз (а вперед разница будет стоить вам дополнительных оценок, так что я бы не стал). Погрешность центральной разностной аппроксимации пропорциональна и , где является размером шага. Оптимальный размер шага $2n$ $n$ $\nabla^4 r$ $h^2$ $h$ , где- точность станка. Таким образом, если производные от остатков не взорвутся, вполне очевидно, что приближение конечных разностей должно быть ОЧЕНЬ лучше. Я должен отметить, что, хотя вычисления минимальны, бухгалтерия нетривиальна. Каждое конечное различие по якобиану даст вам один ряд гессиана для каждого остатка. Затем вам придется заново собрать гессиан, используя формулу выше. $h \sim \epsilon^\frac{1}{3}$ $\epsilon$

Есть, однако, третий вариант. Если ваш решатель использует квазиньютоновский метод (DFP, BFGS, Bryoden и т. Д.), Он уже аппроксимирует гессиан на каждой итерации. Аппроксимация может быть довольно хорошей, поскольку она использует целевую функцию и значения градиента от каждой итерации. Большинство решателей даст вам доступ к окончательной оценке Гессена (или ее обратной). Если это вариант для вас, я бы использовал это как оценку Гессиана. Это уже вычислено, и это, вероятно, будет довольно хорошей оценкой.

— Билл Весснер
источник

Отличный ответ, спасибо. Обоснование сравнения ошибки оценки в каждом случае очень поучительно. Могу ли я спросить , как вы знаете , что

является шагом оптимальны для конечных разностей? Я никогда не видел этого раньше.

ϵ^{1 / 3}

$\epsilon^{1/3}$

— Колин К

Это старый трюк, чтобы сбалансировать ошибку усечения и ошибку округления. Очевидно, чтобы минимизировать ошибку усечения, вы должны сделать

как можно меньше. Но когда

становится слишком маленьким, вы начинаете испытывать значительную ошибку округления. Вывод относительно прост. Предполагая центральную разницу, ошибка усечения пропорциональна

. Ошибка округления всегда пропорциональна

h

$h$

h

$h$

h^{2} f^{‴} (x)

$h^2 f'''(x)$

. Добавьте два и уменьшите в течение

. Вы получаете

\frac{ϵ f (x)}{h}

$\frac{\epsilon f(x)}{h}$

h

$h$

h \sim ϵ^{\frac{1}{3}}

$h \sim \epsilon^\frac{1}{3}$

— Билл Весснер

Это касается только центральных различий. Для прямых различий оптимальный размер шага

. Есть и другие хитрости. Например, убедитесь, что вы действительно знаете, что такое

. Я знаю, это звучит глупо, но в арифметике с плавающей точкой могут происходить странные вещи. Вот простой способ убедитьсячтовас есть правильное значение

:. С математической точки зрения, конечно,

. Но если вы используете значения, которые не могут быть точно представлены в плавающей запятой (например,

h \sim ϵ^{\frac{1}{2}}

$h \sim \epsilon^\frac{1}{2}$

h

$h$

h

$h$ h_actual = (x + h_desired) - x

h_{a c t u a l} = h_{d e s i r e d}

$h_{actual} = h_{desired}$

h = 0.0001

$h = 0.0001$ ), вы увидите, что это не так.

— Билл Весснер

Возможно, этот контент мог бы быть добавлен к вашему ответу, а не к комментариям. Таким образом, будущие пользователи не должны просматривать расширенный раздел комментариев, чтобы найти материал, непосредственно связанный с утверждениями, сделанными в ответе.

— Sycorax говорит восстановить Monica

О Боже мой. Квазиньютоновское приближение гессиана может быть ужасной оценкой гессиана и, следовательно, привести к очень плохой оценке ковариационной матрицы. Это может хорошо помочь в продвижении алгоритма к оптимальному, но может быть довольно плохим, как оценка гессиана.

— Марк Л. Стоун