Катастрофическая отмена в логах

Я пытаюсь реализовать следующую функцию с плавающей запятой двойной точности с низкой относительной ошибкой:

L о грамм s U м (Икс, Y) знак равно журнал (ехр (Икс) + ехр (Y))

$\mathrm{logsum}(x,y) = \log(\exp(x) + \exp(y))$

Это широко используется в статистических приложениях для добавления вероятностей или плотностей вероятностей, представленных в лог-пространстве. Конечно, или могут легко переполниться или опуститься, что было бы плохо, потому что пространство журнала используется во-первых, чтобы избежать потери. Это типичное решение: $\exp(x)$ $\exp(y)$

L о грамм s U м (Икс, Y) знак равно Икс + L о грамм 1 п (ехр (Y - Икс))

$\mathrm{logsum}(x,y) = x + \mathrm{log1p}(\exp(y - x))$

Отмена от действительно происходит, но смягчается . Хуже всего, когда и близки. Вот график относительной ошибки: $y-x$ $\exp$ $x$ $\mathrm{log1p}(\exp(y - x))$

введите описание изображения здесь

График обрезан в чтобы подчеркнуть форму кривой , относительно которой происходит отмена. Я видел ошибку до и подозреваю, что она становится намного хуже. (FWIW, функция «наземной правды» реализована с использованием MPFR с плавающей точкой произвольной точности с 128-битной точностью.) $10^{-14}$ $\mathrm{logsum}(x,y) = 0$ $10^{-11}$

Я пробовал другие формулировки, все с тем же результатом. С в качестве внешнего выражения возникает та же ошибка, если взять что-то около 1. При в качестве внешнего выражения во внутреннем выражении происходит отмена. $\log$ $\mathrm{log1p}$

Теперь абсолютная ошибка очень мала, поэтому имеет очень маленькую относительную ошибку (в пределах эпсилона). Можно утверждать, что, поскольку пользователь действительно интересуется вероятностями (не журнальными вероятностями), эта ужасная относительная ошибка не является проблемой. Вероятно, что обычно это не так, но я пишу библиотечную функцию, и я бы хотел, чтобы ее клиенты могли рассчитывать на относительную ошибку не намного хуже, чем ошибка округления. $\exp(\mathrm{logsum}(x,y))$ $\mathrm{logsum}$

Кажется, мне нужен новый подход. Что бы это могло быть?

floating-point stability numerics

— Нил Торонто
источник

Я не понимаю ваш последний абзац. «в эпсилоне» для меня ничего не значит. Вы имеете в виду подразделение на последнем месте ? Что касается пользователей, заинтересованных в вероятностях, небольшая ошибка вероятности записи в журнал приведет к большой вероятностной ошибке, так что это не так.

— Арон Ахмадиа

Из любопытства, вы пытались взять «лучший из» ваших двух методов и изобразить ошибку этого? Тогда все, что вам нужно, - это правильная логика, позволяющая определить, в каком случае вы находитесь (в любом случае, мы надеемся, что она менее затратная или в любом случае является частью требуемой стоимости алгоритма), а затем переключиться на соответствующий метод.

— Арон Ахмадиа

@AronAhmadia: «Внутри эпсилона» означает относительную погрешность, меньшую, чем у эпсилона с плавающей запятой двойной точности, что составляет около 2,22e-16. Для нормальных (т. Е. Не субнормальных) поплавков это соответствует примерно ульпу. Кроме того, если

- абсолютная ошибка

, то относительная ошибка

равна

, что почти равно тождественной функции около нуля. IOW, маленькая абсолютная ошибка для

подразумевает небольшую относительную ошибку для

a

$a$

x

$x$

\exp (x)

$\exp(x)$

\exp (a) - 1

$\exp(a)-1$

x

$x$

\exp (x)

$\exp(x)$

— Нил Торонто

Приложение: когда абсолютная ошибка

близка к нулю. Например, когда

, вы правы: родственник взрывается.

a

$a$

a > 1

$a > 1$

— Нил Торонто

Формула должна быть численно устойчивой. Она обобщает численно устойчивое вычисление

L о грамм s U м (Икс, Y) знак равно Максимум (Икс, Y) + L о грамм 1 п (ехр (- абс (Икс - Y))

$\mathrm{logsum}(x,y)=\max(x,y)+\mathrm{log1p}(\exp(-\operatorname{abs}(x-y))$

журнал \underset{я}{Σ} е^{{Икс}_{я}} знак равно ξ + журнал \underset{я}{Σ} е^{{Икс}_{я} - ξ}, ξ знак равно \underset{я}{Максимум} {Икс}_{я}

$\log \sum_i e^{x_i} = \xi+ \log\sum_i e^{x_i-\xi},~~~\xi=\max_i x_i$

Если логарифм очень близок к нулю и вам нужна высокая относительная точность, вы, вероятно, можете использовать используя точная (т. е. с более чем двойной точностью) реализация

L о грамм s U м (Икс, Y) знак равно Максимум (Икс, Y) + L е Икс п (Икс - Y)

$\mathrm{logsum}(x,y)=\max(x,y)+\mathrm{lexp}(x-y)$

L е Икс п (Z) знак равно журнал (1 + е^{- | Z |})

$\mathrm{lexp}(z):=\log(1+e^{-|z|})$ которая близка к линейной при малых

z

$z$

— Арнольд Ноймайер
источник

С точки зрения абсолютной ошибки, это так. С точки зрения относительной ошибки, это ужасно, когда выходной сигнал близок к нулю.

— Нил Торонто

x

$x$

y

$y$

Для x = -0,775 и y = -0,6175 я получаю ошибку 62271 ульпс и относительную ошибку 1.007e-11.

— Нил Торонто

Вычислите высокоточные точки данных в интересующем диапазоне - как минимум два различных диапазона необходимы из-за асимптотики. Можно использовать определяющее выражение для z, не близкого к нулю. Для исключительного диапазона подойдет рациональная функция достаточно высокой степени, чтобы получить желаемую точность. Для численной устойчивости используйте полиномы Бернштейна или полиномы Чебычева в числителе и знаменателе, адаптированные к интересующему интервалу. В конце развернитесь в непрерывную дробь и выясните, насколько можно обрезать коэффициенты, не представляя точности.

— Арнольд Ноймайер,

l = l (z)

$l=l(z)$

m

$m$