Когда следует использовать log1p и expm1?

У меня есть простой вопрос, который действительно сложен для Google (кроме канонического « Что должен знать каждый учёный-компьютерщик» об арифметической работе с плавающей точкой ).

Когда следует использовать такие функции, как log1pили, expm1а не logи exp? Когда их не следует использовать? Чем отличаются реализации этих функций с точки зрения их использования?

floating-point

— Тим
источник

Добро пожаловать в Scicomp.SE! Это очень разумный вопрос, но было бы легче ответить, если бы вы немного объяснили, на что log1p вы ссылаетесь (особенно на то, как это реализовано, поэтому нам не нужно догадываться).

— Кристиан Клэйсон

Для вещественных аргументов, log1p и expm1 должны использоваться, когда мало, например, когда в точности с плавающей запятой. См., Например, docs.scipy.org/doc/numpy/reference/generated/numpy.expm1.html и docs.scipy.org/doc/numpy/reference/generated/numpy.log1p.html .

(x)

$(x)$

(x)

$(x)$

x

$x$

1 + x = 1

$1 + x = 1$

— GoHokies

@ChristianClason спасибо, я имею в виду в основном C ++ std или R, но, как вы спросите, я начинаю думать, что изучение различий в реализациях также было бы очень интересно.

— Тим

Вот пример: scicomp.stackexchange.com/questions/8371/…

— Хуан М. Белло-Ривас

@ user2186862 «когда мало» правильно, но не только «когда с точностью с плавающей запятой» (что происходит для в обычной арифметике двойной точности). Страницы документации, на которые вы ссылаетесь, показывают, что они уже полезны, например, для .

x

$x$

1 + x = 1

$1+x=1$

x \approx 10^{- 16}

$x\approx 10^{-16}$

x \approx 10^{- 10}

$x\approx 10^{-10}$

— Федерико Полони,

Ответы:

Мы все знаем, что подразумевает, что для , мы имеем . Это означает, что если нам нужно вычислить в плавающей точке , дляможет произойти катастрофическая отмена.

\exp (x) = \sum_{n = 0}^{\infty} \frac{x^{n}}{n!} = 1 + x + \frac{1}{2} x^{2} + \dots

$\begin{equation} \exp(x) = \sum_{n=0}^\infty \frac{x^n}{n!} = 1 + x + \frac12 x^2 + \dots \end{equation}$

| x | ≪ 1

$|x| \ll 1$

\exp (x) \approx 1 + x

$\exp(x) \approx 1 + x$

\exp (x) - 1

$\exp(x) -1$

| x | ≪ 1

$|x| \ll 1$

Это может быть легко продемонстрировано в python:

>>> from math import (exp, expm1)

>>> x = 1e-8
>>> exp(x) - 1
9.99999993922529e-09
>>> expm1(x)
1.0000000050000001e-08

>>> x = 1e-22
>>> exp(x) - 1
0.0
>>> expm1(x)
1e-22

Точные значения:

\begin{aligned} \exp (10^{- 8}) - 1 & = 0.000000010000000050000000166666667083333334166666668 \dots \\ \exp (10^{- 22}) - 1 & = 0.000000000000000000000100000000000000000000005000000 \dots \end{aligned}

$\begin{align} \exp(10^{-8}) -1 &= 0.000000010000000050000000166666667083333334166666668 \dots \\ \exp(10^{-22})-1 &= 0.000000000000000000000100000000000000000000005000000 \dots \end{align}$

В общем, «точная» реализация expи expm1должна быть правильной, чтобы не более 1ULP (то есть одна единица последнего места). Однако, поскольку достижение этой точности приводит к «медленному» коду, иногда доступна быстрая и менее точная реализация. Например, в CUDA у нас есть expfи expm1f, где fозначает быстрый. Согласно руководству по программированию CUDA C, приложение. Дexpf имеет погрешность 2ULP.

Если вас не волнуют ошибки порядка нескольких ULPS, обычно разные реализации экспоненциальной функции эквивалентны, но помните, что ошибки могут быть где-то спрятаны ... (Помните ошибку Pentium FDIV ?)

Таким образом, довольно ясно, что expm1следует использовать для вычисления для малого . Использование его для общего не вредно, так как ожидается, что он будет точным во всем диапазоне: $\exp(x)-1$ $x$ $x$ expm1

>>> exp(200)-1 == exp(200) == expm1(200)
True

(В приведенном выше примере значительно ниже 1ULP, равного , поэтому все три выражения возвращают одно и то же число с плавающей запятой.) $1$ $\exp(200)$

Аналогичное обсуждение справедливо для обратных функций logи, log1pпоскольку для . $\log(1+x) \approx x$ $|x| \ll 1$

— Стефано М
источник

Этот ответ уже содержался в комментариях к вопросу ОП. Однако я счел полезным дать более длинный (хотя и базовый) отчет только для ясности, в надежде, что он будет полезен для некоторых читателей.

— Стефано М

Хорошо, но тогда можно просто сделать вывод: «Я всегда могу использовать expm1 вместо exp» ...

— Тим

@tim ваш вывод неверен: вы всегда можете использовать expm1(x)вместо exp(x)-1. Конечно exp(x) == exp(x) - 1не держится в общем.

— Стефано М

ОК, это понятно. И есть ли четкие критерии для ?

x ≪ 1

$x \ll 1$

— Тим

@Tim нет четкого порога, и ответ зависит от точности реализации с плавающей запятой (и решаемой проблемы). Хотя expm1(x)должно быть с точностью до 1ULP во всем диапазоне , постепенно теряется точность от нескольких ULP при до полного сбоя при , где - машинно-эпсилон.

0 \leq x \leq 1

$0\leq x \leq 1$ exp(x) - 1

x \approx 1

$x\approx 1$

x < ϵ

$x < \epsilon$

ϵ

$\epsilon$

— Стефано М

Чтобы расширить разницу между logи log1pэто может помочь вспомнить график, если логарифм:

Если ваши данные содержат нули, то вы, вероятно, не хотите использовать, logпоскольку они не определены в ноль. И когда приближается к , значение приближается к . Таким образом, если ваши значения близки к , то значение потенциально может быть большим отрицательным числом. Например, и и т. Д. Это может быть полезно, но также может искажать ваши данные в сторону больших отрицательных чисел, особенно если ваш набор данных также содержит числа, которые намного больше нуля. $x$ $0$ $\ln(x)$ $- \infty$ $x$ $0$ $\ln(x)$ $\ln(\frac{1}{e}) = -1$ $\ln(\frac{1}{e^{10}}) = -10$

С другой стороны, когда приближается к , значение приближается к с положительного направления. Например, и . Таким образом, выдает только положительные значения и устраняет «опасность» больших отрицательных чисел. Обычно это обеспечивает более однородное распределение, когда набор данных содержит числа, близкие к нулю. $x$ $0$ $\ln(x+1)$ $0$ $\ln(1+\frac{1}{e}) \sim 0.31$ $\ln(1+\frac{1}{e^{10}}) \sim 0.000045$ log1p

Короче говоря, если набор данных больше , то обычно все в порядке. Но если набор данных имеет числа от до , то обычно лучше. $1$ log $0$ $1$ log1p

— sfmiller940
источник