Что такое активация GELU?


18

Я просматривал статью BERT, в которой используется GELU (линейная единица гауссовой ошибки), в которой уравнение имеет вид что, в свою очередь, приближается к

GELU(x)=xP(Xx)=xΦ(x).
0.5x(1+tanh[2/π(x+0.044715x3)])

Не могли бы вы упростить уравнение и объяснить, как оно было аппроксимировано.

Ответы:


19

Функция GELU

Мы можем расширить совокупное распределениеN(0,1) , то есть , следующим образом: Φ(Икс)

GELU(x):=xP(Xx)=xΦ(x)=0.5x(1+erf(x2))

Обратите внимание, что это определение , а не уравнение (или отношение). Авторы предоставили некоторые обоснования для этого предложения, например, стохастическая аналогия , однако математически это всего лишь определение.

Вот сюжет GELU:

Приближение Тан

Для числовых аппроксимаций такого типа ключевая идея состоит в том, чтобы найти аналогичную функцию (в первую очередь основанную на опыте), параметризовать ее, а затем подогнать ее к набору точек из исходной функции.

Зная, что очень близок кerf(x)tanh(x)

и первая производная от совпадает с производной от в , то есть , мы приступаем к подгонке (или с большим количеством терминов) на набор точек .erf(x2)tanh(2πx)x=02π

tanh(2π(x+ax2+bx3+cx4+dx5))
(xi,erf(xi2))

Я установил эту функцию для 20 выборок между ( используя этот сайт ), и вот коэффициенты:(1.5,1.5)

Установивa=c=d=0 , b , по оценкам, 0.04495641 . При большем количестве образцов из более широкого диапазона (на этом сайте разрешено только 20) коэффициент b будет ближе к 0.044715 на бумаге . Наконец мы получаем

Джелу(Икс)знак равноИксΦ(Икс)знак равно0,5Икс(1+приусадебный участок(Икс2))0,5Икс(1+TANH(2π(Икс+0.044715Икс3)))

со среднеквадратической ошибкой ~10-8 для x[10,10] .

Обратите внимание, что если мы не использовали связь между первыми производными, термин 2π было бы включено в параметры следующим образом:

0.5x(1+tanh(0.797885x+0.035677x3))
что является менее красивым (менее аналитическим, более численным)!

Используя паритет

Как предлагает @BookYourLuck , мы можем использовать четность функций, чтобы ограничить пространство полиномов, в которых мы ищем. То есть, поскольку erf является нечетной функцией, т.е. f(x)=f(x) , а tanh также является нечетной функцией, полиномиальная функция pol(x) внутри tanh также должна быть нечетной (должна иметь только нечетные степени x ) иметь

erf(x)tanh(pol(x))=tanh(pol(x))=tanh(pol(x))erf(x)

Ранее нам посчастливилось получить (почти) нулевые коэффициенты для четных степеней x2 и x4 , однако в целом это может привести к низкокачественным приближениям, которые, например, имеют член типа 0.23x2 , который отменяется на дополнительные условия (четные или нечетные) вместо простого выбора 0x2 .

Сигмовидное приближение

Аналогичное соотношение имеет место между erf(x) и 2(σ(x)12)(сигмоид), который предлагается в статье в качестве другого приближения, со среднеквадратической ошибкой104дляx[10,10].

Вот код Python для генерации точек данных, подбора функций и вычисления среднеквадратичных ошибок:

import math
import numpy as np
import scipy.optimize as optimize


def tahn(xs, a):
    return [math.tanh(math.sqrt(2 / math.pi) * (x + a * x**3)) for x in xs]


def sigmoid(xs, a):
    return [2 * (1 / (1 + math.exp(-a * x)) - 0.5) for x in xs]


print_points = 0
np.random.seed(123)
# xs = [-2, -1, -.9, -.7, 0.6, -.5, -.4, -.3, -0.2, -.1, 0,
#       .1, 0.2, .3, .4, .5, 0.6, .7, .9, 2]
# xs = np.concatenate((np.arange(-1, 1, 0.2), np.arange(-4, 4, 0.8)))
# xs = np.concatenate((np.arange(-2, 2, 0.5), np.arange(-8, 8, 1.6)))
xs = np.arange(-10, 10, 0.001)
erfs = np.array([math.erf(x/math.sqrt(2)) for x in xs])
ys = np.array([0.5 * x * (1 + math.erf(x/math.sqrt(2))) for x in xs])

# Fit tanh and sigmoid curves to erf points
tanh_popt, _ = optimize.curve_fit(tahn, xs, erfs)
print('Tanh fit: a=%5.5f' % tuple(tanh_popt))

sig_popt, _ = optimize.curve_fit(sigmoid, xs, erfs)
print('Sigmoid fit: a=%5.5f' % tuple(sig_popt))

# curves used in https://mycurvefit.com:
# 1. sinh(sqrt(2/3.141593)*(x+a*x^2+b*x^3+c*x^4+d*x^5))/cosh(sqrt(2/3.141593)*(x+a*x^2+b*x^3+c*x^4+d*x^5))
# 2. sinh(sqrt(2/3.141593)*(x+b*x^3))/cosh(sqrt(2/3.141593)*(x+b*x^3))
y_paper_tanh = np.array([0.5 * x * (1 + math.tanh(math.sqrt(2/math.pi)*(x + 0.044715 * x**3))) for x in xs])
tanh_error_paper = (np.square(ys - y_paper_tanh)).mean()
y_alt_tanh = np.array([0.5 * x * (1 + math.tanh(math.sqrt(2/math.pi)*(x + tanh_popt[0] * x**3))) for x in xs])
tanh_error_alt = (np.square(ys - y_alt_tanh)).mean()

# curve used in https://mycurvefit.com:
# 1. 2*(1/(1+2.718281828459^(-(a*x))) - 0.5)
y_paper_sigmoid = np.array([x * (1 / (1 + math.exp(-1.702 * x))) for x in xs])
sigmoid_error_paper = (np.square(ys - y_paper_sigmoid)).mean()
y_alt_sigmoid = np.array([x * (1 / (1 + math.exp(-sig_popt[0] * x))) for x in xs])
sigmoid_error_alt = (np.square(ys - y_alt_sigmoid)).mean()

print('Paper tanh error:', tanh_error_paper)
print('Alternative tanh error:', tanh_error_alt)
print('Paper sigmoid error:', sigmoid_error_paper)
print('Alternative sigmoid error:', sigmoid_error_alt)

if print_points == 1:
    print(len(xs))
    for x, erf in zip(xs, erfs):
        print(x, erf)

Выход:

Tanh fit: a=0.04485
Sigmoid fit: a=1.70099
Paper tanh error: 2.4329173471294176e-08
Alternative tanh error: 2.698034519269613e-08
Paper sigmoid error: 5.6479106346814546e-05
Alternative sigmoid error: 5.704246564663601e-05

2
Зачем нужно приближение? Разве они не могли просто использовать функцию erf?
СебиСеби,

8

Φ(x)=12erfc(x2)=12(1+erf(x2))
erf
erf(x2)tanh(2π(x+ax3))
for a0.044715.

For large values of x, both functions are bounded in [1,1]. For small x, the respective Taylor series read

tanh(x)=xx33+o(x3)
and
erf(x)=2π(xx33)+o(x3).
Substituting, we get that
tanh(2π(x+ax3))=2π(x+(a23π)x3)+o(x3)
and
erf(x2)=2π(xx36)+o(x3).
Equating coefficient for x3, we find
a0.04553992412
close to the paper's 0.044715.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.