Что такое позиционное кодирование в модели трансформатора?

23

Я новичок в ML, и это мой первый вопрос здесь, так что извините, если мой вопрос глупый.

Я пытаюсь прочитать и понять статью. Внимание - это все, что вам нужно, и в нем есть картинка:

Я не знаю, что такое позиционное кодирование . Слушая некоторые видеоролики на YouTube, я обнаружил, что это вложение, имеющее как значение, так и положение слова в нем и имеющее отношение к $sin(x)$ или $cos(x)$

но я не мог понять, что это такое и как именно это происходит. так что я здесь за помощью. заранее спасибо.

— Пеймана
источник

31

Например, для слова $w$ в позиции $pos \in [0, L-1]$ во входной последовательности $\boldsymbol{w}=(w_0,\cdots, w_{L-1})$ , с 4-мерным вложением $e_{w}$ и $d_{model}=4$ , операция будет

\begin{aligned} e_{w}^{'} & = e_{w} + [s i n (\frac{p o s}{10000^{0}}), c o s (\frac{p o s}{10000^{0}}), s i n (\frac{p o s}{10000^{2 / 4}}), c o s (\frac{p o s}{10000^{2 / 4}})] \\ = e_{w} + [s i n (p o s), c o s (p o s), s i n (\frac{p o s}{100}), c o s (\frac{p o s}{100})] \end{aligned}

$\begin{align*}e_{w}' &= e_{w} + \left[sin\left(\frac{pos}{10000^{0}}\right), cos\left(\frac{pos}{10000^{0}}\right),sin\left(\frac{pos}{10000^{2/4}}\right),cos\left(\frac{pos}{10000^{2/4}}\right)\right]\\ &=e_{w} + \left[sin\left(pos\right), cos\left(pos\right),sin\left(\frac{pos}{100}\right),cos\left(\frac{pos}{100}\right)\right]\\ \end{align*}$

где формула для позиционного кодирования выглядит следующим образом:

PE (p o s, 2 i) = s i n (\frac{p o s}{10000^{2 i / d_{m o d e l}}}),

$\text{PE}(pos,2i)=sin\left(\frac{pos}{10000^{2i/d_{model}}}\right),$

PE (p o s, 2 i + 1) = c o s (\frac{p o s}{10000^{2 i / d_{m o d e l}}}) .

$\text{PE}(pos,2i+1)=cos\left(\frac{pos}{10000^{2i/d_{model}}}\right).$ с

d_{m o d e l} = 512

$d_{model}=512$ (таким образом,

i \in [0, 255]

$i \in [0, 255]$ ) в исходной статье.

$n$ $n$ , что помогает модели включить порядок слов.

$sin$ $cos$ $sin$ $cos$ для нечетных индексов).

— Esmailian
источник

1

У вас также есть эта превосходная статья сосредоточено исключительно на позиционном вложения: kazemnejad.com/blog/...

— Yohan Обадья

6

Позиционное кодирование - это повторное представление значений слова и его позиции в предложении (учитывая, что это не то же самое, что в начале, в конце или в середине).

Но вы должны принять во внимание, что предложения могут быть любой длины, поэтому говорить «X» слово является третьим в предложении »не имеет смысла, если есть предложения различной длины: 3-е в 3-словосочетании полностью отличается от 3-го в предложении из 20 слов.

Что позиционный кодировщик делает, чтобы получить помощь циклического характера $sin(x)$ а также $cos(x)$ функции для возврата информации о положении слова в предложении.

— Хуан Эстебан де ла Калле
источник

2

благодарю вас. не могли бы вы пояснить, как этот позиционный кодер делает это с

s i n

$sin$ а также

c o s

$cos$ ?

— Пейман

1

Чтобы добавить к другим ответам, реализация ref OpenAI вычисляет это в естественном пространстве журнала (я думаю, чтобы улучшить точность. Не уверен, что они могли использовать журнал в базе 2). Они не придумали кодировку. Вот генерация таблицы поиска PE, переписанная в C как цикл for-for:

int d_model = 512, max_len = 5000;
double pe[max_len][d_model];

for (int i = 0; i < max_len; i++) {
   for (int k = 0; k < d_model; k = k + 2) {
      double div_term = exp(k * -log(10000.0) / d_model);
      pe[i][k] = sin(i * div_term);
      pe[i][k + 1] = cos(i * div_term);
   }
}

— Эрис
источник