Ответы:
LSTM имеет набор из 2 матриц: U и W для каждого из (3) вентилей. (.) На диаграмме указывает умножение этих матриц на вход и выход .
Следовательно, общее количество параметров =
Однако, если ваш LSTM включает векторы смещения ( это значение по умолчанию в кератах, например ), число становится:
Согласно этому :
Структура клеток LSTM
Уравнения LSTM
Укоренившиеся нелинейности
Если вход x_t имеет размер n × 1 и имеется d ячеек памяти, то размер каждого из W ∗ и U ∗ равен d × n и d × d соответственно. Размер W будет равен 4d × (n + d) . Обратите внимание, что каждая из ячеек памяти dd имеет свои собственные веса W ∗ и U ∗ , и что единственные значения времени ячейки памяти делятся с другими модулями LSTM во время произведения с U ∗ .
Спасибо Арун Малля за отличную презентацию.