Разница между `Dense` и` TimeDistributedDense` `Keras`

Я до сих пор путаю о разнице между Denseи TimeDistributedDenseиз Kerasхотя есть уже задавали некоторые подобные вопросы здесь и здесь . Люди много обсуждают, но нет общих согласованных выводов.

И даже здесь @fchollet заявил, что:

TimeDistributedDenseприменяет одну и ту же Dense(полностью подключенную) операцию к каждому временному шагу трехмерного тензора.

Мне все еще нужна подробная иллюстрация о том, в чем именно разница между ними.

Допустим, у вас есть данные временных рядов с строками и 700 столбцами, которые вы хотите передать слою в Keras. Прежде чем передать это в RNN, вам нужно преобразовать предыдущие данные в 3D-тензор. Таким образом, это становится N × 700 × 1 .$N$$700$SimpleRNN(200, return_sequence=True)$N \times 700 \times 1$

^{Изображение взято с https://colah.github.io/posts/2015-08-Understanding-LSTMs}

$t=1 \ to \ 700$$h_1$$h_{700}$$h_1$$h_{200}$$N \times 700 \times 200$

TimeDistributedDenseDenseDense$h_1$$h_2$$h_t$$h_1$$h_{700}$$1 \times 1 \times 200$$1 \times 1 \times 200$

Почему мы это делаем? Потому что вы не хотите сглаживать вывод RNN.

Почему бы не сгладить выход RNN? Потому что вы хотите, чтобы значения каждого временного шага были отдельными.

Зачем хранить значения каждого временного шага отдельно? Потому что:

• вы только хотите взаимодействовать значения между его собственным временным шагом
• Вы не хотите случайного взаимодействия между различными временными шагами и каналами.