Какова роль слоя TimeDistributed в Keras?

Question 1

Я пытаюсь понять, что делает оболочка TimeDistributed в Керасе.

Я понимаю, что TimeDistributed «применяет слой к каждому временному фрагменту ввода».

Но я провел некоторый эксперимент и получил результаты, которых не могу понять.

Короче говоря, применительно к слою LSTM, TimeDistributed и просто Dense дают одинаковые результаты.

model = Sequential()
model.add(LSTM(5, input_shape = (10, 20), return_sequences = True))
model.add(TimeDistributed(Dense(1)))
print(model.output_shape)

model = Sequential()
model.add(LSTM(5, input_shape = (10, 20), return_sequences = True))
model.add((Dense(1)))
print(model.output_shape)

Для обеих моделей я получил форму вывода (Нет, 10, 1) .

Может ли кто-нибудь объяснить разницу между слоем TimeDistributed и Dense после слоя RNN?

Question 2

В kerasпроцессе построения последовательной модели обычно второе измерение (одно после измерения образца) связано с timeизмерением. Это означает, что если, например, ваши данные находятся 5-dimс (sample, time, width, length, channel)вами, вы можете применить сверточный слой, используя TimeDistributed(который применим к 4-dimwith (sample, width, length, channel)) по временному измерению (применяя один и тот же слой к каждому временному срезу), чтобы получить 5-dвыходные данные.

Дело в Denseтом, что в kerasверсии 2.0 Denseпо умолчанию применяется только к последнему измерению (например, если вы применяете Dense(10)ввод с формой, (n, m, o, p)вы получите вывод с формой (n, m, o, 10)), поэтому в вашем случае Denseи TimeDistributed(Dense)эквивалентны.