Почему вес сетей RNN / LSTM распределен по времени?

Недавно я заинтересовался LSTM и с удивлением узнал, что веса распределяются по времени.

• Я знаю, что если вы разделяете веса по времени, то ваши входные временные последовательности могут иметь переменную длину.

• С общими весами у вас гораздо меньше параметров для тренировки.

Насколько я понимаю, причина, по которой можно обратиться к LSTM по сравнению с другим методом обучения, заключается в том, что вы считаете, что в ваших данных есть какая-то временная / последовательная структура / зависимость, которую вы хотели бы изучить. Если вы пожертвуете переменной «люкс» переменной длины и примете большое время вычислений, разве RNN / LSTM без общих весов (т. Е. Для каждого временного шага у вас разные весы) будут работать лучше или я чего-то упускаю?

Принятый ответ сфокусирован на практической стороне вопроса: он потребует много ресурсов, если параметры не будут общими. Однако, решение о параметрах акций в RNN было сделано , когда какой - либо серьезный расчет была проблема (1980 - е годы в соответствии с вики ), поэтому я считаю , что это был не главный аргумент (хотя все еще действует).

Есть чисто теоретические причины для разделения параметров:

• Это помогает в применении модели к примерам различной длины. При чтении последовательности, если модель RNN использует разные параметры для каждого шага во время обучения, она не будет обобщаться на невидимые последовательности различной длины.

• Часто последовательности работают в соответствии с одинаковыми правилами для всей последовательности. Например, в НЛП:

                                                     "В понедельник шел снег"

                                                     "В понедельник шел снег"

... эти два предложения означают одно и то же, хотя детали находятся в разных частях последовательности. Совместное использование параметров отражает тот факт, что мы выполняем одну и ту же задачу на каждом шаге, в результате нам не нужно заново изучать правила в каждой точке предложения.

LSTM ничем не отличается в этом смысле, поэтому он также использует общие параметры.

Перспектива «общих весов» исходит из того, что RNN представляют собой сети прямой связи, развернутые во времени. Если бы весы были разными в каждый момент времени, это была бы просто сеть прямой связи. Но я полагаю, что другой способ думать об этом - это RNN, вес которой является функцией, изменяющейся во времени (и это может позволить вам сохранить способность обрабатывать последовательности переменной длины).

Если вы это сделаете, число параметров будет расти линейно с количеством временных шагов. Это было бы большим взрывом параметров для последовательностей любой значительной длины. Это действительно сделало бы сеть более мощной, если бы у вас были огромные вычислительные ресурсы для ее запуска и массивные данные для ее ограничения. Для длинных последовательностей это, вероятно, было бы невозможным в вычислительном отношении, и вы получили бы переоснащение. Фактически, люди обычно идут в противоположном направлении, выполняя усеченное обратное распространение во времени, которое разворачивает сеть только в течение некоторого короткого промежутка времени, а не по всей последовательности. Это сделано для вычислительной осуществимости. Интересно, что RNN все еще могут изучать временную структуру, которая выходит за пределы длины усечения, потому что рекуррентные блоки могут хранить память раньше.

Я думаю, что так как сети RNN со скрытыми и скрытыми рекурсиями (и весами, разделенными по времени) эквивалентны универсальным машинам Тьюринга, то предоставление им разных весов для разных временных шагов не делает их более мощными.