Как тренировать LSTM слой глубокой сети

Я использую lstm и сеть прямой связи для классификации текста.

Я преобразую текст в горячие векторы и подаю каждый в lstm, чтобы суммировать его как единое представление. Затем я передаю его в другую сеть.

Но как мне тренировать LSTM? Я просто хочу последовательно классифицировать текст - я должен кормить его без обучения? Я просто хочу представить отрывок как отдельный элемент, который я могу подать на входной слой классификатора.

Буду очень признателен за любые советы с этим!

Обновить:

Итак, у меня есть lstm и классификатор. Я беру все выходные данные lstm и собираю их среднее значение, а затем подаю это среднее значение в классификатор.

Моя проблема в том, что я не знаю, как обучить LSTM или классификатор. Я знаю, каким должен быть ввод для lstm и каким должен быть вывод классификатора для этого ввода. Поскольку это две отдельные сети, которые просто активируются последовательно, мне нужно знать и не знать, каким должен быть идеальный вывод для lstm, который также будет входом для классификатора. Есть ли способ сделать это?

Лучшее место, чтобы начать с LSTMs - это запись в блоге А. Карпати http://karpathy.github.io/2015/05/21/rnn-effectiveness/ . Если вы используете Torch7 (что я настоятельно рекомендую), исходный код доступен на github https://github.com/karpathy/char-rnn .

Я бы также попытался немного изменить вашу модель. Я бы использовал подход «многие к одному», чтобы вы вводили слова через таблицу поиска и добавляли специальное слово в конце каждой последовательности, чтобы только при вводе знака «конец последовательности» вы читали классификацию. выведите и рассчитайте ошибку на основе вашего критерия обучения. Таким образом, вы будете тренироваться непосредственно в контролируемом контексте.

С другой стороны, более простой подход заключается в использовании параграфа 2 ( https://radimrehurek.com/gensim/models/doc2vec.html ) для извлечения объектов для входного текста, а затем запуска классификатора поверх ваших функций. Извлечение векторного объекта абзаца очень просто, и в Python это будет:

class LabeledLineSentence(object):
    def __init__(self, filename):
        self.filename = filename

    def __iter__(self):
        for uid, line in enumerate(open(self.filename)):
            yield LabeledSentence(words=line.split(), labels=['TXT_%s' % uid])

sentences = LabeledLineSentence('your_text.txt')

model = Doc2Vec(alpha=0.025, min_alpha=0.025, size=50, window=5, min_count=5, dm=1, workers=8, sample=1e-5)
model.build_vocab(sentences)

for epoch in range(epochs):
    try:
        model.train(sentences)
    except (KeyboardInterrupt, SystemExit):
        break