Предотвращение перенастройки LSTM на небольшой набор данных

Я моделирую 15000 твитов для прогнозирования настроений, используя однослойный LSTM со 128 скрытыми единицами, используя word2vec-подобное представление с 80 измерениями. Я получаю точность снижения (38% со случайным = 20%) после 1 эпохи. Большее количество тренировок приводит к тому, что точность проверки начинает снижаться, когда точность обучения начинает расти - явный признак переоснащения.

Поэтому я думаю о способах сделать регуляризацию. Я бы предпочел не уменьшать количество скрытых юнитов (128 уже кажется немного низким). В настоящее время я использую отсев с вероятностью 50%, но это может быть увеличено. Оптимизатором является Адам с параметрами по умолчанию для Keras ( http://keras.io/optimizers/#adam ).

Каковы эффективные способы уменьшения переобученности для этой модели в моем наборе данных?

Вы можете попробовать:

• Уменьшите количество скрытых юнитов, я знаю, вы сказали, что оно уже кажется низким, но, учитывая, что входной слой имеет только 80 функций, на самом деле 128 может быть слишком много. Основное правило заключается в том, чтобы количество скрытых единиц находилось между количеством единиц ввода (80) и классов вывода (5);
• В качестве альтернативы, вы можете увеличить размер входного пространства представления до более чем 80 (однако это может также подойти, если представление уже слишком узкое для любого заданного слова).

Хороший способ приспособить сеть - начать с переоснащения сети, а затем уменьшать емкость (скрытые блоки и пространство для встраивания) до тех пор, пока она не перестанет соответствовать.