Использование глубокого обучения для прогнозирования временных рядов

Я новичок в области глубокого обучения, и для меня первым шагом было прочитать интересные статьи с сайта deeplearning.net. В статьях о глубоком обучении Хинтон и другие в основном говорят о применении его к проблемам изображения. Может кто-нибудь попытаться ответить мне, может ли это быть применено к проблеме прогнозирования значений временных рядов (финансовых, интернет-трафика, ...) и на какие важные вещи я должен обратить внимание, если это возможно?

Была проведена некоторая работа по адаптации методов глубокого обучения для последовательных данных. Большая часть этой работы была сосредоточена на разработке «модулей», которые могут быть сложены способом, аналогичным стекированию ограниченных машин Больцмана (RBM) или автоэнкодеров для формирования глубокой нейронной сети. Я выделю несколько ниже:

• Условные RBM : вероятно, одно из самых успешных приложений глубокого обучения для временных рядов. Тейлор разрабатывает модель, подобную RBM, которая добавляет временные взаимодействия между видимыми единицами и применяет ее для моделирования данных захвата движения. По сути, вы получите нечто вроде линейной динамической системы с некоторой нелинейностью, добавленной скрытыми единицами.
• Временные RBM : В своей диссертации (раздел 3) Илья Суцкевер разрабатывает несколько моделей, похожих на RBM, с временными взаимодействиями между единицами. Он также представляет некоторые интересные результаты, показывающие, что обучение рекуррентных нейронных сетей с использованием SGD может работать так же или лучше, чем более сложные методы, такие как алгоритм Мартенса без гессенского алгоритма, с использованием хорошей инициализации и немного измененного уравнения для импульса.
• Рекурсивные автоэнкодеры : Наконец, я упомяну работу Ричарда Сошера по использованию рекурсивных автоэнкодеров для анализа. Хотя это не временные ряды, это определенно связано.

Да, глубокое обучение может применяться для прогнозирования временных рядов. На самом деле, это было сделано уже много раз, например:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

На самом деле это не какой-то «особый случай», глубокое обучение в основном связано с методом предварительной обработки (основанным на генеративной модели), поэтому вам нужно сосредоточиться на тех же вещах, на которых вы сосредоточены, когда вы делаете глубокое обучение в «традиционном смысле» на одном руки, и те же вещи, на которых вы сосредотачиваетесь, выполняя предсказания временных рядов без глубокого изучения.

Рекуррентные нейронные сети считаются типом глубокого обучения (DL). Я думаю, что они являются наиболее популярным инструментом DL для (1d) последовательного обучения. В настоящее время они являются основой подходов нейронного машинного перевода (NMT) (впервые в 2014 году в LISA (UdeM), Google и, возможно, нескольких других, которых я не помню).

При генерации последовательностей Алекса Грейвса с помощью рекуррентных нейронных сетей используются рекуррентные сети и ячейки долгосрочной кратковременной памяти для прогнозирования текста и синтеза почерка.

Андрей Карпатий написал блог о создании последовательностей на уровне персонажа с нуля. Он использует RNN в своем уроке.

Для большего количества примеров вы должны взглянуть на Hochreiter S., & Schmidhuber, J. (1997). Долгая кратковременная память. Нейронные вычисления, 9 (8), 1735-1780.

Может быть, это поможет:

• I. Sutskever, O. Vinyals и QV V Le, «Последовательность к обучению с помощью нейронных сетей», в книге «Достижения в системах обработки нейронной информации», 2014, стр. 3104–3112.

Если у вас есть определение для вашего точного временного окна для данных, таких как предложения в этом документе или абзацах, то вы будете в порядке с использованием LSTM, но я не уверен, как найти временное окно, которое не очевидно и более учитывает контекст. Примером этого может быть то, как много данных журнала, которые вы видите, связаны между собой, и это не является чем-то очевидным.