Инкрементная Гауссова регрессия процесса

Я хочу реализовать постепенную гауссовскую регрессию процесса, используя скользящее окно над точками данных, которое приходит один за другим через поток.

Пусть обозначает размерность входного пространства. Итак, каждая точка данных имеет количество элементов.$d$$x_i$$d$

Пусть будет размером скользящего окна.$n$

Чтобы делать предсказания, мне нужно вычислить обратную матрицу грамм , где а k - квадрат экспоненциального ядра.$K$$K_{ij} = k(x_i, x_j)$

Чтобы избежать увеличения K с каждой новой точкой данных, я подумал, что могу удалить самую старую точку данных перед добавлением новых точек, и таким образом я предотвращаю рост грамм. Например, пусть где - ковариация весов, а - неявная функция отображения, подразумеваемая квадратом экспоненциального ядра.$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

Теперь пусть ] и , где «ы имеют от матриц столбцов.$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

Мне нужен эффективный способ , чтобы найти потенциально с помощью . Это не похоже на обратную задачу об обновленной матрице ранга 1, которая может быть эффективно решена с помощью формулы Шермана-Моррисона.$K_{new}^{-1}$$K$

Для этого было несколько рекурсивных алгоритмов. Вы должны взглянуть на алгоритм рекурсивного наименьших квадратов (KRLS) ядра и связанные с ним алгоритмы онлайн-GP.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. и Principe, JC (2010). Рекурсивное наименьших квадратов ядра с фиксированным бюджетом . В акустике речи и обработки сигналов (ICASSP), 2010 IEEE Международная конференция, стр. 1882-1885. IEEE.
• Лазаро-Гредилья М., Ван Ваеренберг С. и Сантамария И. (2011). Байесовский подход к отслеживанию с помощью рекурсивных наименьших квадратов ядра . В разделе Машинное обучение для обработки сигналов (MLSP), Международный семинар IEEE 2011 г., стр. 1-6. IEEE.
• Перес-Круз Ф., Ван Ваеренберг С., Мурильо-Фуэнтес Дж.Дж., Лазаро-Гредилья М. и Сантамария И. (2013). Гауссовские процессы для нелинейной обработки сигналов: обзор последних достижений . IEEE Signal Processing Magazine, 30 (4): 40-50.

Поэтапная оценка моделей ГП хорошо изучена в литературе. Основная идея заключается в том, чтобы вместо того, чтобы обусловливать все новые наблюдения, которые вы хотите предсказать, ставить точку на шаг впереди и делать это многократно. Это становится как-то близко к фильтрации Калмана.