Ты спросил:
в случае, когда 10 составляет 10 миллионов, регрессия гауссовского процесса все еще работает?
Не в стандартном смысле построения и обращения большой матрицы. У вас есть два варианта: 1) выбрать другую модель или 2) сделать приближение.
1) Некоторые модели, основанные на GP, можно масштабировать до очень больших наборов данных, таких как машина байесовского комитета, связанная в ответе выше. Однако я нахожу этот подход довольно неудовлетворительным: есть веские причины для выбора модели GP, и если мы хотим перейти к более вычислимой модели, мы можем не сохранить свойства исходной модели. Например, прогнозируемые отклонения BCM сильно зависят от разделения данных.
2) «Классический» подход к аппроксимации в GP состоит в аппроксимации матрицы ядра. Вот хороший обзор этих методов здесь: http://www.jmlr.org/papers/volume6/quinonero-candela05a/quinonero-candela05a.pdf . Фактически, мы обычно можем рассматривать эти матричные аппроксимации как модельные аппроксимации и объединять их с машиной байесовского комитета: это изменения в модели, и может быть трудно понять, когда эти изменения могут быть патологическими. Вот супер обзор: https://papers.nips.cc/paper/6477-understanding-probabilistic-sparse-gaussian-process-approximations.pdf
Способ, которым я рекомендую делать аппроксимации для больших ВО, состоит в том, чтобы избегать аппроксимации матрицы ядра или модели и приближать апостериорное распределение с помощью вариационного вывода. Многие вычисления выглядят как матричное приближение «низкого ранга», но есть одно очень желательное свойство: чем больше вычислений вы используете (тем больше «рангов»), тем ближе аппроксимация к истинному апостериорному, как измеряется KL дивергенция.
Эти статьи являются хорошей отправной точкой: http://proceedings.mlr.press/v5/titsias09a/titsias09a.pdf
https://arxiv.org/pdf/1309.6835
Я написал более длинную статью по тому же аргументу здесь: https://www.prowler.io/blog/sparse-gps-approximate-the-posterior-not-the-model
На практике вариационное приближение работает очень хорошо во многих случаях. Я широко использовал его в реальных приложениях. И совсем недавно появилась замечательная теория, подтверждающая, почему она должна работать ( https://arxiv.org/abs/1903.03571 ).
Последний плагин: вариационный вывод в GP реализуется в gpflow ( https://github.com/GPflow/GPflow )