Как вы можете определить, является ли гауссовский процесс более подходящим?

Я тренирую гауссовский процесс с ядром ARD с большим количеством параметров, максимизируя предельное правдоподобие данных вместо перекрестной проверки.

Я подозреваю, что это чрезмерно. Как я могу проверить это подозрение в байесовском контексте?

machine-learning cross-validation gaussian-process

— nickponline
источник

Самое простое, что можно сделать, - это согласовать гауссовский процесс с неаридной эквивалентной ковариационной функцией (обычно RBF) и сравнить частоты ошибок тестирования. Для многих задач ковариационная функция ARD работает хуже, чем ковариационная функция не-ARD из-за чрезмерной подгонки при настройке гиперпараметров. Поскольку ковариация RBF является особым случаем ковариации ARD, если RBF работает лучше, это является сильным показателем того, что ядро ARD переизбирается (начинайте оптимизацию коэффициентов ARD при оптимальных значениях для соответствующей ковариации RBF, это быстрее, а также помогает гарантировать, что проблема с ковариацией ARD не только из-за локальных минимумов в предельной вероятности). Это гораздо более серьезная проблема, чем принято считать.

Я написал пару статей по этому вопросу:

GC Cawley и NLC Talbot, Предотвращение перенастройки во время выбора модели с помощью байесовской регуляризации гиперпараметров, Journal of Machine Learning Research, том 8, страницы 841-861, апрель 2007 г. ( pdf )

GC Cawley и NLC Talbot, Чрезмерная подгонка при выборе модели и последующая систематическая ошибка выбора при оценке производительности, Journal of Machine Learning Research, 2010. Research, vol. 11, с. 2079-2107, июль 2010 г. ( pdf )

Первый включает в себя некоторые эксперименты с врачами общей практики, которые показывают, что перебор в выборе модели также является проблемой для врачей общей практики с выбором модели на основе максимизации предельного правдоподобия.

Более тщательным анализом будет оценка ошибки теста ВОП на каждом этапе процесса оптимизации предельной вероятности. Весьма вероятно, что вы получите классическую отметку переприбора, при которой критерий выбора модели монотонно уменьшается, но ошибка теста первоначально уменьшается, но затем начинает расти снова, поскольку критерий выбора модели чрезмерно оптимизирован (см. Рисунок 2а в документе JMLR 2010 года).

— Дикран Сумчатый
источник

Круто спасибо - я сейчас читаю первый. Сталкивались ли вы с более эффективным способом регуляризации повторного перенапряжения с ядрами со многими параметрами, такими как ARD, если термин сложности модели в предельной вероятности недостаточен для предотвращения переобучения?

— nickponline

Я подозреваю, что самая надежная вещь, которую можно сделать, - это маргинализация гиперпараметров с использованием методов Марковской цепочки Монте-Карло. Я полагаю, что размер набора данных, к которому обычно привыкли врачи общей практики (до нескольких тысяч паттернов), чрезмерное соответствие предельной вероятности практически неизбежно. ИМХО оптимизация - корень всего зла в статистике, всякий раз, когда вы оптимизируете что-либо, вы рискуете перенастроить. Байесовский подход намного лучше в этом смысле, но вместо этого вы рискуете столкнуться с трудностями, потому что приоры неверны :-(

— Дикран Марсупиал

@DikranMarsupial Есть ли последние исследования о том, как избежать переоснащения с использованием методов вариационной GP?

— imsrgadich