Интервал прогнозирования на основе перекрестной проверки (CV)

В учебниках и лекциях на YouTube я много узнал об итерационных моделях, таких как бустинг, но я никогда не видел ничего о получении интервала прогнозирования.

Перекрестная проверка используется для следующего:

Выбор модели : попробуйте разные модели и выберите ту, которая подходит лучше всего. В случае повышения используйте CV для выбора параметров настройки.
Оценка модели : Оцените производительность выбранной модели

Для оценки модели важны несколько параметров, одним из которых является ожидаемая ошибка прогнозирования. Перекрестная проверка дает хорошую оценку ошибки предсказания, а также описана в книге «Элементы статистического обучения».

Но как мы можем использовать ожидаемую ошибку прогноза для построения интервала прогнозирования?

И если вы прогнозируете, например, цену дома, интервал прогнозирования будет выше для дома в 500 000 евро по сравнению с домом в 200 000 евро. Как мы оцениваем эти интервалы прогнозирования, используя перекрестную проверку?

cross-validation boosting prediction-interval

— Kasper
источник

Это шаг в правильном направлении: blog.datadive.net/prediction-intervals-for-random-forests

— Каспер,

Я думаю, что вы ищете конформные прогнозы. См. Статью Шафера и Вовка jmlr.csail.mit.edu/papers/volume9/shafer08a/shafer08a.pdf .

— Алексей Зайцев

Не могли бы вы объяснить, почему вы полагаете, что интервал прогнозирования будет «выше» для дома 500 КБ по сравнению с домом 200 КБ? Это функция количества образцов? Можете ли вы предположить, что образцы взяты из общего распределения?

— justanotherbrain

Прочитав этот вопрос еще раз, я могу дать вам следующую оценку:

$B$ $1 - \delta$

Е [Е (час)] \leq \hat{Е} (час) + В \sqrt{\frac{журнал \frac{1}{δ}}{2 м}}

$\mathbb{E}[\mathcal{E}(h)] \leq \hat{\mathcal{E}}(h) + B\sqrt{\frac{\log \frac{1}{\delta}}{2m}}$

$m$ $1-\delta$

$m$ $\mathbb{E}[\mathcal{E}(h)]$ $\hat{\mathcal{E}}(h)$

Пожалуйста, не сообщайте только об ошибке перекрестной проверки или об ошибке теста, это вообще бессмысленно, так как это просто точечные оценки.

Старый пост для записи:

Я не уверен, что полностью понял ваш вопрос, но я попробую.

Во-первых, я не уверен, как бы вы определили интервал прогнозирования для выбора модели, поскольку, насколько я понимаю, интервалы прогнозирования делают некоторые предположения о распределении. Вместо этого вы можете получить неравенства концентрации, которые по существу связывают случайную переменную по ее дисперсии для некоторой вероятности. Концентрационные неравенства используются посредством машинного обучения, в том числе передовой теории повышения. В этом случае вы хотите связать ошибку обобщения (ваша ошибка в целом, точки, которые вы не видели) с вашей эмпирической ошибкой (вашей ошибкой в наборе тестов) плюс некоторый термин сложности и термин, который относится к дисперсии.

Теперь мне нужно развеять недопонимание о перекрестной проверке, которая встречается крайне часто. Перекрестная проверка даст вам объективную оценку ожидаемой ошибки модели для фиксированного размера образца. Доказательство этого работает только для протокола «Оставь один». Это на самом деле довольно слабый, поскольку он не дает вам никакой информации относительно дисперсии. С другой стороны, перекрестная проверка вернет модель, близкую к решению по минимизации структурного риска, которое является теоретически лучшим решением. Вы можете найти доказательство в приложении здесь: http://www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

Так как же получить границу обобщения? (Помните, что граница обобщения - это, в основном, интервал прогнозирования ошибки обобщения для конкретной модели). Ну, эти границы зависят от алгоритма. К сожалению, есть только один учебник, который устанавливает границы для всех часто используемых алгоритмов в машинном обучении (включая повышение). Книга «Основы машинного обучения» (2012) Мори, Ростамизаде и Тальвалкара. Для слайдов лекций, которые охватывают материал, вы можете найти их на веб-странице Мори: http://www.cs.nyu.edu/~mohri/ml14/

Хотя «Элементы статистического обучения» - важная и несколько полезная книга, она не очень строгая и не содержит многих очень важных технических деталей, касающихся алгоритмов, и полностью исключает какие-либо границы обобщений. Основы машинного обучения - самая полная книга для машинного обучения (которая имеет смысл видеть, поскольку она была написана одними из лучших в этой области). Однако учебник продвинутый, поэтому просто остерегайтесь технических деталей.

Границу обобщения для повышения можно найти (с доказательством) здесь: http://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

Я надеюсь, что этих указателей достаточно, чтобы ответить на ваш вопрос. Я не решаюсь дать полный ответ, потому что потребуется около 50 страниц, чтобы просмотреть все необходимые детали, не говоря уже о предварительных обсуждениях ...

Удачи!

— justanotherbrain
источник

Так что, если я хорошо понимаю, это дает верхнюю границу для ошибки обобщения для любого квантиля, по всему распределению (основываясь на некоторых предположениях). Однако я не понимаю вашего предложения «Пожалуйста, не сообщайте ни об ошибке перекрестной проверки, ни об ошибке теста». Вы имеете в виду, что эти две меры бесполезны или они просто бесполезны, чтобы попытаться найти интервал предсказания?

— LouisBBBB

@LouisBBBB CV ошибка и ошибка теста - это все равно, что сообщать выборочное среднее. Обычно плохая практика сообщать выборочное среднее без какого-либо доверительного интервала, потому что каждый раз, когда я запускаю эксперимент, я получаю другой результат. Я сказал бессмысленно, но, может быть, «бесполезно» лучше ... Можно утверждать, что в точечной оценке есть какой-то смысл (то есть определение). Но точечные оценки, как правило, «бесполезны» в том смысле, что они не характеризуют распределение ошибки «полезным способом». «Полезно» в контексте принятия решений.

— justanotherbrain

Я думаю, я понимаю, что вы говорите. Таким образом, вы предпочитаете анализировать распределение ошибок вместо среднего. И если я вернусь к вопросу, Каспер хотел получить оценки интервалов прогнозирования «на точку». Ваш ответ был глобальной верхней границей для длины интервала предсказания (или что-то близкое), правильно? Итак, вы знаете способ получить верхнюю границу?

— LouisBBBB

Ах, спасибо за разъяснения. Я думаю, что неправильно понял вопрос @ Каспера, и у меня есть много дополнительных вопросов. Спасибо за указание на это, я сделаю некоторые копания.

— justanotherbrain