Вопрос о компромиссном отклонении и способах оптимизации


7

Поэтому мне было интересно, как, например, лучше всего оптимизировать модель, которую они пытаются построить, когда сталкиваются с проблемами, вызванными большим смещением или высокой дисперсией. Теперь, конечно, вы можете поиграть с параметром регуляризации, чтобы достичь удовлетворительной цели, но мне было интересно, возможно ли это сделать, не полагаясь на регуляризацию.

Если b - это оценка смещения модели, а v - ее дисперсия, не имеет ли смысла пытаться минимизировать b * v?

Ответы:


8

Существует множество способов минимизировать отклонения и отклонения, и, несмотря на популярное изречение, это не всегда компромисс.

Двумя основными причинами высокого смещения являются недостаточная вместимость модели и недостаточное оснащение, поскольку фаза обучения не была завершена. Например, если вам нужно решить очень сложную задачу (например, распознавание изображений), и вы используете модель с низкой пропускной способностью (например, линейная регрессия), эта модель будет иметь высокий уклон в результате того, что модель не в состоянии понять сложность проблема.

Основной причиной высокой дисперсии является переоснащение на тренировочном наборе.

При этом существуют способы уменьшения как смещения, так и дисперсии на модели ML. Например, самый простой способ добиться этого - получить больше данных (в некоторых случаях даже синтетические данные помогают).

На практике мы склонны делать следующее:

  • Во-первых, мы увеличиваем пропускную способность модели, чтобы максимально уменьшить дисперсию тренировочного набора. Другими словами, мы хотим сделать модель более подходящей (даже потерять 0 на тренировочном наборе). Это сделано потому, что мы хотим убедиться, что модель обладает достаточной способностью понимать данные.

  • Затем мы пытаемся уменьшить смещение . Это делается с помощью регуляризации ( досрочная остановка , нормальные штрафы , отсева и т. Д.)


1
Просто чтобы быть понятным, больше данных не означает исключительно больше примеров, но может быть больше возможностей для текущих примеров, верно?
Zer0k

4
Ну, на самом деле я имел в виду больше примеров, но вы правы, если бы вы могли измерить больше (значимых) функций для текущих примеров, вы наверняка улучшите производительность своей модели.
Djib2011
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.