Генеративные и дискриминационные модели (в байесовском контексте)

22

Каковы различия между порождающими и дискриминационными (дискриминантными) моделями (в контексте байесовского обучения и умозаключений)?

и какое это имеет отношение к предсказанию, теории принятия решений или обучению без учителя?

bayesian predictive-models unsupervised-learning

— nkint
источник

Извините, я не понимаю, что вы подразумеваете под вторым предложением. Вы попробуете перефразировать это?

— csgillespie

ох, я только что присоединился к миру статистики и машинного обучения, извините, я не узнал, как связать неконтролируемое обучение с теорией принятия решений. но я все еще учусь!

— nkint

1

Я просто запутался, как это вписывается в вопрос. Например, слова «прогноз», «теория принятия решений» или «без присмотра» не появляются в принятом ответе

— csgillespie

35

$\{(x_i,y_i)\}$ $p(x,y)$ $p(y|x)$ $p(y|x)$

$(y)$ $p(x|y)$

Могут быть случаи, когда одна модель лучше другой (например, дискриминационные модели обычно имеют тенденцию работать лучше, если у вас много данных; генеративные модели могут быть лучше, если у вас есть некоторые дополнительные немеченые данные). На самом деле, существуют модели гибридов, которые пытаются привнести лучшее из обоих миров. См. Этот документ для примера: принципиальные гибриды порождающих и дискриминационных моделей

— ebony1
источник

2

Хороший ответ. Что касается сравнения канонических примеров дискриминационных и порождающих классификаторов (логистическая регрессия и гауссовский наивный байесовский соответственно), я обнаружил, что эта глава книги очень доступна, чем Ng: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf

— Джош Хеманн

4

Одно дополнение к ответу выше:

Поскольку дискриминант заботится только о P (Y | X), в то время как порождающий заботится о P (X, Y) и P (X) одновременно, чтобы хорошо предсказать P (Y | X), порождающая модель имеет меньшую степень свободы в модели по сравнению с дискриминантной моделью. Таким образом, порождающая модель более устойчива , менее подвержена переоснащению, а дискриминант - наоборот.

Это объясняет приведенный выше ответ

Могут быть случаи, когда одна модель лучше другой (например, дискриминационные модели обычно имеют тенденцию работать лучше, если у вас много данных; генеративные модели могут быть лучше, если у вас есть некоторые дополнительные немеченые данные).

— ArtificiallyIntelligence
источник

2

Можете ли вы объяснить, что вы говорите о том, что у порождающих моделей меньше степеней свободы? Доказательство? Ссылки? Спасибо

— Патрик

@ Патрик «Ваш классификатор - тайно модель, основанная на энергии ...» (Grathwol et al., 2019) показывает конкретный пример этого: потеря перекрестной энтропии инвариантна к изменяющимся логитам, и они устраняют эту степень свободы для преобразования дискриминационных моделей в основанные на энергии генеративные модели. Но у Искусственного интеллекта, возможно, будет лучший источник.

— Кристабелла Ирванто