Разница между наивным байесовским и многочленным наивным байесовским

Я имел дело с наивным байесовским классификатором раньше. В последнее время я читаю о многокомном наивном байесовском .

Также Задняя Вероятность = (Приоритет * Вероятность) / (Доказательства) .

Единственное главное отличие (при программировании этих классификаторов), которое я обнаружил между наивным байесовским и многочленным наивным байесовским, состоит в том, что

Наивный байесовский многовариант вычисляет вероятность быть подсчетом слова / токена (случайной величины), а наивный байесовский вычисляет вероятность того, что будет следующим:

введите описание изображения здесь

Поправьте меня если я ошибаюсь!

— Гарак
источник

Вы найдете много информации в следующем pdf: cs229.stanford.edu/notes/cs229-notes2.pdf

— B_Miner

Кристофер Д. Мэннинг, Прабхакар Рагхаван и Хинрих Шютце. « Введение в поиск информации ». 2009 год, глава 13, посвященная классификации текста и наивному байесовскому анализу, тоже хороша

— Франк Дернонкур

Общий термин « Наивный байесовский» относится к сильным допущениям независимости в модели, а не к конкретному распределению каждого признака. Наивная байесовская модель предполагает, что каждая из функций, которые она использует, условно независима друг от друга, учитывая некоторый класс. Более формально, если я хочу вычислить вероятность наблюдения особенностей от до , заданных для некоторого класса c, в предположении Наивного Байеса выполняется следующее: $f_1$ $f_n$

п (е_{1},,,,, е_{N} | с) знак равно Π_{я знак равно 1}^{N} п (е_{я} | с)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

Это означает, что когда я хочу использовать наивную байесовскую модель для классификации нового примера, апостериорная вероятность гораздо проще работать с:

п (с | е_{1},,,,, е_{N}) α п (с) п (е_{1} | с),,, п (е_{N} | с)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

Конечно, эти предположения о независимости редко бывают верными, что может объяснить, почему некоторые называют модель «моделью Байеса идиота», но на практике модели наивного Байеса работают на удивление хорошо, даже в сложных задачах, где очевидно, что сильные предположения о независимости являются ложными.

До этого момента мы ничего не говорили о распределении каждой функции. Другими словами, мы оставили неопределенным. Термин « многокомиальный наивный байесовский» просто дает нам знать, что каждый является многочленным распределением, а не каким-либо другим распределением. Это хорошо работает для данных, которые можно легко преобразовать в счетчики, например, в слова в тексте. $p(f_i|c)$ $p(f_i|c)$

Дистрибутив, который вы использовали с вашим наивным байесовским классификатором, - это Guassian pdf, так что, я думаю, вы могли бы назвать его Guassian Naive Bayes классификатор.

Таким образом, наивный байесовский классификатор является общим термином, который относится к условной независимости каждой из функций в модели, в то время как полиномиальный наивный байесовский классификатор является конкретным экземпляром наивного байесовского классификатора, который использует полиномиальное распределение для каждой из функций.

Ссылки:

Стюарт Дж. Рассел и Питер Норвиг. 2003. Искусственный интеллект: современный подход (2-е изд.). Пирсон Образование. Смотрите стр. 499 для ссылки на «идиота Байеса», а также общего определения наивной байесовской модели и ее предположений о независимости

— jlund3
источник

Ссылки неработающие

— ssoler

@ jlund3, спасибо за приятное объяснение. Как мы включаем информацию о распределении в наш классификатор? Я имею в виду, как изменяется формула p (c | f1, ..., fn) ∝p (c) p (f1 | c) ... p (fn | c) в зависимости от того, является ли это гассианским распределением по сравнению с мультимодальным

— Дэвид

Спасибо за краткое объяснение, но я рекомендую книгу (Стюарт Дж. Рассел и Питер Норвиг. 2003. Искусственный интеллект: современный подход (2-е изд.)), На которую даны ссылки выше для получения дополнительных знаний о NB и методах искусственного интеллекта.

— Мирани

число полиномиального распределения не является независимым. см. мой вопрос здесь: datascience.stackexchange.com/questions/32016/…

— Ханан Штейнгарт

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Полиномиальный Наивный Байес просто предполагает многочленное распределение для всех пар, что в некоторых случаях представляется разумным допущением, то есть для подсчета слов в документах.

— sjm.majewski
источник