Несмотря на то, что они похожи, они совершенно разные вещи. Давайте начнем с основных отличий.
- что-то другое в PMI и в WOEчас
Обратите внимание на термин в PMI. Это означает, что h является случайной величиной, из которой вы можете вычислить вероятность. Для байесовской системы это не проблема, но если вы не верите, что гипотеза может иметь вероятностьаприори,вы даже не можете написать PMI для гипотезы и доказательства. В WOE h является параметром распределения, а выражения всегда определены.р ( ч )часчас
PMI симметричен, WOE
нетривиально, . Однако w ( h : e ) = log p ( h | e ) / p ( h | ˉ e ) не нужно определять из-за термина ˉ e . Даже если это так, оно обычно не равно w ( e : hp m i ( e , h ) = p m i ( h , e )w(h:e)=logp(h|e)/p(h|e¯)e¯ .w(e:h)
Кроме этого, WOE и PMI имеют сходство.
Вес доказательств говорит о том, сколько доказательств говорит в пользу гипотезы. Если это 0, это означает, что он не говорит ни за, ни против. Чем она выше, тем больше она подтверждает гипотезу , и чем она ниже, тем больше она проверяет ˉ h .hh¯
Взаимная информация количественно определяет, как возникновение события ( или h ) что-то говорит о возникновении другого события. Если это 0, события независимы, и возникновение одного ничего не говорит о другом. Чем выше, тем чаще они встречаются, и чем ниже, тем больше они взаимоисключающие.eh
Как насчет случаев, когда гипотеза также является случайной величиной, и оба варианта верны? К примеру , в communiction над бинарным каналом с шумом, гипотеза ч излучаемым сигнал для декодирования и доказательство принимаемого сигнала. Скажем , что вероятность переворачивания составляет +1 / +1000 , так что если вы получаетечасчас1 / 1000 , то WOE для 1 является журнал 0,999 / 0,001 = 6,90 . PMI, с другой стороны, зависит от вероятности испускания 1 . Вы можете проверить, что когда вероятность испускания 1 стремится к 0, PMI стремится к 6,9011журнал0,999 / 0,001 = 6,90116,90в то время как он стремится к когда вероятность испускания 1 стремится к 1 .011
Это парадоксальное поведение иллюстрирует две вещи:
Ни один из них не подходит, чтобы сделать предположение об эмиссии. Если вероятность испускания падает ниже 1 / 1000 , тоскорее всегоизлучение 0 даже при получении 1 . Однако для малых вероятностей испускания 1 и WOE, и PMI близки к 6,90 .11 / 10000116,90
PMI - это получение информации (Шеннона) над реализацией гипотезы, если гипотеза почти уверена, то никакой информации не получается. WOE - это обновление наших предыдущих коэффициентов , которое не зависит от значения этих коэффициентов.