Почему люди используют термин «вес доказательств» и чем он отличается от «точечной взаимной информации»?


11

Здесь «вес доказательств» (WOE) - это общий термин в опубликованной научной и политической литературе, чаще всего встречающийся в контексте оценки риска, определяемый как:

вес(е:час)знак равножурналп(е|час)п(е|час¯)

где - доказательство, h - гипотеза.ечас

Теперь я хочу знать, в чем главное отличие PMI (точечная взаимная информация).

pmi(e,h)=logp(e,h)p(e)p(h)

Я считаю, что термин был придуман в этой статье: projecteuclid.org/…
JohnRos

@JohnRos: Хотя это интересная статья, концептуальный вес доказательств там не назван. У И.Дж. Гуда есть книга, напечатанная в 1950 году, и он говорит, что изучил эту концепцию у самого Тьюринга в Блетчли Парк!
kjetil b halvorsen

Обратите внимание, что горе, как определено здесь, является просто логарифмическим отношением правдоподобия. Многие упоминания об этом на этом сайте - это другая концепция, см. Stats.stackexchange.com/questions/462052/…
kjetil b halvorsen

Ответы:


5

Несмотря на то, что они похожи, они совершенно разные вещи. Давайте начнем с основных отличий.

  • - что-то другое в PMI и в WOEчас
    Обратите внимание на термин в PMI. Это означает, что h является случайной величиной, из которой вы можете вычислить вероятность. Для байесовской системы это не проблема, но если вы не верите, что гипотеза может иметь вероятностьаприори,вы даже не можете написать PMI для гипотезы и доказательства. В WOE h является параметром распределения, а выражения всегда определены.п(час)часчас

  • PMI симметричен, WOE
    нетривиально, . Однако w ( h : e ) = log p ( h | e ) / p ( h | ˉ e ) не нужно определять из-за термина ˉ e . Даже если это так, оно обычно не равно w ( e : hпмя(е,час)знак равнопмя(час,е)w(h:e)=logp(h|e)/p(h|e¯)e¯ .w(e:h)

Кроме этого, WOE и PMI имеют сходство.

Вес доказательств говорит о том, сколько доказательств говорит в пользу гипотезы. Если это 0, это означает, что он не говорит ни за, ни против. Чем она выше, тем больше она подтверждает гипотезу , и чем она ниже, тем больше она проверяет ˉ h .hh¯

Взаимная информация количественно определяет, как возникновение события ( или h ) что-то говорит о возникновении другого события. Если это 0, события независимы, и возникновение одного ничего не говорит о другом. Чем выше, тем чаще они встречаются, и чем ниже, тем больше они взаимоисключающие.eh

Как насчет случаев, когда гипотеза также является случайной величиной, и оба варианта верны? К примеру , в communiction над бинарным каналом с шумом, гипотеза ч излучаемым сигнал для декодирования и доказательство принимаемого сигнала. Скажем , что вероятность переворачивания составляет +1 / +1000 , так что если вы получаетечасчас1/1000 , то WOE для 1 является журнал 0,999 / 0,001 = 6,90 . PMI, с другой стороны, зависит от вероятности испускания 1 . Вы можете проверить, что когда вероятность испускания 1 стремится к 0, PMI стремится к 6,9011журнал0,999/0,001знак равно6,90116,90в то время как он стремится к когда вероятность испускания 1 стремится к 1 .011

Это парадоксальное поведение иллюстрирует две вещи:

  1. Ни один из них не подходит, чтобы сделать предположение об эмиссии. Если вероятность испускания падает ниже 1 / 1000 , тоскорее всегоизлучение 0 даже при получении 1 . Однако для малых вероятностей испускания 1 и WOE, и PMI близки к 6,90 .11/10000116,90

  2. PMI - это получение информации (Шеннона) над реализацией гипотезы, если гипотеза почти уверена, то никакой информации не получается. WOE - это обновление наших предыдущих коэффициентов , которое не зависит от значения этих коэффициентов.


Это может быть нотацией, но в WMI, как вы определяете без определения p ( h ) ? Вы не собираетесь с рп(е|час)п(час)п(е|час)знак равноп(е,час)п(час)

1
часп(е|час)п(час)
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.