Как журнал (p (x, y)) нормализует точечную взаимную информацию?


9

Я пытаюсь понять нормализованную форму точечной взаимной информации.

npmi=pmi(x,y)log(p(x,y))

Почему логарифмическая вероятность нормализует точечную взаимную информацию между [-1, 1]?

Точечная взаимная информация:

pmi=log(p(x,y)p(x)p(y))

p (x, y) ограничен [0, 1], поэтому log (p (x, y)) ограничен (, 0]. Кажется, что log (p (x, y)) должен каким-то образом сбалансировать изменения в числитель, но я не понимаю, как именно. Это также напоминает мне энтропию , но опять же я не понимаю точных отношений.h=log(p(x))


Для начала, точечная взаимная информация использует логарифм (я не уверен, что это опечатка или вы используете другое количество ).
Петр Мигдаль,

Ответы:


12

Из википедии запись по точечной взаимной информации :

Точечная взаимная информация может быть нормализована между [-1, + 1], в результате чего -1 (в пределе) никогда не встречается вместе, 0 - независимость и +1 - полное совпадение.

Почему это происходит? Ну, определение точечно взаимной информации является

pmilog[p(x,y)p(x)p(y)]=logp(x,y)logp(x)logp(y),

тогда как для нормализованной точечной взаимной информации это:

npmipmilogp(x,y)=log[p(x)p(y)]logp(x,y)1.

Когда есть:

  • нет совпадений, , поэтому nmpi равно -1,logp(x,y)
  • logp(x,y)=log[p(x)p(y)]
  • журналп(Икс,Y)знак равножурналп(Икс)знак равножурналп(Y)

[-1,1]

1

[-1,1]

журналп(Икс,Y)журналп(Икс,Y))-журналп(Икс)-журналп(Y)знак равножурналп(Икс,Y)п(Икс)п(Y)знак равноPMI(Икс;Y)знак равножурналп(Y|Икс)+журналп(Y|Икс)-журналп(Икс,Y)-журналп(Икс,Y)
-журналп(A)0Aчас(Икс,Y)знак равно-журналп(Икс,Y)
-1NMPI(Икс;Y)знак равноМПИ (х, у)час(Икс,Y)1.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.