Я пытаюсь понять нормализованную форму точечной взаимной информации.
Почему логарифмическая вероятность нормализует точечную взаимную информацию между [-1, 1]?
Точечная взаимная информация:
p (x, y) ограничен [0, 1], поэтому log (p (x, y)) ограничен (, 0]. Кажется, что log (p (x, y)) должен каким-то образом сбалансировать изменения в числитель, но я не понимаю, как именно. Это также напоминает мне энтропию , но опять же я не понимаю точных отношений.