У меня проблемы с построением некоторой интуиции о совместной энтропии. = неопределенность в совместном распределении ; = неопределенность в ; = неопределенность в .p ( x , y ) H ( X ) p x ( x ) H ( Y ) p y ( y )
Если H (X) высока, то распределение более неопределенно, и если вы знаете результат такого распределения, то у вас больше информации! Таким образом, H (X) также количественно оценивает информацию.
Теперь мы можем показать
Но если вы знаете вы можете получить и поэтому в некотором смысле имеет больше информации, чем и и , поэтому не следует t неопределенность, связанная с p (x, y), больше, чем сумма индивидуальных неопределенностей?p x ( x ) p y ( y ) p ( x , y ) p x ( x ) p y ( y )