Энтропия шумового распределения

Скажем, у нас есть функция $f:\mathbb{Z}_2^n \to \mathbb{R}$ такой, что

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ а также $f$ является распределением, т. е. $\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$,

Энтропия Шеннона $f$ определяется следующим образом:

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

Позволять $\epsilon$быть постоянным Скажем, мы получили$\epsilon$-шумная версия $f(x)$т.е. мы получаем функцию $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ такой, что $|\tilde{f}(x)- f(x) | < \epsilon$ для каждого $x\in \mathbb{Z}_2^n$, Какое влияние шум оказывает на энтропию? То есть мы можем связать$H(\tilde{f})$ "разумной" функцией $\epsilon$ а также $H(f)$, такие как:

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ или даже, $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ для некоторых констант $c,d$,

Редактировать: пытаясь почувствовать влияние шума на энтропию Шеннона, любую «разумную» добавку, связанную с $H(\tilde{f})$ также было бы очень интересно.

Такая граница не возможна. Рассмотрим случай, когда$f$ распределение, равномерное по некоторому набору $S$ размера $2^{\delta \cdot n}$, и разреши $\tilde{f}$ быть распределение, которое с вероятностью $\delta$ выводит равномерно распределенный элемент $S$и в противном случае выводит равномерно распределенную строку.

Нетрудно понять, что вы можете получить от $f$ в $\tilde{f}$ вам нужен только шум максимум $(1-\delta) \cdot 2^{-\delta \cdot n}$, Однако,$H(f)= \delta \cdot n$ пока $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$, Таким образом, вы получаете разницу$(1 - \delta)^2 \cdot n$ для сколь угодно маленьких $\delta$ для чрезвычайно низкого уровня шума.

В частности, вы можете установить $\delta = \frac{\log(1/\varepsilon)}{n}$и получить шум $\varepsilon$ и разница энтропии $\approx n - 2\log(1/\varepsilon)$,