Связь между энтропией и SNR

В общем, любая форма энропии определяется как неопределенность или случайность. Я полагаю, что в шумной обстановке с увеличением шума энтропия возрастает, поскольку мы более не уверены в содержании желаемого сигнала. Какова связь между энтропией и SNR? С увеличением отношения сигнал / шум мощность шума уменьшается, но это не означает, что информационное содержание сигнала увеличивается !! Содержание информации может оставаться неизменным, значит ли это, что энтропия не затронута?

Когда вы говорите, что «информационное содержание может оставаться неизменным», вы имеете в виду информацию в общем сигнале или информацию о желаемом сигнале? Надеюсь, это ответит на оба случая. Я знаю энтропию Шеннона гораздо лучше, чем Колмогорова, поэтому я воспользуюсь ею, но, надеюсь, логика переведет.

Допустим, , Ваш суммарный сигнал ( ), состоит из суммы Вашего полезного сигнала и шума вашего компонента . Назовая энтропия . Как вы сказали, шум увеличивает энтропию системы, увеличивая ее сложность. Однако это не обязательно потому, что мы более неуверенны в содержании сигнала, а потому, что в сигнале больше неопределенности в целом. Если SNR измеряет, насколько мы уверены в том, что , то измеряет, насколько хорошо мы можем предсказать будущие состояния на основе текущего состояния$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$$X$, Энтропия связана с тем, насколько сложен весь сигнал, независимо от соотношения шума и отсутствия шума.

Если вы увеличиваете SNR, удаляя шум (ослабляя ), вы уменьшаете общую сложность сигнала и, следовательно, его энтропию. Вы не потеряли информацию , передаваемую на , только (предположительно бессмысленных) информации , которую несет . Если - случайный шум, то, очевидно, он не несет значимой информации, но для описания состояния требуется определенное количество информации , определяемое количеством состояний, в которых может находиться N, и вероятностью его нахождения. каждый из тех государств. Это энтропия.$N$$X$$S$$N$$N$$N$

Мы можем взглянуть на два гауссовых распределения с разными дисперсиями, скажем, одно имеет дисперсию а другое - . Просто глядя на уравнение для гауссовского распределения, мы видим, что распределение имеет максимальную вероятность, которая составляет всего th значение вероятности distr. И наоборот, это означает, что существует большая вероятность того, что distr примет значения, отличные от среднего, или что существует большая уверенность в том, что распределение примет значения, близкие к среднему. Таким образом, распределение имеет меньшую энтропию, чем$1$$100$$Var=100$$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$ распределение.

Мы установили, что более высокая дисперсия подразумевает более высокую энтропию. Глядя на распространение ошибок, также верно, что (равно для независимых , ). Если$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$ , то для энтропии Н , Н ( Х ) = H ( S + N ) . Поскольку H (косвенно) является функцией дисперсии, мы можем немного выдумать, чтобы сказать H ( V a r [ X ] ) = H ( $X = S + N$$H$$H(X) = H(S+N)$$H$ . Для упрощения скажем, что S и N независимы, поэтому H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ N ] ) . Улучшение SNR часто означает ослабление мощности шума. Этот новый сигнал с более высоким SNR будет тогда X = S + ( $H(Var[X]) = H(Var[S+N])$$S$$N$$H(Var[X]) = H(Var[S] + Var[N])$, дляk>1. Тогда энтропия становитсяH(Var[X])=H(Var[S]+(1/k)2∗Var[N]). kбольше1, так чтоVar[N]будет уменьшаться при ослаблении N. ЕслиV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ уменьшается, так же как и V a r [ S + N ] , и, следовательно, V a r [ X ] , что приводит к уменьшению H ( X ) .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Не очень кратко, извините. Короче говоря, энтропия уменьшается, если вы увеличиваете SNR, но вы ничего не сделали с информацией S. Я не могу найти источники прямо сейчас, но есть метод для вычисления SNR и взаимной информации (двумерная мера, подобная энтропии) друг от друга. Возможно, главный вывод заключается в том, что SNR и энтропия не измеряют одно и то же.$X$$S$

Вот цитата, [1, p. 186]чтобы вы, OP или Googler, начали:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006