Полезность энтропий Реньи?

14

Большинство из нас знакомы или, по крайней мере, слышали о энтропии Шеннона случайной величины, $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ , и обо всех связанных с этим теоретико-информационных мерах, таких как относительная энтропия, взаимная информация и так далее. Есть несколько других мер энтропии, которые обычно используются в теоретической информатике и теории информации, такие как мин-энтропия случайной величины.

Я начал видеть эти так называемые энтропии Реньи чаще, когда просматриваю литературу. Они обобщают энтропию Шеннона и мин-энтропию и фактически предоставляют целый спектр энтропийных мер случайной величины. Я работаю в основном в области квантовой информации, где также часто рассматривается квантовая версия энтропии Реньи.

То, что я не понимаю, почему они полезны. Я слышал, что часто с ними аналитически легче работать, чем, скажем, с энтропией Шеннона / фон Неймана или мин-энтропией. Но они также могут быть связаны с энтропией / мин-энтропией Шеннона.

Может ли кто-нибудь привести примеры (классические или квантовые) того, когда использование энтропий Реньи является «правильным решением»? То, что я ищу, - это какой-то «умственный крючок» или «шаблон», позволяющий узнать, когда я захочу использовать энтропии Рени.

Благодарность!

it.information-theory quantum-information

— Генри Юн
источник

Приложение к моему ответу: Кажется, что существует вероятностное определение энтропии q-реньи (

) i, e

q \in Z^{+}

$q \in \mathbb{Z}^+$

. Тогда

и эта RHS называется «энтропией Шеннона». Один также определяет другой предел, т.е.

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

. Эти идеи, похоже, нашли применение в конструкции экспандеров, как показано здесь, math.rutgers.edu/~sk1233/courses/topics-S13, math.ias.edu/~avi/PUBLICATIONS/MYPAPERS/CRVW01/crvw01.pdf, arxiv. org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

Рассмотрим пытается сделать атомные догадки по неизвестной случайной величины , распределенной по некоторому конечному множеству В энтропии Шеннона предполагается, что вы можете выполнять запрос побитно, т. Е. Если вы можете спросить: $X$ $A.$ $A=\{1,\ldots,N\}$

Является ли ? $X\in \{1,\ldots,N/2\}$ (предположим, что четное или использовать функции пола / потолка) $N$

В криптографии и некоторых сценариях декодирования это нереально. Пытаясь угадать неизвестный пароль, вам нужно сделать атомарные запросы, т.е. запросить, если является конкретным значением. $X$

Оказывается , что ожидаемое число запросов угадать случайную величину , то плотно зависит от энтропии Реньи порядка Так что некоторые высшие моменты. Например $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

а числитель является по существу логарифмом Рения энтропии порядка Можно также сделать Шеннон энтропия очень велик , а энтропия Реньи и ожидание числа догадок очень мало. Если вы полагаетесь на энтропию Шеннона для обеспечения безопасности, в этом случае у вас будут проблемы. $1/2.$

Также см. Соответствующий вопрос « Угадайте низкое значение энтропии при нескольких попытках».

Некоторые ссылки:

Ю.О. Плиам. О несопоставимости энтропии и предельной догадки в атаках грубой силы. INDOCRYPT 2000: 67-79
Э. Арикан, Неравенство по угадыванию и его применение к последовательному декодированию. IEEE Труды по теории информации 42 (1): 99-105, 1996.
Бозтас С. Об энтропиях Реньи и их приложениях к угадыванию атак в криптографии. Операции IEICE с основами электроники, связи и компьютерных наук 97 (12): 2542-2548, 2014.

— kodlu
источник

Я не могу получить доступ к этой статье С.Бозтаса. У вас есть общедоступная ссылка?

— Anirbit

@Anirbit см. Исследовательский репозиторий RMIT, researchbank.rmit.edu.au

— кодлу

Я искал по этой ссылке. Это только взял меня в кругах. Я никогда не находил общедоступный файл PDF!

— Anirbit

@ Anirbit, извини, я думал, что он там действительно хранится!

— Кодлу

18

Энтропия Реньи в некотором смысле аналогична -нормам, поэтому давайте сначала вспомним, почему эти нормы полезны. $\ell_p$

Предположим, у нас есть вектор чисел . Мы хотим иметь одно число , которое представляет, в каком - то смысле, как делает типичный элемент выглядеть. $a \in \mathbb{R}^n$ $a$

Один из способов сделать это - взять среднее число чисел в , что примерно соответствует норме : $a$ $\ell_1$ . Это часто бывает полезно, но для некоторых применений имеют следующие проблемы:первых, норма не дает нам хорошую верхнюю границу на наибольшем элементе, потому что если есть один большой элемент и много нулей, то норма будет значительно меньше, чем самый большой элемент. С другой стороны, $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ норма также не дает нам хорошей оценки того, насколько малы элементы , например, сколько нулей имеет - эта проблема возникает точно в том же сценарии, что и раньше. $a$ $a$

Конечно, когда элементы много дисперсии, например, в крайнем случае , как указано выше, ни один номер не может дать решить обе проблемы выше. У нас есть компромисс. Например, если мы хотим знать , самый большой элемент, мы можем использовать норму, но тогда мы потеряем всю информацию о более мелких элементах. Если нам нужно количество нулей, мы можем посмотреть на норму , которая является просто размером поддержки . $a$ $\ell_\infty$ $\ell_0$ $a$

Теперь, причина для рассмотрения норм состоит в том, что они дают нам весь непрерывный компромисс между двумя крайностями. Если мы хотим получить больше информации о больших элементах, мы берем чтобы быть больше, и наоборот. $\ell_p$ $p$

То же самое относится и к Рению энтропии: энтропия Shanon является как норма - это говорит нам кой - что о «типичной» вероятность элемента, но ничего о дисперсии или крайностях. Мин-энтропия дает нам информацию об элементе с наибольшей вероятностью, но теряет всю информацию об остальном. Размер поддержки дает другую крайность. Энтропии Реньи дают нам непрерывный компромисс между двумя крайностями. $\ell_1$

Например, много раз энтропия Реньи-2 полезна, потому что она, с одной стороны, близка к энтропии Шенона и, таким образом, содержит информацию обо всех элементах распределения, а с другой стороны дает больше информации об элементах с наибольшим вероятность. В частности, известно, что границы энтропии Реньи-2 дают границы минимальной энтропии, см., Например, Приложение A здесь: http://people.seas.harvard.edu/~salil/research/conductors-prelim. .ps

— Или меир
источник

11

Энтропия Реньи (порядка 2) полезна в криптографии для анализа вероятности столкновений.

$X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

$H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

Эти факты полезны в криптографии, где коллизии могут иногда вызывать проблемы и включать атаки.

Для некоторого анализа других применений в криптографии я рекомендую следующую кандидатскую диссертацию:

Кристиан Качин. Меры энтропии и безусловная безопасность в криптографии . Докторская диссертация, ETH Zurich, май 1997.

— DW
источник

Существует ли такое прямое вероятностное определение энтропии q-реньи? (как вы можете видеть из моего ответа, единственный способ определить это при произвольном q - это определить функции разбиения, соответствующие физической системе, которая была задана с помощью ее лагранжиана или гамильтониана или ее действия)

— Anirbit

@ Анбит, я не знаю. Ничего из того, что я помню, не видел (хотя вполне возможно, что энтропия q-реньи может привести к границам для других границ, которые нас интересуют ...)

— DW

Также кажется, что «информационная энтропия» в основном является «термодинамической энтропией». Таким образом, даже при (q = 1) -энтропии Реньи, т. Е. Энтропии запутанности, существует концептуальный пробел в интерпретации ее сложности?

— Anirbit

- \infty

$-\infty$

@DW Кажется, есть вероятностная интерпретация. Смотрите мой комментарий на оригинальный вопрос.

— Anirbit

3

Этот другой ответ об обмене стеками и этот пост в блоге могут быть очень полезны, чтобы быстро понять основной пример,

Грубо говоря, энтропии Реньи знают о возбужденных состояниях квантовой системы, но энтропия запутанности знает об основных состояниях. ПРЕДУПРЕЖДЕНИЕ: эта интуиция может быть ужасно грубой, но может быть хорошим «умственным крючком»: я был бы ОЧЕНЬ рад узнать о лучшем и точном способе сказать это!

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

Всегда есть много вопросов о существовании и правильности, когда кто-то пытается сделать эти аналитические продолжения - но для кого-то вроде меня, воспитанного на ежедневной диете интегралов по путям Фейнмана, это очень распространенная проблема, и мы есть много инструментов для решения этих проблем. Три хороших документа для изучения этих вопросов: http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221. .pdf (последняя из этих статей может быть более легкой отправной точкой). Эта презентация также может помочь, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf.

То, что энтропия Реньи говорит в терминах квантовой теории сложности, может быть волнующим вопросом! Можно ли считать индекс Реньи параметризацией иерархии классов сложности? Это должно быть весело, если правда! Дай мне знать :)

— Anirbit
источник

0

Энтропия Реньи нашла свой путь в определения количественного информационного потока , области или исследования безопасности. См . Обзорную статью Дж. Смита .

— Кай
источник