Существует ли обобщение теории информации на полиномиально узнаваемую информацию?

9

Прошу прощения, это немного "мягкий" вопрос.

Теория информации не имеет понятия вычислительной сложности. Например, экземпляр SAT или экземпляр SAT плюс бит, указывающий на выполнимость, несут одинаковое количество информации.

Есть ли способ формализовать понятие «полиномиально узнаваемый»?

Такая структура могла бы определить, например, понятие расхождения полиномиального KL между случайной величиной X относительно Y как число битов, необходимых для вычисления X за полиномиальное время, заданное Y.

Аналогично, энтропия случайной величины X может быть определена как количество битов, необходимых для кодирования X таким образом, который может быть декодирован за полиномиальное время.

Было ли изучено такое обобщение? Можно ли сделать это последовательным?

cc.complexity-theory it.information-theory polynomial-time

— Артур Б
источник

1

Вы пытались спросить об этом на Cryptography SE crypto.stackexchange.com ?

— Zsbán Ambrus

2

Возможно, у крипто-людей может быть ответ, но вопрос здесь совершенно актуален, и я подозреваю, что у него больше шансов получить хороший ответ здесь. Просто короткое примечание: пожалуйста, не публикуйте тот же вопрос на Crypto.SE; перекрестная публикация на нескольких сайтах SE запрещена правилами сайта.

— DW

9

Да. Ограниченная во времени колмогоровская сложность является как минимум одним из таких «обобщений» (хотя, строго говоря, это не обобщение, а родственное понятие). Исправить универсальный станок Тьюринга $U$ , $t(n)$ временная колмогоровская сложность струны $x$ заданная строка $y$ (относительно $U$ ), обозначается $K^t_U(x | y)$ (индекс $U$ часто подавляется) определяется как самая короткая строка $p$ («программа» для $U$ ) такой что $U(p,y)=x$ и такой, что вычисление $U(p,y)$ занимает максимум $t(|x|)$ время. Если вы примете это как определение «условной информации», то вы также можете определить все обычные понятия из теории информации.

Однако в этой ограниченной во времени установке известно, что не все обычные теоремы теории информации известны. Например, известно, что симметрия информации имеет место для обычной колмогоровской сложности (без временной привязки), но не известна для ограниченной по времени. См., Например, главу 6 тезиса Троя Ли .

Если вы обеспокоены тем, что это относится к строкам, а не к распределениям, я предлагаю прочитать следующие статьи, в которых говорится, что на самом деле сложность струн Колмогорова и энтропия распределений Шеннона очень тесно связаны:

Грюнвальд и Витаньи. Информация Шеннона и колмогоровская сложность
Молоток, Ромащенко, Шень, Верещагин. Неравенства для энтропии Шеннона и колмогоровской сложности .

(С другой стороны, есть некоторые свойства, которые, как известно, не разделяются между ними, см. Мучник и Верещагин, Энтропия Шеннона против Колмогорова .)

— Джошуа Грохов
источник

Моя главная проблема заключается в том, что время зависит от машины Тьюринга. Поскольку машины Тьюринга могут эмулировать друг друга не более чем за полиномиальное ускорение или замедление, штрафование сложности по log (log (t)), по-видимому, делает их эквивалентными вплоть до аддитивной константы. Однако, сложность Левина использует log (t), я не уверен почему.

— Артур Б

1

@ Артур Б: Я понимаю вашу озабоченность, но, возможно, есть несколько стандартных способов обойти это. Обычно, когда вы доказываете утверждение о, например, ограниченной по Колмогорову сложности, вы можете доказать утверждение вида «для всех полиномиальных временных границ».

t (n)

$t(n)$ , ... ", в этот момент любое замедление / ускорение, вызванное сменой универсальной машины, уже не актуально, поскольку утверждение применимо в любом случае. (Я не понял, о чем вы говорили

\log \log t

$\log \log t$ , но я думаю, что это просто другой способ решить эту проблему ...)

— Джошуа Грохов

2

Одна из проблем заключается в том, что многие из теорем, к которым мы привыкли в теории информации, не выполняются в вычислительном мире. Следовательно, даже если мы формализуем вычислительный аналог энтропии, полученная теория может больше не выглядеть как теория информации.

Например, если $f$ является детерминированной функцией, то $H(f(X)) \le H(X)$ , Однако, для любого правдоподобного вычислительного понятия энтропии это больше не будет иметь место: например, подумайте о псевдослучайном генераторе, который растягивает короткое начальное число в длинный псевдослучайный вывод. Любым мыслимым определением вычислительной энтропии я могу себе представить, что длинный псевдослучайный выход будет иметь большую вычислительную энтропию (он вычислительно неотличим от равномерного распределения на этих длинных строках), нарушая тем самым $H(f(X)) \le H(X)$ ,

— DW
источник

Я понимаю, мне просто интересно, сколько можно спасти или залатать. В этом случае вы могли бы добавить ограничение, что f является полиномиально обратимым, но это выглядит нерегулярно

— Arthur B

Я чувствую, что начальное число содержит больше информации, чем сгенерированная псевдослучайная строка, поскольку мы можем вычислить сгенерированную строку из начального числа.

— Каве

@ Kaveh, если вы говорите в теоретико-информационном смысле: если генератор псевдослучайных данных обратим (возможно, не за полиномиальное время, но в принципе), то его вход и выход имеют одинаковое количество информации, теоретически; в противном случае, если псевдослучайный субъективен необратим, то вы правы.

— DW

0

Я не знаю об информационно-теоретической вычислительной модели, но есть очевидные применения теории информации к вычислительной сложности.

Например, классический $n \log n$ Нижняя граница сортировки на основе сравнения основана на теоретико-информационном аргументе о высоте дерева решений, необходимой для различения всех возможных порядков входных данных. Аналогичным образом можно сделать тривиальные теоретико-информационные оценки вычислительной сложности поиска, статистики заказов, среднего и т. Д.

Более типично, теоретико-информационные результаты могут служить нижней границей сложности вычислений. Например, «теоретико-информационный» результат Яо о сложности связи {1} подразумевает вычислительные нижние границы для определения, равны ли два набора. Более сложные приложения сложности связи обеспечивают пространственно-временные компромиссы для машин Тьюринга {2}.

{1} Яо, Эндрю Чи-Чи. «Некоторые вопросы сложности, связанные с распределенными вычислениями (предварительный отчет)». Материалы одиннадцатого ежегодного симпозиума ACM по теории вычислений. ACM, 1979.

{2} Эяль Кушилевиц: Коммуникационная сложность. Достижения в области компьютеров 44: 331-360 (1997).

— Ари Трахтенберг
источник