Теория информации используется для доказательства аккуратных комбинаторных утверждений?

Какие ваши любимые примеры, когда теория информации используется, чтобы доказать аккуратное комбинаторное утверждение простым способом?

Некоторые примеры, которые я могу придумать, связаны с нижними границами для локально декодируемых кодов, например, в этой статье: предположим, что для двоичных строк длины он содержит то, что для каждого i , для k_i различного пары { j_1, j_2 }, e_i = x_ {j_1} \ oplus x_ {j_2}. Тогда m по крайней мере экспоненциально по n, где показатель степени линейно зависит от среднего отношения k_i / m . н $x_1,...,x_m$$n$$i$j 1 , j 2 e i = x j 1 ⊕ x j 2 . к я /$k_i$$j_1,j_2$

Другой (связанный) пример - это некоторые изопериметрические неравенства в булевом кубе (не стесняйтесь уточнять это в своих ответах).

У вас есть более приятные примеры? Желательно, кратко и легко объяснить.

Доказательство Мозером конструктивной локальной леммы Ловаша . Он в основном показывает, что в условиях локальной леммы второй по простоте алгоритм для SAT вы можете себе представить. (Первым простым может быть просто попытаться выполнить случайное назначение, пока оно не сработает. Второе простейшее - это выбрать случайное назначение, найти неудовлетворенное предложение, удовлетворить его, а затем посмотреть, какие другие предложения вы нарушили, повторить и повторить до выполнения.) Доказательство того, что это выполняется за полиномиальное время, является, пожалуй, самым элегантным использованием теории информации (или сложности Колмогорова, как бы вы ни хотели это назвать в этом случае), которую я когда-либо видел.

Мой любимый пример этого типа - основанное на энтропии доказательство леммы Ширера. (Я узнал об этом и некоторых других очень красивых доказательствах из « Энтропии и счета Джайкумара Радхакришнана» .)

Утверждение. Предположим, у вас есть точек в которые имеют различных проекций на плоскости , различных проекций на плоскости и различных проекций на плоскости . Тогда .R 3 n x y z n y x z n z x y n 2 ≤ n x n y n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Доказательство. Пусть - точка, случайно выбранная из точек. Пусть , , обозначают его проекции на плоскости , и соответственно. n p x p y p z y z x z x $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

С одной стороны, , , и , по основным свойствам энтропии.H [ p x ] ≤ log n x H [ p y ] ≤ log n y H [ p z ] ≤ log n $H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

С другой стороны, имеем а также Добавление трех последних уравнений дает нам: , где мы использовали тот факт, что обусловливание уменьшает энтропию (обычно для любых случайных величин ).H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [ z | х ] Н [p z ] = H [ x ] + H [ y | х ] Н [ р х ] + Н | y ] ≥ 2 H [ x

Таким образом, мы имеем или .n 2 ≤ n x n y n $2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

Энтропийное доказательство теоремы Брегмана Радхакришнана о том , что число совершенных соответствий в двудольном графе не больше . В доказательстве используются две очень умные идеи. Вот набросок доказательства:( L ∪ R , E ) ∏ v ∈ L ( d ( v ) ! ) 1 / d ( v $p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Выберите идеальное соответствие равномерно. Энтропия этой переменной .H ( M ) = log $M$$H(M) = \log p$
• Для , пусть вершина в , что согласуется с в .X v R v $v \in L$$X_v$$R$$v$$M$
• Переменная имеет ту же информацию, что и , поэтому .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Умная идея 1: случайно (и равномерно) выбирая порядок на , Радхакришнан предоставляет «правило случайной цепочки», в котором говорится, что .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• Из информации в условиях ( ) мы можем определить(примерно: количество вариантов для соответствия ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Поскольку определяется из этой информации, условная энтропия не изменяется в равенстве .$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Умная идея 2: «забыв» информацию , мы можем только увеличить энтропию: .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Сумасшедший факт: переменная равномерно распределена на множестве .$N_v$${1,\dots, d(v)}$
• Теперь, чтобы вычислить энтропию , мы суммируем по всем значениям :$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Результат следует, объединяя все неравенства вместе и принимая показатели.

Обобщением этого неравенства является теорема Канна-Ловаша: число совершенных совпадений в любом графе не более . Энтропийное доказательство этого результата было доказано Катлером и Рэдклиффом .$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Прекрасные примеры содержатся в двух статьях Пиппенгера «Теоретико-информационный метод в комбинаторной теории». J. Comb. Теория, Сер. A 23 (1): 99-104 (1977) и энтропия и перечисление булевых функций. IEEE Труды по теории информации 45 (6): 2096-2100 (1999). На самом деле, несколько работ Пиппенгера содержат симпатичные доказательства комбинаторных фактов посредством энтропии / взаимной информации. Кроме того, две книги: Jukna, Extremal Combinatorics с приложениями в области компьютерных наук и Aigner, Combinatorial Search содержат несколько хороших примеров. Мне также нравятся две статьи Madiman et al. Информационно-теоретические неравенства в аддитивной комбинаторике и Теренс Тао, оценки сумм энтропии (их можно найти с помощью Google Scholar). Надеюсь, это поможет.

Другой замечательный пример - альтернативное доказательство Терри Тао леммы регулярности графа Семереди . Он использует теоретико-информационную перспективу для доказательства сильной версии леммы регулярности, которая оказывается чрезвычайно полезной при доказательстве леммы регулярности для гиперграфов . Доказательство Дао, безусловно, является наиболее кратким доказательством леммы о регулярности гиперграфа.

Позвольте мне попытаться объяснить на очень высоком уровне эту теоретико-информационную перспективу.

Предположим, у вас есть двудольный граф с двумя наборами вершин и и множеством ребер E подмножество . Плотность ребер равна, Мы говорим, что является -регулярным, если для всех и плотность подграфа, индуцированного и равна,$G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

Теперь рассмотрим выбор вершины из и вершины из , независимо и равномерно наугад. Если мало, а велико, мы можем интерпретировать -регулярность как выражение, что обусловливание в и в не сильно влияет на вероятность того, что образует края в . Другими словами, даже после того, как нам дали информацию, что находится в и$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$ находится в , мы не получили много информации о том является ли ребром или нет.$U_2$$(x_1,x_2)$

Лемма регулярности Семереди (неформально) гарантирует, что для любого графа можно найти разбиение и разбиение на подмножества постоянной плотности, так что для большинства таких пар подмножеств индуцированный подграф на является -регулярным. Делая вышеприведенную интерпретацию, учитывая любые две высокоэнтропийные переменные и и любое событие , можно найти переменные с низкой энтропией и - «low- энтропия ", потому что подмножества и$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$ имеют постоянную плотность - так что приблизительно не зависит от и , или что взаимная информация между переменными очень мала. Тао фактически формулирует гораздо более сильную версию леммы регулярности, используя эту настройку. Например, он не требует, чтобы и были независимыми переменными (хотя, насколько я знаю, применения этого обобщения еще не было). $E$$x_1 | U_1$$x_2 | U_2$$x_1$$x_2$

В основном этому вопросу посвящен целый курс:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Курс все еще продолжается. Так что не все заметки доступны на момент написания этого. Также некоторые примеры из курса уже упоминались.

Предположим, у нас есть точек в и мы хотим уменьшить размерность. Если мы хотим, чтобы попарные расстояния изменялись не более чем на , то мы можем уменьшить наше измерение с до . Это лемма Джонсона-Линденштраусса . В течение десятилетия самой известной нижней границей для измерения был Алон, , поэтому имел место разрыв в размере . Недавно Джейрам и Вудрафф закрылись$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$этот разрыв путем улучшения нижней границы Алона. Их доказательство едва опирается на геометрическую структуру. Они доказывают, что если бы лучшая граница была возможна, это нарушило бы одну нижнюю границу сложности коммуникации. И эта оценка доказана с помощью информационно-теоретических средств.

Рассмотрим следующую довольно фундаментальную проблему в мире структур данных. У вас есть вселенная размером . Вы хотите сохранить элемент в качестве структуры статических данных, так что , когда пользователь хочет знать , если для некоторых ли , только укусил зонды в структуру данных необходимы где некоторая фиксированная константа. Цель состоит в том, чтобы минимизировать пространственную сложность структуры данных (с точки зрения количества хранимых битов).$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

Можно построить такую ​​структуру данных размером . Идея проста. Разделите битов, необходимых для описания на блоков. Для каждого и для каждого возможного бистринга длины сохраните в структуре данных, равен ли -й блок из этой цепочке битов.$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

Теперь для нижней границы. Пусть - элемент, случайно выбранный случайным образом из . Ясно, что . Если являются битами, измеренными в структуре данных (возможно, адаптивно) в этой последовательности, то: , где - размер структуры данных. Это дает: .[ m ] H [ X ] = log m X 1 , … , X t t H [ X ] = H [ X 1 ] + H [ X 2 | X 1 ] + ⋯ + H [ X t | X 1 , … , X t - 1 ] ≤ t log s $X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

Точные границы неизвестны, если мы хотим сохранить два элемента и . Смотрите здесь для лучших результатов в этом направлении.$t > 1$

Отличным примером является статья " Сортировка и энтропия " Кан и Ким. Энтропия метод используется , чтобы найти алгоритм , который дал известный посетом и unknon линейное расширение , найти линейное расширение по запросов , где является множество линейных расширений .P O ( log | X | ) $P$$P$$O(\log |X|)$$X$$P$

Анализ средних случаев алгоритмов с использованием колмогоровской сложности по Jiang, Li, Vitanyi.

«Анализ сложности алгоритмов в среднем случае - очень практичная, но очень сложная проблема в информатике. В последние несколько лет мы показали, что колмогоровская сложность является важным инструментом для анализа средней сложности алгоритмов. Мы разработали метод несжимаемости [7]. В этой статье мы используем несколько простых примеров, чтобы дополнительно продемонстрировать силу и простоту такого метода. Мы доказываем границы среднего количества стеков (очередей), необходимых для сортировки последовательных или параллельных Queueusort или Stacksort. '

См. Также, например, колмогоровскую сложность и задачу о треугольнике типа Хейльбронна .

Эквивалентность выборки и поиска по Скотту Ааронсону. Здесь он показывает эквивалентность проблемы выборки и поиска в теории сложности в отношении обоснованности расширенного тезиса Черча-Тьюринга. Стандартная теория информации, алгоритмическая теория информации и колмогоровская сложность используются фундаментально.

Он подчеркивает:
« Подчеркнем, что мы не используем колмогоровскую сложность как просто техническое удобство или как условное обозначение для счетного аргумента. Скорее, колмогоровская сложность кажется существенной даже для определения проблемы поиска ».

Это просто, а также приблизительное: сколько комбинаций из 10 ⁶ вещей из 10 ⁹ , допускающих дублирование? Правильная формула

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Но представьте, что вы даете инструкции пройтись по ряду миллиардов ведер, бросая по пути миллион шариков в ведра. Там будет ~ 10 ⁹ "шаг к следующему ведру" инструкции и 10 ⁶ "капля мрамора" инструкции. Общая информация

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

что является забавным, но довольно хорошим способом приблизительного подсчета (журнала). Мне это нравится, потому что это работает, если я забываю, как делать комбинаторику. Это равносильно тому, что

(а + б)! / а! б! ~ = (a + b) ^{(a + b)} / a ^a b ^b

что похоже на приближение Стирлинга, отмена и пропущение чего-либо.

Очень хорошее недавнее приложение, чтобы дать верхние границы для многомерных перестановок Линиала и Лурии, здесь: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf