Использование колмогоровской сложности в качестве входного «размера»

$S$

$$I(n) = \{w \in S : |w| = n\}$$ $n$$T(w)$$A$$w$$A$ $$f_n = \max_{w \in I(n)} T(w).$$

Теперь определим множества всех входов со сложностью Колмогорова и определим последовательность Здесь - средняя последовательность времени выполнения для , за исключением случаев, когда «размер» входных данных представляет собой их колмогоровскую сложность, а не их длину.n f K n =

$$I^K(n) = \{w \in S : K(w) = n \}$$ $n$fK $$f^K_n = \frac{1}{\left|I^K(n)\right|} \sum_{w \in I^K(n)} T(w).$$ $f^K$$A$

Существуют ли алгоритмы, для которых асимптотически существенно отличается от ? Если да, то есть ли проблемы, временная сложность которых меняется при использовании этого другого способа анализа алгоритмов?е К $f_n$$f^K_n$

Рассмотрим функцию контроля четности (или любую другую функцию, которая зависит от всех / большинства битов ввода). Для функции четности . Так что С другой стороны, f n = Θ ( n ) . f K n = Θ ( $T(w) = \Theta(|w|)$

$$f_n = \Theta(n).$$ $$f_n^K = \Theta\left(\frac{1}{|I^K(n)|} \sum_{w:K(w) = n} |w|\right) \geq \Omega\left(\frac{1}{2^n} \max_{w:K(w) = n} |w|\right).$$

Обратите внимание, что . Таким образом, и . Аналогично, ; таким образом, «растет очень быстро». Более того, нетрудно видеть, что для нет вычисляемой верхней границы .max w : K ( w ) = n | ш | ≥ 2 2 Ω ( n ) f K n ≥ 2 2 Ω ( n ) / 2 n → ∞ K ( 2 … 2 2 n ) = O ( n ) f K $K(2^{2^n}) = O(n)$

$$\max_{w:K(w) = n} |w| \geq 2^{2^{\Omega(n)}}$$ $f_n^K \geq 2^{2^{\Omega(n)}} / 2^n \to \infty$$K(2^{\dots^{2^{2^n}}}) = O(n)$f K $f_n^K \geq 2^{\dots^{2^{2^{\Omega(n)}}}}/2^n$$f_n^K$

Учитывая интерес к этому вопросу, я подумал, что было бы полезно более четко указать причину, по которой мы вообще не должны удивляться ответу, и попытаться дать некоторые указания для уточнения вопроса. Это собирает и расширяет некоторые комментарии. Прошу прощения, если это "очевидно"!

Рассмотрим множество струн колмогоровской сложности : Таких строк не более , так как имеется описание длины . Но обратите внимание, что это множество неразрешимо для общего (в противном случае мы могли бы вычислить просто выполнив итерацию от до и проверив членство в ). Кроме того, функция растет неисчислимо быстро. Это вариант функции «занятый бобер»: какой самый длинный вывод машины Тьюринга с длиной описания$n$

$$J^K(n) = \{w : K(w) = n\}.$$ $2^n$$2^n$$n$$n$$K(w)$$n=1$$|w|$$J^K(n)$ $$g^K(n) = \max_{w \in J^K(n)} |w|$$ $n$? Если бы это росло медленнее, чем какая-то вычислимая функция, мы могли бы решить проблему остановки: с учетом TM построить который имитирует и печатает на каждом шаге. Если длина описания равна , то либо: останавливается не более чем за шагов; или не останавливается.$M$$M'$$M$$1$$M'$$n$$M$$g^K(n)$$M$

Теперь, к вопросу Эндрю, мы имеем, что , где - исходный язык. Таким образом, единственный способ избежать содержащего входы, очень большие по это если содержит только очень несжимаемые строки. (Обратите внимание, что в противном случае мы можем полностью игнорировать различие между наихудшим и средним случаями анализа, потому что мы усредняем не более строк, но размер самой большой строки растет быстрее, чем любая вычислимая функция . )$I^K(n) = S \cap J^K(n)$$S$$I^K(n)$$n$$S$$2^n$$n$

Я чувствую, что, вероятно, невозможно построить какой-либо нетривиальный (т. Е. Бесконечный) , содержащий только несжимаемые строки, но разрешимый. Но я не знаю Однако, надеюсь, это дает интуицию относительно того, почему мы не должны надеяться, что большинство языков будут иметь растущий медленнее, чем вычислимая функция.$S$$f^K_n$

Чтобы немного отступить, вопрос заключается в сравнении производительности на входах длины с производительностью на входах, которые могут быть сжаты до длины . Но у нас есть представления о сжатии, которые гораздо более податливы (и менее мощны), чем сложность Колмогорова. Простой способ - получить схему размером , которая на входе двоичного числа выдает й бит . Обратите внимание, что здесь увеличение входного размера является не более экспоненциальным (схема размером имеет не более возможных входов).$n$$n$$n$$b$$b$$w$$n$$2^n$

Таким образом, мы можем перефразировать вопрос, разрешив И определить аналогично. Причина надежды здесь заключается в том, что большинству строк требуется схема, почти такая же большая, как сама строка, и ни одна строка не имеет экспоненциально большего размера, чем требуемая схема. Возможно, в этом случае мы могли бы найти языки, где и асимптотически похожи.

$$I^C(n) = \{ w \in S : \text{the smallest circuit implicitly specifying $w$ has size $n$}\}.$$ $f^C_n$$f_n$$f^C_n$

Довольно тесно связанный вопрос - это сложность неявных языков, таких как IMPLICIT_SAT является NEXP-полным, и обычно неявная версия NP-завершенных задач является NEXP-полной. Решить IMPLICIT_SAT как минимум так же просто, как просто использовать схему для записи всех , а затем запустить алгоритм для SAT для . Таким образом, если для SAT, то это кажется близким к доказательству того, что IMPLICIT_SAT в среднем случае почти так же быстро разрешимо, как SAT в худшем случае. Но я не знаю, как можно было бы напрямую сравнить ваше понятие с неявными языками, потому что понятие «наименьшая схема для

$$\mathsf{IMPLICIT\_SAT} = \{ \text{circuits $C$}: \text{$C$ implicitly specifies $w$}, w \in \mathsf{SAT}\}.$$ $w$$w$$f^C_n = \Theta(f_n)$$w$"не входит в игру для неявных языков.

Надеюсь, что это полезно / интересно!

Я не уверен в учебнике, который упоминает неявные проблемы, но вот некоторые примечания к лекции: http://people.seas.harvard.edu/~salil/cs221/spring10/lec8.pdf

Кажется, простой случай, когда язык содержит только дополненные экземпляры. Когда получается из языка путем наложения каждого экземпляра размера с символов, может быть в области .S L n 2 n - n f K n 2 f $S$$S$$L$$n$$2^n-n$$f^K_{n}$$2^{f_n}$