Результаты канального кодирования с использованием колмогоровской сложности

12

Обычно энтропия Шеннона используется для доказательства результатов канального кодирования. Даже для результатов разделения канала источника используется энтропия Шеннона. Учитывая эквивалентность между Шенноном (глобальным) и колмогоровским (локальным) понятиями информации, проводилось ли исследование по использованию колмогоровской сложности для этих результатов (или, по крайней мере, для замены части исходного кода в результатах разделения исходного канала)?

it.information-theory kolmogorov-complexity shannon-entropy

— против
источник

Вы смотрели на 3-е издание книги Ли и Витаньи ? Если я не ошибаюсь, глава 8. книги была добавлена в новейшем издании и содержит главу по теории информации. Это показывает энтропию Шеннона, взаимную информацию, искажение скорости и т.д., проанализированные в смысле сложности Колмогорова.

— Юхо

Привет, это правда. Но нет никакого применения к теореме Шеннона о шумном кодировании!

— против

8

Для пропускной способности канала трудно заменить энтропию Шеннона сложностью Колмогорова. Определение пропускной способности канала не содержит упоминаний об энтропии. Использование энтропии Шеннона дает правильную формулу для пропускной способности канала (это теорема Шеннона). Если бы вы заменили формулу энтропией Шеннона формулой со сложностью Колмогорова, она, вероятно, была бы другой формулой, и поэтому это был бы неправильный ответ .

$K$ $C$ $K/C$

Сложная часть теоремы о разделении канала-источника показывает, что вы не можете добиться большего успеха, чем очевидный метод (описанный в предыдущем абзаце) сначала сжатия, а затем кодирования. Я не знаю, доказал ли кто-нибудь это по колмогоровской сложности и пропускной способности канала, но это разумный вопрос для исследования.

— Питер Шор
источник

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Я не уверен, о чем вы говорите, когда используете локальные / глобальные квалификаторы для энтропии Шеннона и сложности Колмогорова.

Так что поправьте меня, если я ошибаюсь.

Энтропия Шеннона вычислима. Сложности у Колмогорова нет. Поэтому они не описывают одну и ту же проблему.

Вы могли видеть энтропию Шеннона как верхнюю границу сложности Колмогрова.

— Фил
источник

Как энтропия Шеннона является верхней границей? Я считаю, что доказано, что оба одинаковы.

— T ....