Вопросы с тегом «it.information-theory»

Какие ваши любимые примеры, когда теория информации используется, чтобы доказать аккуратное комбинаторное утверждение простым способом? Некоторые примеры, которые я могу придумать, связаны с нижними границами для локально декодируемых кодов, например, в этой статье: предположим, что для двоичных строк длины он содержит то, что для каждого i , для k_i различного …

54 co.combinatorics  big-list  it.information-theory 

Неформально говоря, колмогоровская сложность строки - это длина самой короткой программы, которая выводит . Мы можем определить понятие «случайная строка», используя ее ( является случайным, если ). Легко видеть, что большинство строк случайные (коротких программ не так много).х х К ( х ) ≥ 0,99 | х |ИксИксxИксИксxИксИксxК( х ) …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

Этот вопрос был задан Жанетт Уинг после ее презентации PCAST по информатике. «С точки зрения физики, есть ли максимальный объем информации, который мы можем иметь?» (Хороший вопрос для теоретического сообщества информатики, так как я думаю, что возникает вопрос «Что такое информация?») За пределами "Что такое информация?" Нужно также выяснить, что …

33 it.information-theory  physics 

Сложность префикса Колмогорова (т. Е. K(x)K(x)K(x) - это размер минимальной программы с самоограничением, которая выводит ) имеет несколько приятных особенностей:xxx Это соответствует интуиции предоставления строк с шаблонами или структурой меньшей сложности, чем без строк. Это позволяет определить условную сложность , или даже лучше для некоторого оракула .K ( x | …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

Я ищу коды с исправлением ошибок следующего типа: двоичные коды с постоянной скоростью, декодируется из некоторой постоянной доли ошибок декодером, реализуемым в виде логической схемы размера , где N - длина кодирования.O(N)O(N)O(N)NNN Немного предыстории: Шпильман, в линейном время кодируемого и декодируемых коды , исправляющие ошибки , дал коды декодируемый в …

27 co.combinatorics  it.information-theory  coding-theory 

Код Хаффмана для распределения вероятности - это код префикса с минимальной средневзвешенной длиной кодового слова , где - длина го кодового слова. Хорошо известна теорема о том, что средняя длина каждого символа кода Хаффмана находится между и , где - энтропия Шеннона. распределения вероятностей.∑ p i ℓ i ℓ яppp∑piℓi∑piℓi\sum …

21 optimization  it.information-theory  coding-theory 

В квантовой теории информации расстояние между двумя квантовыми каналами часто измеряется с использованием алмазной нормы. Существует также ряд способов измерения расстояния между двумя квантовыми состояниями, таких как расстояние следа, точность и т. Д. Изоморфизм Ямиолковского обеспечивает двойственность между квантовыми каналами и квантовыми состояниями. Это интересно, по крайней мере для меня, …

19 quantum-computing  it.information-theory  quantum-information 

Информационная сложность была очень полезным инструментом в сложности коммуникации, в основном используемой для снижения сложности коммуникации в распределенных задачах. Есть ли аналог сложности информации для сложности запросов? Существует много параллелей между сложностью запросов и сложностью коммуникации; часто (но не всегда!) нижняя граница в одной модели переводится в нижнюю границу в …

15 it.information-theory  communication-complexity  query-complexity 

При реализации фильтра Блума традиционный подход требует нескольких независимых хеш-функций. Кирш и Митценмахер показали, что на самом деле вам нужно только два, а остальные можно сгенерировать как линейные комбинации. Мой вопрос: в чем на самом деле разница между двумя хэш-функциями и одной с двойной энтропией? Это происходит из-за того, что …

15 ds.data-structures  it.information-theory  hash-function 

Большинство из нас знакомы или, по крайней мере, слышали о энтропии Шеннона случайной величины, H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , и обо всех связанных с этим теоретико-информационных мерах, таких как относительная энтропия, взаимная информация и так далее. Есть несколько других мер энтропии, которые обычно используются в теоретической информатике и …

14 it.information-theory  quantum-information 

Лемма: Предполагая, что эта эквивалентность у нас есть (\x -> ⊥) = ⊥ :: A -> B. Доказательство: ⊥ = (\x -> ⊥ x)по eta-эквивалентности и (\x -> ⊥ x) = (\x -> ⊥)по сокращению под лямбду. В отчете Haskell 2010, раздел 6.2, seqфункция определяется двумя уравнениями: seq :: a …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

В последнее время я имел дело с алгоритмами, связанными со сжатием, и мне было интересно, какая наилучшая степень сжатия может быть достигнута при сжатии данных без потерь. До сих пор единственным источником, который я мог найти по этой теме, была Википедия: Сжатие без потерь оцифрованных данных, таких как видео, оцифрованные …

14 it.information-theory  data-streams 

Популярный алгоритм DEFLATE использует кодирование Хаффмана поверх Lempel-Ziv. В общем, если у нас есть случайный источник данных (= 1 бит энтропии / бит), никакое кодирование, включая Хаффмана, скорее всего не сожмет его в среднем. Если бы Лемпель-Зив был «идеальным» (что подходит для большинства классов источников, поскольку длина уходит в бесконечность), …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

Есть исследователь, показывающий, что стирающий бит должен потреблять энергию, а сейчас проводится какое-либо исследование среднего потребления энергии алгоритмом с вычислительной сложностью ? Я предполагаю, что вычислительная сложность F ( n ) коррелирует со средним потреблением энергии, надеюсь, я смогу получить ответ здесь.F( н )F(n)F(n)F( н )F(n)F(n)

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

Ищу ограничение на энтропии суммы двух независимых дискретных случайных величин и . Естественно, Однако применительно к сумме независимых бернуллиевских случайных величин это дает Другими словами, граница увеличивается линейно с при многократном применении. Однако поддерживается для набора размера , поэтому его энтропия не больше . На самом деле, по центральной предельной …

12 it.information-theory  shannon-entropy