Вопросы с тегом «entropy»

Эта идея пришла мне в голову, когда я учился программировать и впервые столкнулся с PRNG. Я до сих пор не знаю, насколько это реалистично, но сейчас происходит обмен стека. Вот схема 14-летнего ребенка для удивительного алгоритма сжатия: Возьмите PRNG и начните его с seed, sчтобы получить длинную последовательность псевдослучайных байтов. …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Согласно Википедии : Энтропия Шеннона измеряет информацию, содержащуюся в сообщении, в отличие от той части сообщения, которая определена (или предсказуема). Примеры последних включают избыточность в структуре языка или статистических свойствах, связанных с частотой встречаемости пар букв или слов, триплетов и т. Д. Таким образом, энтропия является мерой количества информации, содержащейся …

35 information-theory  data-compression  entropy 

Скажем, мне нужно смоделировать следующее дискретное распределение: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Наиболее очевидный способ - нарисовать случайных битов и проверить, все ли они равны 0 (или 1 ). …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Алан Тьюринг предложил модель для машины (Turing Machine, TM), которая вычисляет (числа, функции и т. Д.), И доказал теорему Остановки . ТМ - это абстрактное понятие машины (или двигателя, если хотите). Теорема Остановки - результат невозможности. Двигатель Карно (CE) - это абстрактное понятие теплового двигателя, и Карно доказал теорему Карно …

31 turing-machines  halting-problem  entropy 

Какой-то парень сказал следующее: Любой, кто пытается генерировать случайные числа детерминистскими средствами, конечно же, живет в состоянии греха. Это всегда означает, что вы не можете генерировать истинные случайные числа только с помощью компьютера. И он сказал, что когда компьютеры были эквивалентны размеру одного микропроцессора Intel 8080 (~ 6000 клапанов). Компьютеры …

25 randomness  data-compression  entropy  random-number-generator 

В Linux файлы /dev/randomи/dev/urandom файлы являются блокирующими и неблокирующими (соответственно) источниками псевдослучайных байтов. Их можно читать как обычные файлы: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c 5be2 eecc e395 5971 ab7f 0000030 …

19 operating-systems  cryptography  randomness  security  entropy 

У вас есть массив из отдельных элементов. У вас есть доступ к компаратору (функция черного ящика, принимающая два элемента и и возвращающая true, если ) и действительно случайный источник битов (функция черного ящика, не принимающая аргументов и возвращающая независимо равномерно случайный бит). Рассмотрим следующие две задачи:NNnaaaббbа &lt; бa&lt;бa < b …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Учитывая строку значений энтропии Шеннона в логарифм приходит к 0,922 . Из того, что я понимаю, в базе 2 энтропия Шеннона, округленная в большую сторону, является минимальным числом битов в двоичном коде, чтобы представить одно из значений.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Взято из введения на этой странице википедии: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Итак, как три значения могут …

14 information-theory  mathematical-foundations  entropy  binary 

На работе мне было поручено вывести некоторую информацию о типах динамического языка. Я переписываю последовательности операторов во вложенные letвыражения, например так: return x; Z =&gt; x var x; Z =&gt; let x = undefined in Z x = y; Z =&gt; let x = y in Z if x then …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Пытаясь понять взаимосвязи между кодированием Хаффмана, арифметическим кодированием и дистанционным кодированием, я начал думать о недостатках кодирования Хаффмана, связанных с проблемой дробной битовой упаковки . То есть, предположим, что у вас есть 240 возможных значений для символа, и вам необходимо закодировать его в биты, вы застряли бы с 8 битами …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

У меня есть ограниченная проблема оптимизации в матрице (Шеннона) энтропии ( Ы у м( e n t r ( e i g ( A ) ) ) )(sUм(еNTр(еяг(A))))\mathtt{(sum(entr(eig(A))))} . Матрица может быть записана как сумма матриц ранга 1 вида где - заданный нормализованный вектор. Коэффициенты матриц ранга один - это …

10 optimization  entropy 

Я пытаюсь измерить много не избыточной (фактической) информации, содержащейся в моем файле. Некоторые называют это количеством энтропии. Конечно, существует стандарт p (x) log {p (x)}, но я думаю, что Шеннон рассматривал его только с точки зрения передачи по каналу. Следовательно, формула требует размер блока (скажем, в битах, обычно 8). Для …

9 entropy