Энтропия изображения

Каков наиболее информационно-физически-теоретический правильный способ вычисления энтропии изображения? Сейчас меня не волнует эффективность вычислений - я хочу, чтобы теоретически это было как можно более корректно.

Давайте начнем с серого изображения. Одним из интуитивных подходов является рассмотрение изображения как пакета пикселей и вычисление где - количество уровней серого, а - вероятность, связанная с уровнем серого .K p k

Есть две проблемы с этим определением:

1. Он работает для одной полосы (т. Е. Серой шкалы), но как расширить ее статистически правильным образом на несколько полос? Например, для 2 диапазонов следует ли основываться на и, следовательно, на PMF, используя ? Если у вас много ( >> 2) полос, то , что кажется неправильным.Р ( Х 1 = х 1 , х 2 = х 2 ) В Р ( Х 1 = х 1 , . . . , Х Б = х В ) ~ 1 / N B → Н М $(X_1,X_2)$$P(X_1=x_1,X_2=x_2)$$B$$P(X_1=x_1, ..., X_B=x_B) \sim 1/N^B \rightarrow H_{MAX}$
2. Пространственная информация не учитывается. Например, изображения ниже (принадлежащие Джону Лумису ) имеют одинаковую , хотя, очевидно, они не передают одну и ту же информацию.$H$

Кто-нибудь хочет объяснить или дать совет, или направить меня к приличному справочному материалу на эту тему? В основном меня интересует теоретически правильный подход ко второй проблеме (т.е. пространственной информации).

«Каков наиболее информационно-физически-теоретический правильный способ вычисления энтропии изображения?»

Отличный и своевременный вопрос.

Вопреки распространенному мнению, действительно возможно определить интуитивно (и теоретически) естественную информационную энтропию для изображения.

Рассмотрим следующий рисунок:

Мы можем видеть, что дифференциальное изображение имеет более компактную гистограмму, поэтому его информационная энтропия Шеннона ниже. Таким образом, мы можем получить меньшую избыточность, используя энтропию Шеннона второго порядка (т.е. энтропию, полученную из дифференциальных данных). Если мы сможем изотропно распространить эту идею на 2D, то можно ожидать хороших оценок информационной энтропии изображения.

Двумерная гистограмма градиентов позволяет 2D расширение.

Мы можем формализовать аргументы, и, действительно, это было недавно завершено. Кратко повторю:

Замечание, что простое определение (см., Например, определение энтропии изображения в MATLAB) игнорирует пространственную структуру, имеет решающее значение. Чтобы понять, что происходит, стоит кратко вернуться к делу 1D. Давно известно, что использование гистограммы сигнала для вычисления его информации / энтропии Шеннона игнорирует временную или пространственную структуру и дает плохую оценку собственной сжимаемости или избыточности сигнала. Решение уже было доступно в классическом тексте Шеннона; использовать свойства сигнала второго порядка, то есть вероятности перехода. Наблюдение в 1971 году (Рис & Это означает, что лучшим предиктором значения пикселя при растровом сканировании является значение предыдущего пикселя, что сразу же приводит к дифференциальному предиктору и энтропии Шеннона второго порядка, которая согласуется с простыми идеями сжатия, такими как кодирование длин серий. Эти идеи были усовершенствованы в конце 80-х годов, что привело к появлению некоторых классических методов кодирования изображений без потерь (дифференциального), которые все еще используются (PNG, JPG без потерь, GIF, JPG2000 без потерь), в то время как вейвлеты и DCT используются только для кодирования с потерями.

Переходим сейчас в 2D; Исследователи обнаружили, что очень трудно распространить идеи Шеннона на более высокие измерения без введения ориентационной зависимости. Интуитивно можно ожидать, что информационная энтропия Шеннона изображения не будет зависеть от его ориентации. Мы также ожидаем, что изображения со сложной пространственной структурой (как пример случайного шума спрашивающего) будут иметь более высокую информационную энтропию, чем изображения с простой пространственной структурой (как пример гладкой серой шкалы спрашивающего). Оказывается, причина, по которой было так трудно распространить идеи Шеннона с 1D на 2D, заключается в том, что в первоначальной формулировке Шеннона есть (односторонняя) асимметрия, которая препятствует симметричной (изотропной) формулировке в 2D. Как только 1D-асимметрия исправлена, 2D-расширение может продолжаться легко и естественно.

Переход к поиску (заинтересованные читатели могут ознакомиться с подробной экспозицией в препринте arXiv по адресу https://arxiv.org/abs/1609.01117 ), где энтропия изображения вычисляется по двумерной гистограмме градиентов (функция плотности вероятности градиента).

Сначала 2D pdf вычисляется путем биннинга оценок производных x и y изображений. Это напоминает операцию биннинга, используемую для генерации более распространенной гистограммы интенсивности в 1D. Производные могут быть оценены по 2-пиксельным конечным разностям, вычисленным в горизонтальном и вертикальном направлениях. Для квадратного изображения NxN f (x, y) мы вычисляем значения NxN частной производной fx и значения NxN fy. Мы сканируем разностное изображение и для каждого пикселя, который мы используем (fx, fy), чтобы найти дискретный контейнер в массиве назначения (2D pdf), который затем увеличивается на единицу. Мы повторяем для всех NxN пикселей. Результирующий 2D PDF должен быть нормализован, чтобы иметь общую единичную вероятность (для этого достаточно просто разделить на NxN). 2D PDF теперь готов к следующему этапу.

Вычисление информационной энтропии 2D Шеннона по 2D градиенту pdf простое. Классическая формула логического логического суммирования Шеннона применяется непосредственно, за исключением критического коэффициента, равного половине, который исходит из специальных соображений ограниченного диапазона выборки для градиентного изображения (подробности см. В статье arXiv). Полуфактор делает вычисленную двумерную энтропию еще более низкой по сравнению с другими (более избыточными) методами оценки двумерной энтропии или сжатия без потерь.

Извините, я не написал здесь необходимые уравнения, но все доступно в препринте. Вычисления являются прямыми (не итеративными), а вычислительная сложность имеет порядок (количество пикселей) NxN. Конечная вычисленная информация-энтропия Шеннона не зависит от вращения и точно соответствует числу битов, необходимых для кодирования изображения в не избыточном градиентном представлении.

Кстати, новая двумерная мера энтропии предсказывает (интуитивно приятную) энтропию в 8 бит на пиксель для случайного изображения и 0,000 бит на пиксель для изображения с плавным градиентом в исходном вопросе.

Нет, все зависит от контекста и вашей предварительной информации. Энтропия имеет много интерпретаций, таких как «измерение порядка» или «измерение информации», но вместо того, чтобы смотреть на интерпретации, вы можете просто посмотреть, что это на самом деле. Энтропия - это просто способ выражения числа состояний системы. Система со многими состояниями имеет высокую энтропию, а система с несколькими состояниями имеет низкую энтропию.

Вы и статья, на которую вы ссылаетесь, утверждают, что эти два изображения имеют одинаковую энтропию. Это не правильно (для меня).

В статье правильно рассчитывается энтропия.

Для первого изображения любой пиксель может иметь любое значение серого,

Следовательно, энтропия это:

Однако это не относится ко второму изображению.

Энтропия все еще может быть рассчитана как:

но вы не можете просто скажем , потому что , когда вы обнаружили быть значение, вы знаете , что является такое же значение.p1p2,p3,p4…pman$p_k = \frac{1}{M} = 2^{-n}$$p_1$$p_2, p_3, p_4 \ldots p_{many}$

Поэтому два изображения не имеют одинаковую энтропию.

Может показаться странным, что энтропия зависит от того, как вы смотрите на проблему. Однако вы, вероятно, знаете это по сжатию. Максимальное сжатие файла продиктовано теоремой Шеннона о кодировании источника, которая устанавливает верхний предел того, насколько хорошо алгоритм сжатия может сжимать файл. Этот предел зависит от энтропии файла. Все современные компрессоры будут сжимать файл близко к этому пределу.

Однако, если вы знаете, что файл является аудиофайлом, вы можете сжать его, используя FLAC, а не какой-нибудь общий компрессор. FLAC без потерь, поэтому вся информация сохраняется. FLAC не может обойти теорему об исходном кодировании Шеннона, это математика, но она может смотреть на файл таким образом, чтобы уменьшить энтропию файла, таким образом, сделать лучшее сжатие.

То же самое, когда я смотрю на второе изображение, я вижу, что пиксели отсортированы по значению серого, и поэтому он не обладает такой же энтропией для меня, как изображение со случайным шумом.

По сути, идея энтропии - это что-то вроде «числа микросостояний, согласующихся с макросостоянием».

Я думаю, что комментарий sean507 и ответ bottiger указывают на общую основу. Если вы представляете пространство изображения с помощью порождающей модели , , то для данного изображения можно (в принципе) вычислить кзади над скрытым состояниями (см. также здесь ). Тогда вы можете (в принципе) вычислить энтропию апостериорного.Я р $p[\,I,h\,]$$I$$p[\,h\mid I\,]$

Поэтому я согласен, что любая «энтропия», даже в «наиболее теоретически правильном смысле», может зависеть как от используемого представления , так и от генеративной модели, связывающей «микросостояния» ( ) с «макросостояниями» ( ).$h$$I$

это НЕ работает на практике, по той простой причине , что это почти невозможно определить Рк. Вы думаете, что вы можете сделать это, как вы сделали, учитывая количество уровней серого. Пк не то. Пк это все возможные комбинации уровней серого. Таким образом, вы должны создать многомерное дерево вероятностей с учетом 1, 2, 3 ... комбинаций пикселей. Если вы читаете работу Шеннона, вы увидите, что он делает этот расчет для простого английского, учитывая глубину дерева в 3 буквы. Это становится громоздким без компьютера.

Вы сами доказали это с помощью утверждения 2. Вот почему ваши вычисления энтропии возвращают одинаковый уровень энтропии для двух изображений, даже если одно явно менее упорядочено, чем другое.

Также нет такого понятия пространственного распределения в расчете энтропии. Если бы это было так, вам также пришлось бы рассчитывать энтропию по-разному для временно распределенных выборок. И что бы вы сделали для 11-мерного массива данных? Для информационной энтропии; измеряется в байтах.

Просто сожмите изображения, используя алгоритм сжатия. Он выведет оценку энтропии в байтах. Это будет сделано для любого изображения или буквально для всего, что можно оцифровать, например, для музыки или пьес Шекспира.

Так. Ваше случайное изображение содержит приблизительно 114 КБ, а ваше упорядоченное изображение содержит приблизительно 2,2 КБ. Это то, что вы ожидаете, но вы уже знали это, потому что видели, что размеры файлов изображений были такого размера. Я уменьшил сжатый размер на 33%, чтобы учесть будущие улучшения в алгоритмах сжатия. Я не вижу их улучшения за пределами этого, поскольку кривая улучшения становится асимптотической к истинному базовому значению.

PS Для интереса Шекспир произвел только 1 МБ энтропии во всей своей жизни, рассчитанной по этой методике. Большинство из них довольно хорошо, хотя.