Как они раскрасили старые черно-белые фильмы?

Этот вопрос на dsp.SE, так как меня больше всего интересует часть обработки сигналов.

Есть индийский фильм Mughal-e-Azam, который был выпущен в 1960 году в черно-белом исполнении, а в 2004 году - в цветном.

• Как они прекрасно окрасили каждый пиксель?
• Какую технику они использовали для определения цветового размещения на каждом пикселе?

Посмотрите на один из скриншотов из фильма:

У меня есть черно-белая фотография Эйнштейна, которую я хочу раскрасить. Как это можно сделать, не зная, во что он был одет тогда, и каков был его цвет, фон и т. Д.

Невозможно восстановить исходную информацию о цвете на черно-белой фотографии, поэтому вопрос о том, носил ли Эйнштейн (соответственно Вахида Рехман) розовый или зеленый свитер (соответственно Дупатта), зависит от вашего воображения.

Исторически это было сделано вручную , нарисовав поверх пленки. Первые цифровые методы для автоматизации процесса состояли в «рисовании» нескольких цветных точек на каждом кадре в центре каждой однородно окрашенной области и использовании чего-то вроде перегородки вороного + некоторое размытие для получения цветовой карты для каждого кадра ( см., например, патент США 4606625).

Сегодня это можно сделать относительно легко (хотя и вручную) с помощью программного обеспечения для редактирования видео, используя векторные маски для обозначения областей однородного цвета на нескольких ключевых кадрах и интерполируя между ними. Затем цветовое преобразование применяется к каждой маске. Смотрите это в действии здесь .

Стандартные методы сегментации изображения и отслеживания областей могут использоваться для автоматизации задачи сегментации и маркировки областей на каждом ключевом кадре - например, путем распространения ручных аннотаций к аналогичным / смежным пикселям в пространстве / времени или путем обнаружения однородно текстурированных областей . Сходство текстуры и уровня серого можно использовать для передачи цветовых сигналов от цветного изображения к изображению в оттенках серого, изображающему подобный предмет - в этом случае ручной процесс состоит только в поиске цветного изображения шаблона - эта более поздняя задача сама может быть автоматизирована с использованием контента. методы поиска изображений на основе .

Я только читал об этом, и прошло уже не менее 15 лет с тех пор, как я видел что-то в печати, но я понимаю, что используется целый ряд алгоритмов.

Во-первых, как уже говорилось, некоторые фильмы были окрашены путем тщательного окрашивания каждого кадра вручную. (Первые несколько минут « Унесенных ветром» были сделаны именно так, после того, как было принято решение снять остальные цвета.)

После этого используется несколько методов, основанных на компьютерной обработке изображений. Самый простой подход состоит в том, чтобы разбить фильм на отдельные сцены, каждая из которых не меняет камеру, и затем компьютерный алгоритм распознает области различной интенсивности. Кто-то на мониторе компьютера смотрит на первые несколько кадров сцены и устанавливает цвет каждой области, затем компьютер передает эту окраску через остальную часть сцены, предполагая, что идентифицированные области не будут изменяться так быстро, что связь с их назначенные цвета будут потеряны. Эта техника обычно ограничивается раскрашиванием главных актеров и основного фона, так как сцены меняются так быстро в большинстве фильмов,

Более сложные методы используют алгоритмы распознавания изображений, чтобы распознать (например) человека, отделить фон от переднего плана и т. Д. Затем цвета можно назначать на более глобальной основе, и некоторая степень затенения может быть достигнута, когда актеры переходят от тени к свету, и т.д. И, поскольку эта схема может работать за пределами одной сцены, можно приложить больше усилий для того, чтобы человек изначально установил цвета, поэтому можно использовать более разнообразную и яркую палитру.

Я бы предположил (хотя я никогда не читал), что теперь можно использовать технику, напоминающую компьютерную анимацию, на основе техник, используемых для анимации боевиков. В оригинальном фильме может быть использован вид захвата движения, а затем будет создана компьютерная анимация действия. При некотором тщательном «смешивании» детали оригинального фильма могут быть сохранены при использовании цветов, генерируемых анимацией.

Би-би-си обнаружила способ, декодируя цветные точки, чтобы восстановить ранее цветной фильм, для которого доступна только черно-белая копия. Они способны восстановить цвет обратно в исходный цвет.

Источник: http://www.youtube.com/watch?v=CjK-b4x9ZmQ