Как я могу определить дубликаты файлов изображений?

За эти годы я накопил много фотографий на разных машинах.

Я думаю, что я в основном держал их в структуре директории yyyy / mm /, но особенно с некоторыми из старых картинок, кажется, есть много дубликатов.

Какой лучший способ идентифицировать дубликаты? Есть ли хорошие инструменты для этого или мне придется написать что-то самостоятельно?

Ряд программ может найти дубликаты на основе содержимого изображения. Некоторые приложения для управления активами сделают это, и есть также специальные программы. Если вы Google обнаружите дубликаты изображений, вы увидите довольно много вариантов. Посмотрите, какие из них доступны для вашей платформы.

Другое решение - просто импортировать файлы с опцией «игнорировать дубликаты». Picasa, которая бесплатна, может сделать это.

Для Linux попробуйте FSlint . Это немного медленно, но определенно найдет дубликаты.

dupeGuru Picture Edition - настраиваемый инструмент поиска дубликатов изображений для Windows, Mac OS X и Linux.

Существует несколько версий dupeGuru (стандартные, музыкальные и графические выпуски), а редактирование изображений позволяет вам находить визуально похожие изображения с помощью алгоритма сравнения с растровыми изображениями, среди других методов (таких как временная метка исходного изображения EXIF ​​или просто идентичные файлы) ,

У него есть множество других полезных функций, таких как исключенные папки, поддержка библиотек iPhoto / Aperture и значительная настройка того, как он обнаруживает дубликаты и что с ними делает.

В Picasa есть средство поиска дубликатов файлов, но трудно определить, на что вы обращаете внимание: запустите Picasa; нажмите Tools> Experimental> Show Duplicate Files. Это работает, но будьте осторожны с тем, что вы удаляете.

Другим вариантом является бесплатный «Быстрый поиск дубликатов файлов»:

Быстрый поиск дубликатов файлов

Что мне понравилось в этом, так это то, что он позволяет вам предварительно просмотреть изображение, прежде чем решить, что вам не нужен дубликат.

Это прекрасно работает, если файлы идентичны , но если вы ищете похожие фотографии (например, те же фотографии, но с измененным размером, повернутые или измененные), вы можете посмотреть их обновленную версию:

Визуальное сходство Поиск дубликатов изображений

Я не использовал эту программу, но я использовал очень похожую программу (больше не сделал), и я нашел ее очень полезной. У них есть бесплатная загрузка, так что, возможно, стоит проверить.

Digikam (Linux, Windows и Mac) имеет боковую панель под названием версии

На вкладке «Версии» отображается история и сохраненные версии фотографии. С помощью трех кнопок в правом верхнем углу вы можете выбрать между простым списком сохраненных версий, древовидным представлением и комбинированным списком, который показывает версии вместе с действиями, выполненными с выбранной фотографией.

и другой под названием поиск

Быстрый поиск - это поле адаптивного поиска в верхней части диалогового окна поиска (левая боковая панель), которое предоставляет вам простые средства для поиска в базе данных digiKam с помощью одного запроса. Вы можете ввести любые аргументы в текстовое поле Search: и оно будет использоваться для определения результатов. Например, вы можете ввести строку 'birthday', чтобы искать в полной базе данных вхождения слова 'birthday' во всех текстовых полях метаданных, или '05 .png ', чтобы искать конкретное имя файла изображения '05 .png' ( не нужно убегать, как в регулярных выражениях).

(Он также имеет расширенную настройку, позволяющую выполнять несколько булевых поисков)

и еще один под названием нечеткий

digiKam характеризует каждое изображение длинным числом, используя специальную технику (алгоритм Хаара), которая позволяет сравнивать изображения путем сравнения этой вычисленной сигнатуры. Чем меньше численная разница между любыми двумя сигнатурами изображений, тем больше они похожи друг на друга. Эта техника имеет три реализации в digiKam: ...

1. Дубликаты
2. Изображение (аналогичные предметы)
3. эскиз

Хотя генерация «подписи» и перекрестная проверка их на большом количестве изображений могут быть медленным процессом. Также имейте в виду, что некоторые люди не являются поклонниками, потому что это проект KDE, который не полностью интегрируется с другими средами рабочего стола, и он пытается быть единым приложением с загрузкой изображений, каталогами / текстами, RAW-разработкой, обработкой изображений и многим другим. включен.

Similar.pictures - это онлайн-программа для поиска близких и точных дубликатов.

Я написал это, потому что Picasa обычно находил точные копии. И теперь Picasa ушел.

Мои два цента. Я использовал:

Pixiple github.com/saolaolsson/pixiple

VisiPics visipics.info

И Удивительный Duplicate Photo Finder duplicate-finder.com

Одна вещь, чтобы рассмотреть, является "нечеткостью" поиска. Иногда программа находит похожие фотографии, например, вариации одной и той же фотосессии. Не удачный триггер при удалении ваших изображений.

Пожалуйста, сделайте резервную копию ваших изображений, прежде чем удалять что-либо.

Acdsee - это простое / популярное приложение для просмотра фотографий, которое имеет эту функцию (Инструменты -> Найти дубликаты).

На моем Mac у меня был отличный успех с PhotoSweeper ( http://overmacs.com/ ). Он может работать напрямую через файловую систему или с помощью популярных программ для фотосъемки, таких как Apple Photos и Adobe Lightroom. Он может найти точные дубликаты или похожие файлы изображений. И на 10 долларов, это украсть.

DeDup-Image - это bash-скрипт для автоматического поиска и удаления идентичных изображений / дубликатов фотографий, даже если метаданные отличаются. Он всегда сохраняет наибольшую копию, которая, вероятно, содержит наибольшее количество метаданных, и удаляет все остальные найденные объекты на основе SHA256-HASH информации о реальном изображении без каких-либо метаданных. Поскольку сценарию необходимо обрабатывать вариант из каждого изображения без метаданных, он немного медленнее и требует больше ресурсов процессора, чем программы или сценарии, которые могут искать только полностью идентичные файлы.