Как найти дубликаты фотографий в очень большом пуле данных (от десятков до сотен гигов)?

16

Может кто-нибудь предложить хорошую утилиту обнаружения дублирования фотографий, которая хорошо работает, когда я имею дело с данными объемом около 100 ГБ (собранными за эти годы)?

Я бы предпочел что-то, что работает на Ubuntu.

Заранее спасибо!

Изменить: Есть ли инструмент, который поможет мне реорганизовать мою коллекцию и удалить дубликаты, как только они были обнаружены?

Edit2: сложная часть состоит в том, чтобы выяснить, что делать, когда у меня есть вывод, состоящий из тысяч дублирующихся файлов (например, вывод fdupes).

Это не очевидно, если я все еще могу безопасно удалить каталог (то есть, если каталог может содержать уникальные файлы), какие каталоги являются подмножествами других каталогов и так далее. Идеальный инструмент для этой проблемы должен уметь определять дублирование файлов и затем предоставлять мощные средства реструктуризации ваших файлов и папок. Выполнение слияния с помощью жестких ссылок (как это делает fslint) действительно освобождает дисковое пространство, но не решает основную проблему, которая привела к дублированию, то есть с плохой организации файла / каталога.

backup duplicates

— Fasterz
источник

Также посмотрите эти связанные вопросы на AskUbuntu , unix.stackexchange и superuser .

— BioGeek

7

ImageMagick на помощь. Я думаю, что первым шагом к любому решению является уменьшение размера вашей коллекции. Если вы хотите сравнить фотографии по их содержанию , особенно когда некоторые из них являются слегка измененными версиями друг друга, очень хорошим началом будет сокращение их до миниатюр, а затем сравнение миниатюр. Это особенно полезно, когда вы хотите найти почти одинаковые фотографии и «игнорировать» несущественные различия во время сравнения.

На высоком уровне я предлагаю вам:
1- использовать инструмент mogrify ImageMagick, чтобы превратить фотографии в миниатюры. Это займет некоторое время, но сделает шаги сравнения намного быстрее и точнее.
2- Используйте инструмент сравнения ImageMagick, который позволяет вам установить порог для сравнения, т.е. он позволяет вам находить фотографии, которые похожи на 85%. Вы хотели бы провести контролируемый эксперимент, чтобы найти пороговое значение, которое вам больше всего нравится.

— Коди
источник

Мне очень нравится эта идея сначала делать миниатюры. Что он делает, когда вы нашли дубликаты? Это просто отображает список? У меня есть десятки тысяч дубликатов, и хороший графический интерфейс, помогающий решить их, был бы очень полезен.

— Fasterz

2

Поскольку вы используете Ubuntu, вы автоматически получаете доступ к целому ряду специализированных инструментов, каждый из которых решает очень специфическую задачу, такую как две задачи, которые я упомянул. Это игра Lego, вы можете делать все, что захотите, вам просто нужно собрать все воедино. Технически, вы подаете 2 фотографии в инструмент сравнения, и он скажет вам, насколько одна из них похожа на другую. Один из способов решить вашу проблему - сгруппировать все похожие фотографии в папки, чтобы вы могли просматривать их, чтобы отфильтровать ложные срабатывания. Затем вы снова запускаете «сравнение» ложных срабатываний и повторяете процесс, пока все не будут на своих местах.

— Коди

4

Geeqie с открытым исходным кодом просмотра фотографий и организатор имеет мощную функцию поиска дубликатов . Он может использовать несколько разных стратегий для поиска дубликатов:

Имя файла (чувствительно к регистру или нечувствительно)
Размер файла
Дата файла
Размеры изображения
Контрольная сумма MD5.
Подобное содержание изображения (с несколькими порогами)

Это дает список результатов, который может включать в себя эскизы, чтобы вы могли подтвердить вручную.

Это будет , вероятно , будет медленным для тысяч файлов, но я думаю , просто использовать его и дать ему поработать в течение нескольких дней или что - то, вероятно , меньше усилий , в целом , чем найти или сделать что - то специально для случая - если матч контрольной суммы не все , что вам нужно.

— mattdm
источник

Звучит неплохо. Что он делает, когда вы нашли дубликаты? Это просто отображает список? У меня есть десятки тысяч дубликатов, и хороший графический интерфейс, помогающий решить их, был бы очень полезен.

— Fasterz

Он отображает их в окне графического интерфейса.

— Mattdm

3

Есть небольшая утилита под названием "fdupes", которая может делать то, что вы хотите?

Есть также другая утилита под названием "fslint", которую вы тоже можете попробовать. (У этого есть GUI).

— Майк
источник

Я только что попробовал fslint на меньшем наборе картинок (несколько концертов или около того), и это расстраивает, что он просто сидит и вращается. Нет индикатора прогресса, оценка оставшегося времени, ничего.

— Fasterz

1

Эти инструменты, кажется, ищут идентичные файлы. Даже идентичное (пиксель за пикселем) изображение может иметь различное содержимое файла. Я предполагаю, что вы хотите сопоставить не только одно и то же похожее изображение, но и сделать это в разных форматах и размерах, включая кадрирование и другую обработку, которую вы сделали, например, чтобы собрать все варианты одной и той же фотографии в одном каталог. Это будет мягкое сравнение изображений, которые будут иметь коэффициент совпадения достоверности и могут сопоставить разные фотографии одной и той же сцены.

— Skaperen

@Skaperen То, что вы предлагаете, прекрасно, но существуют ли такие инструменты для Ubuntu? Я видел где-то упомянутое где-то для Windows - но у этого, казалось, был отвратительный интерфейс .. и т. Д.

— Fasterz

ImageDupeless - это приложение для Windows, которое будет захватывать фотографии, которые похожи друг на друга, но имеют некоторые различия. Он будет улавливать некоторые повороты, кадрирование, изменение размера, изменение цветового оттенка, водяные знаки и т. Д. Вы должны отсканировать свою библиотеку и сказать, какую разницу вы принимаете, и она весело покажет вам файлы. НО это было бы чрезвычайно громоздким для сотен файлов, а тысячи файлов были бы ужасны. Я тоже ищу Linux, эквивалентный ImageDupeless. Приложение, которое делает вейвлеты или другую магию обработки изображений, чтобы сказать, когда изображения похожи.

— Therealstubot

Прочитайте параметры страницы руководства для fdupes- есть возможность удалить дубликаты. askubuntu.com/a/476732

— rrauenza

1

dupeGuru Picture Edition - настраиваемый инструмент поиска дубликатов изображений для Windows, Mac OS X и Linux.

Существует несколько версий dupeGuru (стандартные, музыкальные и графические издания), а редакция изображений позволяет вам находить визуально похожие изображения с помощью алгоритма сравнения с растровыми изображениями , среди других методов (таких как временная метка исходного изображения EXIF или просто идентичные файлы) ,

У него есть множество других полезных функций, таких как исключенные папки, поддержка библиотек iPhoto / Aperture и значительная настройка того, как он обнаруживает дубликаты и что с ними делает.

— drfrogsplat
источник

0

Что вы имеете в виду под дубликатами фотографий? Вы имеете в виду файлы, которые идентичны, скажем, просто скопированы дополнительное время или два? или вы имеете в виду фотографии, которые «выглядят» одинаковыми.

Если вы имеете в виду идентичные файлы, вы можете использовать 'shasum' для всех файлов, затем упорядочить результаты и найти уникальные строки с 'uniq' и запустить 'diff', чтобы увидеть, что было удалено. Все просто в оболочке Ubuntu.

— Пэт Фаррелл
источник

Все это не легко и не удобно. Упомянутые ниже fdupes уже будут работать лучше, чем просто вычисление SHA. Есть ли сейчас инструменты Unix, которые будут искать сходство изображений? Если это так, это было бы здорово.

— Fasterz

Легко и удобно для тех, кто привык пользоваться инструментами Unix, такими как uniq, sort, diff, shasum и т. Д. Но я согласен, что если вы не используете их регулярно, их может быть сложно использовать. Я не знаю ничего, что могло бы сделать "выглядит как" Все, что я видел, в том числе в Aperture и Lightroom, делает файл идентичным, что на самом деле просто md5 или shasum

— Пэт Фаррелл

Я регулярно использую инструменты Unix и нахожу этот ответ несколько глупым. Во-первых, слепое медленное выполнение SHA, когда сравнение размеров файлов решает проблему. Во-вторых, SHA или MD5 могут сталкиваться - поэтому одних сравнений SHA недостаточно. Если вы учтете оба этих фактора, вы получите то, что делает fdupes.

— Fasterz

Кроме того, как только вы правильно заклинали заклинание, которое делает это, вывод все еще не очень полезен. В лучшем случае вы получите вывод fdupes, который представляет собой просто дамп похожих файлов. В моем случае у меня десятки тысяч, и мне очень сложно просмотреть эти данные, чтобы понять, как я могу устранить дубликаты.

— Fasterz

1

SHA сталкиваются в теории, но не на практике. Да, это занимает вечность. Все, что будет работать, не будет быстрым. Но вы должны быть в состоянии начать и вернуться через день или два. Это всего лишь предположение, я не собираюсь вступать в войну из-за этого.

— Пэт Фаррелл

0

Существует приложение под названием «bleachbit», которое находит дубликаты файлов по размеру, имени и другим фильтрам. Вы можете установить его из менеджера пакетов synapctic в Ubuntu.

— chuisco
источник

Что он делает, когда вы нашли дубликаты? Это просто отображает список? У меня есть десятки тысяч дубликатов, и хороший графический интерфейс, помогающий решить их, был бы очень полезен.

— Fasterz