У меня большая музыкальная коллекция, и там есть несколько дубликатов. Есть ли способ найти дубликаты файлов. Как минимум, сделав хеш и увидев, имеют ли два файла одинаковый хеш.

Бонусные баллы за поиск файлов с тем же именем, кроме расширения - я думаю, что у меня есть несколько песен в форматах mp3 и ogg.

Я счастлив использовать командную строку, если это самый простой способ.

Я использую fdupesдля этого. Это программа командной строки, которую можно установить из репозиториев с помощью sudo apt install fdupes. Вы можете назвать это как, fdupes -r /dir/ect/oryи он распечатает список обманщиков. У fdupes также есть простая домашняя страница и статья в Википедии , в которой перечислены еще несколько программ.

FSlint имеет графический интерфейс и некоторые другие функции. Объяснение алгоритма проверки дубликатов из их FAQ:

1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).

FSlint

Список того programs/scripts/bash-solutions, что можно найти дубликаты и запустить под nix:

1. dupedit : сравнивает много файлов одновременно без контрольной суммы. Позволяет избежать сравнения файлов с самими собой, когда несколько путей указывают на один и тот же файл.
2. dupmerge : работает на разных платформах (Win32 / 64 с Cygwin, * nix, Linux и т. д.)
3. dupseek : Perl с алгоритмом, оптимизированным для уменьшения числа операций чтения.
4. fdf : основан на Perl / c и работает на большинстве платформ (Win32, * nix и, возможно, другие). Использует алгоритмы MD5, SHA1 и другие контрольные суммы
5. freedups : сценарий оболочки, который выполняет поиск в указанных вами каталогах. Когда он находит два одинаковых файла, он жестко связывает их вместе. Теперь два или более файлов все еще существуют в своих соответствующих каталогах, но только одна копия данных хранится на диске; обе записи каталога указывают на одни и те же блоки данных.
6. fslint : имеет интерфейс командной строки и графический интерфейс.
7. liten : инструмент командной строки Pure Python для дедупликации и библиотека, использующая контрольные суммы md5 и новый алгоритм сравнения байтов. (Linux, Mac OS X, * nix, Windows)
8. liten2 : переписан оригинальный Liten, все еще инструмент командной строки, но с более быстрым интерактивным режимом с использованием контрольных сумм SHA-1 (Linux, Mac OS X, * nix)
9. rdfind : один из немногих, которые ранжируют дубликаты на основе порядка входных параметров (папок для сканирования), чтобы не удалять из «оригинальных / хорошо известных» источников (если дано несколько каталогов). Использует MD5 или SHA1.
10. rmlint : быстрый поиск с интерфейсом командной строки и множеством опций для поиска других ссылок (использует MD5)
11. ua : инструмент командной строки Unix / Linux, предназначенный для работы с find (и т.п.).
12. findrepe : бесплатный инструмент командной строки на основе Java, предназначенный для эффективного поиска дубликатов файлов, он может выполнять поиск по zip и jar- файлам (GNU / Linux, Mac OS X, * nix, Windows)
13. fdupe : небольшой скрипт, написанный на Perl. Делать свою работу быстро и качественно. 1
14. ssdeep : идентифицировать практически идентичные файлы, используя кусочно- хешируемый контекстный запуск

Если ваша задача дедупликации связана с музыкой, сначала запустите приложение picard, чтобы правильно идентифицировать и пометить вашу музыку (чтобы вы могли найти дубликаты файлов .mp3 / .ogg, даже если их имена неверны). Обратите внимание, что picard также доступен в виде пакета Ubuntu.

Это сделано, основываясь на musicip_puidтеге, вы можете легко найти все дубликаты песен.

Другой скрипт, который выполняет эту работу - это rmdupe . Со страницы автора:

rmdupe использует стандартные команды linux для поиска дубликатов файлов в указанных папках независимо от имени файла или расширения. Перед удалением дубликатов кандидатов они сравниваются побайтно. rmdupe также может проверять дубликаты по одной или нескольким справочным папкам, может удалять файлы вместо их удаления, позволяет настраивать команду удаления и может ограничивать поиск файлами указанного размера. rmdupe включает режим симуляции, который сообщает, что будет сделано для данной команды, без фактического удаления каких-либо файлов.

Ты пробовала

finddup

или же

finddup -l

Я думаю, это работает нормально.

Для музыки, связанной с дублированием, идентификация и удаление Picard и Jaikoz от http://musicbrainz.org/ является лучшим решением. Jaikoz Я считаю, что автоматически помечает вашу музыку на основе данных файла песни. Вам даже не нужно название песни, чтобы идентифицировать песню и присвоить ей все метаданные. Хотя бесплатная версия может пометить только ограниченное количество песен за один прогон, вы можете запускать ее столько раз, сколько захотите.

Я использую компаратор - sudo apt-get install komparator( Ubuntu 10.04+ ) - в качестве GUI-инструмента для поиска дубликатов в ручном режиме.