Как сравнить mp3, звуковые данные flac в файле, игнорируя данные заголовка (тэг ID3) и т. Д.?

Я сделал резервные копии некоторых аудиофайлов в двух местах и ​​добавил теги ID3 в одну резервную копию, но не в другую, поскольку прошло время, и моя собственная память исчезла из-за того, действительно ли резервные копии одинаковы, но теперь у одного есть данные ID3 и в противном случае базовое двоичное сравнение не будет выполнено, и проверка будет громоздкой.

Существует ли инструмент для сравнения только аудиоданных (не заголовка, ID3) в mp3, flac-файлах и других файлах с использованием данных заголовка, таких как ID3.

Начал тему по поводу вне сравнения здесь: http://www.scootersoftware.com/vbulletin/showthread.php?t=7413

рассмотрел бы другое программное обеспечение сравнения, которое делает эту задачу

Ах, вечное положение. Я сам так долго боролся с этим вопросом и перепробовал так много приложений для поиска дубликатов файлов, что в конце концов отказался и решил написать его сам. И тогда я нашел AllDup .

AllDup сделал меня бессрочным задним числом моего собственного проекта, потому что это быстрый DFF, который имеет возможность сравнивать файлы MP3 и JPEG, игнорируя их теги ID3 и данные Exif соответственно. Более того, Михаэль Туммерер очень быстро реагирует на отзывы и быстро исправляет ошибки и вносит предложения (вы можете предложить игнорировать заголовки FLAC). В довершение всего, AllDup является бесплатным.

Вот способ сделать это в оболочке. Вам нужно avconv, что в Debian / Ubuntu находится в libav-tools.

$ avconv -i INPUT_FILE -c:a copy -f crc - 2>/dev/null | grep CRC

Вы получите такую ​​строку:

CRC=0xabfdfe10

Это позволит сравнить каждый кадр аудиоданных и сгенерировать для него CRC. Таким образом, команда, подобная этой, может сравнивать несколько файлов:

ls *.mp3 | while read line; do echo -n "$line: "; avconv -i "$line" -f crc - 2>/dev/null | grep CRC; done

Foobar2000 с плагином Binary Comparator сделает это.

В качестве возможного решения вы можете использовать любой инструмент для преобразования файла в несжатый поток ( pcm, wav) без информации метаданных, а затем сравнить его. Для конвертации вы можете использовать любое программное обеспечение, которое вам нравится ffmpeg, soxили avidemux.

Например, как я делаю это с ffmpeg

Скажем, у меня для этого примера 2 файла с разными метаданными: $ diff Original.mp3 Possible-dup.mp3 ; echo $? Binary files Original.mp3 and Possible-dup.mp3 differ Сравнение грубой силы жалуется, что они различаются.

Тогда мы просто конвертируем и анализируем тело: $ diff <( ffmpeg -loglevel 8 -i Original.mp3 -map_metadata -1 -f wav - ) <( ffmpeg -loglevel 8 -i Possible-dup.mp3 -map_metadata -1 -f wav - ) ; echo $? 0

Конечно, ; echo $?часть предназначена только для демонстрации, чтобы увидеть код возврата.

Обработка нескольких файлов (перемещение каталогов)

Если вы хотите попробовать дубликаты в коллекции он должен стоит вычислять контрольные суммы (любой , как crc, md5, sha2, sha256) данных , а затем просто найти там столкновения.

Хотя это выходит за рамки этого вопроса, я бы предложил несколько простых предложений о том, как найти дубликаты файлов в каталоге с учетом только его содержимого без учета метаданных.

1. Сначала вычислите хэш данных в каждом файле (и поместите в файл для следующей обработки): for file in *.mp3; do printf "%s:%s\n" "$( ffmpeg -loglevel 8 -i "$file" -map_metadata -1 -f wav - | sha256sum | cut -d' ' -f1 )" "$file"; done > mp3data.hashes Файл будет выглядеть так: $ cat mp3data.hashes ad48913a11de29ad4639253f2f06d8480b73d48a5f1d0aaa24271c0ba3998d02:file1.mp3 54320b708cea0771a8cf71fac24196a070836376dd83eedd619f247c2ece7480:file2.mp3 1d8627a21bdbf74cc5c7bc9451f7db264c167f7df4cbad7d8db80bc2f347110f:Original.mp3 8918674499b90ace36bcfb94d0d8ca1bc9f8bb391b166f899779b373905ddbc1:Other-dup.mp3 8918674499b90ace36bcfb94d0d8ca1bc9f8bb391b166f899779b373905ddbc1:Other.mp3 1d8627a21bdbf74cc5c7bc9451f7db264c167f7df4cbad7d8db80bc2f347110f:Possible-dup.mp3 Любая СУБД будет очень полезна для агрегирования подсчета и выбора таких данных. Но продолжайте чистое решение командной строки, вы можете сделать простые шаги, как дальше.

Посмотрите дубликаты хэшей, если таковые имеются (дополнительный шаг, чтобы показать, как это работает, не нужен для поиска дубликатов): $ count.by.regexp.awk '([0-9a-f]+):' mp3data.hashes [1:54320b708cea0771a8cf71fac24196a070836376dd83eedd619f247c2ece7480]=1 [1:1d8627a21bdbf74cc5c7bc9451f7db264c167f7df4cbad7d8db80bc2f347110f]=2 [1:ad48913a11de29ad4639253f2f06d8480b73d48a5f1d0aaa24271c0ba3998d02]=1

2. И все вместе, чтобы перечислить файлы, дублированные по содержанию : $ grep mp3data.hashes -f <( count.by.regexp.awk '([0-9a-f]+):' mp3data.hashes | grep -oP '(?<=\[1:).{64}(?!]=1$)' ) | sort 1d8627a21bdbf74cc5c7bc9451f7db264c167f7df4cbad7d8db80bc2f347110f:Original.mp3 1d8627a21bdbf74cc5c7bc9451f7db264c167f7df4cbad7d8db80bc2f347110f:Possible-dup.mp3 8918674499b90ace36bcfb94d0d8ca1bc9f8bb391b166f899779b373905ddbc1:Other-dup.mp3 8918674499b90ace36bcfb94d0d8ca1bc9f8bb391b166f899779b373905ddbc1:Other.mp3

count.by.regexp.awk - простой awkскрипт для подсчета шаблонов регулярных выражений.

Я также спросил об этом на форуме Beyond Compare, как упоминалось в вопросе, и Beyond Compare также предлагает решение:

http://www.scootersoftware.com/vbulletin/showthread.php?t=7413

Оба подхода заслуживают рассмотрения:

• Решение AllDup лучше всего подходит, если вам не важно, какие копии файлов сохраняются, а какие отбрасываются в дереве папок каталога, и у вас есть смесь файлов с тегами и без тегов в тех же папках, которые вы хотите запустить. повторная проверка на.

• Beyond Compare лучше всего подходит, если вы хотите сохранить дерево каталогов / папок и сравнить две отдельные структуры папок / каталогов, что также помогает при использовании неразрушающего параметра «плоское дерево на лету»