Вопросы с тегом «duplicate»

Существует ли бесплатный и открытый источник дубликатов изображений для систем на базе Linux? Мне достаточно найти точные дубликаты (основываясь на содержимом, а не на имени файла), но возможность найти похожие изображения также была бы неплохой.

16 search  image-manipulation  images  duplicate 

У меня есть строка как "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Я хочу удалить повторяющееся слово из строки, тогда вывод будет "aaa,bbb,ccc" Я попробовал этот код Source $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Он работает нормально с тем же значением, но когда я даю …

12 shell-script  shell  text-processing  xargs  duplicate 

У меня есть папка с дублирующимися (на md5sum( md5Mac)) файлами, и я хочу иметьхрон Работа запланирована, чтобы удалить все найденные. Тем не менее, я застрял на том, как это сделать. Что у меня так далеко: md5 -r * | sort Который выводит что-то вроде этого: 04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg 1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg 266ea304b15bf4a5650f95cf385b16de …

10 bash  shell-script  hashsum  duplicate 

Некоторые журналы генерируют разные PDF для каждой загрузки. APS, например, хранит время и IP-адрес в PDF. Или есть бумажная версия с гиперссылками и одна с текстовыми ссылками. Как можно найти повторяющиеся загрузки документов с равным содержанием на 90% в системе Linux с помощью программного обеспечения с открытым исходным кодом? Я …

9 scripting  pdf  imagemagick  duplicate 

Я использую Mac OSX и пытаюсь использовать командную строку, чтобы найти количество файлов с таким же именем. Я попытался использовать следующую команду: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Это не работает! Когда я делаю следующее: find ~ -type f -name …

9 find  osx  filenames  duplicate  basename 

У меня огромная музыкальная библиотека (все в формате mp3), но у меня музыка почти такая же, но: Может быть, на одну или две секунды дольше Около 97% так же, как другая песня Или другой битрейт. Есть ли способ найти эти дубликаты? Как уже упоминалось, они не имеют одинаковый размер, имя …

9 mp3  music  duplicate 

Этот вопрос / ответ имеет несколько хороших решений для удаления идентичных строк в файле, но не будет работать в моем случае, так как в противном случае дублирующиеся строки имеют временную метку. Можно ли сказать awk игнорировать первые 26 символов строки при определении дубликатов? Пример: [Fri Oct 31 20:27:05 2014] The …

8 text-processing  awk  duplicate  deduplication