Вопросы с тегом «deduplication»

Дедупликация - это поиск и удаление повторяющихся файлов.



3
Как дедуплицировать 40 ТБ данных?
Я унаследовал исследовательский кластер с ~ 40 ТБ данных в трех файловых системах. Данные растянуты почти на 15 лет, и, скорее всего, существует большое количество дубликатов, поскольку исследователи копируют данные друг друга по разным причинам, а затем просто держатся за копии. Я знаю об инструментах устранения дублирования, таких как fdupes …

6
Каков наилучший способ удалить дубликаты файлов изображений с вашего компьютера?
На моем компьютере с Windows, в разных подпапках и с разными именами файлов много дублированных файлов изображений. Какой скрипт на Python или бесплатную программу вы бы порекомендовали для удаления дубликатов? (Я читал этот похожий вопрос, но постер там спрашивает о визуальных дубликатах с разными размерами файлов. Мои точные дубликаты с …

3
Существует ли программа сжатия или архивирования для Windows, которая также выполняет дедупликацию? [закрыто]
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Супер пользователя. Закрыто 3 года назад . Я ищу программу-архиватор, которая может выполнять дедупликацию (дедупликацию) файлов, которые архивируются. После распаковки архива программное обеспечение вернет все файлы, …

4
Как удалить повторяющиеся строки на основе некоторых столбцов
У меня есть лист Excel, который содержит повторяющиеся строки Я хочу удалить строку, если столбцы ACDEF совпадают (игнорировать B при вычислении дубликатов, но удалить при удалении строки) На данный момент он игнорирует B при сравнении, а также при удалении.

7
Способы дедупликации файлов
Я хочу просто сделать резервную копию и архивировать файлы на нескольких машинах. К сожалению, файлы содержат несколько больших файлов, которые являются одним и тем же файлом, но по-разному хранятся на разных компьютерах. Например, может быть несколько сотен фотографий, которые были скопированы с одного компьютера на другой в качестве специальной резервной …

5
Бесплатный поиск дубликатов mp3 [закрыт]
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Супер пользователя. Закрыто 5 лет назад . Некоторое время назад я использовал анализатор дубликатов файлов для mp3, анализируя контент. К сожалению, он не был бесплатным, и …

3
Как я могу иметь два файла с одинаковым именем в каталоге при монтировании с NFS?
У меня есть тест приложения C ++, который создает 10000 файлов в смонтированном каталоге NFS, но недавно мой тест не прошел один раз из-за того, что один файл дважды появлялся в этом каталоге с тем же именем вместе со всеми остальными 10000 файлами. Это можно увидеть в Linux Centos v4 …

2
Сканер дубликатов файлов
У меня есть сеть хранения 15 ТБ, и сейчас у меня осталось около 2,5 ТБ (из-за большого количества дубликатов). Я пробовал много сканеров, но у меня был небольшой успех, в конце концов они все терпят крах из-за огромного количества данных. Есть ли какая-нибудь известная вам программа, которая сможет справиться с …

2
Найти уникальные файлы на двух дисках
Я пытаюсь сравнить 2 тома, которые в основном имеют одинаковое содержание, но в совершенно разных структурах папок (Около 2 миллионов файлов.) Я хочу увидеть, какие файлы находятся ТОЛЬКО в 1 папке, а не в другой - в зависимости от размера & amp; название. Я попробовал это: find /Volumes/1/ /Volumes/2/ -not …

1
Ищите инструмент для жесткого диска, который может выполнять дедупликацию и сжатие данных
Привет эксперты и профи! И счастливого Нового 2011 года всем! Я ищу "частный" инструмент, который может дедуплицировать мой внешний жесткий диск. Я уверен, что у меня на дисках вдвое больше файлов, и я не могу позволить себе делать это за руку. Еще лучше, если он может быть бесплатным или доступным. …

1
(Win Server 2012) Невозможно включить дедупликацию данных на диске C:
Я пытаюсь включить дедупликацию данных на диске C:, но диспетчер сервера не позволяет мне это делать. После использования команды PowerShell он дал мне следующее сообщение: Windows PowerShell Copyright (C) 2014 Microsoft Corporation. All rights reserved. PS C:\Windows\system32> Import-Module Deduplication PS C:\Windows\system32> Enable-DedupVolume C: -UsageType Default Enable-DedupVolume : MSFT_DedupVolume.Volume='C:' - HRESULT …

1
Как исключить / игнорировать определенные типы / расширения файлов с помощью rmlint?
Я пытаюсь дедуплицировать лабиринтный каталог, но продолжаю получать результаты для содержимого элементов, которые я хочу сопоставить, а не самих элементов, которые включают в себя, т.е. мои результаты полны таких вещей, как файлы .css и .strings из непревзойденных пакетов '.app'. Я не могу ограничить по рекурсивной глубине, потому что нет никакого …

1
Найти дубликаты медиафайлов и автоматически организовать их в Linux
Существует ли приложение, похожее на MediaMoney (в Windows), но в Linux (Debian или Ubuntu), которое, если оно указано на жестком диске или в корневом каталоге, может выполнять тщательный поиск по нему, выявляя дубликаты мультимедийных файлов (фотографии, видео, музыкальные файлы) , Если это можно сделать с умом, если идентифицировать дубликаты, даже …

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.