Какой самый быстрый способ переместить миллион изображений из одного каталога в другой в Linux?

У меня есть миллион изображений, занимающих 30 ГБ дискового пространства, которые необходимо переместить из одного локального каталога в другой локальный каталог.

Какой самый эффективный способ сделать это? Используя mv? Используя cp? Используя rsync? Что-то другое?

Мне нужно взять это:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

и переместить их сюда:

/path/to/new/img/dir/

rsync было бы плохим выбором, потому что он выполняет большую часть клиент-серверной работы, которая учитывает как локальные, так и удаленные системы.

mvэто, наверное, лучший выбор. Если возможно, вы должны попробовать, mv directory_old directory_newа не mv directory_old/* directory_new/. Таким образом, вы перемещаете одну вещь вместо миллиона вещей.

find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 

• Это не переполнит расширение аргумента.
• Вы можете указать расширение файла, если хотите. (-имя ...)
• find -print0с xargs -0позволяет использовать пробелы в именах.
• xargs -rне будет работать, mvесли нет чего-то для перемещения. ( mvбудет жаловаться, если исходные файлы не указаны).
• Синтаксис mv -tпозволяет указать сначала место назначения, а затем исходные файлы, необходимые для xargs.
• Перемещение всего каталога, конечно, происходит намного быстрее, поскольку оно происходит за постоянное время независимо от количества файлов, содержащихся в нем, но:
  • исходный каталог исчезнет на долю времени, и это может создать вам проблемы;
  • если процесс использует текущий каталог в качестве выходного каталога (в отличие от всегда ссылающегося на полный путь из неподвижного местоположения), вам придется перезапустить его. (как вы делаете с ротацией журнала ).

Кстати, я бы спросил себя, действительно ли мне нужно перемещать такое большое количество файлов одновременно. Пакетная обработка переоценена. Я стараюсь не накапливать огромное количество работы, если могу обрабатывать вещи в тот момент, когда они генерируются.

Если два каталога находятся в одной файловой системе, используйте mvкаталог DIRECTORY, а не содержимое каталога.

Если они находятся в двух разных файловых системах, используйте rsync:

rsync -av /source/directory/ /destination

Обратите внимание на трейлинг /на источнике. Это означает, что он будет копировать СОДЕРЖАНИЕ каталога, а не сам каталог. Если вы /выключите, он все равно будет копировать файлы, но они будут находиться в каталоге с именем /destination/directory. С / файлы просто будут в/destination

rsyncсохранит право собственности на файл, если вы запустите его от имени пользователя root или если файлы принадлежат вам. Он также будет поддерживать mtimeкаждого отдельного файла.

tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

Когда вы используете 'cp', каждый файл делает open-read-close-open-write-close. Tar использует различные процессы для чтения и записи, а также несколько шагов для одновременной работы с несколькими файлами. Даже на одном процессоре многопоточные приложения работают быстрее.

Так как directory_old и directory_new находятся в одной файловой системе, вы можете использовать ее cp -lвместо mvопции. cp -lсоздаст жесткие ссылки на оригинальные файлы. Когда вы закончили с 'move' и удовлетворены результатом, вы можете удалить эти файлы из directory_old. с точки зрения скорости он будет таким же, как «mv», когда вы сначала создаете ссылки, а затем удаляете исходные. Но этот подход позволит вам начать с самого начала, если это имеет смысл

Это зависит (тм). Если ваша файловая система копируется при записи, то копирование ( cpили rsync, например) должно быть сравнимо с перемещением. Но для большинства распространенных случаев move ( mv) будет самым быстрым, поскольку он может просто переключаться между фрагментами данных, которые описывают, где находится файл (примечание: это слишком упрощено).

Итак, на вашей обычной установке Linux я бы пошел mv.

РЕДАКТИРОВАТЬ: @ Фредерик Хамиди имеет хорошее замечание в комментариях: это верно только в том случае, если они оба находятся в одной файловой системе и на диске. В противном случае данные будут скопированы в любом случае.

Чтобы скопировать как минимум ~ 10 тыс. Файлов (без каталогов), cp пожаловался:

невозможно выполнить / bin / cp: список аргументов слишком длинный

Лучший вариант - Rsync:

rsync исходная цель

И это было сделано очень быстро!

Если у вас есть свободное место, заархивируйте их в один файл .tar (без сжатия быстрее), а затем переместите этот файл и разархивируйте его.

Характер места назначения будет определять наиболее эффективный способ решения этой задачи. Давайте предположим , что вы на локальную систему, ваше PWDэто /прямо сейчас. и /aсодержит миллионы изображений. Наша задача - переместить все изображения /b, сохраняя при этом всю структуру подкаталогов. Давайте также предположим , /aи /bявляются точки монтирования для двух различных разделов, каждый на локально подключенный диск. Мы хотели бы сделать эту задачу с брезентом. Это может занять некоторое время, поэтому убедитесь , что вы используете screen, tmuxили вы выполняете это как фоновый процесс.

tar -C /a -cf . | tar -C /b -xf -

Это будет копировать все файлы и каталоги в /aк /b, так что теперь вам нужно очистить , /aкак только вы убедитесь , что он выполнен без ошибок.