Распаковка нескольких файлов одновременно

27

У меня есть более 200 .zipфайлов в одной папке. Я не хочу распаковывать их по одному. Я хочу извлечь те, которые используют одну команду или скрипт. Как это сделать.

bash

— G_p
источник

38

Если вы действительно хотите распаковать их параллельно, вы можете сделать

for i in *zip; do unzip "$i" & done

Это, однако, запустит N процессов для N .zip файлов и может быть очень тяжелым в вашей системе. Для более контролируемого подхода, запускающего только 10 параллельных процессов одновременно, попробуйте следующее:

find . -name '*.zip' -print0 | xargs -0 -I {} -P 10 unzip {}

Чтобы контролировать количество запущенных параллельных процессов, измените -Pна что хотите. Если вы не хотите переходить в подкаталоги, сделайте это:

find . -maxdepth 1 -name '*.zip' -print0 | xargs -0 -I {} -P 10 unzip {}

Кроме того, вы можете установить GNU параллельно, как предложено @OleTange в комментариях, и запустить

parallel unzip ::: *zip

— terdon
источник

3

Параллельная работа - хорошая идея, но разве дисковый ввод-вывод не будет основным узким местом?

— Пэдди Ландау

1

@PaddyLandau не уверен, я должен проверить. Это будет зависеть от скорости алгоритма распаковки от скорости диска, который я себе представляю.

— Тердон

Используйте -execили -execdirвместо того, чтобы обвязать xargs. Это не только проще для понимания, но и менее подвержено ошибкам и использует меньше системных ресурсов. find . -name '*.zip' -exec unzip {} ';'(Вы должны цитировать точку с запятой.)

— Пэдди Ландау

@PaddyLandau единственная причина, по которой я пишу xargs, - это запускать вещи параллельно, как просил OP. -exec \;(вы можете избежать точки с запятой, без кавычек), будет запускать каждую команду последовательно. -exec +лучше, но это не сработает, потому что это не так unzip.

— Тердон

Я думаю, что мы поняли ОП по-другому. Вы читаете его как желающего параллельно, тогда как я понимал его как означающий одну команду вместо нескольких команд. Ну, у него есть оба метода сейчас :)

— Пэдди Ландау

17

GNU параллельно команда хорошо подходит для такого рода вещи. После:

$ sudo apt-get install parallel

затем

ls *.zip | parallel unzip

При этом будет использовано столько ядер, сколько у вас есть, и каждое ядро будет разархивировано, пока все они не будут готовы.

— Уэйн Конрад
источник

Лучше использовать echo *.zipвместо этого, чтобы предотвратить возможное проникновение псевдонима ls в дополнительную информацию. Однако это та же проблема, что и в ответе @ Guru, это касается имен файлов, содержащих пробелы.

— nyuszika7h

1

@ nyuszika7h В отличие от xargsGNU Parallel не разбивается на имена файлов, содержащие пробел / tab / quote. Только если имена файлов содержат символы новой строки, вам придется проявлять особую осторожность. Например, используя:parallel unzip ::: *.zip

— Ole Tange

@ nyuszika7h - это веские причины избегать как псевдонимов стандартных команд, так и вставки пробелов в именах файлов.

— Уэйн Конрад

@ nyuszika7h использование echoтак же плохо, как использование ls. Globbing и цикл времени - самый безопасный.

— тердон

1

@NateEldredge Хотя этот шанс был больше в то время, когда в системах был только один магнитный диск, в наши дни с RAID-массивами с несколькими шпинделями и флэш-диском этот шанс меньше. Лучше всего, конечно, измерить и посмотреть, как ведет себя ваша система. Недавно я использовал RAID с 40 шпинделями, где оптимальный параллелизм для процессов, требующих ввода-вывода, составлял 10: он не давал ускорения в 10 раз - только в 6 раз, но менее чем в 10 процессах - менее чем в 6 раз.

— Оле Танге

12

Вы можете использовать следующую команду:

Сначала измените каталог в терминале на каталог, содержащий файлы .zip:

cd /path

Затем выполните эту команду, чтобы разархивировать все файлы .zip:

for z in *.zip; do unzip "$z"; done

— Nux
источник

10

Если .zipв вашей папке много файлов и вы хотите распаковать их все, откройте терминал и перейдите в вашу папку, используя:

cd <path_to_folder>

Теперь используйте эту команду, чтобы распаковать весь ваш .zipфайл:

ls *.zip | xargs -n1 unzip

— G_p
источник

3

Это не удастся, если любое из имен файлов будет содержать пробелы.

— Terdon

1

да вы правы.

— g_p

echo *.zipВместо этого лучше использовать эту возможность, чтобы предотвратить возможное lsпроникновение псевдонима в дополнительную информацию, однако это по-прежнему не устраняет проблему пробелов.

— nyuszika7h

1

@OleTange Если вы не заметили, я сказал, что он по-прежнему не работает на именах файлов с пробелами в них.

— nyuszika7h

1

Никогда не зависите от выходных данных lsдля скриптов for, так как их выходные данные не определены между версиями. Вместо этого посмотрите на ответ @terdon, поскольку он решает все проблемы этого решения.

— Пэдди Ландау

6

Вы можете использовать найти -execкак так,

find . -name "*.zip" -exec unzip {} \;

Это будет работать, если в имени файла есть пробел.

— Эллиот Фриш
источник

3

Нетерминальный метод.

Просто выберите zip-файлы, щелкните правой кнопкой мыши и выберите extract here. Вы можете выбрать все или только несколько zip-файлов одновременно.

— Parto
источник

1

unzip \*.zip или unzip '*.zip'

Очевидное unzip *.zipне работает, потому что оболочка расширяет его unzip foo.zip bar.zip ...и unzipинтерпретирует первое имя файла как zip-файл, а следующие имена файлов как файлы для извлечения из этого zip-файла.

Тем не менее, unzipэто немного необычно для команд Unix в том смысле, что он делает свои собственные расширения глобуса. Если *оболочка не раскрывается, unzip сделает это и интерпретирует все полученные имена файлов как zip-файлы для обработки. Так что в этом особом случае можно обойтись без forпетли xargsили чего-то подобного.

— Нейт Элдридж
источник