Как я могу использовать xargs для копирования файлов с пробелами и кавычками в именах?

Я пытаюсь скопировать кучу файлов в каталог, а в именах файлов есть пробелы и одинарные кавычки. Когда я пытаюсь связать вместе findи grepс xargs, я получаю следующую ошибку:

find .|grep "FooBar"|xargs -I{} cp "{}" ~/foo/bar
xargs: unterminated quote

Любые предложения для более надежного использования xargs?

Это на Mac OS X 10.5.3 (Leopard) с BSD xargs.

Вы можете объединить все это в одну findкоманду:

find . -iname "*foobar*" -exec cp -- "{}" ~/foo/bar \;

Это будет обрабатывать имена файлов и каталогов с пробелами в них. Вы можете использовать -nameдля получения результатов с учетом регистра.

Примечание. Переданный --флаг не cpпозволяет обрабатывать файлы, начиная с -опций.

find . -print0 | grep --null 'FooBar' | xargs -0 ...

Я не знаю, grepподдерживает ли --null, или xargsподдерживает -0, на Leopard, но на GNU это все хорошо.

Самый простой способ сделать то, что хочет оригинальный постер, это изменить разделитель с любого пробела на символ конца строки, например так:

find whatever ... | xargs -d "\n" cp -t /var/tmp

Это более эффективно, так как не запускает "cp" несколько раз:

find -name '*FooBar*' -print0 | xargs -0 cp -t ~/foo/bar

Я столкнулся с той же проблемой. Вот как я это решил:

find . -name '*FoooBar*' | sed 's/.*/"&"/' | xargs cp ~/foo/bar

Раньше я sedзаменял каждую строку ввода одной строкой, но в двойных кавычках. На sedстранице руководства « ... амперсанд (` `& ''), появляющийся при замене, заменяется строкой, соответствующей RE ... " - в данном случае, .*всей строкой.

Это решает xargs: unterminated quoteошибку.

Этот метод работает на Mac OS X v10.7.5 (Lion):

find . | grep FooBar | xargs -I{} cp {} ~/foo/bar

Я также проверил точный синтаксис, который вы разместили. Это также хорошо работало на 10.7.5.

Просто не используйте xargs. Это аккуратная программа, но она плохо сочетается сfind когда сталкиваешься с нетривиальными случаями.

Вот портативное решение (POSIX), то есть один , который не требует find, xargsили cpрасширения конкретных GNU:

find . -name "*FooBar*" -exec sh -c 'cp -- "$@" ~/foo/bar' sh {} +

Обратите внимание на окончание +вместо более привычного; .

Это решение:

• правильно обрабатывает файлы и каталоги со встроенными пробелами, символами новой строки или любыми экзотическими символами.

• работает в любой системе Unix и Linux, даже в тех, которые не предоставляют инструментарий GNU.

• не использует xargsхорошую и полезную программу, но требует слишком много настроек и нестандартных функций для правильной обработки findвывода.

• также более эффективен (читай быстрее ), чем принятый, и большинство, если не все остальные ответы.

Также обратите внимание, что несмотря на то, что указано в некоторых других ответах или комментариях, цитирование {}бесполезно (если только вы не используете экзотическую fishоболочку).

Рассмотрите использование параметра командной строки --null для xargs с параметром -print0 в find.

Для тех, кто полагается на команды, кроме find, например ls:

find . | grep "FooBar" | tr \\n \\0 | xargs -0 -I{} cp "{}" ~/foo/bar

find | perl -lne 'print quotemeta' | xargs ls -d

Я считаю, что это будет работать надежно для любого символа, кроме перевода строки (и я подозреваю, что если у вас есть перевод строки в именах файлов, то у вас проблемы хуже, чем этот). Он не требует GNU findutils, только Perl, поэтому он должен работать практически везде.

Я обнаружил, что следующий синтаксис работает хорошо для меня.

find /usr/pcapps/ -mount -type f -size +1000000c | perl -lpe ' s{ }{\\ }g ' | xargs ls -l | sort +4nr | head -200

В этом примере я ищу самые большие 200 файлов размером более 1 000 000 байтов в файловой системе, смонтированной в «/ usr / pcapps».

Линейная строка Perl между «find» и «xargs» экранирует / заключает в кавычки каждый пробел, поэтому «xargs» передает любое имя файла со встроенными пробелами в «ls» в качестве единственного аргумента.

Задача фрейма - вы спрашиваете, как использовать xargs. Ответ таков: вы не используете xargs, потому что он вам не нужен.

Замечаниеuser80168 описывает способ сделать это непосредственно сП, без вызова ф для каждого файла:

find . -name '*FooBar*' -exec cp -t /tmp -- {} +

Это работает потому что:

• cp -tфлаг позволяет дать целевой каталог ближе к началу cp, а не ближе к концу. От man cp:

   -t, --target-directory=DIRECTORY
         copy all SOURCE arguments into DIRECTORY

• --Флаг говорит cpинтерпретировать все после того, как в качестве имени файла, а не флаг, поэтому файлы , начинающиеся с -или --не запутывать cp; это все еще нужно, потому что символы -/ --интерпретируются как cp, тогда как любые другие специальные символы интерпретируются оболочкой.

• find -exec command {} +Вариант по существу , делает то же самое , как xargs. От man find:

   -exec command {} +                                                     
         This  variant  of the -exec action runs the specified command on
         the selected files, but the command line is built  by  appending
         each  selected file name at the end; the total number of invoca‐
         matched  files.   The command line is built in much the same way
         that xargs builds its command lines.  Only one instance of  `{}'
         is  allowed  within the command, and (when find is being invoked
         from a shell) it should be quoted (for example, '{}') to protect
         it  from  interpretation  by shells.  The command is executed in
         the starting directory.  If any invocation  returns  a  non-zero
         value  as exit status, then find returns a non-zero exit status.
         If find encounters an error, this can sometimes cause an immedi‐
         ate  exit, so some pending commands may not be run at all.  This
         variant of -exec always returns true.

Используя это непосредственно в find, вы избегаете необходимости вызова канала или оболочки, так что вам не нужно беспокоиться о каких-либо неприятных символах в именах файлов.

Помните, что большинство опций, обсуждаемых в других ответах, не являются стандартными на платформах, которые не используют утилиты GNU (например, Solaris, AIX, HP-UX). Смотрите спецификацию POSIX для «стандартного» поведения xargs.

Я также считаю, что поведение xargs, когда он запускает команду хотя бы один раз, даже без ввода, вызывает неудобства.

Я написал свою собственную частную версию xargs (xargl) для решения проблем с пробелами в именах (разделяются только новые строки - хотя комбинация 'find ... -print0' и 'xargs -0' довольно аккуратна, поскольку имена файлов не могут содержат символы ASCII NUL '\ 0'. Мой xargl не настолько полный, как того стоило бы публиковать, тем более что в GNU есть как минимум такие же хорошие возможности.

С Bash (не POSIX) вы можете использовать подстановку процесса, чтобы получить текущую строку внутри переменной. Это позволяет вам использовать кавычки для экранирования специальных символов:

while read line ; do cp "$line" ~/bar ; done < <(find . | grep foo)

Я пытался сделать что-то немного другое. Я хотел скопировать мои файлы .txt в мою папку TMP. Имена файлов .txt содержат пробелы и символы апострофа. Это сработало на моем Mac.

$ find . -type f -name '*.txt' | sed 's/'"'"'/\'"'"'/g' | sed 's/.*/"&"/'  | xargs -I{} cp -v {} ./tmp/

Если версии find и xarg в вашей системе не поддерживают -print0и не -0переключаются (например, AIX find и xargs), вы можете использовать этот ужасно выглядящий код:

 find . -name "*foo*" | sed -e "s/'/\\\'/g" -e 's/"/\\"/g' -e 's/ /\\ /g' | xargs cp /your/dest

Здесь sed позаботится о выходе из пробелов и кавычек для xargs.

Проверено на AIX 5.3

Я создал небольшой переносимый скрипт-обертку под названием «xargsL» вокруг «xargs», который решает большинство проблем.

В отличие от xargs, xargsL принимает одно имя пути на строку. Имена путей могут содержать любой символ, кроме (очевидно) символа новой строки или байтов NUL.

В списке файлов цитирование не допускается и не поддерживается - имена файлов могут содержать все виды пробелов, обратных косых черт, обратных черт, подстановочных знаков оболочки и т. П. - xargsL будет обрабатывать их как буквенные символы, без вреда для себя.

Как дополнительная бонусная функция, xargsL не будет запускать команду один раз, если нет ввода!

Обратите внимание на разницу:

$ true | xargs echo no data
no data

$ true | xargsL echo no data # No output

Все аргументы, переданные xargsL, будут переданы xargs.

Вот сценарий оболочки POSIX "xargsL":

#! /bin/sh
# Line-based version of "xargs" (one pathname per line which may contain any
# amount of whitespace except for newlines) with the added bonus feature that
# it will not execute the command if the input file is empty.
#
# Version 2018.76.3
#
# Copyright (c) 2018 Guenther Brunthaler. All rights reserved.
#
# This script is free software.
# Distribution is permitted under the terms of the GPLv3.

set -e
trap 'test $? = 0 || echo "$0 failed!" >& 2' 0

if IFS= read -r first
then
        {
                printf '%s\n' "$first"
                cat
        } | sed 's/./\\&/g' | xargs ${1+"$@"}
fi

Поместите скрипт в какой-то каталог в вашем $ PATH и не забудьте

$ chmod +x xargsL

сценарий, чтобы сделать его исполняемым.

Perl-версия bill_starr не будет хорошо работать для встроенных символов новой строки (справляется только с пробелами). Например, для Solaris, где у вас нет инструментов GNU, может быть более полная версия (с использованием sed) ...

find -type f | sed 's/./\\&/g' | xargs grep string_to_find

настройте аргументы find и grep или другие команды, как вам требуется, но sed исправит ваши встроенные символы новой строки / пробелов / табуляции.

Я использовал ответ Билла Стар, слегка измененный на Solaris:

find . -mtime +2 | perl -pe 's{^}{\"};s{$}{\"}' > ~/output.file

Это поместит кавычки вокруг каждой строки. Я не использовал опцию '-l', хотя это, вероятно, помогло бы.

Список файлов, который я собирался, хотя мог иметь «-», но не переводы строк. Я не использовал выходной файл с какими-либо другими командами, так как хочу просмотреть то, что было найдено, прежде чем я просто начну массово удалять их с помощью xargs.

Я немного поиграл с этим, начал размышлять над модификацией xargs и понял, что для случая использования, о котором мы здесь говорим, простая переопределение в Python - лучшая идея.

Во-первых, наличие ~ 80 строк кода для всего этого означает, что легко понять, что происходит, и если требуется другое поведение, вы можете просто взломать его в новый скрипт за меньшее время, чем требуется, чтобы получить ответ на что-то вроде переполнения стека.

См. Https://github.com/johnallsup/jda-misc-scripts/blob/master/yargs и https://github.com/johnallsup/jda-misc-scripts/blob/master/zargs.py .

С написанным yargs (и установленным Python 3) вы можете набрать:

find .|grep "FooBar"|yargs -l 203 cp --after ~/foo/bar

сделать копирование 203 файлов одновременно. (Здесь 203, конечно, просто заполнитель, и использование странного числа, такого как 203, дает понять, что это число не имеет другого значения.)

Если вы действительно хотите что-то быстрее и без использования Python, возьмите zargs и yargs в качестве прототипов и перепишите их на C ++ или C.

Вам может понадобиться grep каталог Foobar, например:

find . -name "file.ext"| grep "FooBar" | xargs -i cp -p "{}" .

Если вы используете Bash, вы можете преобразовать стандартный вывод в массив строк mapfile:

find . | grep "FooBar" | (mapfile -t; cp "${MAPFILE[@]}" ~/foobar)

Преимущества:

• Это встроенный, так что это быстрее.
• Выполните команду со всеми именами файлов за один раз, чтобы это было быстрее.

• Вы можете добавить другие аргументы к именам файлов. Для cp, вы также можете:

  find . -name '*FooBar*' -exec cp -t ~/foobar -- {} +
  

  однако некоторые команды не имеют такой функции.

Недостатки:

• Возможно, плохо масштабируется, если файлов слишком много. (Предел? Я не знаю, но я протестировал файл списка размером 10 МБ, который включает в себя более 10000 имен файлов без проблем, под Debian)

Ну ... кто знает, доступен ли Bash на OS X?