Как я рекурсивно grep через файлы .gz?

Я использую скрипт для регулярной загрузки моих сообщений gmail, которые сжимают необработанные .eml в файлы .gz. Сценарий создает папку для каждого дня, а затем сжимает каждое сообщение в свой собственный файл.

Я хотел бы найти в этом архиве «строку».

Один Grep, похоже, не делает этого. Я также попробовал SearchMonkey.

Если вы хотите рекурсивно выполнять grep во всех файлах .eml.gz в текущем каталоге, вы можете использовать:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Вы должны убежать от первого, *чтобы оболочка не интерпретировала его. -print0говорит find для печати нулевого символа после каждого найденного файла; xargs -0читает из стандартного ввода и запускает команду после него для каждого файла; zgrepработает как grep, но сначала распаковывает файл.

Здесь много путаницы, потому что ее нет zgrep. У меня есть две версии в моей системе, zgrepиз gzipи zgrepиз zutils. Первый - это просто скрипт-обертка, который вызывает gzip -cdfq. Он не поддерживает -r, --recursiveпереключатель. ¹
Последняя представляет собой c++программу , и она поддерживает в -r, --recursiveопции.
Запуск zgrep --version | head -n 1покажет, какой из них (если есть) является значением по умолчанию:

zgrep (gzip) 1.6

это скрипт-обертка,

zgrep (zutils) 1.3

это cppисполняемый файл.
Если у вас есть последний, вы можете запустить:

zgrep 'pattern' -r --format=gz /path/to/dir

В любом случае, как и предполагалось, find+ zgrepбудет одинаково хорошо работать с любой версией zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Если zgrepотсутствует в вашей системе (очень маловероятно), вы можете попробовать с:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

но есть существенный недостаток: вы не будете знать, где находятся совпадения, так как к совпадающим строкам нет имени файла.

^{1: потому что это было бы проблематично}

agэто вариант grep, с некоторыми приятными дополнительными функциями.

• имеет опцию -z для сжатых файлов,
• имеет много особенностей.
• это быстро

Так:

ag -r -z your-pattern-goes-here   folder

Если не установлен,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

Одна рекурсия легка:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Однако для сжатых файлов вам нужно что-то вроде:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory должен быть родительским каталогом, который содержит подкаталоги для каждого дня.

zgrepэто очевидный ответ, но, к сожалению, он не поддерживает -rфлаг. От man zgrep:

Эти параметры grep приведут к завершению работы zgrep с кодом ошибки: (- [d rR zZ] | --di * | --exc * | --inc * | --rec * | --nu *).

Если ваша система имеет zgrep, вы можете просто

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Если в вашей системе нет zgrep, вы можете использовать команду find для запуска zcat и grep для каждого файла следующим образом:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "строка" ./*/*.eml.gz

xzgrep является производной от утилит zgrep (less / bin / xzgrep)

Со страницы Man:

xzgrep вызывает grep (1) для файлов, которые могут быть распакованы или сжаты с помощью xz (1), lzma (1), gzip (1), bzip2 (1) или lzop (1). Все указанные параметры передаются непосредственно в grep (1).

-l распечатать соответствующее имя файла

-R для рекурсии не будет работать, так как это специально запрещено в скрипте, однако простое перетаскивание оболочки должно привести нас туда

./*/*.eml.gz

из относительного пути, где ./today/sample.eml.gz, совпадают во всех экземплярах, которые находятся на один уровень ниже нашего относительного положения в оболочке, что заканчивается на «.eml.gz»