Посчитайте все вхождения строки во множестве файлов с помощью grep

У меня есть куча файлов журналов. Мне нужно выяснить, сколько раз строка встречается во всех файлах.

grep -c string *

возвращается

...
file1:1
file2:0
file3:0
...

Используя канал, я смог получить только те файлы, которые имеют одно или несколько вхождений:

grep -c string * | grep -v :0

...
file4:5
file5:1
file6:2
...

Как я могу получить только комбинированный счет? (Если он вернется file4:5, file5:1, file6:2, я хочу вернуться 8.)

cat * | grep -c string

Это работает для нескольких вхождений в строке:

grep -o string * | wc -l

grep -oh string * | wc -w

будет считать несколько вхождений в строке

Вместо того, чтобы использовать -c, просто направьте его в wc -l.

grep string * | wc -l

Это перечислит каждое вхождение в одной строке, а затем посчитает количество строк.

Это будет пропускать случаи, когда строка встречается 2+ раза в одной строке.

cat * | grep -c string

Одно из редких полезных приложений cat.

Что-то отличное от всех предыдущих ответов:

perl -lne '$count++ for m/<pattern>/g;END{print $count}' *

Вы можете добавить -Rк поиску рекурсивно (и избегать использовать cat) и -Iигнорировать двоичные файлы.

grep -RIc string .

Обязательное решение AWK:

grep -c string * | awk 'BEGIN{FS=":"}{x+=$2}END{print x}'

Будьте осторожны, если ваши имена файлов включают в себя «:».

Решение AWK, которое также обрабатывает имена файлов, включая двоеточия:

grep -c string * | sed -r 's/^.*://' | awk 'BEGIN{}{x+=$1}END{print x}'

Имейте в виду, что этот метод все еще не находит несколько вхождений stringв одной строке.

Если вы хотите количество вхождений в файл (например, для строки "tcp"):

grep -RIci "tcp" . | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Пример вывода:

53  ./HTTPClient/src/HTTPClient.cpp
21  ./WiFi/src/WiFiSTA.cpp
19  ./WiFi/src/ETH.cpp
13  ./WiFi/src/WiFiAP.cpp
4   ./WiFi/src/WiFiClient.cpp
4   ./HTTPClient/src/HTTPClient.h
3   ./WiFi/src/WiFiGeneric.cpp
2   ./WiFi/examples/WiFiClientBasic/WiFiClientBasic.ino
2   ./WiFiClientSecure/src/ssl_client.cpp
1   ./WiFi/src/WiFiServer.cpp

Объяснение:

• grep -RIci NEEDLE . - ищет строку NEEDLE рекурсивно из текущего каталога (по символическим ссылкам), игнорируя двоичные файлы, считая количество вхождений, игнорируя регистр
• awk ... - эта команда игнорирует файлы с нулевым числом вхождений и форматирует строки
• sort -hr - сортирует строки в обратном порядке по номерам в первом столбце

Конечно, он работает и с другими командами grep с параметром -c(count). Например:

grep -c "tcp" *.txt | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Вы можете использовать простой, grepчтобы эффективно зафиксировать количество вхождений. Я буду использовать -iопцию, чтобы убедиться,STRING/StrING/string правильно поймают.

Командная строка, которая дает имя файла:

grep -oci string * | grep -v :0

Командная строка, которая удаляет имена файлов и печатает 0, если есть файл без вхождений:

grep -ochi string *

короткий рекурсивный вариант:

find . -type f -exec cat {} + | grep -c 'string'

Grep единственное решение, которое я тестировал с grep для windows:

grep -ro "pattern to find in files" "Directory to recursively search" | grep -c "pattern to find in files"

Это решение будет подсчитывать все вхождения, даже если их несколько в одной строке. -rрекурсивно ищет в каталоге, -o«покажет только часть строки, соответствующую PATTERN» - это то, что разбивает несколько вхождений на одну строку и заставляет grep печатать каждое совпадение на новой строке; затем передайте эти результаты с разделением на новую строку обратно в grep, -cчтобы подсчитать количество вхождений, используя тот же шаблон.

Вот более быстрый, чем grep AWK альтернативный способ сделать это, который обрабатывает несколько совпадений <url>на строку в коллекции файлов XML в каталоге:

awk '/<url>/{m=gsub("<url>","");total+=m}END{print total}' some_directory/*.xml

Это хорошо работает в тех случаях, когда некоторые XML-файлы не имеют разрывов строк.

Другой oneliner, использующий основные функции командной строки, обрабатывающий несколько вхождений на строку.

 cat * |sed s/string/\\\nstring\ /g |grep string |wc -l