Grep Match и извлечение

У меня есть файл, который содержит строки как

proto=tcp/http  sent=144        rcvd=52 spkt=3 
proto=tcp/https  sent=145        rcvd=52 spkt=3
proto=udp/dns  sent=144        rcvd=52 spkt=3

Мне нужно извлечь значение прото которое tcp/http, tcp/https, udp/dns.

До сих пор я пробовал это, grep -o 'proto=[^/]*/'но только смог извлечь значение как proto=tcp/.

Предполагая, что это связано с вашим предыдущим вопросом , вы идете по неверному пути. Вместо того, чтобы пытаться собрать воедино кусочки скриптов, которые будут делать то, что вы хотите, большую часть времени, и вам нужно будет получать совершенно разные скрипты каждый раз, когда вам нужно будет сделать что-то хоть немного отличающееся, просто создайте 1 скрипт, который может анализировать ваши входной файл в массив ( f[]ниже), который отображает ваши имена полей (теги) на их значения, а затем вы можете делать с результатом все, что захотите, например, учитывая этот входной файл из предыдущего вопроса:

$ cat file
Feb             3       0:18:51 17.1.1.1                      id=firewall     sn=qasasdasd "time=""2018-02-03"     22:47:55        "UTC""" fw=111.111.111.111       pri=6    c=2644        m=88    "msg=""Connection"      "Opened"""      app=2   n=2437       src=12.1.1.11:49894:X0       dst=4.2.2.2:53:X1       dstMac=42:16:1b:af:8e:e1        proto=udp/dns   sent=83 "rule=""5"      "(LAN->WAN)"""

мы можем написать скрипт awk, который создает массив значений, проиндексированных по их именам / тегам:

$ cat tst.awk
{
    f["hdDate"] = $1 " " $2
    f["hdTime"] = $3
    f["hdIp"]   = $4
    sub(/^([^[:space:]]+[[:space:]]+){4}/,"")

    while ( match($0,/[^[:space:]]+="?/) ) {
        if ( tag != "" ) {
            val = substr($0,1,RSTART-1)
            gsub(/^[[:space:]]+|("")?[[:space:]]*$/,"",val)
            f[tag] = val
        }

        tag = substr($0,RSTART,RLENGTH-1)
        gsub(/^"|="?$/,"",tag)

        $0 = substr($0,RSTART+RLENGTH)
    }

    val = $0
    gsub(/^[[:space:]]+|("")?[[:space:]]*$/,"",val)
    f[tag] = val
}

и учитывая, что вы можете делать со своими данными все, что угодно, просто ссылаясь на них по именам полей, например, используя GNU awk -eдля упрощения смешивания скрипта в файле со скриптом командной строки:

$ awk -f tst.awk -e '{for (tag in f) printf "f[%s]=%s\n", tag, f[tag]}' file
f[fw]=111.111.111.111
f[dst]=4.2.2.2:53:X1
f[sn]=qasasdasd
f[hdTime]=0:18:51
f[sent]=83
f[m]=88
f[hdDate]=Feb 3
f[n]=2437
f[app]=2
f[hdIp]=17.1.1.1
f[src]=12.1.1.11:49894:X0
f[c]=2644
f[dstMac]=42:16:1b:af:8e:e1
f[msg]="Connection"      "Opened"
f[rule]="5"      "(LAN->WAN)"
f[proto]=udp/dns
f[id]=firewall
f[time]="2018-02-03"     22:47:55        "UTC"
f[pri]=6

$ awk -f tst.awk -e '{print f["proto"]}' file
udp/dns

$ awk -f tst.awk -e 'f["proto"] ~ /udp/ {print f["sent"], f["src"]}' file
83 12.1.1.11:49894:X0

С grep -o, вы должны будете точно соответствовать тому, что вы хотите извлечь. Поскольку вы не хотите извлекать proto=строку, вам не следует сопоставлять ее.

Расширенное регулярное выражение, которое будет соответствовать tcpили udpпосле косой черты и некоторой непустой буквенно-цифровой строки:

(tcp|udp)/[[:alnum:]]+

Применяя это к вашим данным:

$ grep -E -o '(tcp|udp)/[[:alnum:]]+' file
tcp/http
tcp/https
udp/dns

Чтобы убедиться, что мы делаем это только в строках, начинающихся со строки proto=:

grep '^proto=' file | grep -E -o '(tcp|udp)/[[:alnum:]]+'

С помощью sedудаления всего до первого =и после первого пустого символа:

$ sed 's/^[^=]*=//; s/[[:blank:]].*//' file
tcp/http
tcp/https
udp/dns

Чтобы убедиться, что мы делаем это только для строк, начинающихся со строки proto=, вы можете вставить тот же шаг предварительной обработки, grepкак описано выше, или использовать

sed -n '/^proto=/{ s/^[^=]*=//; s/[[:blank:]].*//; p; }' file

Здесь мы подавляем вывод по умолчанию с помощью -nопции, а затем мы запускаем подстановки и явный вывод строки, только если строка совпадает ^proto=.

Используя awkразделитель полей по умолчанию, а затем разделив первое поле =и напечатав его второй бит:

$ awk '{ split($1, a, "="); print a[2] }' file
tcp/http
tcp/https
udp/dns

Чтобы убедиться, что мы делаем это только для строк, начинающихся со строки proto=, вы можете вставить тот же шаг предварительной обработки, grepкак описано выше, или использовать

awk '/^proto=/ { split($1, a, "="); print a[2] }' file

Если вы используете GNU grep (для -Pопции), вы можете использовать:

$ grep -oP 'proto=\K[^ ]*' file
tcp/http
tcp/https
udp/dns

Здесь мы сопоставляем proto=строку, чтобы убедиться, что мы извлекаем правильный столбец, но затем отбрасываем ее из вывода с \Kфлагом.

Выше предполагается, что столбцы разделены пробелом. Если табуляция также является допустимым разделителем, вы должны использовать \Sдля сопоставления непробельные символы, поэтому команда будет:

grep -oP 'proto=\K\S*' file

Если вы также хотите защитить от полей соответствия, где proto=есть подстрока, например thisisnotaproto=tcp/https, вы можете добавить границу слова \bследующим образом:

grep -oP '\bproto=\K\S*' file

Использование awk:

awk '$1 ~ "proto" { sub(/proto=/, ""); print $1 }' input

$1 ~ "proto"будет гарантировать, что мы protoдействуем только в строках с первым столбцом

sub(/proto=/, "")удалит proto=из ввода

print $1 печатает оставшийся столбец

$ awk '$1 ~ "proto" { sub(/proto=/, ""); print $1 }' input
tcp/http
tcp/https
udp/dns

Код игры в гольф на grepрешениях

grep -Po "..p/[^ ]+" file

или даже

grep -Po "..p/\S+" file

Используя cutкоманду:

cut -b 7-15 foo.txt

Просто еще одно grepрешение:

grep -o '[^=/]\+/[^ ]\+' file

И аналогичный с sedпечатью только сопоставленной захваченной группы:

sed -n 's/.*=\([^/]\+\/[^ ]\+\).*/\1/p' file

Другой awkподход:

$ awk -F'[= ]' '/=(tc|ud)p/{print $2}' file
tcp/http
tcp/https
udp/dns

Это установит в качестве разделителя полей awk либо =пробел, либо. Затем, если строка соответствует a =, затем либо, udлибо tcпосле a p, выведите 2-е поле.

Другой sedподход (не переносимый на все версии sed, но работает с GNU sed):

$ sed -En 's/^proto=(\S+).*/\1/p' file 
tcp/http
tcp/https
udp/dns

Значения -n«не печатать» и -Eвключает расширенные регулярные выражения, которые дают нам \S«непробельные символы», +«один или несколько» и круглые скобки для захвата. Наконец, /pв конце команда sed будет печатать строку только в том случае, если операция была успешной, поэтому, если было найдено совпадение для оператора подстановки.

И, perl один:

$ perl -nle '/^proto=(\S+)/ && print $1' file 
tcp/http
tcp/https
udp/dns

Это -nозначает «читать входной файл построчно и применять скрипт, заданный -eдля каждой строки». -lДобавляет символ новой строки к каждому printвызову (и удаляет покидающих перевода строки из входного). Сам скрипт напечатает самый длинный отрезок непробельных символов, найденных после a proto=.

Вот еще одно довольно простое решение:

grep -o "[tc,ud]*p\\/.*  "   INPUTFile.txt  |   awk '{print $1}'

awk '{print $1}' filename|awk -F "=" '{print $NF}'

cat file| cut -f1 -d' '| cut -f2 -d'='
tcp/http
tcp/https
udp/dns

варианты резки:

• -f - поле
• -d - делиметр