Не жадное (неохотное) сопоставление регулярных выражений в sed?

Я пытаюсь использовать sed для очистки строк URL-адресов, чтобы извлечь только домен.

Так из:

http://www.suepearson.co.uk/product/174/71/3816/

Я хочу:

http://www.suepearson.co.uk/

(с косой чертой или без нее, это не имеет значения)

Я пытался:

 sed 's|\(http:\/\/.*?\/\).*|\1|'

и (избегая не жадного квантификатора)

sed 's|\(http:\/\/.*\?\/\).*|\1|'

но я не могу заставить ?работать не жадный квантификатор ( ), поэтому он всегда совпадает со всей строкой.

Ни базовое, ни расширенное регулярное выражение Posix / GNU не распознает не жадный квантификатор; вам нужно позднее регулярное выражение К счастью, Perl регулярное выражение для этого контекста довольно легко получить:

perl -pe 's|(http://.*?/).*|\1|'

В этом конкретном случае вы можете выполнить работу без использования не жадных регулярных выражений.

Попробуйте это не жадное регулярное выражение [^/]*вместо .*?:

sed 's|\(http://[^/]*/\).*|\1|g'

С помощью sed я обычно реализую не жадный поиск, ища что-либо, кроме разделителя до разделителя:

echo "http://www.suon.co.uk/product/1/7/3/" | sed -n 's;\(http://[^/]*\)/.*;\1;p'

Вывод:

http://www.suon.co.uk

это:

• не выводить -n
• поиск, сопоставление шаблона, замена и печать s/<pattern>/<replace>/p
• используйте ;разделитель команды поиска вместо того, /чтобы было проще набиратьs;<pattern>;<replace>;p
• помните матч между кронштейнами \(... \), потом доступны с \1, \2...
• матч http://
• после чего - либо в скобках [], [ab/]будет означать либо aили bили/
• сначала ^в []средствах not, поэтому следуют все, кроме вещи в[]
• так [^/]значит что угодно, кроме /персонажа
• *повторять предыдущую группу, [^/]*значит, символы кроме /.
• до сих пор sed -n 's;\(http://[^/]*\)означает поиск и запоминание, http://за которым следуют любые символы, кроме как, /и помните, что вы нашли
• мы хотим выполнить поиск до конца домена, поэтому остановитесь на следующем, /добавьте еще один /в конце: sed -n 's;\(http://[^/]*\)/'но мы хотим сопоставить остаток строки после домена, поэтому добавьте.*
• Теперь совпадение, запомненное в группе 1 ( \1), является доменом, поэтому замените сопоставленную строку материалом, сохраненным в группе, \1и напечатайте:sed -n 's;\(http://[^/]*\)/.*;\1;p'

Если вы хотите включить обратную косую черту и после домена, добавьте еще одну обратную косую черту в группу, чтобы запомнить:

echo "http://www.suon.co.uk/product/1/7/3/" | sed -n 's;\(http://[^/]*/\).*;\1;p'

вывод:

http://www.suon.co.uk/

sed не поддерживает «не жадный» оператор.

Вы должны использовать оператор «[]», чтобы исключить «/» из совпадения.

sed 's,\(http://[^/]*\)/.*,\1,'

PS нет необходимости использовать обратную косую черту "/".

Имитация ленивого (не жадного) квантификатора в sed

И все другие регулярные выражения!

1. Нахождение первого вхождения выражения:

   • POSIX ERE (используя -rопцию)

     Regex:

     (EXPRESSION).*|.

     Sed:

     sed -r ‍'s/(EXPRESSION).*|./\1/g' # Global `g` modifier should be on

     Пример (поиск первой последовательности цифр) Демо :

     $ sed -r 's/([0-9]+).*|./\1/g' <<< 'foo 12 bar 34'

     12

     Как это работает ?

     Это регулярное выражение извлекает выгоду из чередования |. В каждой позиции движок пытается выбрать самое длинное совпадение (это стандарт POSIX, за которым следуют также несколько других движков), что означает, что оно продолжается .до тех пор, пока не будет найдено совпадение ([0-9]+).*. Но порядок тоже важен.

     

     Поскольку установлен глобальный флаг, движок пытается продолжить сопоставление символ за символом до конца входной строки или нашей цели. Как только первая и единственная группа захвата левой стороны чередования совпадает, (EXPRESSION)остаток линии также потребляется немедленно .*. Теперь мы держим нашу ценность в первой группе захвата.

   • POSIX BRE

     Regex:

     \(\(\(EXPRESSION\).*\)*.\)*

     Sed:

     sed 's/\(\(\(EXPRESSION\).*\)*.\)*/\3/'

     Пример (поиск первой последовательности цифр):

     $ sed 's/\(\(\([0-9]\{1,\}\).*\)*.\)*/\3/' <<< 'foo 12 bar 34'

     12

     Это похоже на версию ERE, но без чередования. Это все. В каждой позиции двигатель пытается сопоставить цифру.

     

     Если он найден, другие следующие цифры потребляются и захватываются, и остальная часть строки сопоставляется немедленно, в противном случае, так как *означает больше или ноль, он пропускает вторую группу захвата \(\([0-9]\{1,\}\).*\)*и достигает точки, .чтобы соответствовать одному символу, и этот процесс продолжается.

2. Нахождение первого вхождения с разделителями выражения :

   Этот подход будет соответствовать самому первому вхождению строки с разделителями. Мы можем назвать это блоком строк.

   sed 's/\(END-DELIMITER-EXPRESSION\).*/\1/; \
        s/\(\(START-DELIMITER-EXPRESSION.*\)*.\)*/\1/g'

   Строка ввода:

   foobar start block #1 end barfoo start block #2 end

   -EDE: end

   -SDE: start

   $ sed 's/\(end\).*/\1/; s/\(\(start.*\)*.\)*/\1/g'

   Вывод:

   start block #1 end

   Первое регулярное выражение \(end\).*сопоставляет и захватывает первый конечный разделитель endи заменяет все совпадения на последние захваченные символы, которые являются конечным разделителем. На этом этапе наш вывод: foobar start block #1 end.

   

   Затем результат передается второму регулярному выражению \(\(start.*\)*.\)*, которое совпадает с вышеприведенной версией POSIX BRE. Он соответствует одному символу, если начальный разделитель startне совпадает, в противном случае он совпадает и захватывает начальный разделитель и соответствует остальным символам.

   

Непосредственно отвечая на ваш вопрос

Используя подход № 2 (выражение с разделителями), вы должны выбрать два подходящих выражения:

• EDE: [^:/]\/

• SDE: http:

Применение:

$ sed 's/\([^:/]\/\).*/\1/g; s/\(\(http:.*\)*.\)*/\1/' <<< 'http://www.suepearson.co.uk/product/174/71/3816/'

Вывод:

http://www.suepearson.co.uk/

Примечание: это не будет работать с одинаковыми разделителями.

Нежадное решение для более чем одного персонажа

Эта ветка действительно старая, но я предполагаю, что людям она все еще нужна. Допустим, вы хотите убить все до самого первого появления HELLO. Вы не можете сказать [^HELLO]...

Таким образом, хорошее решение состоит из двух этапов, при условии, что вы можете сэкономить уникальное слово, которое, например, вы не ожидаете при вводе top_sekrit.

В этом случае мы можем:

s/HELLO/top_sekrit/     #will only replace the very first occurrence
s/.*top_sekrit//        #kill everything till end of the first HELLO

Конечно, при более простом вводе вы можете использовать меньшее слово или, возможно, даже один символ.

НТН!

sed - не жадное совпадение от Christoph Sieghart

Уловка, чтобы получить не жадное соответствие в sed, состоит в том, чтобы сопоставить все символы, кроме того, который заканчивает соответствие. Я знаю, нетрудно, но я потратил драгоценные минуты на это, и сценарии оболочки должны быть, в конце концов, быстрыми и легкими. Так что в случае, если это может понадобиться кому-то другому:

Жадный подход

% echo "<b>foo</b>bar" | sed 's/<.*>//g'
bar

Не жадное совпадение

% echo "<b>foo</b>bar" | sed 's/<[^>]*>//g'
foobar

Это можно сделать с помощью cut:

echo "http://www.suepearson.co.uk/product/174/71/3816/" | cut -d'/' -f1-3

Другой способ, не используя регулярное выражение, это использовать метод fields / delimiter, например

string="http://www.suepearson.co.uk/product/174/71/3816/"
echo $string | awk -F"/" '{print $1,$2,$3}' OFS="/"

sed конечно есть свое место но это не один из них!

Как указал Ди: просто используйте cut. В этом случае все гораздо проще и безопаснее. Вот пример, где мы извлекаем различные компоненты из URL, используя синтаксис Bash:

url="http://www.suepearson.co.uk/product/174/71/3816/"

protocol=$(echo "$url" | cut -d':' -f1)
host=$(echo "$url" | cut -d'/' -f3)
urlhost=$(echo "$url" | cut -d'/' -f1-3)
urlpath=$(echo "$url" | cut -d'/' -f4-)

дает тебе:

protocol = "http"
host = "www.suepearson.co.uk"
urlhost = "http://www.suepearson.co.uk"
urlpath = "product/174/71/3816/"

Как видите, это гораздо более гибкий подход.

(все заслуги перед Ди)

sed 's|(http:\/\/[^\/]+\/).*|\1|'

sed -E интерпретирует регулярные выражения как расширенные (современные) регулярные выражения

Обновление: -E в MacOS X, -r в GNU sed.

Все еще есть надежда решить эту проблему с помощью чистого (GNU) sed. Несмотря на то, что это не универсальное решение, в некоторых случаях вы можете использовать «циклы» для удаления всех ненужных частей строки, например:

sed -r -e ":loop" -e 's|(http://.+)/.*|\1|' -e "t loop"

• -r: использовать расширенное регулярное выражение (для + и неэкранированных скобок)
• ": loop": определить новую метку с именем "loop"
• -e: добавить команды в sed
• «t loop»: вернуться к метке «loop», если произошла успешная замена

Единственная проблема здесь заключается в том, что он также обрезает последний символ-разделитель ('/'), но если он вам действительно нужен, вы все равно можете просто вернуть его после окончания цикла, просто добавьте эту дополнительную команду в конце предыдущего командная строка:

-e "s,$,/,"

Поскольку вы специально указали, что пытаетесь использовать sed (вместо perl, cut и т. Д.), Попробуйте группировать. Это позволяет обойтись без жадного идентификатора, который может быть не распознан. Первая группа - это протокол (т. Е. «Http: //», «https: //», «tcp: //» и т. Д.). Вторая группа - это домен:

echo "http://www.suon.co.uk/product/1/7/3/" | sed "s | ^ \ (. * // \) \ ([^ /] * \). * $ | \ 1 \ 2 |"

Если вы не знакомы с группировкой, начните здесь .

Я понимаю, что это старая запись, но кто-то может найти ее полезной. Поскольку полное доменное имя не должно превышать общую длину 253 символов, замените. * На. \ {1, 255 \}

Это - то, как надежно выполнить не жадное сопоставление многосимвольных строк, используя sed. Допустим , вы хотите изменить каждый , foo...barчтобы <foo...bar>так, например , этот вход:

$ cat file
ABC foo DEF bar GHI foo KLM bar NOP foo QRS bar TUV

должен стать этот вывод:

ABC <foo DEF bar> GHI <foo KLM bar> NOP <foo QRS bar> TUV

Для этого вы конвертируете foo и bar в отдельные символы, а затем используете отрицание этих символов между ними:

$ sed 's/@/@A/g; s/{/@B/g; s/}/@C/g; s/foo/{/g; s/bar/}/g; s/{[^{}]*}/<&>/g; s/}/bar/g; s/{/foo/g; s/@C/}/g; s/@B/{/g; s/@A/@/g' file
ABC <foo DEF bar> GHI <foo KLM bar> NOP <foo QRS bar> TUV

В приведенном выше:

1. s/@/@A/g; s/{/@B/g; s/}/@C/gпреобразует {и }в строки-заполнители, которые не могут существовать во входных данных, поэтому эти символы затем доступны для преобразования fooиbar в.
2. s/foo/{/g; s/bar/}/gпреобразует fooи barк {и} , соответственно ,
3. s/{[^{}]*}/<&>/gвыполняет операцию, которую мы хотим - преобразование foo...barв<foo...bar>
4. s/}/bar/g; s/{/foo/gпреобразует {и }обратно к fooиbar .
5. s/@C/}/g; s/@B/{/g; s/@A/@/g преобразует строки заполнителя обратно в их исходные символы.

Обратите внимание, что вышеприведенное не зависит от какой-либо конкретной строки, отсутствующей во входных данных, поскольку она производит такие строки на первом шаге, и не заботится о том, какое вхождение какого-либо конкретного регулярного выражения вы хотите сопоставить, поскольку вы можете использовать {[^{}]*}столько раз, сколько необходимо в выражении, чтобы изолировать фактическое совпадение, которое вы хотите, и / или с оператором числового совпадения seds, например, чтобы заменить только второе вхождение:

$ sed 's/@/@A/g; s/{/@B/g; s/}/@C/g; s/foo/{/g; s/bar/}/g; s/{[^{}]*}/<&>/2; s/}/bar/g; s/{/foo/g; s/@C/}/g; s/@B/{/g; s/@A/@/g' file
ABC foo DEF bar GHI <foo KLM bar> NOP foo QRS bar TUV

Еще не видели этот ответ, поэтому вот как вы можете сделать это с помощью viили vim:

vi -c '%s/\(http:\/\/.\{-}\/\).*/\1/ge | wq' file &>/dev/null

Это запускает vi :%sподстановку глобально (завершающий g), воздерживается от выдачи ошибки, если шаблон не найден ( e), затем сохраняет полученные изменения на диск и завершает работу. Это &>/dev/nullпредотвращает кратковременное мигание графического интерфейса на экране, что может раздражать.

Мне нравится viиногда использовать для сверхсложных регулярных выражений, потому что (1) perl умер замертво , (2) vim имеет очень продвинутый движок регулярных выражений, и (3) я уже близко знаком с viрегулярными выражениями в моем повседневном редактировании использования документы.

echo "/home/one/two/three/myfile.txt" | sed 's|\(.*\)/.*|\1|'

не беспокойтесь, я получил это на другом форуме :)

sed 's|\(http:\/\/www\.[a-z.0-9]*\/\).*|\1| тоже работает

Вот что вы можете сделать с помощью двухэтапного подхода и awk:

A=http://www.suepearson.co.uk/product/174/71/3816/  
echo $A|awk '  
{  
  var=gensub(///,"||",3,$0) ;  
  sub(/\|\|.*/,"",var);  
  print var  
}'  

Выход: http://www.suepearson.co.uk

Надеюсь, это поможет!

Еще одна версия sed:

sed 's|/[:alnum:].*||' file.txt

Это соответствует /сопровождаемый буквенно-цифровым символом (таким образом, не другой слеш), а также остальными символами до конца строки. После этого он заменяет его ничем (т.е. удаляет его).