Поиск и замена в bash с использованием регулярных выражений

Я видел этот пример:

hello=ho02123ware38384you443d34o3434ingtod38384day
echo ${hello//[0-9]/}

Который следует этому синтаксису: ${variable//pattern/replacement}

К сожалению, patternполе не поддерживает полный синтаксис регулярных выражений (если я использую .или \s, например, оно пытается соответствовать буквенным символам).

Как я могу найти / заменить строку, используя полный синтаксис регулярных выражений?

Используйте sed :

MYVAR=ho02123ware38384you443d34o3434ingtod38384day
echo "$MYVAR" | sed -e 's/[a-zA-Z]/X/g' -e 's/[0-9]/N/g'
# prints XXNNNNNXXXXNNNNNXXXNNNXNNXNNNNXXXXXXNNNNNXXX

Обратите внимание, что последующие -eобрабатываются по порядку. Кроме того, gфлаг для выражения будет соответствовать всем вхождениям на входе.

Вы также можете выбрать свой любимый инструмент, используя этот метод, например, perl, awk, например:

echo "$MYVAR" | perl -pe 's/[a-zA-Z]/X/g and s/[0-9]/N/g'

Это может позволить вам делать больше творческих соответствий ... Например, в приведенном выше фрагменте замена чисел не будет использоваться, если в первом выражении не будет совпадения (из-за отложенной andоценки). И, конечно, у вас есть полная языковая поддержка Perl для выполнения ваших ставок ...

На самом деле это можно сделать в чистом виде:

hello=ho02123ware38384you443d34o3434ingtod38384day
re='(.*)[0-9]+(.*)'
while [[ $hello =~ $re ]]; do
  hello=${BASH_REMATCH[1]}${BASH_REMATCH[2]}
done
echo "$hello"

... дает ...

howareyoudoingtodday

Эти примеры также работают в bash, нет необходимости использовать sed:

#!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day
MYVAR=${MYVAR//[a-zA-Z]/X} 
echo ${MYVAR//[0-9]/N}

Вы также можете использовать скобочные выражения класса символов

#!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day
MYVAR=${MYVAR//[[:alpha:]]/X} 
echo ${MYVAR//[[:digit:]]/N}

вывод

XXNNNNNXXXXNNNNNXXXNNNXNNXNNNNXXXXXXNNNNNXXX

Однако @Lanaru хотел знать, если я правильно понимаю вопрос, почему «полные» или расширения PCRE и \s\S\w\W\d\Dт. Д. Не работают так, как это поддерживается в php ruby ​​python и т. Д. Эти расширения взяты из Perl-совместимых регулярных выражений (PCRE) и может быть несовместимо с другими формами регулярных выражений на основе оболочки.

Это не работает:

#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo ${hello//\d/}


#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo $hello | sed 's/\d//g'

вывод с удалением всех буквенных символов "d"

ho02123ware38384you44334o3434ingto38384ay

но следующее работает как ожидалось

#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo $hello | perl -pe 's/\d//g'

вывод

howareyoudoingtodday

Надеюсь, это проясняет ситуацию немного больше, но если вы еще не запутались, почему бы не попробовать это на Mac OS X, у которой включен флаг REG_ENHANCED:

#!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day;
echo $MYVAR | grep -o -E '\d'

На большинстве разновидностей * nix вы увидите только следующий вывод:

d
d
d

NJoy!

Если вы делаете повторные вызовы и обеспокоены производительностью, этот тест показывает, что метод BASH в ~ 15 раз быстрее, чем разветвление в sed и, вероятно, любой другой внешний процесс.

hello=123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X

P1=$(date +%s)

for i in {1..10000}
do
   echo $hello | sed s/X//g > /dev/null
done

P2=$(date +%s)
echo $[$P2-$P1]

for i in {1..10000}
do
   echo ${hello//X/} > /dev/null
done

P3=$(date +%s)
echo $[$P3-$P2]

Используйте [[:digit:]](обратите внимание на двойные скобки) в качестве шаблона:

$ hello=ho02123ware38384you443d34o3434ingtod38384day
$ echo ${hello//[[:digit:]]/}
howareyoudoingtodday

Просто хотел обобщить ответы (особенно на @ nickl-'s https://stackoverflow.com/a/22261334/2916086 ).

Я знаю, что это древняя ветка, но это был мой первый успех в Google, и я хотел бы поделиться следующим, resubчто я собрал, добавив поддержку нескольких обратных ссылок $ 1, $ 2 и т. Д. ...

#!/usr/bin/env bash

############################################
###  resub - regex substitution in bash  ###
############################################

resub() {
    local match="$1" subst="$2" tmp

    if [[ -z $match ]]; then
        echo "Usage: echo \"some text\" | resub '(.*) (.*)' '\$2 me \${1}time'" >&2
        return 1
    fi

    ### First, convert "$1" to "$BASH_REMATCH[1]" and 'single-quote' for later eval-ing...

    ### Utility function to 'single-quote' a list of strings
    squot() { local a=(); for i in "$@"; do a+=( $(echo \'${i//\'/\'\"\'\"\'}\' )); done; echo "${a[@]}"; }

    tmp=""
    while [[ $subst =~ (.*)\${([0-9]+)}(.*) ]] || [[ $subst =~ (.*)\$([0-9]+)(.*) ]]; do
        tmp="\${BASH_REMATCH[${BASH_REMATCH[2]}]}$(squot "${BASH_REMATCH[3]}")${tmp}"
        subst="${BASH_REMATCH[1]}"
    done
    subst="$(squot "${subst}")${tmp}"

    ### Now start (globally) substituting

    tmp=""
    while read line; do
        counter=0
        while [[ $line =~ $match(.*) ]]; do
            eval tmp='"${tmp}${line%${BASH_REMATCH[0]}}"'"${subst}"
            line="${BASH_REMATCH[$(( ${#BASH_REMATCH[@]} - 1 ))]}"
        done
        echo "${tmp}${line}"
    done
}

resub "$@"

##################
###  EXAMPLES  ###
##################

###  % echo "The quick brown fox jumps quickly over the lazy dog" | resub quick slow
###    The slow brown fox jumps slowly over the lazy dog

###  % echo "The quick brown fox jumps quickly over the lazy dog" | resub 'quick ([^ ]+) fox' 'slow $1 sheep'
###    The slow brown sheep jumps quickly over the lazy dog

###  % animal="sheep"
###  % echo "The quick brown fox 'jumps' quickly over the \"lazy\" \$dog" | resub 'quick ([^ ]+) fox' "\"\$low\" \${1} '$animal'"
###    The "$low" brown 'sheep' 'jumps' quickly over the "lazy" $dog

###  % echo "one two three four five" | resub "one ([^ ]+) three ([^ ]+) five" 'one $2 three $1 five'
###    one four three two five

###  % echo "one two one four five" | resub "one ([^ ]+) " 'XXX $1 '
###    XXX two XXX four five

###  % echo "one two three four five one six three seven eight" | resub "one ([^ ]+) three ([^ ]+) " 'XXX $1 YYY $2 '
###    XXX two YYY four five XXX six YYY seven eight

H / T в @Charles Duffy re:(.*)$match(.*)