Есть ли способ предотвратить интерпретацию замещающей строки в sed? [закрыто]

Если вы хотите заменить ключевое слово на строку с помощью sed, sed старается интерпретировать заменяемую строку. Если в строке замены есть символы, которые sed считает специальными, например, символ '/', то произойдет сбой, если, конечно, вы не предполагали, что в строке замены есть символы, которые говорят sed, как действовать.

Пример:

VAR="hi/"

sed "s/KEYWORD/$VAR/g" somefile

Есть ли способ сказать sed не пытаться интерпретировать строку замены для специальных символов? Все, что я хочу - это иметь возможность заменить ключевое слово в файле содержимым переменной, независимо от того, что это за содержимое.

Есть только 4 специальных символов в сменной части: \, &, перевод строки и разделитель ( ссылка )

$ VAR='abc/def&ghi\foo
next line'

$ repl=$(sed -e 's/[&\\/]/\\&/g; s/$/\\/' -e '$s/\\$//' <<<"$VAR")

$ echo "$repl"
abc\/def\&ghi\\foo\
next line

$ echo ZYX | sed "s/Y/$repl/g"
Zabc/def&ghi\foo
next lineX

Вы можете использовать Perl вместо sed с помощью -p(предположите, что цикл за вводом) и -e(укажите программу в командной строке). С Perl вы можете обращаться к переменным окружения, не интерполируя их в оболочке. Обратите внимание, что переменная должна быть экспортирована :

export VAR='hi/'
perl -p -e 's/KEYWORD/$ENV{VAR}/g' somefile

Если вы не хотите экспортировать переменную везде, просто предоставьте ее только для этого процесса:

PATTERN="$VAR" perl -p -e 's/KEYWORD/$ENV{PATTERN}/g' somefile

Обратите внимание, что синтаксис регулярного выражения в Perl по умолчанию немного отличается от синтаксиса sed.

Самое простое решение, которое по-прежнему будет правильно обрабатывать подавляющее большинство значений переменных, заключается в использовании непечатаемого символа в качестве разделителя для sedкоманды замены.

В viвы можете избежать любого символа управления, набрав Ctrl-V (чаще записываются в виде ^V). Поэтому, если вы используете какой-либо управляющий символ (я часто использую ^Aв качестве разделителя в этих случаях), ваша sedкоманда будет прерываться, только если этот непечатаемый символ присутствует в переменной, в которую вы добавляете.

Таким образом, вы напечатаете, "s^V^AKEYWORD^V^A$VAR^V^Ag"и то, что вы получите (в vi), будет выглядеть так:

sed "s^AKEYWORD^A$VAR^Ag" somefile

Это будет работать до тех пор, пока $VARне будет содержать ^Aнепечатный символ, что крайне маловероятно.

Конечно, если вы передаете пользовательский ввод в значение $VAR, тогда все ставки отключены, и вам лучше тщательно санировать свой ввод, чем полагаться на то, что контрольные символы сложно набрать для обычного пользователя.

Однако на самом деле нужно знать больше, чем строка-разделитель. Например, &когда присутствует в строке замены, означает «весь текст, который был сопоставлен». Например, s/stu../my&/заменил бы «stuff» на «mystuff», «stung» на «mystung» и т. Д. Итак, если у вас есть какой-либо символ в переменной, который вы добавляете в качестве строки замены, но вы хотите использовать литерал только значение переменной, тогда у вас есть некоторая очистка данных, прежде чем вы сможете использовать переменную в качестве строки замены в sed. (Однако очистка данных может быть выполнена sedтакже.)

Вместо этого вы можете использовать a ,или a, |и он будет восприниматься как разделитель, а технически вы можете использовать что угодно

со страницы руководства

\cregexpc
           Match lines matching the regular expression regexp.  The  c  may
      be any character.

Как вы можете видеть, вы должны начинать с \ перед вашим разделителем в начале, тогда вы можете использовать его как разделитель.

из документации http://www.gnu.org/software/sed/manual/sed.html#The-_0022s_0022-Command :

The / characters may be uniformly replaced by any other single character 
within any given s command.

The / character (or whatever other character is used in its stead) can appear in 
the regexp or replacement only if it is preceded by a \ character.

Пример:

sed -e 'somevar|s|foo|bar|'
echo "Hello all" | sed "s_all_user_"
echo "Hello all" | sed "s,all,user,"

echo "Hello/ World" | sed "s,Hello/,Neo,"

Если он основан на строках и заменяется только одной строкой, я рекомендую добавить сам файл с помощью строки замены printf, сохраняя эту первую строку в месте sedдля хранения, и добавляя ее при необходимости. Таким образом, вам не нужно беспокоиться о специальных символах. (Единственное допущение здесь состоит в том, что он $VARсодержит одну строку текста без каких-либо символов новой строки, о чем вы уже говорили в комментариях.) Кроме строк новой строки, VAR может содержать все что угодно, и это будет работать независимо.

VAR=whatever
{ printf '%s\n' "$VAR";cat somefile; } | sed '1{h;d;};/KEYWORD/g'

printf '%s\n'будет печатать содержимое $VARв виде буквенной строки, независимо от ее содержимого, за которой следует новая строка. ( echoв некоторых случаях будет выполнять другие действия, например, если содержимое $VARначинается с дефиса - это будет интерпретироваться как передаваемый флаг опции echo.)

Скобки используются для добавления вывода printfк содержимому того, somefileкак оно передается sed. Здесь важны пробелы, разделяющие фигурные скобки, и точка с запятой перед закрывающей фигурной скобкой.

1{h;d;};как sedкоманда будет хранить первую строку текста в sed«S трюма , затем dдалить линию (а не печать).

/KEYWORD/применяет следующие действия ко всем строкам, которые содержат KEYWORD. Действие - это get, которое получает содержимое пространства удержания и удаляет его вместо пространства шаблона - другими словами, всей текущей строки. (Это не для замены только части строки.) Между прочим, пространство удержания не освобождается, а просто копируется в пространство шаблона, заменяя все, что там есть.

Если вы хотите привязать свое регулярное выражение, чтобы оно не совпадало со строкой, которая просто содержит KEYWORD, а содержит только строку, в которой нет ничего другого, кроме KEYWORD, добавьте начало строки anchor ( ^) и конец строки anchor ( $) в Ваше регулярное выражение:

VAR=whatever
{ printf '%s\n' "$VAR";cat somefile; } | sed '1{h;d;};/^KEYWORD$/g'

Вы можете использовать обратную косую черту в прямой строке замены, используя расширение параметра подстановки шаблона Bash. Это немного грязно, потому что косые черты также нужно избегать для Bash.

$ var='a/b/c';var="${var//\//\\/}";echo 'this is a test' | sed "s/i/$var/g"

вывод

tha/b/cs a/b/cs a test

Вы можете поместить расширение параметра непосредственно в вашу команду sed:

$ var='a/b/c';echo 'this is a test' | sed "s/i/${var//\//\\/}/g"

но я думаю, что первая форма немного более читабельна. И, конечно, если вы собираетесь повторно использовать один и тот же шаблон замены в нескольких командах sed, имеет смысл просто выполнить преобразование один раз.

Другим вариантом будет использование сценария, написанного на awk, perl или Python, или C-программы, для выполнения замен вместо использования sed.

Вот простой пример в Python, который работает, если заменяемое ключевое слово является полной строкой во входном файле (не считая перевода строки). Как видите, это по сути тот же алгоритм, что и в вашем примере с Bash, но он читает входной файл более эффективно.

import sys

#Get the keyword and replacement texts from the command line
keyword, replacement = sys.argv[1:]
for line in sys.stdin:
    #Strip any trailing whitespace
    line = line.rstrip()
    if line == keyword:
        line = replacement
    print(line)

Это путь, которым я пошел:

#Replaces a keyword with a long string
#
#This is normally done with sed, but sed
#tries to interpret the string you are
#replacing the keyword with too hard
#
#stdin - contents to look through
#Arg 1 - keyword to replace
#Arg 2 - what to replace keyword with
replace() {
        KEYWORD="$1"
        REPLACEMENT_STRING="$2"

        while IFS= read -r LINE
        do
                if [[ "$LINE" == "$KEYWORD" ]]
                then
                        printf "%s\n" "$REPLACEMENT_STRING"
                else
                        printf "%s\n" "$LINE"
                fi
        done < /dev/stdin
}

это прекрасно работает в моем случае, потому что мое ключевое слово в строке само по себе. Если ключевое слово находится в строке с другим текстом, это не будет работать.

Я все еще хотел бы знать, есть ли простой способ сделать это, не включающий в себя кодирование моего собственного решения.