Какие символы должны быть экранированы при использовании Bash?

Есть ли исчерпывающий список символов, которые нужно экранировать в Bash? Это можно проверить только с sed?

В частности, я проверял, %нужно ли бежать или нет. Я попытался

echo "h%h" | sed 's/%/i/g'

и работал нормально, без побега %. Значит ли это, что %не нужно бежать? Был ли это хороший способ проверить необходимость?

И более общий: они одни и те же символы , чтобы бежать в shellи bash?

Есть два простых и безопасных правила, которые работают не только в, shно и в bash.

1. Поместите всю строку в одинарные кавычки

Это работает для всех символов, кроме одной кавычки. Чтобы избежать одиночной кавычки, закройте перед ней кавычку, вставьте одинарную кавычку и снова откройте кавычку.

'I'\''m a s@fe $tring which ends in newline
'

команда sed: sed -e "s/'/'\\\\''/g; 1s/^/'/; \$s/\$/'/"

2. Избегайте каждого символа с обратной косой чертой

Это работает для всех персонажей, кроме новой строки. Для символов новой строки используйте одинарные или двойные кавычки. Пустые строки все еще должны быть обработаны - заменить на""

\I\'\m\ \a\ \s\@\f\e\ \$\t\r\i\n\g\ \w\h\i\c\h\ \e\n\d\s\ \i\n\ \n\e\w\l\i\n\e"
"

СЕПГ команда: sed -e 's/./\\&/g; 1{$s/^$/""/}; 1!s/^/"/; $!s/$/"/'.

2b. Более читаемая версия 2

Есть простой безопасный набор символов, например [a-zA-Z0-9,._+:@%/-], который можно оставить без экранирования, чтобы сделать его более читабельным

I\'m\ a\ s@fe\ \$tring\ which\ ends\ in\ newline"
"

СЕПГ команда: LC_ALL=C sed -e 's/[^a-zA-Z0-9,._+@%/-]/\\&/g; 1{$s/^$/""/}; 1!s/^/"/; $!s/$/"/'.

Обратите внимание, что в программе sed невозможно узнать, заканчивается ли последняя строка ввода байтом новой строки (кроме случаев, когда он пуст). Вот почему обе приведенные выше команды sed предполагают, что это не так. Вы можете добавить цитируемую новую строку вручную.

Обратите внимание, что переменные оболочки определены только для текста в смысле POSIX. Обработка двоичных данных не определена. Для реализаций, которые имеют значение, двоичный код работает за исключением байтов NUL (поскольку переменные реализованы с помощью строк C и предназначены для использования в качестве строк C, а именно аргументов программы), но вам следует переключиться на «двоичный» языковой стандарт, такой как latin1 ,

(Вы можете легко проверить правила, прочитав спецификацию POSIX для sh. Для bash обратитесь к справочному руководству, связанному с @AustinPhillips)

формат, который можно использовать в качестве ввода оболочки

Для такого запроса существует специальная printf директива формата ( %q):

printf [-v var] формат [аргументы]

 %q     causes printf to output the corresponding argument
        in a format that can be reused as shell input.

Некоторые образцы:

read foo
Hello world
printf "%q\n" "$foo"
Hello\ world

printf "%q\n" $'Hello world!\n'
$'Hello world!\n'

Это можно использовать и через переменные:

printf -v var "%q" "$foo
"
echo "$var"
$'Hello world\n'

Быстрая проверка со всеми (128) байтами ascii:

Обратите внимание, что все байты от 128 до 255 должны быть экранированы.

for i in {0..127} ;do
    printf -v var \\%o $i
    printf -v var $var
    printf -v res "%q" "$var"
    esc=E
    [ "$var" = "$res" ] && esc=-
    printf "%02X %s %-7s\n" $i $esc "$res"
done |
    column

Это должно сделать что-то вроде:

00 E ''         1A E $'\032'    34 - 4          4E - N          68 - h      
01 E $'\001'    1B E $'\E'      35 - 5          4F - O          69 - i      
02 E $'\002'    1C E $'\034'    36 - 6          50 - P          6A - j      
03 E $'\003'    1D E $'\035'    37 - 7          51 - Q          6B - k      
04 E $'\004'    1E E $'\036'    38 - 8          52 - R          6C - l      
05 E $'\005'    1F E $'\037'    39 - 9          53 - S          6D - m      
06 E $'\006'    20 E \          3A - :          54 - T          6E - n      
07 E $'\a'      21 E \!         3B E \;         55 - U          6F - o      
08 E $'\b'      22 E \"         3C E \<         56 - V          70 - p      
09 E $'\t'      23 E \#         3D - =          57 - W          71 - q      
0A E $'\n'      24 E \$         3E E \>         58 - X          72 - r      
0B E $'\v'      25 - %          3F E \?         59 - Y          73 - s      
0C E $'\f'      26 E \&         40 - @          5A - Z          74 - t      
0D E $'\r'      27 E \'         41 - A          5B E \[         75 - u      
0E E $'\016'    28 E \(         42 - B          5C E \\         76 - v      
0F E $'\017'    29 E \)         43 - C          5D E \]         77 - w      
10 E $'\020'    2A E \*         44 - D          5E E \^         78 - x      
11 E $'\021'    2B - +          45 - E          5F - _          79 - y      
12 E $'\022'    2C E \,         46 - F          60 E \`         7A - z      
13 E $'\023'    2D - -          47 - G          61 - a          7B E \{     
14 E $'\024'    2E - .          48 - H          62 - b          7C E \|     
15 E $'\025'    2F - /          49 - I          63 - c          7D E \}     
16 E $'\026'    30 - 0          4A - J          64 - d          7E E \~     
17 E $'\027'    31 - 1          4B - K          65 - e          7F E $'\177'
18 E $'\030'    32 - 2          4C - L          66 - f      
19 E $'\031'    33 - 3          4D - M          67 - g      

Где первое поле является шестнадцатеричным значением байта, второе содержит, Eесли символ должен быть экранирован, а третье поле показывает экранированное представление символа.

Почему ,?

Вы могли видеть некоторые символы, которые не всегда нужно экранировать, например ,, }и {.

Так что не всегда , но когда - то :

echo test 1, 2, 3 and 4,5.
test 1, 2, 3 and 4,5.

или

echo test { 1, 2, 3 }
test { 1, 2, 3 }

но все равно

echo test{1,2,3}
test1 test2 test3

echo test\ {1,2,3}
test 1 test 2 test 3

echo test\ {\ 1,\ 2,\ 3\ }
test  1 test  2 test  3

echo test\ {\ 1\,\ 2,\ 3\ }
test  1, 2 test  3 

Чтобы избавить кого-то от необходимости использовать RTFM ... в bash :

Ограждающие символы в двойных кавычках сохраняет буквальное значение всех символов в кавычках, за исключением $, `, \и, когда раскрывание истории включено, !.

... так что если вы избежите этого (и сама цитата, конечно), вы, вероятно, в порядке.

Если вы придерживаетесь более консервативного подхода «когда сомневаетесь, избегайте его», следует избегать использования вместо них символов со специальным значением, не избегая идентифицирующих символов (т. Е. Букв ASCII, цифр или «_»). Очень маловероятно, что они когда-либо (т.е. в какой-то странной оболочке POSIX-ish) будут иметь особое значение и, следовательно, должны быть экранированы.

Используя эту print '%q' технику , мы можем запустить цикл, чтобы узнать, какие символы особенные:

#!/bin/bash
special=$'`!@#$%^&*()-_+={}|[]\\;\':",.<>?/ '
for ((i=0; i < ${#special}; i++)); do
    char="${special:i:1}"
    printf -v q_char '%q' "$char"
    if [[ "$char" != "$q_char" ]]; then
        printf 'Yes - character %s needs to be escaped\n' "$char"
    else
        printf 'No - character %s does not need to be escaped\n' "$char"
    fi
done | sort

Это дает такой вывод:

No, character % does not need to be escaped
No, character + does not need to be escaped
No, character - does not need to be escaped
No, character . does not need to be escaped
No, character / does not need to be escaped
No, character : does not need to be escaped
No, character = does not need to be escaped
No, character @ does not need to be escaped
No, character _ does not need to be escaped
Yes, character   needs to be escaped
Yes, character ! needs to be escaped
Yes, character " needs to be escaped
Yes, character # needs to be escaped
Yes, character $ needs to be escaped
Yes, character & needs to be escaped
Yes, character ' needs to be escaped
Yes, character ( needs to be escaped
Yes, character ) needs to be escaped
Yes, character * needs to be escaped
Yes, character , needs to be escaped
Yes, character ; needs to be escaped
Yes, character < needs to be escaped
Yes, character > needs to be escaped
Yes, character ? needs to be escaped
Yes, character [ needs to be escaped
Yes, character \ needs to be escaped
Yes, character ] needs to be escaped
Yes, character ^ needs to be escaped
Yes, character ` needs to be escaped
Yes, character { needs to be escaped
Yes, character | needs to be escaped
Yes, character } needs to be escaped

Некоторые результаты ,выглядят немного подозрительно. Было бы интересно получить отзывы @ CharlesDuffy по этому вопросу.

Символы, которые нужно экранировать, отличаются в Bourne или POSIX от Bash. Обычно (очень) Bash является надмножеством этих оболочек, поэтому все, что вы сбежали, shellдолжно быть сброшено в Bash.

Хорошим общим правилом было бы «если сомневаешься, избегай его». Но экранирование некоторых символов придает им особое значение, например \n. Они перечислены на man bashстраницах под Quotingи echo.

Кроме этого, избегайте любого символа, который не является буквенно-цифровым, это безопаснее. Я не знаю ни одного окончательного списка.

Страницы руководства перечисляют их все где-то, но не в одном месте. Учите язык, это способ быть уверенным.

Тот , который поймал меня есть !. Это специальный символ (расширение истории) в Bash (и csh), но не в оболочке Korn. Даже echo "Hello world!"дает проблемы. Использование одинарных кавычек, как обычно, удаляет особое значение.

Я предполагаю, что вы говорите о струнах bash. Существуют разные типы строк, которые имеют разные требования к экранированию. например. Строки в одинарных кавычках отличаются от строк в двойных кавычках.

Лучшим справочником является раздел цитирования руководства по bash.

Это объясняет, каких персонажей нужно убежать. Обратите внимание, что некоторым символам может потребоваться экранирование в зависимости от того, какие опции включены, например, расширение истории.

Я заметил, что bash автоматически экранирует некоторые символы при использовании автозаполнения.

Например, если у вас есть каталог с именем dir:A, bash автоматически завершитdir\:A

Используя это, я провел несколько экспериментов с использованием символов таблицы ASCII и вывел следующие списки:

Символы, которые удаляются через bash при автозаполнении : (включает пробел)

 !"$&'()*,:;<=>?@[\]^`{|}

Символы, которые bash не избежать :

#%+-.0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ_abcdefghijklmnopqrstuvwxyz~

(Я исключил /, так как его нельзя использовать в именах каталогов)