Почему printf «сжимается» умлаут?

Если я выполню следующий простой скрипт:

#!/bin/bash
printf "%-20s %s\n" "Früchte und Gemüse"   "foo"
printf "%-20s %s\n" "Milchprodukte"        "bar"
printf "%-20s %s\n" "12345678901234567890" "baz"

Это печатает:

Früchte und Gemüse foo
Milchprodukte        bar
12345678901234567890 baz

то есть текст с умлаутами (например, ü) сокращается на один символ за умлаут.

Конечно, у меня где-то неправильные настройки, но я не могу понять, какой это может быть.

Это происходит, если кодировка файла UTF-8.

Если я изменю его кодировку на latin-1, выравнивание будет правильным, но умлауты будут отображаться неправильно:

Fr�chte und Gem�se   foo
Milchprodukte        bar
12345678901234567890 baz

POSIX требует printf , %-20sчтобы эти 20 считались в байтах, а не в символах, хотя это не имеет особого смысла, как printfпечать текста в формате (см. Обсуждение в Austin Group (POSIX) и bashсписки рассылки).

Это printfвстроено bashи большинство других оболочек POSIX.

zshигнорирует это глупое требование (даже в shэмуляции), поэтому printfработает так, как вы ожидаете. То же самое для printfвстроенного fish(не POSIX-подобная оболочка).

Символ ü(U + 00FC) при кодировании в UTF-8 состоит из двух байтов (0xc3 и 0xbc), что объясняет расхождение.

$ printf %s 'Früchte und Gemüse' | wc -mcL
    18      20      18

Эта строка состоит из 18 символов, имеет ширину 18 столбцов ( -Lявляется wcрасширением GNU для сообщения о ширине отображения самой широкой строки во входных данных), но кодируется в 20 байтов.

В zshили fishтекст будет выровнен правильно.

Теперь есть также символы, которые имеют ширину 0 (например, комбинирующие символы, такие как U + 0308, объединяющий диарез) или имеют двойную ширину, как во многих азиатских сценариях (не говоря уже о управляющих символах, таких как Tab), и даже zshне будут выравниваться те правильно.

Пример, в zsh:

$ printf '%3s|\n' u ü $'u\u308' $'\u1100'
  u|
  ü|
 ü|
  ᄀ|

В bash:

$ printf '%3s|\n' u ü $'u\u308' $'\u1100'
  u|
 ü|
ü|
ᄀ|

ksh93имеет %Lsспецификацию формата для подсчета ширины с точки зрения ширины дисплея .

$ printf '%3Ls|\n' u ü $'u\u308' $'\u1100'
  u|
  ü|
  ü|
 ᄀ|

Это по-прежнему не работает, если текст содержит управляющие символы, такие как TAB (как это может быть? printfНужно знать, как далеко друг от друга расположены табуляционные табло в устройстве вывода и с какой позиции он начинает печатать). Он работает случайно с символами возврата (как в roffвыводе, где X(жирный X) записывается как X\bX), хотя и ksh93считает, что все управляющие символы имеют ширину -1.

Как и другие варианты, вы можете попробовать:

printf '%s\t|\n' u ü $'u\u308' $'\u1100' | expand -t3

Это работает с некоторыми expandреализациями (но не с GNU).

В системах GNU вы можете использовать GNU, awkчей printfсчетчик в символах (не в байтах, не в значениях ширины экрана, поэтому все еще не в порядке для символов 0 или 2 ширины, но в порядке для вашего образца):

gawk 'BEGIN {for (i = 1; i < ARGC; i++) printf "%-3s|\n", ARGV[i]}
     ' u ü $'u\u308' $'\u1100'

Если вывод идет на терминал, вы также можете использовать escape-последовательности позиционирования курсора. Подобно:

forward21=$(tput cuf 21)
printf '%s\r%s%s\n' \
  "Früchte und Gemüse"    "$forward21" "foo" \
  "Milchprodukte"         "$forward21" "bar" \
  "12345678901234567890"  "$forward21" "baz"

Если я изменю его кодировку на latin-1, выравнивание будет правильным, но умлауты будут отображаться неправильно:

Fr�chte und Gem�se   foo
Milchprodukte        bar
12345678901234567890 baz

На самом деле, нет, но ваш терминал не говорит по-латыни, и поэтому вы получаете мусор, а не умлаутс.

Вы можете исправить это, используя iconv:

printf foo bar | iconv -f ISO8859-1 -t UTF-8

(или просто запустите весь сценарий оболочки по иконке)