Как я могу удалить спецификацию из файла UTF-8?

У меня есть файл в кодировке UTF-8 с BOM и я хочу удалить BOM. Существуют ли какие-либо инструменты командной строки Linux для удаления спецификации из файла?

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

Если вы не уверены, содержит ли файл спецификацию UTF-8, то это (при условии реализации GNU sed) удалит спецификацию, если она существует, или не внесет никаких изменений, если ее нет.

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

Вы также можете перезаписать существующий файл с помощью -iопции:

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

Спецификация не имеет смысла в UTF-8. Как правило, они ошибочно добавляются фиктивным программным обеспечением на ОС Microsoft.

dos2unix удалит его, а также позаботится о других особенностях текстовых файлов Windows.

dos2unix test.xml

Удалить спецификацию из файла можно tailкомандой:

tail -c +4 withBOM.txt > withoutBOM.txt

Использование VIM

1. Открыть файл в VIM:

   vi text.xml
   

2. Удалить кодировку спецификации:

   :set nobomb
   

3. Сохранить и выйти:

   :wq
   

Вы можете использовать

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

удалить метку порядка следования байтов из начала файла, если он есть, а также преобразовать любые символы новой строки CR LF только в LF. Он LANG=C LC_ALL=Cсообщает оболочке, что вы хотите, чтобы команда выполнялась в локали C по умолчанию (также известной как локаль POSIX по умолчанию), где три байта, образующие метку порядка байтов, обрабатываются как байты. -iВариант СЭД означает на месте. Если вы используете -i.old, то sed сохраняет исходный файл как filename.old, а новый файл (с изменениями, если есть) как filename.

Мне лично нравится иметь это как ~/bin/fix-ms; например, как

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

так что, если мне нужно применить это, чтобы сказать все исходные файлы и заголовки C (мой старый код из эры MS-DOS, например!), я просто запускаю

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

или, если я просто хочу посмотреть на такой файл, не изменяя его, я могу запустить

~/bin/ms-fix < filename | less

и не вижу уродливого <U+FEFF>в моем терминале UTF-8.

Недавно я обнаружил этот крошечный инструмент командной строки, который добавляет или удаляет спецификацию для произвольных файлов в кодировке UTF-8: UTF BOM Utils ( новая ссылка на github)

Небольшой недостаток, вы можете скачать только простой исходный код C ++. Вы должны создать make-файл (например, с CMake ) и скомпилировать его самостоятельно, двоичные файлы на этой странице не предоставляются.