Как я могу обрезать текстовый файл (в кодировке UTF-8) до заданного количества символов? Меня не волнует длина строки, и разрез может быть в середине слова.

• cut Кажется, работает на линии, но я хочу целый файл.
• head -c использует байты, а не символы.

В некоторых системах есть truncateкоманда, которая усекает файлы до количества байтов (не символов).

Я не знаю ни одного, который усекает число символов, хотя вы могли бы прибегнуть к тому, perlкоторый установлен по умолчанию на большинстве систем:

Perl

perl -Mopen=locale -ne '
  BEGIN{$/ = \1234} truncate STDIN, tell STDIN; last' <> "$file"

• С помощью -Mopen=localeмы используем понятие локали о том, что такое символы (поэтому в локалях, использующих кодировку UTF-8, это символы в кодировке UTF-8). Замените на, -CSесли вы хотите, чтобы ввод / вывод декодировался / кодировался в UTF-8 независимо от кодировки локали.

• $/ = \1234: мы устанавливаем разделитель записей на ссылку на целое число, которое является способом указания записей фиксированной длины (в количестве символов ).

• затем, прочитав первую запись, мы обрезаем stdin на месте (то есть в конце первой записи) и завершаем работу.

GNU sed

С GNU sedвы могли бы это сделать (предполагая, что файл не содержит символов NUL или последовательностей байтов, которые не образуют допустимых символов - оба из которых должны быть истинными для текстовых файлов):

sed -Ez -i -- 's/^(.{1234}).*/\1/' "$file"

Но это гораздо менее эффективно, поскольку он читает файл полностью, сохраняет его в памяти и записывает новую копию.

GNU awk

То же самое с GNU awk:

awk -i inplace -v RS='^$' -e '{printf "%s", substr($0, 1, 1234)}' -E /dev/null "$file"

• -e code -E /dev/null "$file" являясь одним из способов передачи произвольных имен файлов gawk
• RS='^$': режим slurp .

Встроенные оболочки

С ksh93, bashили zsh(с оболочками, отличными от zshпредположения, что содержимое не содержит байтов NUL):

content=$(cat < "$file" && echo .) &&
  content=${content%.} &&
  printf %s "${content:0:1234}" > "$file"

С zsh:

read -k1234 -u0 s < $file &&
  printf %s $s > $file

Или:

zmodload zsh/mapfile
mapfile[$file]=${mapfile[$file][1,1234]}

С помощью ksh93или bash(остерегайтесь фальшивых многобайтовых символов в нескольких версияхbash ):

IFS= read -rN1234 s < "$file" &&
  printf %s "$s" > "$file"

ksh93также можно обрезать файл на месте вместо того, чтобы переписать его с помощью <>;оператора перенаправления:

IFS= read -rN1234 0<>; "$file"

iconv + голова

Чтобы напечатать первые 1234 символа, другим вариантом может быть преобразование в кодировку с фиксированным числом байтов на символ, например UTF32BE/ UCS-4:

iconv -t UCS-4 < "$file" | head -c "$((1234 * 4))" | iconv -f UCS-4

head -cне является стандартным, но довольно распространенным. Стандартный эквивалент будет, dd bs=1 count="$((1234 * 4))"но будет менее эффективным, поскольку он будет читать входные данные и записывать выходные данные по одному байту за раз ». iconvявляется стандартной командой, но имена кодировок не стандартизированы, поэтому вы можете найти системы безUCS-4

Примечания

В любом случае, хотя вывод будет содержать не более 1234 символов, он может оказаться недействительным текстом, так как он может закончиться строкой без разделителей.

Также обратите внимание, что хотя эти решения не будут обрезать текст в середине символа, они могут разбить его в середине графемы , как éвыражение, выраженное как U + 0065 U + 0301 (с eпоследующим комбинированным острым акцентом), или графемы слогов хангыль в их разложенных формах.

^{¹ и при вводе канала нельзя использовать bsзначения, отличные от 1, до тех пор, пока вы не используете iflag=fullblockрасширение GNU, как это ddможет сделать короткое чтение, если оно читает канал быстрее, чем iconvзаполняет его.}

Если вы знаете, что текстовый файл содержит Unicode, закодированный как UTF-8, вы должны сначала декодировать UTF-8, чтобы получить последовательность символов Unicode и разделить их.

Я бы выбрал Python 3.x для этой работы.

В Python 3.x функция open () имеет дополнительный аргумент ключевого слова encoding=для чтения текстовых файлов . Описание метода io.TextIOBase.read () выглядит многообещающим.

Таким образом, с помощью Python 3 это будет выглядеть так:

truncated = open('/path/to/file.txt', 'rt', encoding='utf-8').read(1000)

Очевидно, что настоящий инструмент добавляет аргументы командной строки, обработку ошибок и т. Д.

В Python 2.x вы можете реализовать свой собственный файловый объект и построчно декодировать входной файл.

Я хотел бы добавить другой подход. Вероятно, не самая лучшая производительность, и гораздо дольше, но легко понять:

#!/bin/bash

chars="$1"
ifile="$2"
result=$(cat "$ifile")
rcount=$(echo -n "$result" | wc -m)

while [ $rcount -ne $chars ]; do
        result=${result::-1}
        rcount=$(echo -n "$result" | wc -m)
done

echo "$result"

Вызвать это с $ ./scriptname <desired chars> <input file>.

Это удаляет последний символ один за другим, пока цель не будет достигнута, что кажется очень плохой производительностью, особенно для больших файлов. Я просто хотел представить это как идею, чтобы показать больше возможностей.