Как изменить кодировку с расширенного ASCII-текста не-ISO, с ограничителями строки CRLF, на UTF-8?

21

У меня есть текстовый файл:

$ file -i x.txt
x.txt: text/plain; charset=unknown-8bit
$ file x.txt 
x.txt: Non-ISO extended-ASCII text, with CRLF line terminators

И есть некоторые символы, которые неправильно закодированы:

trwa³y, sta³y, usuwaæ

Как я могу изменить кодировку этого файла на UTF-8? До сих пор я пробовал следующий способ:

$ iconv -f ASCII -t UTF-8 x.txt
                puiconv: illegal input sequence at position 4

Может быть, я должен как-то использовать extended ASCII( high ASCII), но не могу найти его в iconvсписке кодировки.

character-encoding text

— Patryk
источник

2

Вы можете загрузить файл куда-нибудь?

— Janos

Существует удобный список 8-битных кодировок ISO, все показанные бок о бок, здесь . Кто-нибудь из них выглядит близко к тому, что вы наблюдаете в вашем файле? Например, если вы думаете, что «sta³y» должно быть «stacy», найдите, какая кодировка имеет «c» для любого странного шестнадцатеричного кода в этом слове.

— John1024

Вероятно, в 90% случаев «текст не-ISO Extended ASCII» будет файлом, закодированным в кодовую страницу Windows 1252 . «Это, вероятно, самая используемая 8-битная кодировка символов в мире». (Википедия). Попробуйте первым:iconv -f windows-1252 -t utf-8 file

— nyov

33

file говорит вам «текст не-ISO с расширенной ASCII», потому что он обнаруживает, что это:

скорее всего, «текстовый» файл из-за отсутствия управляющих символов (байтовые значения 0–31), кроме разрывов строк;
«Extended-ASCII», потому что есть символы вне диапазона ASCII (байтовые значения ≥128);
«Не-ISO», поскольку в диапазоне 128–159 есть символы ( ISO 8859 резервирует этот диапазон для контрольных символов).

Вы должны выяснить, в какой кодировке находится этот файл. Вы можете попробовать автоматическое распознавание Enca . Возможно, вам придется подтолкнуть его в правильном направлении, указав на каком языке находится текст.

enca x.txt
enca -L polish x.txt

Чтобы преобразовать файл, передайте -xопцию:enca -L polish x.txt -x utf8 >x.utf8.txt

Если вы не можете или не хотите использовать Enca, вы можете угадать кодировку вручную. Немного оглядываясь, сказал мне, что это польский текст и слова trwały, stały, usuważ, поэтому мы ищем перевод, где ³→ łи æ→ ż. Это выглядит как latin-2 или latin-10 или более вероятно (с учетом «non-ISO» CP1250, который вы просматриваете как latin1 . Чтобы преобразовать файл в UTF-8, вы можете использовать recode или iconv .

recode CP1250..utf8 <x.txt >x.utf8.txt
iconv -f CP1250 -t UTF-8 <x.txt >x.utf8.txt

— Gilles 'SO- stop being evil'
источник

Я не понимаю, < x.txt > x.utf8.txtпочему мы используем, <а затем >? Как это работает?

— Филипп Бартузи

@FilipBartuzi <и >выполните перенаправление ввода и вывода соответственно .

— Жиль "ТАК - перестань быть злым"

1

Откройте текстовый файл с помощью gedit, и в диалоговом окне «Сохранить как ...» вы увидите текущую кодировку.

— Gedit
источник

0

Вы пытались узнать, какая именно кодировка x.txt? Вы получите список поддерживаемых кодировок с

iconv - список

Иногда со мной случается, что я получаю несоответствие между latin1 и utf8. Тогда это часто помогает преобразовать его и обратно в utf8 и наоборот.

0

Я создал скрипт автоматического преобразования с использованием библиотеки enca , я использую его на своем NAS для преобразования субтитров в UTF-8, но его можно использовать для любого автоматического преобразования

Не стесняйтесь использовать :)

РЕДАКТИРОВАТЬ:

#!/bin/bash
LANGUAGE=czech
TO=utf8
CONVERT="enca -L $LANGUAGE -x $TO"

# Find and onvert
find ./ -type f -name "*.srt" | while read fn; do
  IS_TARGET=`enca "${fn}" | egrep -ow -m 1 'UTF-8|Unrecognized|KOI8-CS2|7bit ASCII|UCS-2|Macintosh Central European'`

    if [ "$IS_TARGET" != "UTF-8" ] &&
       [ "$IS_TARGET" != "UCS-2" ] &&
       [ "$IS_TARGET" != "Macintosh Central European" ] &&
       [ "$IS_TARGET" != "Unrecognized" ] &&
       [ "$IS_TARGET" != "7bit ASCII" ] &&
       [ "$IS_TARGET" != "KOI8-CS2" ]; then

        echo "${fn} ---- Will be converted!"
    # optional backup of original srt
        # cp "${fn}" "${fn}.bak"
        $CONVERT "${fn}"
    fi  

done

— Barlog951
источник