UnicodeDecodeError: кодек «utf8» не может декодировать байт 0x9c

У меня есть сервер сокетов, который должен принимать действительные символы UTF-8 от клиентов.

Проблема в том, что некоторые клиенты (в основном хакеры) отправляют через них все неправильные данные.

Я могу легко отличить подлинного клиента, но я записываю в файлы все отправленные данные, чтобы потом проанализировать их.

Иногда я получаю такие символы, œкоторые вызывают UnicodeDecodeErrorошибку.

Я должен быть в состоянии сделать строку UTF-8 с или без этих символов.

Обновить:

В моем конкретном случае служба сокетов была MTA, и поэтому я ожидаю только получения команд ASCII, таких как:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Я записывал все это в формате JSON.

Тогда некоторые люди без добрых намерений решили продать все виды мусора.

Вот почему для моего конкретного случая вполне нормально удалить символы, не входящие в ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

или

str = unicode(str, errors='ignore')

Примечание. Это приведет к удалению (игнорированию) рассматриваемых символов, возвращая строку без них.

Для меня это идеальный случай, так как я использую его как защиту от ввода не-ASCII, что не разрешено моим приложением.

Альтернативно: используйте метод open из codecsмодуля, чтобы прочитать в файле:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Смена движка с C на Python сделала мой трюк.

Двигатель C:

pd.read_csv(gdp_path, sep='\t', engine='c')

Кодек utf-8 не может декодировать байт 0x92 в позиции 18: недопустимый начальный байт

Двигатель Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Нет ошибок для меня.

Этот тип проблем возникает у меня сейчас, когда я перешел на Python 3. Я понятия не имел, что Python 2 просто обрабатывает любые проблемы с кодировкой файлов.

Я нашел это хорошее объяснение различий и того, как найти решение после того, как ничего из вышеперечисленного не помогло мне.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Короче говоря, чтобы заставить Python 3 вести себя как можно ближе к использованию Python 2:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Тем не менее, прочитайте статью, там не один размер подходит для всех решений.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

У меня была UnicodeDecodeErrorтакая же проблема, и я решил ее с этой строкой. Не знаю, если это лучший способ, но это сработало для меня.

str = str.decode('unicode_escape').encode('utf-8')

первый, используя get_encoding_type, чтобы получить тип файла кодирования:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

во-вторых, открывая файлы с типом:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

На всякий случай у кого-то такая же проблема. Я использую vim с YouCompleteMe , мне не удалось запустить ycmd с этим сообщением об ошибке, что я и сделал: export LC_CTYPE="en_US.UTF-8"проблема исчезла.

Что вы можете сделать, если вам нужно внести изменения в файл, но вы не знаете кодировку файла? Если вы знаете, что кодировка совместима с ASCII и хотите проверять или изменять только части ASCII, вы можете открыть файл с помощью обработчика ошибок surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Я решил эту проблему, просто добавив

df = pd.read_csv(fileName,encoding='latin1')