«Для строки в…» приводит к UnicodeDecodeError: кодек «utf-8» не может декодировать байт

Вот мой код,

for line in open('u.item'):
#read each line

всякий раз, когда я запускаю этот код, он выдает следующую ошибку:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte

Я попытался решить эту проблему и добавить дополнительный параметр в open (), код выглядит так;

for line in open('u.item', encoding='utf-8'):
#read each line

Но опять же это дает ту же ошибку. что мне тогда делать! Пожалуйста помоги.

Как предложил Марк Рэнсом, я нашел правильную кодировку для этой проблемы. Кодировка была "ISO-8859-1", поэтому замена open("u.item", encoding="utf-8")на open('u.item', encoding = "ISO-8859-1")решит проблему.

Также сработало для меня, ISO 8859-1 собирается сэкономить, хахаха, в основном, если использовать API распознавания речи

Пример:

file = open('../Resources/' + filename, 'r', encoding="ISO-8859-1");

Ваш файл на самом деле не содержит данных в кодировке utf-8, он содержит другую кодировку. Выясните, что это за кодировка и используйте ее в openвызове.

Например, в кодировке Windows-1252 0xe9символ будет é.

Попробуйте это прочитать с помощью панд

pd.read_csv('u.item', sep='|', names=m_cols , encoding='latin-1')

Если вы используете Python 2следующее будет решение:

import io
for line in io.open("u.item", encoding="ISO-8859-1"):
    # do something

Поскольку encodingпараметр не работает с open(), вы получите следующую ошибку:

TypeError: 'encoding' является недопустимым аргументом ключевого слова для этой функции

Вы можете решить проблему с:

for line in open(your_file_path, 'rb'):

'rb' читает файл в двоичном режиме. Узнайте больше здесь . Надеюсь, это поможет!

Это работает:

open('filename', encoding='latin-1')

или:

open('filename',encoding="IS0-8859-1")

Если кто-то ищет это, это пример для преобразования файла CSV в Python 3:

try:
    inputReader = csv.reader(open(argv[1], encoding='ISO-8859-1'), delimiter=',',quotechar='"')
except IOError:
    pass

Иногда, когда open(filepath)в filepathдействительности нет файла, может возникнуть та же ошибка, поэтому сначала убедитесь, что файл, который вы пытаетесь открыть, существует:

import os
assert os.path.isfile(filepath)

надеюсь, это поможет.

Вы можете попробовать так:

open('u.item', encoding='utf8', errors='ignore')