UnicodeDecodeError: кодек ascii не может декодировать байт 0xef в позиции 1

У меня возникают проблемы с кодированием строки в UTF-8. Я пробовал множество вещей, в том числе с помощью string.encode('utf-8')и unicode(string), но получаю сообщение об ошибке:

UnicodeDecodeError: кодек ascii не может декодировать байт 0xef в позиции 1: порядковый номер не в диапазоне (128)

Это моя строка:

(｡･ω･｡)ﾉ

Я не понимаю, что не так, есть идеи?

Изменить: проблема в том, что печать строки, как она есть, не отображается должным образом. Кроме того, эта ошибка, когда я пытаюсь ее преобразовать:

Python 2.7.1+ (r271:86832, Apr 11 2011, 18:13:53)
[GCC 4.5.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-5: ordinal not in range(128)

Это связано с тем, что кодировка вашего терминала не установлена ​​в UTF-8. Вот мой терминал

$ echo $LANG
en_GB.UTF-8
$ python
Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
(｡･ω･｡)ﾉ
>>> 

На моем терминале пример работает с приведенным выше, но если я избавлюсь от LANGнастройки, он не будет работать

$ unset LANG
$ python
Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-5: ordinal not in range(128)
>>> 

Обратитесь к документации для своего варианта Linux, чтобы узнать, как сделать это изменение постоянным.

пытаться:

string.decode('utf-8')  # or:
unicode(string, 'utf-8')

редактировать:

'(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'.decode('utf-8')дает u'(\uff61\uff65\u03c9\uff65\uff61)\uff89', что правильно.

поэтому ваша проблема должна быть в каком-то другом месте, возможно, если вы попытаетесь что-то с ней сделать, если происходит неявное преобразование (может быть печать, запись в поток ...)

чтобы сказать больше, нам понадобится код.

Мой +1 к комментарию Маты на https://stackoverflow.com/a/10561979/1346705 и к демонстрации Ника Крейга-Вуда. Вы правильно расшифровали строку. Проблема заключается в printкоманде, поскольку она преобразует строку Unicode в кодировку консоли, а консоль не может отображать строку. Попробуйте записать строку в файл и посмотреть результат с помощью какого-нибудь приличного редактора, поддерживающего Unicode:

import codecs

s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
s1 = s.decode('utf-8')
f = codecs.open('out.txt', 'w', encoding='utf-8')
f.write(s1)
f.close()

Тогда вы увидите (｡･ω･｡)ﾉ.

Если вы работаете на удаленном хосте, посмотрите /etc/ssh/ssh_configна свой локальный компьютер.

Когда этот файл содержит строку:

SendEnv LANG LC_*

закомментируйте это, добавив #в начало строки. Это может помочь.

С помощью этой строки sshотправляет на удаленный хост переменные среды вашего ПК, связанные с языком . Это вызывает массу проблем.

Попробуйте установить системную кодировку по умолчанию, как utf-8в начале скрипта, чтобы все строки кодировались с ее использованием.

# coding: utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Как предложил Андрей Красуцкий, можно использовать приведенный ниже код в верхней части сценария .

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Но я предлагаю вам также добавить # -*- coding: utf-8 -*строку в самом верху скрипта.

Пропуск этого вызывает ошибку ниже в моем случае, когда я пытаюсь выполнить basic.py.

$ python basic.py
  File "01_basic.py", line 14
SyntaxError: Non-ASCII character '\xd9' in file basic.py on line 14, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

Ниже приведен код, в basic.pyкотором возникает указанная выше ошибка.

код с ошибкой

from pylatex import Document, Section, Subsection, Command, Package
from pylatex.utils import italic, NoEscape

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def fill_document(doc):
    with doc.create(Section('ِش سثؤفهخى')):
        doc.append('إخع ساخعمي شمصشغس سحثشن فاث فقعفا')
        doc.append(italic('فشمهؤ ؤخىفثىفس شقث شمسخ ىهؤث'))

        with doc.create(Subsection('آثص ٍعلاسثؤفهخى')):
            doc.append('بشةخعس ؤقشئغ ؤاشقشؤفثقس: $&#{}')


if __name__ == '__main__':
    # Basic document
    doc = Document('basic')
    fill_document(doc)

Затем я добавил # -*- coding: utf-8 -*-строку в самом верху и выполнил. Это сработало.

код без ошибок

# -*- coding: utf-8 -*-
from pylatex import Document, Section, Subsection, Command, Package
from pylatex.utils import italic, NoEscape

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def fill_document(doc):
    with doc.create(Section('ِش سثؤفهخى')):
        doc.append('إخع ساخعمي شمصشغس سحثشن فاث فقعفا')
        doc.append(italic('فشمهؤ ؤخىفثىفس شقث شمسخ ىهؤث'))

        with doc.create(Subsection('آثص ٍعلاسثؤفهخى')):
            doc.append('بشةخعس ؤقشئغ ؤاشقشؤفثقس: $&#{}')


if __name__ == '__main__':
    # Basic document
    doc = Document('basic')
    fill_document(doc)

Спасибо.

С моим терминалом проблем нет. Приведенные выше ответы помогли мне найти правильное направление, но у меня ничего не вышло, пока я не добавил 'ignore':

fix_encoding = lambda s: s.decode('utf8', 'ignore')

Как указано в комментарии ниже, это может привести к нежелательным результатам. OTOH, он также может достаточно хорошо справиться с задачей, чтобы все работало, и вас не волнует потеря некоторых персонажей.

это работает для ubuntu 15.10:

sudo locale-gen "en_US.UTF-8"
sudo dpkg-reconfigure locales

Похоже, ваша строка закодирована utf-8, так в чем именно проблема? Или что ты здесь делаешь ..?

Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
(｡･ω･｡)ﾉ
>>> s2 = u'(｡･ω･｡)ﾉ'
>>> s2 == s1
True
>>> s2
u'(\uff61\uff65\u03c9\uff65\uff61)\uff89'

В моем случае это было вызвано тем, что мой файл Unicode сохранялся с "BOM". Чтобы решить эту проблему, я взломал файл с помощью BBEdit и сделал «Сохранить как ...», выбрав для кодирования «Unicode (UTF-8)», а не то, с чем он был, «Unicode (UTF-8, с BOM)» "

Я получал ошибку того же типа и обнаружил, что консоль не может отображать строку на другом языке. Поэтому я внес следующие изменения кода, чтобы установить default_charset как UTF-8.

data_head = [('\x81\xa1\x8fo\x89\xef\x82\xa2\x95\xdb\x8f\xd8\x90\xa7\x93x\x81\xcb3\x8c\x8e\x8cp\x91\xb1\x92\x86(\x81\x86\x81\xde\x81\x85)\x81\xa1\x8f\x89\x89\xf1\x88\xc8\x8aO\x81A\x82\xa8\x8b\xe0\x82\xcc\x90S\x94z\x82\xcd\x88\xea\x90\xd8\x95s\x97v\x81\xa1\x83}\x83b\x83v\x82\xcc\x82\xa8\x8e\x8e\x82\xb5\x95\xdb\x8c\xaf\x82\xc5\x8fo\x89\xef\x82\xa2\x8am\x92\xe8\x81\xa1', 'shift_jis')]
default_charset = 'UTF-8' #can also try 'ascii' or other unicode type
print ''.join([ unicode(lin[0], lin[1] or default_charset) for lin in data_head ])

Это лучший ответ: https://stackoverflow.com/a/4027726/2159089

в Linux:

export PYTHONIOENCODING=utf-8

так sys.stdout.encodingхорошо.

BOM, это так часто для меня BOM

vi файл, используйте

:set nobomb

и сохраните его. Это почти всегда исправляет это в моем случае

У меня была такая же ошибка с URL-адресами, содержащими символы, отличные от ascii (байты со значениями> 128)

url = url.decode('utf8').encode('utf-8')

Сработало для меня, в Python 2.7, я полагаю, это назначение изменило «что-то» во strвнутреннем представлении - то есть оно заставляет правильно декодировать поддерживаемую последовательность байтов urlи, наконец, помещает строку в utf-8 str со всей магией в в нужном месте. Unicode в Python для меня - черная магия. Надеюсь полезно

Я решаю эту проблему, изменяя в файле settings.py с помощью 'ENGINE': 'django.db.backends.mysql', не используйте 'ENGINE': 'mysql.connector.django',

Просто преобразуйте текст в строку с помощью str(). Работал у меня.