MySQL «неправильное значение строки» ошибка при сохранении строки Unicode в Django


158

При попытке сохранить first_name, last_name в модель Django auth_user я получил странное сообщение об ошибке.

Неудачные примеры

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Успешные примеры

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

Настройки MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Таблица charset и сопоставление

Таблица auth_user имеет кодировку utf-8 с сопоставлением utf8_general_ci.

Результаты команды UPDATE

При обновлении указанных выше значений в таблицу auth_user с помощью команды UPDATE не возникло никаких ошибок.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Перечисленные выше ошибочные значения могут быть обновлены в таблице PostgreSQL, когда я переключил серверную часть базы данных в Django. Странно.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Но из http://www.postgresql.org/docs/8.1/interactive/multibyte.html я обнаружил следующее:

Name Bytes/Char
UTF8 1-4

Означает ли это, что Unicode char имеет максимум 4 байта в PostgreSQL, но 3 байта в MySQL, что вызвало вышеуказанную ошибку?


2
Это проблема , MySQL, а не Django: stackoverflow.com/questions/1168036/...
Vanuan

Ответы:


140

Ни один из этих ответов не решил проблему для меня. Основная причина:

Вы не можете хранить 4-байтовые символы в MySQL с набором символов utf-8.

MySQL имеет ограничение в 3 байта для символов utf-8 (да, это нехорошо, приятно подытожено разработчиком Django здесь )

Для решения этой проблемы вам необходимо:

  1. Измените базу данных, таблицу и столбцы MySQL, чтобы использовать набор символов utf8mb4 (доступно только в MySQL 5.5 и более поздних версиях )
  2. Укажите кодировку в файле настроек Django, как показано ниже:

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Примечание. При воссоздании базы данных вы можете столкнуться с проблемой « Указанный ключ слишком длинный ».

Наиболее вероятная причина - это CharFieldmax_length 255 и некоторый индекс (например, уникальный). Поскольку utf8mb4 использует на 33% больше места, чем utf-8, вам нужно уменьшить эти поля на 33%.

В этом случае измените max_length с 255 на 191.

В качестве альтернативы вы можете отредактировать свою конфигурацию MySQL, чтобы снять это ограничение, но не без некоторого хакерства django

ОБНОВЛЕНИЕ: я только столкнулся с этой проблемой снова и закончил тем, что переключился на PostgreSQL, потому что я был неспособен уменьшить мой VARCHARдо 191 символа.


13
этот ответ нуждается в пути, пути, намного больше голосов. Спасибо! Настоящая проблема в том, что ваше приложение может нормально работать годами, пока кто-нибудь не попытается ввести 4-байтовый символ.
Майкл Билстра

2
Это абсолютно правильный ответ. Параметр OPTIONS имеет решающее значение для того, чтобы django декодировал символы эмодзи и сохранял их в MySQL. Недостаточно просто изменить кодировку mysql на utf8mb4 с помощью команд SQL!
Ксерион,

Нет необходимости обновлять набор символов всей таблицы до utf8mb4. Просто обновите набор символов необходимых столбцов. Также 'charset': 'utf8mb4', как сказал @Xerion, опция в настройках Django является критической. Наконец, проблема с индексами - беспорядок. Удалите указатель на столбец, или сделайте его длину не более 191, или используйте TextFieldвместо него!
Rockallite

2
Мне нравится ваша ссылка на эту цитату: Это просто еще один случай, когда MySQL целенаправленно и необратимо поврежден мозгом. :)
Qback

120

У меня была та же проблема, и я решил ее, изменив набор символов столбца. Хотя ваша база данных имеет набор символов по умолчанию, utf-8я думаю, что столбцы базы данных могут иметь другой набор символов в MySQL. Вот SQL-запрос, который я использовал:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

14
Тьфу, я изменил все наборы символов на все, что мог, пока я действительно не перечитал этот ответ: столбцы могут иметь свои собственные наборы символов, независимо от таблиц и базы данных. Это безумие, и это была именно моя проблема.
markpasc

1
Это работало и для меня, используя mysql со значениями по умолчанию, в модели TextField.
MadProps

Это решило мою проблему. Единственное изменение, которое я сделал, - это использование utf8mb4 и utf8mb4_general_ci вместо utf8 / utf8_general_ci.
Михал

70

Если у вас есть эта проблема, вот скрипт на python для автоматического изменения всех столбцов вашей базы данных mysql.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

4
Это решение решило все мои проблемы с приложением django, которое хранило пути к файлам и каталогам. Добавьте dbname в качестве базы данных django и запустите. Работал как шарм!
Крис

1
Этот код не работал для меня, пока я не добавил db.commit()ранее db.close().
Марк Эрдманн

1
Избегает ли это решение проблемы, обсуждаемой в комментарии @markpasc: «... 4-байтовые символы UTF-8, такие как emoji в 3-
байтовом

решение помогло мне, когда я удалял запись через администратора django, у меня не было никаких проблем при создании o редактирования ... странно! Мне даже удалось удалить прямо в БД
Хавьер Виейра

Должен ли я делать это каждый раз, когда меняю модель?
Вануан

25

Если это новый проект, я бы просто отбросил базу данных и создал новый с правильной кодировкой:

CREATE DATABASE <dbname> CHARACTER SET utf8;

Здравствуйте, помогите проверить этот вопрос stackoverflow.com/questions/46348817/…
King

В моем случае наш db создан docker, поэтому для исправления я добавил следующее в команду db: command: в моем файле compose:- --character-set-server=utf8
followben

1
Так просто, как, что. Спасибо @Vanuan
Энку

если это не новый проект, мы получаем резервную копию из базы данных, удаляем ее и воссоздаем с помощью кодировки utf8, а затем восстанавливаем резервную копию. Я сделал это в своем проекте, который не был новым ...
Мохаммад Реза

8

Я только что нашел один метод, чтобы избежать ошибок выше.

Сохранить в базе данных

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Является ли это единственным методом для сохранения таких строк в таблицу MySQL и их декодирования перед рендерингом в шаблоны для отображения?


12
У меня похожая проблема, но я не согласен с тем, что это правильное решение. Когда .encode('unicode_escape')вы на самом деле не храните символы Юникода в базе данных. Вы заставляете всех клиентов дешифровать перед их использованием, что означает, что он не будет работать должным образом с django.admin или со всеми другими вещами.
muudscope

3
Хотя кажется неприятным хранить escape-коды вместо символов, это, вероятно, один из немногих способов сохранить 4-байтовые символы UTF-8, такие как emoji, в 3-байтовом utf8наборе символов MySQL 5.1 .
markpasc

2
Существует кодировка, utf8mb4которая позволяет хранить больше, чем базовая многоязычная плоскость. Я знаю, вы думаете, что «UTF8» - это все, что нужно для полного хранения Unicode. Ну, знаешь, это не так. См. Dev.mysql.com/doc/refman/5.5/en/charset-unicode-utf8mb4.html
Михай Данила

@ Джек, возможно, вы захотите изменить принятый ответ на более полезный
donturner

это возможный обходной путь, но я не рекомендую использовать его тоже (как пропагандирует @muudscope). Я до сих пор не могу сохранить, например, Emoji в базах данных MySQL. Кто-нибудь достиг этого?
Марсело Сарделич

6

Вы можете изменить параметры сортировки вашего текстового поля на UTF8_general_ci, и проблема будет решена.

Обратите внимание, это не может быть сделано в Джанго.


1

Вы не пытаетесь сохранить строки Unicode, вы пытаетесь сохранить строки байтов в кодировке UTF-8. Сделайте их фактическими строковыми литералами Unicode:

user.last_name = u'Slatkevičius'

или (если у вас нет строковых литералов) декодируйте их, используя кодировку utf-8:

user.last_name = lastname.decode('utf-8')

@ Томас, я пытался точно так же, как вы сказали, но это все равно вызывает те же ошибки.
Джек

0

Просто измените свой стол, ничего не надо. просто запустите этот запрос к базе данных. ALTER TABLE table_nameCONVERT TO CHARACTER SET UTF8

это определенно будет работать.


0

Улучшение решения @madprops answer - решение в виде команды управления django:

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

Надеюсь, это поможет никому, кроме меня :)

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.