Как работает «кодировка переменной ширины» UTF-8?

110

В стандарте unicode достаточно кодовых точек, поэтому вам нужно 4 байта для их хранения. Вот что делает кодировка UTF-32. Тем не менее, кодировка UTF-8 каким-то образом сжимает их в гораздо меньшие пространства, используя так называемое «кодирование переменной ширины».

Фактически, ему удается представить первые 127 символов US-ASCII всего одним байтом, который выглядит в точности как настоящий ASCII, поэтому вы можете интерпретировать много текста ascii, как если бы это был UTF-8, ничего не делая с ним. Аккуратный трюк. Итак, как это работает?

Я собираюсь задать и ответить на свой вопрос здесь, потому что я просто немного прочитал, чтобы понять это, и подумал, что это может сэкономить время кому-то еще. Плюс, может быть, кто-нибудь поправит меня, если я что-то ошибся.

— dsimard
источник

Для прямого Unicode не требуется 32 бита для кодирования всех его кодовых точек. Когда-то они действительно претендовали на такое количество возможных кодовых точек, но после того, как UTF-8 взлетел, они намеренно ограничили себя 21 битом, чтобы UTF-8 никогда не превышал 4 байта на символ. Unicode в настоящее время требует всего 17 бит для хранения всех возможных кодовых точек. Без этого ограничения UTF-8 мог бы увеличиться до 6 байтов на символ.

— Уоррен Янг,

@Warren: в основном точный, но Unicode - это 21-битный код (от U + 0000 до U + 10FFFF).

— Джонатан Леффлер,

@Warren: UTF-8 с ограничением по 4 байта мог поддерживать до U + 1FFFFF. Ограничение на U + 10FFFF было сделано ради UTF-16.

— dan04

@ dan04 Есть ли у нас какое-нибудь простое объяснение того, как он ограничен U + 10FFFF UTF-16? Было бы неплохо узнать об этом побольше.

— A-letubby

@ A-letubby: поскольку «суррогатные» коды UTF-16 распределяются таким образом, что есть 1024 суррогата ведущего и 1024 суррогата следа (и они могут использоваться только парами), чтобы сделать 2 ^ 20 (около миллиона) дополнительных символов доступны за пределами BMP. При добавлении к 2 ^ 16 символам, доступным в BMP, это дает 0x110000 возможных символов.

— dan04

Ответы:

129

Каждый байт начинается с нескольких битов, которые говорят вам, является ли это однобайтовой кодовой точкой, многобайтовой кодовой точкой или продолжением многобайтовой кодовой точки. Как это:

0xxx xxxx    A single-byte US-ASCII code (from the first 127 characters)

Каждая многобайтовая кодовая точка начинается с нескольких битов, которые, по сути, говорят: «Эй, вам нужно также прочитать следующий байт (или два, или три), чтобы понять, кто я». Они есть:

110x xxxx    One more byte follows
1110 xxxx    Two more bytes follow
1111 0xxx    Three more bytes follow

Наконец, все байты, следующие за этими стартовыми кодами, выглядят следующим образом:

10xx xxxx    A continuation of one of the multi-byte characters

Поскольку вы можете определить, на какой байт вы смотрите, по первым нескольким битам, то даже если что-то где-то испортится, вы не потеряете всю последовательность.

— dsimard
источник

В этой истории есть еще кое-что - потому что кодировка должна быть самой короткой из возможных кодировок для символа, что в конечном итоге означает, что байты 0xC0 и 0xC1 не могут появляться, например, в UTF-8; и, по сути, 0xF5..0xFF тоже не может. См. Часто задаваемые вопросы по UTF-8 на unicode.org/faq/utf_bom.html или unicode.org/versions/Unicode5.2.0/ch03.pdf

— Джонатан Леффлер,

Почему он не мог сказать только один символ next char is continuation? Если бы мы получили 3-байтовый символ, это было бы так:, 1xxxxxxx 1xxxxxxx 0xxxxxxxпоэтому было бы потрачено меньше места.

@Soaku делает UTF-8 так называемым "самосинхронизирующимся" кодом. Это означает, что если из-за ошибок части последовательности отсутствуют, это можно обнаружить и отбросить все, что было искажено. Если вы читаете байт, который начинается с 10xx, а предшествующего «начального» байта нет, вы можете отбросить его, поскольку он не имеет смысла. Если у вас была описанная вами система, и один из первых байтов был потерян, вы могли бы получить другой допустимый символ без каких-либо признаков ошибки. Это также упростит поиск следующего допустимого символа, а также исправит пропущенные байты «продолжения».

— htmlcoderexe 05

RFC3629 - UTF-8, формат преобразования ISO 10646, является здесь окончательным авторитетом и содержит все пояснения.

Короче говоря, несколько битов в каждом байте последовательности от 1 до 4 байтов в кодировке UTF-8, представляющей один символ, используются для указания того, является ли он конечным байтом, ведущим байтом и, если да, то сколько байтов следует за ним. Остальные биты содержат полезную нагрузку.

— ажеглов
источник

Умммм, глупый я, я думал, что стандарт Unicode был окончательным авторитетом в UTF-8

— Джон Мачин

Стандарт Unicode определяет сам Unicode. Он не определяет различные методы, сегодняшние и будущие, которые можно использовать для кодирования текстов Unicode для различных целей (таких как хранение и транспортировка). UTF-8 - один из этих методов, и ссылка выше относится к документу, в котором он определяется.

— ажеглов 01

RFC3629, стр. 3, раздел 3. гласит: «UTF-8 определяется стандартом Unicode».

— Джон Мачин

Поиск ссылок на unicode.org привел меня к разделу 3.9 стандарта Unicode, в частности к определению D92 (а также косвенно D86). Я понятия не имею, в какой степени эта ссылка будет полезна при выпуске новых версий, но я предполагаю, что они хотят, чтобы идентификаторы разделов и определений были стабильными для разных версий.

— tripleee 05

UTF-8 был еще одной системой для хранения вашей строки кодовых точек Unicode, этих магических чисел U +, в памяти с использованием 8-битных байтов. В UTF-8 каждая кодовая точка от 0 до 127 хранится в одном байте. Только кодовые точки 128 и выше сохраняются с использованием 2, 3, фактически до 6 байтов.

Отрывок из «Абсолютного минимума». Каждый разработчик программного обеспечения должен абсолютно точно знать о Unicode и наборах символов (без оправданий!)

— Андрей
источник

Это хорошая статья, но похоже, что Джоэл ошибается относительно максимальной длины последовательности; страница Википедии показывает только 1..4 байта на символ.

— расслабьтесь,

Как я сказал выше, когда UTF-8 был впервые создан, Unicode претендовал на 32-битное кодирование не потому, что им это действительно нужно, а только потому, что 32-битное значение является удобным, и они уже прошли мимо предыдущий предел 16-битных символов. После того, как UTF-8 стал популярным, они решили навсегда ограничить максимальное количество кодовых точек до 2 ^ 21, что является самым большим значением, которое вы можете кодировать с 4 байтами схемы UTF-8. В Юникоде по-прежнему меньше 2 ^ 17 символов, поэтому мы можем более чем в четыре раза увеличить количество символов в Юникоде с помощью этой новой схемы.

— Уоррен Янг,

Хорошо, но не объяснение, запрошенное OP.

— Nishant

Это не ответ на вопрос.

— Корай Тугай