Вопросы с тегом «unicode»

Я собираюсь спросить, что, вероятно, является довольно спорным вопросом: «Следует ли считать одну из самых популярных кодировок, UTF-16, вредной?» Почему я задаю этот вопрос? Сколько программистов знают о том факте, что UTF-16 на самом деле является кодировкой переменной длины? Под этим я подразумеваю, что существуют кодовые точки, которые, представленные в …

432 unicode 

Если произошло инопланетное вторжение, и мы были вынуждены поддерживать их языки во всех наших существующих компьютерных системах, разработан ли UTF-8 таким образом, чтобы учесть их возможно огромное количество символов? (Конечно, мы не знаем, есть ли у инопланетян языки на самом деле, говорят ли они или как они общаются, но ради …

86 unicode  utf-8 

Недавно я пытался реализовать алгоритм ранжирования AllegSkill для Python 3. Вот как выглядит математика: Нет, правда. Это то, что я написал: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) + γ**2)**.5 Я действительно думал , что …

82 naming  unicode 

Я думал, что Unicode был разработан, чтобы обойти всю проблему наличия множества различных кодировок из-за небольшого адресного пространства (8 бит) в большинстве предыдущих попыток (ASCII и т. Д.). Почему тогда так много кодировок Юникода? Даже несколько версий (по сути) одного и того же, как UTF-8, UTF-16 и т. Д.

41 unicode  text-encoding 

Наше программное обеспечение для бизнеса позволяет пользователю сохранять определенные данные в формате CSV . Поскольку в дикой природе используется много разных форматов (все они называются «CSV»), мы пытаемся решить, как должен выглядеть «формат по умолчанию». Что касается разделителей строк / полей и экранирования, существует стандарт, который мы можем использовать: RFC …

37 standards  unicode  csv  file-formats 

Условия использования Unicode гласят, что любое программное обеспечение, которое использует свои файлы данных (или их модификацию), должно иметь ссылки на лицензии Unicode. Мне кажется, что большинство библиотек Unicode имеют функции для проверки того, является ли символ цифрой, буквой, символом и т. Д., И поэтому будут содержать модификацию файлов данных Unicode …

35 unicode  licensing 

Я изучаю T-SQL. Из примеров, которые я видел, чтобы вставить текст в varchar()ячейку, я могу написать только строку для вставки, но для nvarchar()ячеек в каждом примере строки начинаются с буквы N. Я пробовал следующий запрос к таблице, в которой есть nvarchar()строки, и она отлично работает, поэтому префикс N не требуется: …

34 sql  sql-server  character-encoding  unicode 

Моя любимая мозоль смотрит на очень много программных проектов, которые имеют горы кода для поддержки набора символов. Не поймите меня неправильно, я за совместимость, и я рад, что текстовые редакторы позволяют открывать и сохранять файлы в нескольких наборах символов. Что меня раздражает, так это то, что распространение неуниверсальных кодировок символов …

31 unicode  utf-8  character-encoding 

Я бы предположил, что причина была быстрой: массив похож на доступ к символу по индексу, но некоторые символы не помещаются в 16 бит, поэтому он не будет работать ... Так что если вам все равно приходится работать с особыми случаями, почему бы просто не использовать UTF-8?

29 java  strings  unicode 

На работе я сталкиваюсь с множеством японских текстовых файлов в Shift-JIS и других кодировках. Это вызывает много проблем mojibake (нечитаемый символ) для всех пользователей компьютера. Unicode предназначался для решения такого рода проблем путем определения единого набора символов для всех языков, и сериализация UTF-8 рекомендуется для использования в Интернете. Так почему …

24 legacy  unicode  character-encoding 

Unicode может иметь 50 пробелов \ U0009 \ u000A- \ u000d \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u000d \ u0020 \ u0085 \ u00A0 \ u1680 \ …

19 unicode 

Всем известно, что у PHP проблемы с Unicode. Версия 6 фактически заброшена из-за трудностей реализации Unicode. Но мне интересно, кто-нибудь знает, каковы точные причины? Проблемы архитектуры / дизайна, проблемы производительности, проблемы сообщества (я держу пари, что нет), что-то другое?

18 php  open-source  architecture  language-design  unicode 

Я просто смотрел презентацию Джона Скита (с Тони Пони) из Dev-Days. Хотя «написать функцию обратного преобразования строк» ​​- это кодирование интервью 101 - я не уверен, что на самом деле можно написать общую функцию обратного преобразования строк, конечно, не такую, которая работает во всех локализациях и всех типах строк. Помимо …

16 algorithms  strings  unicode  localization 

UTF-16 фиксированной или переменной ширины? Я получил разные результаты из разных источников: С http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : UTF-16 хранит символы Unicode в шестнадцати разрядных блоках. С http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16 (16-битный формат преобразования Unicode) - это кодировка символов для Unicode, способная кодировать 1 112 064 [1] числа (называемых кодовыми точками) в кодовом пространстве …

16 unicode  character-encoding  utf-8 

Я разрабатываю формат файла и хочу сделать все правильно. Поскольку это двоичный формат, самый первый байт (или байты) файла не должен образовывать допустимые текстовые символы (как в заголовке файла PNG 1 ). Это позволяет инструментам, которые не распознают формат, по-прежнему видеть, что это не текстовый файл, просматривая первые несколько байтов. …

14 unicode