Я обнаружил, что у меня были проблемы с этим подходом, в основном потому, что я пытался записать вывод в файл, и он не был правильно закодирован. Поскольку JS, похоже, использует кодировку UCS-2 ( источник , источник ), нам нужно расширить это решение еще на шаг, вот мое усовершенствованное решение, которое мне подходит.
У меня не было трудностей с общим текстом, но когда он был арабским или корейским, в выходном файле не было всех символов, вместо этого отображались символы ошибок
Вывод файла:
","10k unit":"",Follow:"Õ©íüY‹","Follow %{screen_name}":"%{screen_name}U“’Õ©íü",Tweet:"ĤüÈ","Tweet %{hashtag}":"%{hashtag} ’ĤüÈY‹","Tweet to %{name}":"%{name}U“xĤüÈY‹"},ko:{"%{followers_count} followers":"%{followers_count}…X \Ì","100K+":"100Ì tÁ","10k unit":"Ì è",Follow:"\°","Follow %{screen_name}":"%{screen_name} Ø \°X0",K:"œ",M:"1Ì",Tweet:"¸","Tweet %{hashtag}":"%{hashtag}
Оригинал:
","10k unit":"万",Follow:"フォローする","Follow %{screen_name}":"%{screen_name}さんをフォロー",Tweet:"ツイート","Tweet %{hashtag}":"%{hashtag} をツイートする","Tweet to %{name}":"%{name}さんへツイートする"},ko:{"%{followers_count} followers":"%{followers_count}명의 팔로워","100K+":"100만 이상","10k unit":"만 단위",Follow:"팔로우","Follow %{screen_name}":"%{screen_name} 님 팔로우하기",K:"천",M:"백만",Tweet:"트윗","Tweet %{hashtag}":"%{hashtag}
Я взял информацию из решения Дениса и этот пост, который я нашел.
Вот мой код:
function encode_utf8(s) {
return unescape(encodeURIComponent(s));
}
function decode_utf8(s) {
return decodeURIComponent(escape(s));
}
function ab2str(buf) {
var s = String.fromCharCode.apply(null, new Uint8Array(buf));
return decode_utf8(decode_utf8(s))
}
function str2ab(str) {
var s = encode_utf8(str)
var buf = new ArrayBuffer(s.length);
var bufView = new Uint8Array(buf);
for (var i=0, strLen=s.length; i<strLen; i++) {
bufView[i] = s.charCodeAt(i);
}
return bufView;
}
Это позволяет мне сохранять содержимое в файл без проблем кодирования.
Как это работает: Он в основном берет одиночные 8-байтовые блоки, составляющие символ UTF-8, и сохраняет их как одиночные символы (поэтому символ UTF-8, построенный таким образом, может состоять из 1-4 этих символов). UTF-8 кодирует символы в формате, длина которого варьируется от 1 до 4 байтов. Здесь мы кодируем строку в компоненте URI, а затем берем этот компонент и переводим его в соответствующий 8-байтовый символ. Таким образом, мы не теряем информацию, передаваемую символами UTF8 длиной более 1 байта.
Int8Array
ArrayBufferView
то можно будет просто использовать скобочную запись для копирования символовstring[i] = buffer[i]
и наоборот.