Реализация JavaScript в Gzip [закрыто]

208

Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы.

Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме переполнения стека.

Закрыто 5 лет назад .

Улучшить этот вопрос

Я пишу веб-приложение, которое должно хранить данные JSON в небольшом серверном кэше фиксированного размера через AJAX (подумайте: квоты Opensocial ). У меня нет контроля над сервером.

Мне нужно уменьшить размер хранимых данных, чтобы они не выходили за пределы квоты на стороне сервера, и я надеялся получить возможность сжать зашифрованный JSON в браузере перед его отправкой на сервер.

Однако я не могу найти много способов реализации Gzip на JavaScript. Любые предложения о том, как я могу сжать данные на стороне клиента перед отправкой?

— Дэвид Цитрон
источник

6

Вы отправляете его на сервер. Вот почему существуют понятия «загрузка» и «загрузка». Возможно, именно поэтому вы получаете ответы, в которых говорится, что «сервер может это сделать».

— Томалак

3

Правильная реализация этого, вероятно, сложно, так как JavaScript является однопоточным. Вероятно, придется сжимать пакетами, используя setTimeout (), чтобы пользовательский интерфейс не блокировался при сжатии.

— Август Лиллеас,

возможно, вы могли бы написать свой собственный алгоритм сжатия

— Captain kurO

3

@AugustLilleaas теперь вы можете использовать веб-работников, чтобы сделать это :)

— Капитан Очевидность

138

Править Похоже, что есть лучшее решение LZW, которое корректно обрабатывает строки Unicode по адресу http://pieroxy.net/blog/pages/lz-string/index.html (благодаря pieroxy в комментариях).

Я не знаю ни одной реализации gzip, но библиотека jsolait (сайт, кажется, ушел) имеет функции для сжатия / распаковки LZW. Код распространяется под LGPL .

// LZW-compress a string
function lzw_encode(s) {
    var dict = {};
    var data = (s + "").split("");
    var out = [];
    var currChar;
    var phrase = data[0];
    var code = 256;
    for (var i=1; i<data.length; i++) {
        currChar=data[i];
        if (dict[phrase + currChar] != null) {
            phrase += currChar;
        }
        else {
            out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
            dict[phrase + currChar] = code;
            code++;
            phrase=currChar;
        }
    }
    out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
    for (var i=0; i<out.length; i++) {
        out[i] = String.fromCharCode(out[i]);
    }
    return out.join("");
}

// Decompress an LZW-encoded string
function lzw_decode(s) {
    var dict = {};
    var data = (s + "").split("");
    var currChar = data[0];
    var oldPhrase = currChar;
    var out = [currChar];
    var code = 256;
    var phrase;
    for (var i=1; i<data.length; i++) {
        var currCode = data[i].charCodeAt(0);
        if (currCode < 256) {
            phrase = data[i];
        }
        else {
           phrase = dict[currCode] ? dict[currCode] : (oldPhrase + currChar);
        }
        out.push(phrase);
        currChar = phrase.charAt(0);
        dict[code] = oldPhrase + currChar;
        code++;
        oldPhrase = phrase;
    }
    return out.join("");
}

— Мэтью Крамли
источник

11

Согласно Википедии, срок действия патентов истек несколько лет назад. Это может быть хорошей идеей, чтобы проверить это, хотя.

— Мэтью Крамли

3

LZW слишком стар, чтобы все еще быть запатентованным. Последние патенты закончились в 2003 году или около того. Есть множество бесплатных реализаций.

— ypnos

5

Я вижу, по крайней мере, две проблемы с кодом выше: 1) попробуйте сжать «Test, чтобы сжать эти символы, не являющиеся ascii». 2) Об ошибке не сообщается, если код> 65535.

— некоторые

5

Здесь представлены реализации на 21 языке. Rosettacode.org/wiki/LZW_compression написано, что он находится в

— свободном

5

@ Некоторые я только что выпустил небольшую библиотеку, исправляющую именно те проблемы, на которые вы указываете: pieroxy.net/blog/pages/lz-string/index.html

— pieroxy

53

У меня была другая проблема, я не хотел кодировать данные в gzip, но декодировать сжатые данные . Я запускаю код JavaScript за пределами браузера, поэтому мне нужно декодировать его с использованием чистого JavaScript.

Это заняло у меня некоторое время, но я обнаружил, что в библиотеке JSXGraph есть способ чтения сжатых данных.

Вот где я нашел библиотеку: http://jsxgraph.uni-bayreuth.de/wp/2009/09/29/jsxcompressor-zlib-compressed-javascript-code/ Существует даже отдельная утилита, которая может сделать это, JSXCompressor , и код лицензии LGPL.

Просто включите файл jsxcompressor.js в свой проект, и тогда вы сможете прочитать данные в сжатом формате, закодированные в формате 64:

<!doctype html>
</head>
<title>Test gzip decompression page</title>
<script src="jsxcompressor.js"></script>
</head>
<body>
<script>
    document.write(JXG.decompress('<?php 
        echo base64_encode(gzencode("Try not. Do, or do not. There is no try.")); 
    ?>'));
</script>
</html>

Я понимаю, что это не то, что вы хотели, но я все еще отвечаю здесь, потому что я подозреваю, что это поможет некоторым людям.

— pcans
источник

3

Большое спасибо за то, что все еще делитесь. Это именно то, что мне было нужно. Вы, вероятно, сэкономили мне часы неудачных поисков, которые я действительно не могу сэкономить. +1

— Кирузе

1

Я удивляюсь, почему на земле это называется «компрессор», когда он не компрессор. лол

— маттео

1

спустя почти 5 лет все еще полезно. Спасибо. Я помещаю большой JSON прямо на страницу, а не в AJAX. предварительно сжимая его с помощью PHP и распаковывая его обратно на стороне клиента JavaScript - я экономлю некоторые накладные расходы.

Нам нужно <?php..немного? .. Я спрашиваю, потому что это передается в decompressметод.

— Jus12

я получаю14:16:28.512 TypeError: e.replace is not a function[Weitere Informationen] jsxcompressor.min.js:19:12201

— Bluscream

40

Мы только что выпустили pako https://github.com/nodeca/pako , порт zlib для javascript. Я думаю, что сейчас это самая быстрая реализация js для deflate / inflate / gzip / ungzip. Кроме того, он имеет демократическую лицензию MIT. Pako поддерживает все параметры zlib, и его результаты являются бинарными.

Пример:

var inflate = require('pako/lib/inflate').inflate; 
var text = inflate(zipped, {to: 'string'});

— Виталий
источник

7

Пожалуйста, предоставьте пример на стороне клиента для декодирования сжатых строк.

— Редсандро

2

var inflate = require('pako/lib/inflate').inflate; var text = inflate(zipped, {to: 'string'});@Redsandro вот как я использую Пако.

— Forresto

Этот клиентский пример бросаетincorrect header check

— duhaime

17

Я перенес реализацию LZMA из модуля GWT в автономный JavaScript. Это называется LZMA-JS .

1

у вас есть совместимый модуль php для него?

— Сирбер

этот URL-адрес 404, и я не могу найти его на github.com/nmrugg либо

— hanshenrik

Извините, ссылка изменилась. Вот новый: lzma-js.github.io/LZMA-JS

14

Вот некоторые другие алгоритмы сжатия, реализованные в Javascript:

— Маурисио Шеффер
источник

эта реализация LZMA требует BrowserPlus (расширение браузера) и не выглядит чисто Javascript

— Петр Финдейзен

эта реализация LZ77 больше не доступна, и, по крайней мере, ее версия Python (опубликованная на той же странице) была неправильной для довольно простых входных данных.

— Петр Финдейзен

geocities мертв, обновит ссылку

— Маурисио Шеффер

Это довольно близко к тому, что я хочу. Гугл вещи тоже будут обновлять здесь

— Theofanis Pantelides

8

Я не тестировал, но есть реализация ZIP на JavaScript, называемая JSZip:

http://jszip.stuartk.co.uk/

https://stuk.github.io/jszip/

— Sirber
источник

1

Это zip, а не gzip, и он использует pako под капотом. Разница в том, что zip содержит метаданные информации о файле.

— Виталий

0

Я предполагаю, что общая реализация сжатия JavaScript на стороне клиента была бы очень дорогой операцией с точки зрения времени обработки, в отличие от времени передачи еще нескольких пакетов HTTP с несжатой полезной нагрузкой.

Вы провели какое-нибудь тестирование, которое дало бы вам представление о том, сколько времени можно сэкономить? Я имею в виду, экономия полосы пропускания не может быть тем, что вы ищете, или не так

— Томалак
источник

Мне нужно сохранить общий размер данных в определенной квоте - размер важнее времени.

— Дэвид Цитрон

Хм ... Почему предел? Просто любопытно.

— Томалак

Что ж, вот что делает Google: code.google.com/apis/opensocial/articles/… - Типичные квоты Opensocial составляют около 10 тыс.

— Дэвид Цитрон

Понятно, спасибо за разъяснения.

— Томалак

1

В зависимости от того, насколько интенсивно сжатие, вы можете использовать веб-работников для выполнения задачи за кулисами.

— Заклеат

-3

Большинство браузеров могут распаковывать gzip на лету. Это может быть лучшим вариантом, чем реализация javascript.

20

Да, но мне нужно сжать данные на стороне клиента перед их отправкой ...

— Дэвид Цитрон,

-4

Вы можете использовать встроенный в страницу Java-апплет 1 пиксель на 1 пиксель и использовать его для сжатия.

Это не JavaScript, и клиентам потребуется среда выполнения Java, но она будет делать то, что вам нужно.

— Богдан
источник

7

Интересно, но я бы предпочел не включать апплет, если это возможно.

— Дэвид Цитрон

Я хотел бы добавить реальные случаи использования

— CMC

1

Не очень хорошее решение, так как оно добавляет зависимость к Java. Кроме того, не все удосужились установить Java - сайт не будет работать для некоторых людей. Лично у меня установлена Java, так как она мне давно нужна, но я предпочитаю посещать сайты, которые не используют Java.

— Онкельборг