Повторяемые элементы хранятся в словаре, а код назначается в качестве замены.
ЭТО ЗАДАЧА
aaaaaaaaaaaaaaaaaaaaaaaa 0001
bbbbbbbbbbbbbbbbbbbbbbbb 0002
alsdjl;asjdfkl;asdfjkljj 0003
вместо всей строки он просто поместил код на свое место. Чем больше словарь, тем больше кодов он может обработать. Обычно, когда словарь заполняется, он запускает новый на лету. Когда он запускает новый, он пуст и новые коды присваиваются обнаруженным шаблонам.
Как правило, чем больше, тем лучше. Весь словарь хранится в памяти, поэтому вам нужно больше оперативной памяти, чем размер словаря.
Размер словаря зависит от сжимаемости ваших данных, количества файлов, размера и общего размера.
Как правило, 32 МБ более чем достаточно, но если вы сжимаете множество файлов с несколькими гигабайтами, можно использовать гораздо большее число. Большие словари часто замедляют процесс, но в результате получают файл меньшего размера.