Как сжать файлы на месте?

У меня есть машина с 90% использования жесткого диска. Я хочу сжать более 500 файлов журнала в новый файл меньшего размера. Однако жесткий диск слишком мал, чтобы хранить как исходные, так и сжатые файлы.

Поэтому мне нужно сжать все файлы журнала в один новый файл один за другим, удаляя каждый оригинал после сжатия.

Как я могу сделать это в Linux?

gzipили bzip2сожмет файл и автоматически удалит несжатый (это их поведение по умолчанию).

Однако имейте в виду, что в процессе сжатия оба файла будут существовать.

Если вы хотите сжать файлы журнала (т.е. файлы, содержащие текст), вы можете предпочесть bzip2, так как он имеет лучшее соотношение для текстовых файлов.

bzip2 -9 myfile       # will produce myfile.bz2

Сравнение и примеры:

$ ls -l myfile
-rw-rw-r-- 1 apaul apaul 585999 29 april 10:09 myfile

$ bzip2 -9 myfile

$ ls -l myfile*
-rw-rw-r-- 1 apaul apaul 115780 29 april 10:09 myfile.bz2

$ bunzip2 myfile.bz2

$ gzip -9 myfile

$ ls -l myfile*
-rw-rw-r-- 1 apaul apaul 146234 29 april 10:09 myfile.gz

UPDATE, как @Jjoao сказал мне в комментарии, интересно, xzкажется, имеет лучшее соотношение для простых файлов с параметрами по умолчанию:

$ xz -9 myfile

$ ls -l myfile*
-rw-rw-r-- 1 apaul apaul 109384 29 april 10:09 myfile.xz

Для получения дополнительной информации, вот интересный тест для различных инструментов: http://binfalse.de/2011/04/04/comparison-of-compression/

В приведенном выше примере я использую -9наилучшую степень сжатия, но если время, необходимое для сжатия данных, важнее, чем соотношение, лучше его не использовать (используйте более низкую опцию, т. Е. -1Или что-то среднее).

Я сам нашел решение для дегтя.
Он удаляет один файл после сжатия его в целевой файл.
Однако скорость сжатия не совсем высокая. Команда выглядит так:

tar -zcvf my_log.tar.gz *.log --remove-files

В дополнение к @apaul, я подчеркиваю, что сжатие файлов индивидуально

 bzip2 *.log.*

(замените bzip2 на gzip, xz или какой-либо другой ваш любимый файл zip) может быть важно:

Таким образом, вы по-прежнему можете видеть ( bzcat file.bz2), искать ( bzgrep file.bz2), редактировать ( vi file.bz2) сжатый файл и удалять старые, когда это необходимо.

Я пытался сделать это на BSD-версии tar. В этом случае опция --remove-files недоступна. В итоге я сделал (и работал):

find folder_to_tar -type f -exec tar --append --file=output_tar_file.tar {} \; -exec rm -v {} \;