Создайте gzip-файл заранее определенного размера

8

Я хочу протестировать загрузку файлов с типом контента application/x-gzipразличного размера от 100 МБ до 999 МБ.

Как я могу создать .gzфайлы с заданными размерами? Если я это сделаю dd if=/dev/zero of=somefile bs=1 seek=100, результирующий файл после архивирования обычно очень маленький.

files compression

— Сентил Кумаран
источник

18

Вы можете создать gzip-файл размером 10 МБ, например так:
```
head -c 10M /dev/urandom | gzip -1 >10m.gz
```
Используется urandomдля получения потока байтов с высокой энтропией: поскольку это несжимаемо, версия gzipped будет примерно такого же размера, что и входные данные.
Затем вы можете объединить копии вашего gzip-файла вместе:
```
cat $(perl -e "print '10m.gz ' x 30") >300m.gz
```
Тридцать копий исходного файла будут иметь размер около 300 МБ, а 100 копий - около гигабайта.

— dhag
источник

Я должен был использовать -c 10m вместо 10M. Отдых был хорош. Спасибо!

— Сентил Кумаран

3

Можете ли вы объединить несколько файлов GZIP и получить другой файл GZIP с объединенными данными? Это кажется хитрым.

— user253751

2

Да, вы можете объединить файлы GZIP. stackoverflow.com/questions/8005114/…

— Брайс М. Демпси

2

Вот еще один метод. Вы можете создавать файлы, управляя переменной цикла filecount. Это создает случайные файлы размером от 100 МБ до 900 МБ и gzipсохраняет их.

#!/bin/bash
filecount=0
while [ $filecount -lt 10 ]
do
filesize=$((RANDOM%9+1))
filesize=$(($filesize*104857600))
</dev/urandom head -c "$filesize" | gzip > /tmp/file${filecount}.$RANDOM.gz
((filecount++))
done

— Рахул
источник

3

Выход из base64сжимаемый примерно на 25%; Я бы порекомендовал пропустить бит base64 и напрямую вызывать голову /dev/urandom.

— дхаг

1

@ Dhag спасибо. Я отредактировал ответ, чтобы отразить это.

— Рахул