Как мне извлечь один кусок байтов из файла?

81

На рабочем столе Linux (RHEL4) я хочу извлечь диапазон байтов (обычно менее 1000) из большого файла (> 1 ГБ). Я знаю смещение в файле и размер куска.

Я могу написать для этого код, но есть ли решение для командной строки?

В идеале что-то вроде:

magicprogram --offset 102567 --size 253 < input.binary > output.binary

linux file split

— DanM
источник

121

Попробуйте dd:

dd skip=102567 count=253 if=input.binary of=output.binary bs=1

— Томас Падрон-Маккарти
источник

2

Необязательно добавить, status=noneчтобы подавить вывод в stderr.

— kenorb

13

Вот пример с использованием шестигранных смещения: dd if=in.bin bs=1 status=none skip=$((0x88)) count=$((0x80)) of=out.bin.

— kenorb

@kenorb: я считаю, что шестнадцатеричный синтаксис является частью Bash, поэтому он не обязательно работает с другими оболочками. Я сам использую tcsh (не бейте меня!), И ваш пример там не работает.

— Томас Падрон-Маккарти

1

Есть ли конкретная причина, по которой вы используете bs = 1 и count = 253, а не наоборот? Сделает ли больший размер блока команду более эффективной?

— rexford

1

@rexford: номер пропуска также дается блоками и не кратен 253. И, учитывая, что ОС выполняет собственную буферизацию при чтении из обычного файла в файловой системе, в этом случае эффективность не будет такой низкой, как при чтении с устройства.

— Thomas Padron-McCarthy

55

Это старый вопрос, но я хотел бы добавить еще одну версию ddкоманды, которая лучше подходит для больших блоков байтов:

dd if=input.binary of=output.binary skip=$offset count=$bytes iflag=skip_bytes,count_bytes

где $offsetи $bytes- числа в байтовых единицах.

Разница с принятым ответом Томаса заключается в том, bs=1что здесь его нет. bs=1производит размер входного и выходного блока равным 1 байту, что делает его ужасно медленным, когда количество байтов для извлечения велико.

— ChronoTrigger
источник

4

Это действительно намного быстрее, чем мой ответ.

— Томас Падрон-Маккарти

1

Не работает на Mac - iflagэто неизвестный операнд, и без него вы получите целый блок.

— Timmmm

1

@Timmmm GNU ddможно использовать для iflagподдержки ( brew install coreutils). Примечание: по умолчанию утилиты устанавливаются с gпрефиксом (например, gddвместо dd)

— Shakil

идеальный трюк для ускорения, я собирался разделить файл размером 48 ГБ, и это спасло мне жизнь

— Али Надализаде

11

head -c + tail -c

Не уверен, как это сравнить по ddэффективности, но это весело:

printf "123456789" | tail -c+2 | head -c3

выбирает 3 байта, начиная со второго:

См. Также: https://stackoverflow.com/a/1272995/895245

— Чиро Сантилли 郝海东冠状病六四事件法轮功
источник

@ elvis.dukaj да, по-другому быть не должно. Просто попробуйте printf '\x01\x02' > fи hd.

— Чиро Сантилли 郝海东冠状病六四事件法轮功

2

Намного быстрее, чем dd с bs = 1, спасибо! Обратите внимание, что tail подсчитывает байты от 1, а не от 0. Кроме того, tail завершается с кодом ошибки 1, когда его вывод преждевременно закрывается головкой. Обязательно игнорируйте эту ошибку при использовании "set -e".

— proski

2

Все это может делать команда dd. Посмотрите на параметры поиска и / или пропуска как часть вызова.

— Джо
источник

2

Даже быстрее

dd bs=<req len> count=1 skip=<req offset> if=input.binary of=output.binary

— Альберт Бурбеа
источник

2

Проблема здесь в том, что skipэто единицы bs.

— Arkku

однако этот ответ должен быть самым популярным, ответ выше с bs = 1 очень медленный: D

— Чакабам

это деталь для исполнителя, и все же лучше, чем выше, правда, вам нужно будет пересчитать, например: req_offset=$(bc <<< "$offset/$bs")и убедиться, что получается круглое значение.

— Чакабам