Полностью буферизировать вывод команды перед передачей в другую команду?

Есть ли способ выполнить команду только после выполнения другой без временного файла? У меня есть одна более длинная команда и другая команда, которая форматирует вывод и отправляет его на HTTP-сервер с помощью curl. Если я просто выполню commandA | commandB, commandBзапустится curl, подключусь к серверу и начну отправку данных. Потому что commandAзанимает так много времени, HTTP-сервер будет тайм-аут. Я могу делать то, что я хочу сcommandA > /tmp/file && commandB </tmp/file && rm -f /tmp/file

Из любопытства я хочу знать, есть ли способ сделать это без временного файла. Я пытался, mbuffer -m 20M -q -P 100но процесс скручивания все еще начинается в самом начале. Mbuffer ждет, пока commandAне закончится фактическая отправка данных. (Данные сами по себе не более нескольких сотен килобайт)

Это похоже на пару других ответов. Если у вас есть пакет «moreutils», у вас должна быть spongeкоманда. Пытаться

commandA | sponge | { IFS= read -r x; { printf "%s\n" "$x"; cat; } | commandB; }

Команда spongeв основном является сквозным фильтром (например cat), за исключением того, что она не начинает записывать вывод, пока не прочитает весь ввод. То есть он «впитывает» данные, а затем освобождает их, когда вы сжимаете их (как губка). Так что, в определенной степени, это «обман» - если есть нетривиальный объем данных, spongeпочти наверняка используется временный файл. Но это невидимо для вас; Вам не нужно беспокоиться о таких вещах, как выбор уникального имени файла и его очистка.

{ IFS= read -r x; { printf "%s\n" "$x"; cat; } | commandB; } Считывает первую линию выхода из sponge. Помните, это не появится, пока commandAне закончится.  Затем он запускается commandB, записывает первую строку в канал и вызывает catчтение остальной части вывода и запись его в канал.

Команды в конвейере запускаются одновременно, вам нужно хранить commandAвыходные данные где-то, чтобы использовать позже. Вы можете избежать временного файла, используя переменную:

output=$(command A; echo A)
printf '%s' "${output%%A}" | commandB

Я не знаю ни одной стандартной утилиты UNIX, которая могла бы решить эту проблему. Одним из вариантов будет использование awkдля накопления commandAвыходного сигнала и сброса его commandBв один выстрел, например, так

commandA  | awk '{x = x ORS $0}; END{printf "%s", x | "commandB"}'

Помните, что это может занять много памяти, так awkкак строит строку из своего ввода.

Вы можете решить требование с помощью небольшого сценария. Этот конкретный вариант позволяет избежать временного файла и потенциального сбоя памяти за счет дополнительных процессов.

#!/bin/bash
#
IFS= read LINE

if test -n "$LINE"
then
    test -t 2 && echo "Starting $*" >&2
    (
        echo "$LINE"
        cat

    ) | "$@"
else
    exit 0
fi

Если бы вы вызывали скрипт waituntil(и делали его исполняемым, помещали его в и PATHт. Д.), Вы бы использовали его следующим образом

commandA... | waituntil commandB...

пример

( sleep 3 ; date ; id ) | waituntil nl