Использование jq в цепочке труб не приводит к выводу

Вопрос о jqнеобходимости явного фильтра при перенаправлении вывода обсуждается во всем Интернете. Но я не могу перенаправить вывод, если он jqявляется частью цепочки каналов, даже когда используется явный фильтр.

Рассмотреть возможность:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Как и ожидалось, вывод в исходный терминал из jqкоманды:

1
3

Но если я добавлю какой-либо вид перенаправления или конвейера в конец jqкоманды, вывод будет молчать:

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

В первом терминале нет вывода, а out.txt пуст.

Я пробовал сотни вариантов, но это неуловимая проблема. Единственный обходной путь, который я нашел , как обнаружил через mosquitto_subThe Things Network (именно там я и обнаружил проблему), - это обернуть функции tail и jq в сценарий оболочки:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

Потом:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

И, конечно же, вывод:

1
3

Это с последней jqустановленной через Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

Это (в значительной степени недокументированная) ошибка в jqмоем понимании цепочек труб?

Вывод из jqбуферизируется, когда его стандартный вывод передается по конвейеру.

Чтобы запросить jqочистку выходного буфера после каждого объекта, используйте его --unbufferedопцию, например

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

Из jqруководства:

--unbuffered

Сбрасывайте вывод после того, как каждый объект JSON напечатан (полезно, если вы подключаете медленный источник данных jqи выводите jqвывод в другом месте).

Здесь вы видите буферизацию C stdio в действии. Он будет хранить выходные данные в буфере, пока не достигнет определенного предела (может быть 512 байт, или 4 КБ или больше), а затем отправит все сразу.

Эта буферизация автоматически отключается, если stdout подключен к терминалу, но когда он подключен к каналу (как в вашем случае), он включит это поведение буферизации.

Обычный способ отключить / контролировать буферизацию - использовать setvbuf()функцию (см. Этот ответ для получения более подробной информации), но это должно быть сделано в самом исходном коде jq, так что, возможно, для вас это не практично ...

Есть обходной путь ... (Хак, можно сказать.) Есть программа под названием "unbuffer", которая распространяется с "Ожидаемо", которая может создать псевдотерминал и подключить его к программе. Таким образом, несмотря на то, jqчто все еще будет выполнять запись в канал, он будет думать, что выполняет запись в терминал, и эффект буферизации будет отключен.

Установите «ожидаемый» пакет, который должен поставляться с «unbuffer», если у вас его еще нет ... Например, в Debian (или Ubuntu):

$ sudo apt-get install expect

Тогда вы можете использовать эту команду:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

Смотрите также этот ответ для более подробной информации о "unbuffer", и вы также можете найти страницу справочника здесь .