Добавить последнюю строку стандартного ввода ко всему стандартному вводу

Рассмотрим этот скрипт:

tmpfile=$(mktemp)

cat <<EOS > "$tmpfile"
line 1
line 2
line 3
EOS

cat <(tail -1 "$tmpfile") "$tmpfile"

Это работает и выводит:

line 3
line 1
line 2
line 3

Допустим, что наш источник ввода, а не фактический файл, был вместо этого stdin:

cat <<EOS | # what goes here now?
line 1
line 2
line 3
EOS

Как мы модифицируем команду:

cat <(tail -1 "$tmpfile") "$tmpfile"

Так что он все еще производит тот же результат, в этом другом контексте?

ПРИМЕЧАНИЕ: конкретный Heredoc, которым я занимаюсь, а также использование самого Heredoc, является просто иллюстративным. Любой приемлемый ответ должен предполагать, что он получает произвольные данные через стандартный ввод .

Пытаться:

awk '{x=x $0 ORS}; END{printf "%s", $0 ORS x}'

пример

Определите переменную с помощью нашего ввода:

$ input="line 1
> line 2
> line 3"

Запустите нашу команду:

$ echo "$input" | awk '{x=x $0 ORS}; END{printf "%s", $0 ORS x}'
line 3
line 1
line 2
line 3

В качестве альтернативы, конечно, мы могли бы использовать здесь документ:

$ cat <<EOS | awk '{x=x $0 ORS}; END{printf "%s", $0 ORS x}'
line 1
line 2
line 3
EOS
line 3
line 1
line 2
line 3

Как это работает

• x=x $0 ORS

  Это добавляет каждую строку ввода к переменной x.

  В awk ORS- разделитель выходных записей . По умолчанию это символ перевода строки.

• END{printf "%s", $0 ORS x}

  После того как мы прочитали весь файл, будет напечатана последняя строка $0, за которой следует содержимое всего файла x.

Так как при этом считывается весь ввод в память, он не подходит для больших ( например, гигабайтных) вводов.

Если stdin указывает на доступный для поиска файл (как, например, в случае документов bash (но не всех других оболочек), которые реализованы с временными файлами), вы можете получить хвост и затем выполнить обратный поиск перед чтением полного содержимого:

Операторы поиска доступны в оболочках zshили ksh93, или в языках сценариев, таких как tcl / perl / python, но не в bash. Но вы всегда можете позвонить этим более продвинутым переводчикам, bashесли вам придется их использовать bash.

ksh93 -c 'tail -n1; cat <#((0))' <<...

Или

zsh -c 'zmodload zsh/system; tail -n1; sysseek 0; cat' <<...

Теперь это не сработает, когда stdin указывает на файлы без возможности поиска, такие как канал или сокет. Тогда единственный вариант - прочитать и сохранить (в памяти или во временном файле ...) весь ввод.

Некоторые решения для хранения в памяти уже были даны.

С помощью временного файла zshвы можете сделать это с помощью:

seq 10 | zsh -c '{ cat =(sed \$w/dev/fd/3); } 3>&1'

Если на Linux, с bashили zshили любой оболочкой , что файлы используют временные для здесь-документов, вы могли бы реально использовать временный файл , созданный с помощью документ-здесь , чтобы сохранить результат:

seq 10 | {
  chmod u+w /dev/fd/3 # only needed in bash5+
  cat > /dev/fd/3
  tail -n1 /dev/fd/3
  cat <&3
} 3<<EOF
EOF

cat <<EOS | sed -ne '1{h;d;}' -e 'H;${G;p;}'
line 1
line 2
line 3
EOS

Проблема с переводом этого к чему-то, что использует то, tailчто tailнужно прочитать весь файл, чтобы найти его конец. Чтобы использовать это в своем конвейере, вам нужно

1. Предоставьте полное содержание документа tail.
2. Обеспечить его снова в cat.
3. В этой последовательности.

Сложность заключается не в том, чтобы дублировать содержимое документа ( teeделает это), а в том, чтобы получить результат tailдо того, как будет выведен остальной документ, без использования промежуточного временного файла.

Использование sed(или awk, как это делает John1024 ) избавляет от двойного анализа данных и проблемы упорядочения, сохраняя данные в памяти.

sedРешение , которое я предлагаю , чтобы

1. 1{h;d;}, сохраните первую строку в пространстве удержания, как есть, и перейдите к следующей строке.
2. H, добавьте каждую строку к пробелу со встроенной новой строкой.
3. ${G;p;}, добавьте пробел к последней строке со встроенной новой строкой и напечатайте полученные данные.

Это довольно буквальный перевод решения John1024 в sed, с оговоркой, что стандарт POSIX гарантирует только то, что пространство удержания составляет по крайней мере 8192 байта (8 КиБ; но он рекомендует, чтобы этот буфер динамически выделялся и расширялся по мере необходимости, что оба GNU sedи BSD sedделает).

Если вы позволите себе использовать именованный канал:

mkfifo mypipe
cat <<EOS | tee mypipe | cat <( tail -n 1 mypipe ) -
line 1
line 2
line 3
EOS
rm -f mypipe

Это используется teeдля отправки данных вниз mypipeи в то же время cat. catУтилита первого чтения вывода tail(который считывает с mypipe, который teeпишет в), а затем добавить копию документа , приходящий непосредственно из tee.

Однако в этом есть серьезный недостаток, заключающийся в том, что если документ слишком большой (больше, чем размер буфера канала), teeзапись mypipeи catблокирование будут выполняться в ожидании опустошения (без имени) канала. Он не будет опустошен, пока не catпрочитан из него. catне будет читать с него, пока tailне закончил. И tailне закончил бы, пока teeне закончил. Это классическая тупиковая ситуация.

Вариация

tee >( tail -n 1 >mypipe ) | cat mypipe -

имеет ту же проблему.

Существует инструмент, названный peeв наборе утилит командной строки, обычно упакованный с именем «moreutils» (или иным образом доступный на его домашнем веб-сайте ).

Если вы можете иметь его в своей системе, то эквивалент для вашего примера будет выглядеть так:

cat <<EOS | pee 'tail -1' cat 
line 1
line 2
line 3
EOS

Порядок выполнения команд peeважен, потому что они выполняются в предоставленной последовательности.

Пытаться:

cat <<EOS # | what goes here now? Nothing!
line 3
line 1
line 2
line 3
EOS

Поскольку все это буквальные данные («документ здесь-это»), а разница между ним и желаемым выводом тривиальна, просто помассируйте эти буквальные данные прямо в соответствии с выводом.

Теперь предположим, что он line 3откуда-то и хранится в переменной с именем lastline:

cat <<EOS # | what goes here now? Nothing!
$lastline
line 1
line 2
$lastline
EOS

В этом документе мы можем генерировать текст, подставляя переменные. Не только это, но мы можем вычислить текст с помощью подстановки команд:

cat <<EOS
this is template text
here we have a hex conversion: $(printf "%x" 42)
EOS

Мы можем интерполировать несколько строк:

cat <<EOS
multi line
preamble
$(for x in 3 1 2 3; do echo line $x ; done)
epilog
EOS

В общем, избегайте текстовой обработки здесь шаблона документа; попытаться сгенерировать его, используя интерполированный код.

Если вы не заботитесь о заказе. Тогда это будет работать cat lines | tee >(tail -1). Как уже говорили другие. Вам нужно прочитать файл дважды или поместить в буфер весь файл, чтобы сделать это в том порядке, в котором вы просили.