Передача нескольких файлов через stdin (через ssh)

У меня есть программа на удаленном хосте, выполнение которой мне нужно автоматизировать. Команда выполнения этой программы на той же машине выглядит примерно так:

/path/to/program -a file1.txt -b file2.txt

В этом случае file1.txtи file2.txtиспользуются для совершенно разных вещей внутри программы, поэтому я не могу просто catих объединить. Тем не менее, в моем случае, file1.txtи file2.txtчто я хочу передать в программу существует только на устройстве, а не на машине , где мне нужно , чтобы выполнить программу. Я знаю, что могу передать как минимум один файл через SSH, передав его через stdin:

cat file1.txt | ssh host.name /path/to/program -a /dev/stdin -b file2.txt

но, поскольку мне не разрешено хранить файлы на хосте, мне также нужен способ получить доступ к file2.txtнему. Я думаю, что это могло бы быть возможно через злоупотребление переменными среды и творческое использование catи sedвместе, но я не знаю инструменты достаточно хорошо, чтобы понять, как я использовал бы их, чтобы достигнуть этого. Это выполнимо и как?

Если файлы, указанные в качестве аргументов вашей программы, являются текстовыми файлами, и вы можете контролировать их содержимое (вы знаете строку, которая не встречается внутри них), вы можете использовать несколько здесь-документов:

{
    echo "cat /dev/fd/3 3<<'EOT' /dev/fd/4 4<<'EOT' /dev/fd/5 5<<'EOT'"
    cat file1
    echo EOT
    cat file2
    echo EOT
    cat file3
    echo EOT
} | ssh user@host sh

Вот catпример команды, которая принимает имена файлов в качестве аргументов. Это может быть вместо:

echo "/path/to/prog -a /dev/fd/3 3<<'EOT' -b /dev/fd/4 4<<'EOT'

Замените каждый EOTчто-то, что не встречается в каждом из файлов, соответственно.

Возможно, не совсем то, что вы хотите ... Но, возможно, рассмотрите возможность отправки тарбола через канал, открытый ssh?

Вы сказали, что:

Мне не разрешено хранить файлы на хосте.

Возможно, у вас нет доступного для записи домашнего каталога или другого удобного места для долгосрочного хранения файлов, но я бы сказал, что маловероятно, что у вас нет доступного для записи места, даже если временное tmpfsбудет доступно только для вашего конкретное соединение.

Многие программы (и даже подпрограммы libc) требуют записи /tmp, так что, скорее всего, она будет вам доступна.

Затем вы можете использовать скрипт, который распакует архив во временный каталог, запустит вашу программу и очистит через ssh-соединение.

Что-то вроде:

$ tar cf - file1.txt file2.txt |
  ssh host.name '
      set -e
      tmpdir=$(mktemp -d -t tmp.XXXXXXXXXX)
      cleanup () { rm -rf "$tmpdir"; }
      trap cleanup EXIT
      cd "$tmpdir"
      tar xf -
      /path/to/program -a file1.txt -b file2.txt
  '

Это может потребовать некоторой дополнительной осторожности с путями к файлам, и следует рассмотреть несколько ключевых случаев (проверить их), но общий подход должен работать.

Если доступный для записи каталог недоступен, возможный подход состоит в том, чтобы изменить programтарбол на единый вход и распаковать его содержимое в память. Например, если programэто скрипт на Python, то с помощью встроенного tarfileмодуля легко добиться чего-то подобного.

Если вы можете установить прослушиватель TCP (может быть порт более высокого уровня), то вы можете использовать второй сеанс SSH для установки второго источника ввода с nc .

Пример:

На сервере есть этот скрипт ( ~/script.bash):

#!/usr/bin/env bash
cat "$1" | tr a 1
nc localhost "$2" | tr '[:lower:]' '[:upper:]'

И есть эти два файла локально:

$ cat a 
aaa
aaa
aaa
$ cat b
bbb
bbb
bbb

Теперь сначала запустите второй источник ( $servэто сервер):

ssh "$serv" nc -l -p 2222 -q1 <b &

И правильно запустите команду:

$ ssh "$serv" ./script.bash - 2222 <a
111
111
111
BBB
BBB
BBB
[1]+  Done                    ssh "$serv" nc -l -p 2222 -q1 < b

Это было установлено в комментарии, который /tmpдоступен для записи, поэтому просто скопируйте один из файлов заранее:

scp -p file2.txt host.name:/tmp/
ssh host.name "/path/to/program -a /dev/stdin -b /tmp/file2.txt && rm /tmp/file2.txt" < file1.txt

Это также очищает скопированный файл после успешного запуска (измените на &&a, ;если вы хотите удалить его независимо от успеха, но затем обратите внимание, что вы потеряете значение выхода).

Если это неприемлемо, я бы предложил поработать с ним /path/to/programили оберткой, которая может отделить два файла от одного входного потока, такого как:

awk 'FNR == 1 && NR > 1 { printf "%c%c%c", 28, 28, 28 } 1' file1.txt file2.txt \
  | ssh host.name /path/to/tweaked_program

При этом используется разделитель информации ASCII четвертый (разделитель файлов, FS) и он увеличивается в три раза, чтобы минимизировать вероятность совпадения двоичного файла с этой строкой. Вашtweaked_program бы затем разделить на вход данный сепаратор , а затем работать на двух сохраненных файлов в качестве переменных.

Конечно, если вы используете язык, в котором есть библиотеки для работы с тарболлами, более безопасный и понятный подход будет просто заключаться tarв таком коде ssh:

tar -zpc file1.txt file2.txt |ssh host.name /path/to/tweaked_program

И вы tweaked_programраспакуете и откроете архив, сохраните каждый файл в другую переменную, а затем запустите исходную programлогику для переменных.

Если вам разрешено перенаправлять порты через ssh, и у вас есть доступ к wgetудаленной машине и к busyboxлокальной машине, вы можете сделать что-то вроде:

mkdir /tmp/test; cd /tmp/test
echo 1st_file > 1st_file
echo 2nd_file > 2nd_file

busybox httpd -f -p 127.0.0.1:11080 &
ssh USER@HOST -R 10080:127.0.0.1:11080 '
        cat <(wget -q -O- http://localhost:10080/1st_file) \
            <(wget -q -O- http://localhost:10080/2nd_file)
'
kill $!

(используя catв качестве примера программу, которая принимает два аргумента файла).

-RНеобходима только возможность переадресации портов через - вместо http вы можете использовать другие методы, например. если ваш netcatподдерживает параметры -dи -N:

nc -Nl localhost 11001 < 1st_file &
nc -Nl localhost 11002 < 2nd_file &
ssh USER@HOST -R 10001:localhost:11001 -R 10002:localhost:11002 '
        cat <(nc -d localhost 10001) <(nc -d localhost 10002)

Могут быть способы заменить <(...)подстановки процессов, если оболочка входа на удаленной машине не похожа на ksh или bash.

В общем, это не так уж и много - лучшее знание о точных настройках системы / оболочек / конфигурации / разрешений (которые вы не предоставили) может позволить найти более разумные решения.

ОБНОВЛЕНИЕ: Это на самом деле не работает, ssh очень четко представляет, что означают stdin и stdout / stderr, и не позволяет узурпировать stderr читать из него. Я удалю этот ответ через несколько дней, так как он не работает. Спасибо за очень интересную дискуссию !!!

К сожалению, нет хорошего способа сделать это напрямую, так как sshклиент будет передавать только три файловых дескриптора ( stdin, stdoutиstderr ) на сервер , и он не имеет положения передать дополнительные дескрипторы файлов (которые были бы полезны для данного конкретного случая использования .)

(Также обратите внимание, что в протоколе SSH предусмотрены условия для передачи дополнительных файловых дескрипторов, только sshклиент не реализует способ использования этой функции. Теоретически, для предоставления этой функции достаточно расширения клиента с помощью патча.)

Один хакерский способ выполнить то, что вы ищете, это использовать дескриптор файла 2 ( stderrдескриптор файла) для передачи второго файла. Что-то вроде:

$ ssh remote.name \
      /path/to/program -a /dev/stdin -b /dev/stderr \
      <file1.txt 2<file2.txt

Это должно работать, это может вызвать проблемы, если programпопытаться записать в stderr. Вы можете обойти это, повторно манипулируя файловыми дескрипторами на удаленном конце перед запуском программы. Вы можете перейти file2.txtк файловому дескриптору 3 и снова открыть stderr для зеркального вывода stdout:

$ ssh remote.name \
      /path/to/program -a /dev/stdin -b /dev/fd/3 \
      '3<&2' '2>&1' \
      <file1.txt 2<file2.txt