Как использовать AWS S3 CLI для дампа файлов на стандартный вывод в BASH?

Question 1

Я запускаю сценарий bash, который берет путь в S3 (как указано в команде ls ) и выгружает содержимое всех файловых объектов в stdout. По сути, я бы хотел повторить, cat /path/to/files/*кроме S3, например s3cat '/bucket/path/to/files/*'. Моя первая склонность при просмотре вариантов - использовать cpкоманду для временного файла, а затем для catэтого.

Кто-нибудь пробовал это или подобное, или уже есть команда, которую я не нахожу, которая это делает?

Question 2

выгрузить содержимое всех файловых объектов в стандартный вывод.

Вы можете сделать это, если вы перейдете -к месту назначения aws s3 cpкоманды. Например, $ aws s3 cp s3://mybucket/stream.txt -.

Вы пытаетесь сделать что-то вроде этого? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Question 3

Если вы используете версию интерфейса командной строки AWS, которая не поддерживает копирование в "-", вы также можете использовать / dev / stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Вы также можете захотеть, чтобы --quietфлаг предотвращал добавление к вашему выводу итоговой строки, подобной следующей:

скачать: s3: //mybucket/stream.txt в ../../dev/stdout

Question 4

Вы можете попробовать использовать s3streamcat , он также поддерживает форматы bzip, gzip и xz.

Установить с помощью

sudo pip install s3streamcat

Применение:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Question 5

Ага!

https://pypi.python.org/pypi/s3cat/1.0.8

Я пишу больше символов, чтобы удовлетворить требованиям длины.

Question 6

Если вы хотите добиться этого с помощью BASH, вам придется обращаться к внешнему приложению, например к интерфейсу командной строки AWS (CLI). У него нет эквивалента CAT, поэтому вам нужно будет скопировать файл локально, а затем CAT.

В качестве альтернативы вы можете использовать / написать приложение, которое напрямую вызывает AWS SDK, который доступен для таких языков, как Python, PHP, Java. Используя SDK, содержимое файла можно получить в памяти, а затем отправить в стандартный вывод.