Я заметил, что, похоже, нет возможности загрузить всю корзину S3 из Консоли управления AWS.
Есть ли простой способ взять все в одно из моих ведер? Я думал о том, чтобы сделать корневую папку общедоступной, использовать ее wgetдля захвата всего, а затем снова сделать ее приватной, но я не знаю, есть ли более простой способ.
Ответы:
См. « Справочник по командам CLI AWS » для получения дополнительной информации.
AWS недавно выпустила свои инструменты командной строки, которые работают так же, как boto, и могут быть установлены с помощью
sudo easy_install awscli
или
sudo pip install awscli
После установки вы можете просто запустить:
aws s3 sync s3://<source_bucket> <local_destination>
Например:
aws s3 sync s3://mybucket .
загрузит все объекты в mybucketтекущий каталог.
И будет выводить:
download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt
Это загрузит все ваши файлы, используя одностороннюю синхронизацию. Он не будет удалять любые существующие файлы в вашем текущем каталоге, если вы не укажете , и не будет изменять или удалять любые файлы на S3. --delete
Вы также можете выполнить S3 Bucket для S3 Bucket или локально для S3 Bucket Sync.
Ознакомьтесь с документацией и другими примерами .
В то время как приведенный выше пример показывает, как загрузить полный пакет, вы также можете рекурсивно загрузить папку, выполнив
aws s3 cp s3://BUCKETNAME/PATH/TO/FOLDER LocalFolderName --recursive
Это даст CLI команду рекурсивно загружать все файлы и ключи папок в PATH/TO/FOLDERкаталоге внутри BUCKETNAMEкорзины.
aws configureи добавьте свой access keyи secret access keyкоторый можно найти здесь .
s3cmdи Cyberduck, но для меня это awscliбыл самый быстрый способ загрузить ~ 70 000 файлов из моего ведра.
aws s3 syncкоманда ничего не загружает, но удаляет файлы локально, если их нет на S3. Смотрите документацию .
Вы можете использовать s3cmdдля загрузки вашего ведра:
s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder
Существует еще один инструмент, который вы можете использовать, называется rclone. Это пример кода в документации по Rclone:
rclone sync /home/local/directory remote:bucket
Я использовал несколько различных методов для копирования данных Amazon S3 на локальный компьютер, в том числе s3cmd, и на сегодняшний день самым простым является Cyberduck .
Все, что вам нужно сделать, это ввести свои учетные данные Amazon и использовать простой интерфейс для загрузки, загрузки, синхронизации любых ваших корзин, папок или файлов.
У вас есть много вариантов сделать это, но лучший из них - использовать интерфейс командной строки AWS.
Вот прохождение:
Загрузите и установите AWS CLI на своем компьютере:
Настройте интерфейс командной строки AWS:
Убедитесь, что вы ввели действительный доступ и секретные ключи, которые вы получили при создании учетной записи.
Синхронизируйте ведро S3, используя:
aws s3 sync s3://yourbucket /local/path
В приведенной выше команде замените следующие поля:
yourbucket >> Ваше ведро S3, которое вы хотите скачать./local/path >> Путь в вашей локальной системе, куда вы хотите скачать все файлы.s3://префикс в имени корзины !!! С этим aws s3 lsвам не нужен этот s3://префикс, но вам нужно для cpкоманды.
Чтобы загрузить с помощью AWS S3 CLI:
aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive
Для загрузки с использованием кода используйте AWS SDK.
Для загрузки с использованием графического интерфейса используйте Cyberduck.
aws s3 cp s3://my-bucket-name ./local-folder --recursive --include "*" --exclude "excludeFolder/*" --exclude "includeFolder/excludeFile.txt"
Для Windows S3 Browser - самый простой способ, который я нашел. Это отличное программное обеспечение, и это бесплатно для некоммерческого использования.
Если вы используете Visual Studio, загрузите « AWS Toolkit for Visual Studio ».
После установки перейдите в Visual Studio - AWS Explorer - S3 - Ваша корзина - Двойной щелчок
В окне вы сможете выбрать все файлы. Щелкните правой кнопкой мыши и загрузите файлы.
Ответ @Layke хорош, но если у вас есть тонна данных и вы не хотите ждать вечно, прочитайте « Конфигурация AWS CLI S3 ».
Следующие команды сообщат CLI AWS использовать 1000 потоков для выполнения заданий (каждый небольшой файл или одна часть многокомпонентной копии) и просмотреть 100 000 заданий:
aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000
После запуска вы можете использовать простую syncкоманду:
aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path
или
aws s3 sync s3://source-bucket/source-path c:\my\local\data\path
В системе с процессором 4 ядра и 16 ГБ ОЗУ, для таких случаев, как у меня (файлы 3-50 ГБ), скорость синхронизации / копирования была увеличена с 9,5 МБ / с до 700 + МБ / с, что в 70 раз больше, чем в конфигурации по умолчанию.
Я немного поработал над S3 и не нашел простого способа загрузить целое ведро.
Если вы хотите кодировать на Java, библиотеку jets3t легко использовать для создания списка сегментов и перебора этого списка для их загрузки.
Во-первых, получите открытый закрытый ключ из потока управления AWS, чтобы вы могли создать объект S3service:
AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);
Затем получите массив ваших объектов buckets:
S3Object[] objects = s3Service.listObjects(YourBucketNameString);
Наконец, итерация по этому массиву для загрузки объектов по одному с:
S3Object obj = s3Service.getObject(bucket, fileName);
file = obj.getDataInputStream();
Я поместил код подключения в однозаходный безопасный поток. Необходимый синтаксис try / catch был опущен по понятным причинам.
Если вы предпочитаете писать код на Python, вы можете использовать Boto.
Посмотрев вокруг BucketExplorer, « Загрузка всей корзины » может сделать то, что вы хотите.
AWS SDK API будет только лучшим вариантом для загрузки всей папки и репозитория на s3 и загрузки всей корзины s3 локально.
Для загрузки всей папки в s3
aws s3 sync . s3://BucketName
для загрузки всего ведра s3 локально
aws s3 sync s3://BucketName .
Вы также можете назначить путь Как и BucketName / Path для конкретной папки в s3 для загрузки
Вы можете сделать это с помощью https://github.com/minio/mc :
mc cp -r https://s3-us-west-2.amazonaws.com/bucketName/ localdir
mc также поддерживает сессии, возобновляемые загрузки, загрузки и многое другое. mcподдерживает операционные системы Linux, OS X и Windows. Написан на Golang и выпущен под Apache версии 2.0.
Если вы используете Firefox с S3Fox, это позволяет вам выбрать все файлы (shift-select first и last), щелкнуть правой кнопкой мыши и загрузить все ... Я сделал это с 500+ файлами без проблемы
В Windows я предпочитаю инструмент GUI для Cloudberry Explorer для S3., Http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx . Имеет довольно отполированный файловый менеджер, похожий на ftp интерфейс.
Если у вас есть только файлы (без подкаталогов), быстрое решение состоит в том, чтобы выбрать все файлы ( clickв первом, Shift+clickпоследнем) и нажать Enterили right clickи выбрать Open. Для большинства файлов данных они будут загружены прямо на ваш компьютер.
Чтобы добавить еще один вариант графического интерфейса, мы используем функциональность WinSCP S3 . Это очень легко подключить, требуя только ваш ключ доступа и секретный ключ в пользовательском интерфейсе. Затем вы можете просматривать и загружать любые файлы, которые вам нужны, из любых доступных блоков, включая рекурсивные загрузки вложенных папок.
Поскольку очистка нового программного обеспечения с помощью безопасности может быть сложной задачей, а WinSCP довольно распространен, может быть действительно полезно просто использовать его, а не пытаться установить более специализированную утилиту.
Пользователю Windows необходимо загрузить S3EXPLORER по этой ссылке, которая также содержит инструкции по установке: - http://s3browser.com/download.aspx
Затем предоставьте свои учетные данные AWS, такие как secretkey, accesskey и region, для s3explorer, эта ссылка содержит инструкцию по настройке для s3explorer: Скопируйте Вставьте ссылку в браузере: s3browser.com/s3browser-first-run.aspx
Теперь все ваши сегменты s3 будут видны на левой панели s3explorer.
Просто выберите контейнер и нажмите меню «Ведра» в верхнем левом углу, затем выберите «Загрузить все файлы в опцию» из меню. Ниже скриншот для того же:
Затем просмотрите папку, чтобы загрузить корзину в определенном месте.
Нажмите OK, и загрузка начнется.
AWS Sync является идеальным решением. Это не делает два пути .. это один путь от источника до места назначения. Кроме того, если у вас много элементов в корзине, было бы неплохо сначала создать конечную точку s3, чтобы загрузка происходила быстрее (поскольку загрузка происходит не через Интернет, а через интранет), и никаких сборов
Вот некоторые вещи, чтобы загрузить все ведра, перечислить их, перечислить их содержимое.
//connection string
private static void dBConnection() {
app.setAwsCredentials(CONST.getAccessKey(), CONST.getSecretKey());
conn = new AmazonS3Client(app.getAwsCredentials());
app.setListOfBuckets(conn.listBuckets());
System.out.println(CONST.getConnectionSuccessfullMessage());
}
private static void downloadBucket() {
do {
for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
app.setBucketKey(objectSummary.getKey());
app.setBucketName(objectSummary.getBucketName());
if(objectSummary.getKey().contains(CONST.getDesiredKey())){
//DOWNLOAD
try
{
s3Client = new AmazonS3Client(new ProfileCredentialsProvider());
s3Client.getObject(
new GetObjectRequest(app.getBucketName(),app.getBucketKey()),
new File(app.getDownloadedBucket())
);
} catch (IOException e) {
e.printStackTrace();
}
do
{
if(app.getBackUpExist() == true){
System.out.println("Converting back up file");
app.setCurrentPacsId(objectSummary.getKey());
passIn = app.getDataBaseFile();
CONVERT= new DataConversion(passIn);
System.out.println(CONST.getFileDownloadedMessage());
}
}
while(app.getObjectExist()==true);
if(app.getObjectExist()== false)
{
app.setNoObjectFound(true);
}
}
}
app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
}
while (app.getS3Object().isTruncated());
}
/ ---------------------------- Методы расширения ------------------- ------------------ /
//Unzip bucket after download
public static void unzipBucket() throws IOException {
unzip = new UnZipBuckets();
unzip.unZipIt(app.getDownloadedBucket());
System.out.println(CONST.getFileUnzippedMessage());
}
//list all S3 buckets
public static void listAllBuckets(){
for (Bucket bucket : app.getListOfBuckets()) {
String bucketName = bucket.getName();
System.out.println(bucketName + "\t" + StringUtils.fromDate(bucket.getCreationDate()));
}
}
//Get the contents from the auto back up bucket
public static void listAllBucketContents(){
do {
for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
if(objectSummary.getKey().contains(CONST.getDesiredKey())){
System.out.println(objectSummary.getKey() + "\t" + objectSummary.getSize() + "\t" + StringUtils.fromDate(objectSummary.getLastModified()));
app.setBackUpCount(app.getBackUpCount() + 1);
}
}
app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
}
while (app.getS3Object().isTruncated());
System.out.println("There are a total of : " + app.getBackUpCount() + " buckets.");
}
}
Как объяснил Нил Баат в этом блоге , для этой цели можно использовать много разных инструментов. Некоторые из них предоставляются AWS, а большинство - сторонними инструментами. Все эти инструменты требуют сохранения ключа учетной записи AWS и секрета в самом инструменте. Будьте очень осторожны при использовании сторонних инструментов, поскольку учетные данные, которые вы сохраняете, могут стоить вам, всей вашей ценности и привести к смерти.
Поэтому я всегда рекомендую использовать для этой цели интерфейс командной строки AWS . Вы можете просто установить это по этой ссылке . Затем выполните следующую команду и сохраните ключ, секретные значения в CLI AWS.
aws configure
И используйте следующую команду для синхронизации вашего AWS S3 Bucket с вашим локальным компьютером. (На локальном компьютере должен быть установлен AWS CLI)
aws s3 sync <source> <destination>
Примеры:
1) Для AWS S3 в локальном хранилище
aws s3 sync <S3Uri> <LocalPath>
2) Из локального хранилища в AWS S3
aws s3 sync <LocalPath> <S3Uri>
3) Из ведра AWS s3 в другое ведро
aws s3 sync <S3Uri> <S3Uri>
Если вы хотите только загрузить корзину из AWS, сначала установите CLI AWS на свой компьютер. В терминале измените каталог, куда вы хотите скачать файлы и выполните эту команду.
aws s3 sync s3://bucket-name .
Если вы также хотите синхронизировать оба локальных каталога и каталоги s3 (если вы добавили некоторые файлы в локальную папку), выполните эту команду:
aws s3 sync . s3://bucket-name
AWS CLI - лучший вариант для загрузки всей корзины S3 локально.
Установите AWS CLI.
Настройте интерфейс командной строки AWS для использования учетных данных безопасности по умолчанию и региона AWS по умолчанию.
Чтобы загрузить всю корзину S3, используйте команду
aws s3 sync s3: // yourbucketname localpath
Ссылка на использование AWS cli для различных сервисов AWS: https://docs.aws.amazon.com/cli/latest/reference/
Вы можете использовать эту команду AWS cli для загрузки всего содержимого сегмента S3 в локальную папку.
aws s3 sync s3://your-bucket-name "Local Folder Path"
Если вы видите ошибку, как это
fatal error: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
--no-verify-ssl (логическое)
По умолчанию интерфейс командной строки AWS использует SSL при взаимодействии со службами AWS. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение по умолчанию при проверке сертификатов SSL. ссылка
Используйте этот тег с командой --no-verify-ssl
aws s3 sync s3://your-bucket-name "Local Folder Path" --no-verify-ssl
s3 syncописано выше уже несколько раз. + Предлагать использование --no-verify-sslбез объяснения его последствий для безопасности является преступлением.
Если область достаточно велика, существует команда, s4cmdкоторая выполняет параллельные соединения и сокращает время загрузки:
Чтобы установить его на Debian, как
apt install s4cmd
Если у вас есть пункт:
pip install s4cmd
Он будет читать ~/.s3cfgфайл, если он есть (если он не установлен s3cmdи не запускается s3cmd --configure), или вы можете указать --access-key=ACCESS_KEY --secret-key=SECRET_KEYв команде.
Cli похож на s3cmd. В вашем случае syncрекомендуется использовать a, так как вы можете отменить загрузку и начать ее заново без необходимости повторной загрузки файлов.
s4cmd [--access-key=ACCESS_KEY --secret-key=SECRET_KEY] sync s3://<your-bucket> /some/local/dir
Будьте внимательны, если вы загружаете много данных (> 1 ТБ), это может повлиять на ваш счет, сначала рассчитайте, какой будет стоимость.
Как сказал @layke, лучше всего скачать файл с S3 cli, это безопасно и надежно. Но в некоторых случаях люди должны использовать wget для загрузки файла, и вот решение
aws s3 presign s3://<your_bucket_name/>
Это приведет к тому, что вы получите временный общедоступный URL-адрес, который вы можете использовать для загрузки контента с S3 с помощью presign_url, в вашем случае - с помощью wget или любого другого загрузочного клиента.
Попробуйте эту команду:
aws s3 sync yourBucketnameDirectory yourLocalDirectory
Например, если ваше имя группы myBucketи локальный каталог c:\local, то:
aws s3 sync s3://myBucket c:\local
Для получения дополнительной информации о awscli проверьте эту установку aws cli
aws s3 syncэто лучшее. Но никто не указал на мощный вариантdryrun. Эта опция позволяет вам увидеть, что будет загружено / загружено с / на s3, когда вы используетеsync. Это действительно полезно, когда вы не хотите перезаписывать контент ни в вашем локальном хранилище, ни в сегменте s3. Вот как это используется:aws s3 sync <source> <destination> --dryrunя использовал его все время, прежде чем помещать новый контент в корзину, чтобы не загружать нежелательные изменения.