Более быстрое дублирование сегмента s3

94

Я пытался найти лучший инструмент командной строки для дублирования блоков, чем s3cmd . s3cmdможет дублировать сегменты без необходимости загружать и выгружать каждый файл. Команда, которую я обычно запускаю для дублирования сегментов с помощью s3cmd:

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

Это работает, но очень медленно, поскольку копирует каждый файл через API по одному. Если s3cmdбы можно было работать в параллельном режиме, я был бы очень рад.

Существуют ли другие параметры, доступные в виде инструментов командной строки или кода, которые люди используют для дублирования сегментов, которые работают быстрее, чем s3cmd?

Изменить: похоже, что s3cmd-модификация - это именно то, что я ищу. Жаль, что это не работает. Есть ли другие варианты?

amazon-web-services amazon-s3

— Шон МакКлири
источник

6

Не уверен, почему этот вопрос постоянно закрывают, поскольку, похоже, с ним столкнулись некоторые разработчики. Во всяком случае, я решил это очень параллельно, вот ссылка: github.com/cobbzilla/s3s3mirror спасибо! - джонатан.

— cobbzilla

167

AWS CLI, похоже, отлично справляется со своей задачей и имеет то преимущество, что является официально поддерживаемым инструментом.

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

По умолчанию поддерживает одновременные передачи. См. Http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

Чтобы быстро передать огромное количество небольших файлов, запустите сценарий из экземпляра EC2, чтобы уменьшить задержку, и увеличьте, max_concurrent_requestsчтобы уменьшить влияние задержки. Например:

aws configure set default.s3.max_concurrent_requests 200

— python1981
источник

4

Он поддерживает непараллельную синхронизацию в зависимости от времени изменения файла, его размера и т. Д. Когда я попробовал, он работал очень быстро. Я считаю, что объекты копируются прямо на S3, не загружая их на локальную машину. По умолчанию он не работает параллельно, но я уверен, что у вас может быть несколько команд синхронизации, выполняемых одновременно в разных подпапках. Это достаточно быстро, поэтому вам, вероятно, в любом случае не понадобится параллельная работа. Я просто скопировал 100 ГБ данных за несколько минут.

— python1981

11

Медленно, как черт, если файлов много.

— Phng Nguyễn

14

При передаче большого количества небольших файлов задержка становится ключевым ограничением, поэтому выполнение этой команды из экземпляра EC2 имеет важное значение.

— python1981

1

Я использовал это для создания докера и неплохо работает github.com/sunshineo/s3-bucket-copier

— Gordon Sun

3

Теперь он ДЕЙСТВИТЕЛЬНО поддерживает одновременную синхронизацию :-) docs.aws.amazon.com/cli/latest/topic/…

— python1981

71

Если вы не против использования консоли AWS, вы можете:

Выберите все файлы / папки в первой корзине
Щелкните Действия> Копировать.
Создайте новую корзину и выберите ее
Щелкните Действия> Вставить.

Это все еще довольно медленно, но вы можете оставить его в покое и позволить ему делать свое дело.

— мертвые
источник

Копирует ли это содержимое исходного сегмента на мой компьютер по мере его копирования в место назначения? Сетевая активность очень активна, а инспектор браузера работает очень медленно, поэтому его сложно анализировать. На моей машине 600К / с. Тогда это будет намного быстрее инициировать передачу в сети Amazon ... Вместо этого попробую там.

— Брэд Госс,

9

Я как раз сегодня воспользовался этим методом. Он не загружает файлы на ваш локальный компьютер - он выполняет прямое копирование и работает намного быстрее.

— Грег Бенедикт

7

Он по-прежнему получает список файлов. Если список слишком длинный (в моем случае - десятки тысяч файлов), то он чертовски медленный. И тайм-аут / зависание очень вероятны

— Phương Nguyn

13

К сожалению, этот процесс привязан к браузеру. :( Из документации : «После того, как вы инициируете процесс копирования, вы должны держать браузер открытым, пока копирование выполняется.»

— Дэвид Лемайян

4

Я пытаюсь сделать это на ведре с 8 миллионами файлов. Не знаю, сколько месяцев у меня уйдет, чтобы установить все флажки ...

— Крис Харрисон,

28

Я попытался клонировать две корзины с помощью веб-консоли s3cmdAWS, интерфейса командной строки AWS. Хотя эти методы работают большую часть времени, они очень медленные.

Затем я нашел s3s3mirror: специализированный инструмент для синхронизации двух ведер S3. Он многопоточный и намного быстрее, чем другие подходы, которые я пробовал. Я быстро переместил гигабайты данных из одного региона AWS в другой.

Проверьте это на https://github.com/cobbzilla/s3s3mirror или загрузите контейнер Docker с https://registry.hub.docker.com/u/pmoust/s3s3mirror/

— Кетил
источник

1

Если вам нужно передать много файлов, это, безусловно, лучший инструмент для работы. Жаль, что это так далеко в списке ответов ...

— Иоанн Златоуст,

Примечание для некоторых: для компиляции требуется Java 6/7.

— Брайан

1

Я использую это из экземпляра EC2, и он работает невероятно быстро! Мне пришлось заменить <source-bucket> и <destination-bucket> фактическим именем корзины (а не конечной точкой или чем-то вроде AWS CLI).

— Ironmouse 07

1

Замечательный инструмент, который настоятельно рекомендуется использовать для работы с большим количеством файлов. Великолепный контроль над количеством потоков копирования.

— Шаунак

Вам не кажется, что для этой работы безопаснее использовать aws-cli, а не сторонние приложения? В конце концов, нам нужно предоставить учетные данные или ключи доступа, чтобы использовать эти инструменты.

— Кит Сугатхадаса

11

Для специального решения используйте aws cliдля синхронизации между бакетами:

aws s3 syncскорость зависит от:
- задержки для вызова API к конечной точке S3
- количества вызовов API, выполняемых одновременно

Чтобы увеличить скорость синхронизации:
- запустите aws s3 syncиз экземпляра AWS (c3.large на FreeBSD можно ;-))
- обновите ~ / .aws / config с помощью:
- max_concurrent_requests = 128
-max_queue_size = 8096

со следующей конфигурацией и типом экземпляра я смог синхронизировать ведро (309 ГБ, 72 КБ файлов, us-east-1) в течение 474 секунд.

Для более универсального решения рассмотрите возможность межрегиональной репликации AWS DataPipeLine или S3.

— Том Лайм
источник

Вы знаете, можно ли ожидать такой же производительности, если бы я использовал S3 cp? Вы уверены, что когда вы использовали синхронизацию, фактически переместили все 309 ГБ? sync будет синхронизировать только файлы, которые не совпадают или присутствуют в другом сегменте.

— морозный

Кроме того, что вы думаете об этом для случая использования, когда у меня 1 КБ или меньше файлов, но они больше по размеру (10 ГБ)? Как вы думаете, я увижу подобное вам исполнение?

— морозный

@frosty, в моем случае корзина назначения была пуста. per awsclidoc - aws syncкопировать только новые и обновленные файлы. вероятно, вам следует ожидать высокой производительности с aws cp(копирование выполняется внутри, ваш клиент просто выполняет вызов API). производительность зависит от следующих факторов: 1. задержка между src и dst регионами (например, us-east-X до us-west-X) 2. задержка между вашим клиентом и конечной точкой API AWS (насколько быстро вы можете выполнить вызов API) 3. количество одновременных запросов (сколько запросов в секунду может выдать ваш клиент). В моем случае 309G был скопирован между ведрами в одном и том же регионе (us-east-1)

— Tom Lime

3

Поскольку это первая попытка Google по этой теме, добавлена дополнительная информация.

Cyno разработал новую версию s3cmd-модификации, которая теперь поддерживает параллельную синхронизацию между сегментами. Именно того, чего я и ждал.

Запрос на вытягивание находится на https://github.com/pcorliss/s3cmd-modification/pull/2 , его версия на https://github.com/pearltrees/s3cmd-modification

— Жан-Пьер Декерс
источник

s3cmd-модификация сэкономила мне дни копирования.

— gak

2

Я не знаю других инструментов командной строки S3, но если здесь ничего не получится, проще всего будет написать свой собственный.

Выберите любой предпочитаемый язык и Amazon SDK / Toolkit. Затем вам просто нужно перечислить / получить содержимое исходного ведра и скопировать каждый файл (очевидно, параллельно)

Глядя на источник s3cmd-модификации (и я признаю, что ничего не знаю о python), похоже, что они не распараллелили код от ведра к ведру, но, возможно, вы могли бы использовать стандартный параллельный код загрузки / выгрузки в качестве отправной точки для сделай это.

— Джефф Эпплфорд
источник

Да уж. Я раздумывал над этой идеей и писал ее на рубине в равномерной манере с машиной событий или с JRuby. Однако s3cmd уже достаточно завершен, и я бы предпочел просто использовать его. Я разговаривал с разработчиком s3cmd, и у него в разработке есть пара решений, которые, вероятно, решат проблемы с производительностью.

— Шон МакКлири,

1

простой aws s3 cp s3://[original-bucket] s3://[backup-bucket] --recursiveработает хорошо (при условии, что у вас есть настройка aws cli)

— mdmjsh
источник