Могу ли я использовать rsync для резервного копирования на Amazon S3

17

Я купил место на evbackup, которое предоставляет мне FTP, rsync и SSH. Но я также читал, что Amazon S3 также можно использовать для резервного копирования.

Поэтому я действительно растерялся, когда Amazon предоставляет FTP-доступ для загрузки файлов в резервную копию.

Как я могу скачать эти файлы.

Я много раз читал их сайт, но не мог понять, как работает их система. Я просто хочу сделать резервную копию моего домашнего каталога

backup ftp amazon-s3

— Мираж
источник

24

Нет, вы не можете использовать rsyncдля передачи файлов в Amazon. Он использует свой собственный протокол для службы. Но вы можете получить доступ к их хранилищу через сторонние сервисы, такие как www.s3rsync.com , тогда вы сможете использовать их rsync, и ваши данные будут окончательно перенесены в хранилище S3.

Или вы можете использовать специальные утилиты, предназначенные для хранения S3. Это: s3sync , s3command , s3cp , tarsnap (tarsnap - сторонний сервис, такой как s3rsync).

Другой инструмент, похожий на rsync duplicity, поддерживает хранилище S3 в качестве бэкэнда, а также множество других бэкэндов резервного копирования, включая RackSpace Cloud Files (еще один сервис облачного хранилища, цена которого аналогична Amazon S3).

Резервное копирование на S3:

duplicity /home/me s3+http://bucketname/prefix

или в облачные файлы Rackspace:

duplicity /home/me cf+http://container_name

— sastanin
источник

спасибо за это, также я не мог понять их модель данных. Я проверял их цены, и они всегда заявляют о пропускной способности. как 0,18 центов за передачу данных ГБ. Предположим, я загружаю туда данные объемом 50 ГБ для резервного копирования, а потом ничего не делаю. Тогда, сколько они берут, если я не сделаю перевод. я не смог найти нигде, где бы они указали, сколько места они выделяют, например, 50 $ для жесткого диска на 50 ГБ

— Mirage

@Moorage: Amazon взимает плату как за хранение (от 0,14 долл. США / ГБ в месяц), так и за передачу (0,1 долл. США / ГБ за передачу в). Таким образом, за 50 ГБ вы платите 7 долларов в месяц, если у вас нет доступа к этим данным. Есть также RackSpace Cloud Files, который является аналогичным сервисом.

— Састанин

двуличность выглядит очень красиво. Хотелось бы, чтобы я видел это, прежде чем писать свой собственный клон rsync. Если двуличность слишком сложна для вас, посмотрите мою простую «rsync-подобную» оболочку для boto: github.com/seedifferently/boto_rsync

— Сет

1

PS Я никогда не использовал двуличие, но один из моих друзей сообщил о сломанных резервных копиях. Используйте с осторожностью.

— Састанин

Вы также можете попробовать minio client [ github.com/minio/mc ] aka mc. Вы можете использовать команду [mc mirror] для зеркалирования вашей локальной папки с S3 bucket.

— user52692

5

Официальный интерфейс командной строки Amazon работал хорошо для меня. Он может синхронизироваться от локального до сегмента S3, а также синхронизироваться из сегмента S3 обратно в локальные файлы.

1) установить интерфейс командной строки Amazon, с https://aws.amazon.com/cli/

2) из скорлупы,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Другие полезные параметры, такие как --dryrun и --delete (для зеркалирования), перечислены по адресу http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

— jmnben
источник

4

Вы можете просто смонтировать ваш контейнер локально, используя s3fs, а затем использовать rsync для копирования в эту точку монтирования.

— ГДж.
источник

2

Это звучит забавно, но, безусловно, будет читать локально, чтобы сравнить хэши, что побеждает цель rsync ... Нет?

— Дэвид Фрейзер

0

Jungle Disk - это простой способ резервного копирования файлов на Amazon S3 (подписка включает учетную запись S3, но вы можете использовать любую другую учетную запись AWS). Возможно, вы захотите взглянуть на Super Flexible (только программное обеспечение).

— Paradroid
источник