Кто-нибудь знает, есть ли ограничение на количество объектов, которые я могу поместить в ведро S3? Могу я положить миллион, 10 миллионов и т.д. в одно ведро?
Кто-нибудь знает, есть ли ограничение на количество объектов, которые я могу поместить в ведро S3? Могу я положить миллион, 10 миллионов и т.д. в одно ведро?
Ответы:
Согласно Amazon:
Запись, чтение и удаление объектов, содержащих от 0 до 5 терабайт данных каждый. Количество объектов, которые вы можете хранить, не ограничено.
Источник: http://aws.amazon.com/s3/details/ по состоянию на 3 сентября 2015 г.
Похоже, лимит изменился. Вы можете хранить 5 ТБ для одного объекта.
Общий объем данных и количество объектов, которые вы можете хранить, не ограничены. Отдельные объекты Amazon S3 могут иметь размер от минимум 0 байтов до максимум 5 терабайт. Самый большой объект, который может быть загружен за один PUT, - 5 гигабайт. Для объектов размером более 100 мегабайт клиентам следует рассмотреть возможность использования возможности многокомпонентной загрузки.
Из документов,
Нет ограничений на количество объектов, которые могут храниться в корзине, и нет разницы в производительности, используете ли вы много корзин или всего несколько. Вы можете хранить все свои объекты в одной корзине или организовать их в нескольких корзинах.
по состоянию на август 2016 г.
Хотя вы можете хранить неограниченное количество файлов / объектов в одной корзине, когда вы переходите к перечислению «каталога» в корзине, по умолчанию вы получаете только первые 1000 файлов / объектов в этой корзине. Чтобы получить доступ ко всем файлам в таком большом «каталоге», вам нужно сделать несколько вызовов их API.
Нет ограничений на количество объектов, которые вы можете хранить в корзине S3. AWS утверждает, что у него неограниченное хранилище. Однако есть некоторые ограничения -
При этом, если у вас действительно много объектов для хранения в корзине S3, рассмотрите возможность рандомизации префикса имени объекта для повышения производительности.
Если ваша рабочая нагрузка представляет собой сочетание типов запросов, внесите некоторую случайность в имена ключей, добавив хеш-строку в качестве префикса к имени ключа. Если ввести случайность в имена ключей, нагрузка ввода-вывода будет распределяться по нескольким разделам индекса. Например, вы можете вычислить хэш MD5 последовательности символов, которую вы планируете назначить в качестве ключа, и добавить 3 или 4 символа из хеша в качестве префикса к имени ключа.
Подробнее - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/
- По состоянию на июнь 2018 г.
«Вы можете хранить в ведре столько объектов, сколько захотите, а также записывать, читать и удалять объекты в своем ведре. Объекты могут быть размером до 5 терабайт».
с http://aws.amazon.com/s3/details/ (по состоянию на 4 марта 2015 г.)
@ Acyra - производительность доставки объектов из одного ведра будет сильно зависеть от имен объектов в нем.
Если бы имена файлов были разделены случайными символами, их физическое расположение было бы распределено дальше на оборудовании AWS, но если вы назвали все «common-x.jpg», «common-y.jpg», то эти объекты будут храниться вместе.
Это может замедлить доставку файлов, если вы запрашиваете их одновременно, но не настолько, чтобы беспокоить вас, больший риск возникает из-за потери данных или сбоя, поскольку эти объекты хранятся вместе, они будут потеряны или недоступны вместе.