У меня проблемы с пониманием моего большого счета S3, и я решил спросить здесь, прежде чем упустить 30 долларов на ежемесячную поддержку AWS.

По сути, у меня есть экземпляр Amazon EC2, который создает API для различных обменов криптовалютой и сохраняет ответы на экземпляр HD. Вызовы выполняются примерно каждые 5 минут, объекты ответа - около 100 КБ, считываются сценарием R и добавляются в файл CSV каждые ~ 8 минут. Этот CSV-файл синхронизируется с корзиной Amazon S3 примерно каждые 15 минут.

Файлы CSV обычно имеют размер около 10 МБ или около 15 для криптовалюты каждые 15 минут. Так что, глядя на ведро Amazon S3, может использоваться максимум 0,5 ГБ.

Тем не менее, «TimedStorage-ByteHours» читает около 4 ТБ!

Сервис Amazon Simple Storage TimedStorage-ByteHrs $ 89,55

$ 0,000 за ГБ - хранилище в рамках ежемесячного бесплатного глобального уровня 5 ГБ - Mo $ 0,00

0,023 долл. США за ГБ - первые 50 ТБ / месяц хранения использовались 3 893,399 ГБ - Мо 89,55 долл. США

Любые идеи?

Скорее всего, у вас включен S3 Versioning - это означает, что старые объекты, перезаписанные более новой версией, не удаляются, а вместо этого скрываются в истории. Для проверки перейдите в Bucket -> Properties -> Versioning .

Вы также можете просмотреть старые версии в браузере, как на этом скриншоте у меня есть несколько версий 108c05...jsonфайла:

Если у вас включено управление версиями, но вы не хотите, то можете приостановить управление версиями, но помните, что старые версии не удаляются, вам придется:

• использовать AWS-CLI и некоторые скрипты (начните с aws s3api list-object-versions)
• настройте Bucket Lifecycle Policy для истечения срока действия старых версий. Это делается с помощью S3 -> Bucket -> Управление -> Жизненный цикл -> Добавить правило жизненного цикла, а затем на экране Срок действия заполните следующие данные:

Надеюсь, это поможет :)

Хранилище с нечастым доступом имеет минимальную плату 30 дней за единицу

1. Перейдите на https://s3.console.aws.amazon.com и получите список файлов для одного из ваших сегментов.
2. Обратите внимание, что каждый файл в корзине имеет класс хранения. Выбор класса хранения находится под вашим контролем и влияет на затраты.

Standardявляется самым дорогим, поэтому некоторые люди используют infrequent accessболее низкую ежемесячную плату (~ 50% скидка) за ГБ, хранимую в соответствии с таблицей цен. НО, Infrequent также имеет плату за поиск в размере 0,01 доллара США / ГБ, поэтому экономит только на общих затратах для файлов, хранящихся не менее одного месяца и получаемых менее одного раза в месяц. Кроме того, в вашей корзине может быть политика жизненного цикла, которая со временем изменяет класс хранения файлов, что может повлиять на начало 30-дневного минимального периода хранения.

В мелкий шрифт, infrequent access имеет минимальный заряд 30 дней для каждого сохраненного элемента.

Источник: https://aws.amazon.com/s3/pricing/

Первая сноска с пометкой †

† Минимальный размер оплачиваемого объекта хранения S3 со стандартным нечастым доступом и хранилище S3 One Zone-Unrequent Access составляет 128 КБ. Меньшие объекты могут храниться, но за них взимается 128 КБ. S3 Стандартный нечастый доступ и S3 One Zone-Unrequent Access Storage взимается за минимальный срок хранения 30 дней. За объекты, которые были удалены, перезаписаны или переведены в другой класс хранения до 30 дней, будет взиматься плата за обычное использование плюс пропорциональная плата за запрос в течение оставшейся части 30-дневного минимума. Объекты, хранящиеся 30 дней или дольше, не требуют минимального сбора за 30 дней

В Amazon S3 и облачном хранилище Google дорого обходятся дорогостоящие сетевые сборы, если данные отправляются в общедоступный Интернет, а не хранятся в облаке этой компании. Сетевая плата за поиск за один раз может легко превысить плату за хранение на 3-4 месяца. 0,09 долл. США / ГБ (октябрь 2018 г.) для AWS S3 , 0,12 долл. США / ГБ для Google Cloud Storage , минимальный уровень использования.

Digital Ocean имеет S3-совместимый слой хранения, называемый «Spaces», который, возможно, стоит проверить. О некоторых ошибках сообщалось, и это могло бы быть в некоторой степени ограничено, но общая цена выглядит интересной, и она может быть «достаточно хорошей» для некоторых применений.