Я мигрирую часть базы данных mysql в AWS. Данные, о которых идет речь, записываются на 99%, и в каждой строке содержится около 1 тыс. Полей varchar, дата-время и 4 дюйма.
Я предполагаю, что нам потребуется от 20 до 25 тысяч записей в час в часы пик.
Я запустил iostat -h для текущей базы данных, и она выдала около 40 пакетов в секунду.
Как мне определить, какой тип IOPS мне понадобится?
Ответы:
Вы должны будете проверить это.
Вы можете выполнить некоторые обратные расчеты конверта, чтобы приблизить число операций ввода-вывода на одну вставку, умножить его на количество транзакций в секунду, добавить некоторую буферную комнату и т. Д., Но гораздо проще просто проверить это.
Самое простое, что нужно сделать, - это выделить лучшую догадку, а затем вернуться и увеличить или уменьшить ее, чтобы она соответствовала результатам тестирования в реальном мире. Это одно из преимуществ использования облачной среды, аппаратные изменения имеют низкую капитальную стоимость, и такие изменения обычно требуют только обновлений конфигурации. С томами EBS вы не можете просто увеличить количество операций ввода-вывода в секунду, вам также придется увеличить размер тома 1 . Вы всегда можете просто создать новый том и скопировать свои данные. Будет некоторое время простоя, но если ваши данные не велики, их не должно быть много, поскольку это будет необработанная копия.
Вот предположение о количестве необходимых операций ввода / вывода. Опять же, это всего лишь предположение, поскольку специфика зависит от количества индексов и от того, будет ли ваш поток трафика гладким или быстрым. При 25 тыс. Ткс / час вы получаете ~ 7 ткс / сек. Размер каждой строки не имеет особого значения, так как он меньше, чем размер одиночного ввода / вывода (4K). Каждая транзакция будет делать где-то между 1-5 IOP (первичная вставка плюс пара вставок дерева индексов), так что скажем ~ 35 / с.
Я говорю, начните с минимального 100 IOPS и увеличьте масштаб в случае необходимости.
Я использовал базовый инструмент iostat (iostat -h), чтобы понять, сколько iops я сейчас использую. Исходя из этого, я экстраполировал, сколько бы я использовал, если бы я был в 4 раза меньше этого количества нагрузки и пошел с этим количеством. Для меня это сработало до 780 IOPS, поэтому я пошел с 800 IOPS.
Я использую iostat для определения количества операций ввода-вывода в секунду, которые выполняет мое приложение. Iostat сообщает об этом как TPS. КБ / т помогает определить, меньше ли объем передачи, чем размер куска, 256 КиБ. Я запускаю iostat с временем ожидания в одну секунду, т.е. iostat -w 1.
Это может помочь вам контролировать ваши IOPS: