Я работаю над подсчетом «оборотной стороны» для настройки базы данных отчетов объемом 100 ТБ. Я ищу мысли от экспертов здесь. Предлагаемая среда:
- Емкость хранения ~ 100 ТБ
- Таблицы ~ 200, размеры от 1 ГБ до 5 ТБ. средний размер может лежать между 100 ГБ-200 ГБ
- ETL - задания могут требовать объединения между таблицами из 10 миллионов строк, с ключами объединения от 10 байтов до 500 байтов. такие объединения должны закончиться в течение 2-5 минут
- Live Selects - изначально интересует только выбор скорости. должен поддерживать 500 отборов / секунду. Количество обновлений в секунду будет относительно меньшим, и в этом упражнении их можно игнорировать.
- нужна круглосуточная доступность. 2 независимых сервера БД должны быть доступны для обслуживания отдельных вызовов (с реплицированными данными).
Вопросов:
- В настоящее время я смотрю на Oracle. Каков ваш опыт работы с другими коммерческими (или) решениями с открытым исходным кодом для больших баз данных?
- Какую аппаратную ОС вы видели лучше всего? Я планирую Linux на Dell.
- Является ли сетевое хранилище, такое как NetApp, обязательным? Какие проблемы вы предвидите с использованием коммерческих дисков?
- Как только оборудование и ОС будут готовы, сколько времени вы отведете на установку, настройку БД, хранилища и т. Д.
- Какие командные составы работали лучше всего в условиях, которые вы наблюдали? Я имею в виду, что различные администраторы (OS Admin, Oracle DB Admin?) Необходимы для управления и настройки такой установки. Сколько из них может понадобиться для обеспечения круглосуточной работы.
- Любое приближение / диапазон лицензий БД, стоимость сетевого хранилища.
Я знаю, что у меня нет всех деталей окружающей среды. Я не ищу точные детали, приближение достаточно. Хотя на некоторые вопросы лучше всего отвечают менеджеры, меня интересует точка зрения администраторов. Я ценю ваш вклад.