Как сервисы с высокой скоростью загрузки достаточно быстро устанавливают достаточно жестких дисков?

Amazon, Facebook и Google должны принимать по ТБ, если не по ПБ в день, поэтому это означает, что у них есть люди, постоянно устанавливающие новые жесткие диски и кабели в новые стойки, так же, как вы строите обычный сервер, или же используется другая технология для массового подключения дисков?

Я не знаю, устанавливает ли кто-либо из них аппаратное обеспечение по одному серверу за раз. Еще в 2008 году MS начала строить свои центры обработки данных, поставляя серверы в герметичных и предварительно смонтированных отгрузочных контейнерах серверов, которые им просто необходимо было выгрузить из грузовика и подключить к ним силовые / сетевые соединения. Хотя сборка 08 представляла собой смесь контейнеров и традиционных для своего последнего центра обработки данных, они с тех пор перешли на нестандартный сборный дизайн, защищенный от атмосферных воздействий и не требующий размещения внутри отдельных зданий.

И HP, и IBM продают аналогичные пакеты с готовыми контейнерами, заполненными серверами, для развертывания которых просто необходимы подключения к источнику питания / данным.

У Google есть несколько технологий, которые они разработали для хранения этих огромных массивов данных. Используя эти технологии, они могут фактически добавлять грузы жестких дисков в кластер без простоев, но да, им все еще нужны люди, которые делают это.

Насколько я знаю из блога Google, две основные части - это Файловая система Google, которая представляет собой распределенную файловую систему, которая может масштабироваться до действительно больших масштабов: Файловая система Google.

И помимо файловой системы Google у них есть Big Table, который является своего рода базой данных Key Value, а также масштабируется до огромных размеров: Big Table

Для обеспечения высокой доступности все избыточно много раз, в большинстве случаев более 3 раз.

Это точно правильно. Я помню, что когда-то центры обработки данных Facebook добавляли три прицепа для тракторов, заполненных жесткими дисками и стоечными серверами, в среднем за день. Конечно, у них есть сложные схемы, чтобы сделать хранилище масштабируемым и избыточным. У Google, например, есть GFS . Facebook имеет три дата-центра только для своего оборудования, каждый из которых больше двух Wal-Marts, а новый планируется в четыре раза больше, чем их существующие центры.

С решениями для хранения данных Open Compute нового поколения, способными вместить 180 ТБ диска в 4 стойки, ПБ на самом деле не занимает много места: добавление 1 ПБ в день будет означать установку 5 таких серверов в день, а это не большая проблема. Более того, их можно купить примерно за 10 тысяч долларов, что означает, что вы платите менее 60 долларов за туберкулез.

Так что да, технология доступна всем нам, чтобы делать то же самое по цене, которая не сломает банк.

Но вы должны иметь в виду, что крупные компании всегда заключают выгодные сделки и подписывают крупные контракты на закупку огромных объемов хранилища. Они могут распределять небольшие поставки в течение года, но не то, чтобы они заказывали всего 1PB за раз.

Вот интересное сообщение в блоге от BackBlaze о том, как они это делают (им, вероятно, не нужно столько дисков, как Google или Facebook, но все же целое количество букв), и что им нужно было делать, когда в Таиланде были наводнения, которые создавали жесткий диск дорого и сложнее добраться:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/