Какой самый безопасный и наименее дорогой способ хранения 10 терабайт данных?

Я являюсь членом производственной компании, и мы готовимся к нашему первому художественному фильму. Мы обсуждали методы хранения данных, чтобы сохранить весь наш оригинальный контент в безопасности (как можно дольше). Хотя мы понимаем, что данные никогда не бывают безопасными на 100%, мы бы хотели найти для нас самое безопасное решение.

Мы рассмотрели:

• NAS объемом 16 ТБ для хранения на месте

• Жесткие диски емкостью 4-5 2 ТБ (дешевые, но не избыточные), скопируйте исходные материалы на диски и запечатайте их в свободную статическую сумку

• Запись данных на диски Blu-Ray (отнимает много времени и средств: 200 дисков = $ 5000)

• Ленточный накопитель (и)?

Я меньше всего знаю о ленточных накопителях, за исключением того факта, что они более надежны, чем диски. Любой опыт / знания с таким количеством данных очень ценятся.

Это предполагает, что вы собираетесь использовать архив, а не обычное резервное копирование или оперативные данные.

Пойдите для набора жестких дисков SATA (1 или 2 ТБ), плюс несколько дополнений. Скопируйте ваши данные на диски. Используйте QuickPar (или архиватор, который поддерживает тома четности) для создания дополнительных файлов четности. Распределите файлы четности среди ваших жестких дисков.

Информация о четности позволит вам восстановить файлы, если у вас осталось достаточно файлов четности. Таким образом, если один диск умирает, но другие диски с информацией о четности все еще работают, вы можете использовать файлы четности для восстановления оригинала.

Для большей избыточности сделайте все это дважды и храните в разных местах.

Если вы действительно параноик, храните контроллер PCI и PCI Express для SATA на каждом сайте!

Редактировать: Черт возьми, если паранойя - это то, о чем идет речь, собери всю свинью и храни ПК с гигабитным Ethernet на каждом сайте, способном читать диски!

Используемые нами накопители LTO4 могут вмещать 800 ГБ на ленту. Недостатком является стоимость самих дисков. Если вы отказались от 5 000 долларов за диски Blu-Ray, вам не понравится стоимость LTO4. С другой стороны, сами каретки довольно дешевы в расчете на ГБ, поэтому вы можете хранить много копий. Эти ленты имеют хороший срок годности, но вам нужно планировать перенести их на новый носитель после замены ленточного накопителя. Из того, как вы описываете, как вы собираетесь использовать это хранилище, я не думаю, что лента подходит. Нет, если только это не решение для резервного копирования, а не решение для архивирования . Разные проблемы.

Возможно, вы захотите подумать о каком-либо поставщике облачных резервных копий для этого, если ваша ежедневная чистая смена достаточно мала. Конечно, это зависит от того, насколько мощным является ваше интернет-соединение, и восстановление из него может быть столь же болезненным. Эти сервисы довольно новы, поэтому неизвестно, как они решают проблему банкротства ваших данных; что будет с ним, если они обанкротятся?

Локальное дисковое хранилище - определенно способ. Корпус дисков с легко заменяемыми дисками - это, вероятно, ваш лучший выбор, учитывая ваши ограничения по стоимости. Если вы можете жить с этими данными в автономном режиме, а затем пойти на это. Диски дешевы, а дисководы дешевле ленточных накопителей. Меньше движущихся частей.

Я предполагаю, что вам нужно это для архива, а не для активного использования в роли видео. Если это так, это другая проблема хранения.

В своих исследованиях NAS вы рассматривали устройства с автономным управлением DroboPro или DroboElite ?

Подумайте, сколько будет стоить, если вы потеряете часть / весь материал и бюджет соответственно;)

Вы рассматривали хостинговые услуги? Я не уверен, как цена взвешивается, но вы можете рассмотреть вопрос о хостинге, который продает объемное хранилище. Может быть, AWS ?

От восьми до десяти жестких дисков по 2 ТБ; сделать два комплекта. Хранить, как уже упоминалось, отдельно ...

Я бы держался подальше от ленты, так как она гораздо более чувствительна к условиям хранения, чем диски; Кроме того, через пять лет шансы хорошие, вы все равно сможете подключить диск SATA к чему-либо, но вы не сможете получить доступ к ленточному накопителю, который может читать ваши ленты.

Оптика была бы лучшей с точки зрения долгосрочной стабильности, но, как вы упоминаете, затраты и логистика делают их несколько непрактичными.

Я бы порекомендовал иметь какой-нибудь NAS / RAID для живых файлов, с которыми вы часто работаете. Если вы собираетесь использовать диски большой емкости, вы можете использовать RAID-6 или аналогичный, который, например, горячий резерв RAID-5 +, позволяет сбить два диска до того, как ваш RAID-массив будет поврежден, но в отличие от конфигурации горячего резервирования. Ваш второй дополнительный диск также будет иметь четность, так что рейду не нужно будет восстанавливать четность в случае сбоя. Поскольку диски становятся больше, существует большая вероятность сбоя диска во время восстановления, поэтому хорошо иметь как можно больше живого паритета.

В дополнение к этому, я бы рекомендовал использовать жесткие диски, такие как ленточные накопители. В наши дни можно даже купить футляры для жестких дисков (а также эти ), которые позволяют хранить файлы для архивирования. Вы можете выгружать файлы на RAID, а затем делать дополнительные архивные копии на дисках, которые необходимо сохранить.

Некоторые компании по производству видео, такие как Pixel Corps, используют аналогичные установки.

Кроме того, я очень рекомендую хранить файлы в нескольких местах (не под одной крышей). Кроме того, обязательно следуйте мантре «если она не написана хотя бы в двух местах, вы еще не сохранили ее». Кроме того, RAID сам по себе не считается резервной копией.

Я собираюсь предположить, что это в основном для автономного хранилища резервных копий: его легко создавать и восстанавливать, но он не используется в повседневных операциях.

Диски объемом 2 ТБ можно купить за 140 долларов. Итак, за 10 ТБ, 5 дисков, 700 долларов. Приблизительно 400 долларов, чтобы построить сервер с малой производительностью на базе Debian, Ubuntu или другого Linux-продукта. Если у вас есть система с несколькими сетевыми картами, вы можете связатьсетевые интерфейсы вместе (потенциально, я полагаю, вам нужен управляемый коммутатор, поддерживающий транкинг) для увеличения доступной пропускной способности сервера и защиты от сбоев сетевых плат. Затем вы можете открыть хранилище через samba, NFS или другим способом для рабочих станций, которые должны его использовать. Для этого большого объема данных вам, вероятно, понадобится какая-то избыточность, чтобы, когда (не если) один из этих дисков кусал его, вы не обходились без данных. RAID5 не очень хорошая идея, по нескольким причинам, но RAID10 отвечает всем требованиям. Поскольку сервер работает под управлением Linux, вы можете использовать mdadm для управления массивом RAID. Для этого вам нужно удвоить количество физических устройств, чтобы вы могли использовать до 10 дисков. Общая стоимость этого сервера хранения:

Если вы действительно любите свои данные (если это действительно важные производственные данные, вам следует!), Вы можете создать дублирующий сервер и сделать резервную копию резервной копии. Вы можете сделать это с помощью rsync crontab, который может быть ужасно медленным, с помощью решения netcat / tar pipe , которое будет быстрее, или установить raid-устройства в качестве основы устройства drbd . Поскольку хранилище дублируется на обеих машинах автоматически, вы (по сути) гарантируете резервное копирование данных. Вы можете получить даже любитель и настроить тактовую систему отказоустойчивой , чтобы гарантировать доступность тома данных.

Сетевое хранилище Buffalo TeraStation III 8 ТБ - £ 1 085,56

ссылка amazon.co.uk

Я получил версию terastation 1 ТБ, которую я обновил до 4 ТБ, она работает для меня безупречно в RAID5. Вы можете посмотреть на покупку уменьшенной версии и обновить ее самостоятельно, чтобы сэкономить деньги, или купить несколько терастанций и т. Д.

Я не очень разбираюсь в ленточных накопителях и в семантике хранения данных на ленте, поэтому не могу вам помочь. Учитывая непомерную стоимость использования bluray в качестве массового резервного копирования, я бы остановился на NAS или отдельных дисках.

С NAS / Raid следует опасаться, что, несмотря на то, что они могут хранить значительный объем информации в одном виртуальном диске ... вы должны хранить все диски вместе, а RAID, как правило, не очень хорош в долгосрочной перспективе ». Резервное копирование Вы рискуете потерять более одного диска, потеряв само устройство NAS (и редко гарантируется, что заменяющее устройство сможет считывать данные с дисков, даже если это «идентичное» устройство).

Учитывая, насколько радикально дешевые жесткие диски в наши дни и их общую стабильность, я бы остановился на отдельных дисках. Вы можете легко получить 10 2 ТБ дисков за небольшую стоимость (возможно, от 1200 до 1500 долларов США) и создать два набора резервных копий. Вы получаете как резервное копирование данных в автономном режиме, так и резервирование без риска, связанного с RAID или устройством NAS. Отдельные накопители также предлагают более широкий диапазон совместимости, поскольку SATA вряд ли появится где-либо в ближайшее время.

Если вы действительно хотите удостовериться, что не потеряете его, вам нужны как минимум два варианта архивирования. Вероятно, лента и жесткие диски. Создание одной копии без какой-либо формы избыточности - это просто еще один способ бросать кубики данных.

В зависимости от потребностей в хранении, если вы хотите выполнить резервное копирование отдельных рабочих станций, посмотрите на внешнюю док-станцию ​​Thermaltake BlacX для съемных дисков SATA. Они поддерживают как внешние USB, так и SATA соединения. Просто поместите диск в док-станцию, скопируйте данные и получите резервную копию.

У меня дома доки и работа. Я делаю резервные копии в каждом месте и доставляю их в другое место для хранения вне сайта. У меня также есть диск для перемещения текущей работы между локациями.

Доки стоят около $ 60,00 каждая, и вы можете получить 1,5 ТБ дисков менее чем за $ 100.

Джош, ты не дал понять, это рабочие данные или архивные данные. Если данные ценны, то нет никакой реальной разницы между резервным копированием и архивом, только в том месте, где вы храните, т.е. в вашей рабочей системе или архивной системе. Опять же, если данные являются ценными, ваша рабочая система и система архивирования будут идентичны, если вы хотите защитить данные и соблюдать правила резервного копирования.

Архив больше относится к типу носителя, чем к тому, что хранится на нем. Архив подразумевает, что данные никогда не изменятся, т.е. записаны один раз и прочитаны много раз, обычно называемые WORM. Диски WORM, как правило, являются ленточными, но такие вещи, как RDX Quikstor и RDX Quikstation (станция RDX с 8 отсеками), имеют опцию WORM для определенных дисков, чтобы их нельзя было перезаписать. Я подозреваю, что RDX Quikstation может подойти для вашего архивирования.

Помните, что система архивирования является частью плана резервного копирования. Вы никогда не должны рассматривать только одну копию каких-либо данных.

Некоторые правила резервного копирования:

3-2-1 Правило.

Три (3) копии ваших данных. Одна (1) исходная и две (2) резервные копии на двух разных носителях, одна (1) из которых хранится вне сайта.

Примеры: резервное копирование локального сервера на локальное NAS и резервное копирование на локальный сервер или RDX. Резервное копирование локального сервера на локальное NAS и резервное копирование на удаленное NAS. Резервное копирование локального сервера на локальное NAS и репликация в реальном времени на удаленное NAS. Ваша локальная резервная копия должна быть на диске.

СМИ:

Ваша внешняя резервная копия зависит от времени. Резервное копирование вне сети на портативные носители автоматически приводит к задержкам. то есть ночное резервное копирование в понедельник будет удалено во вторник вечером Если у вас случится катастрофа до закрытия рабочего вторника, вы потеряете два дня. То, сколько вы можете позволить себе потерять, полностью зависит от вашего бизнеса и частоты изменения данных.

Медиа хранилище:

Полностью соблюдайте правила хранения носителей. Некоторые ленты требуют, чтобы вы хранили их вертикально между узкими диапазонами температуры и влажности, вдали от источников магнитных полей. Падение ленты снизит ее надежность. Отправка записей домой с офисной девушкой в ​​сумочке рядом с ее мобильным телефоном - это катастрофа, ожидающая своего часа. Ленты также требуют до двух часов работы в среде резервного копирования перед вставкой в ​​дисковод, чтобы выровнять температуру и влажность между лентой и стримером. Ленты также необходимо выбрасывать и заменять через требуемые интервалы времени / записи.

Лично по этим причинам я не люблю ленту. Стоимость не маленькая и не стоимость того, чтобы кто-то управлял ею. Вкладывать деньги в ленту, но не следовать правилам, бессмысленно. Вы можете сделать это по дешевке, но надежность падает.

Устранить отдельные точки отказа:

Не распространяйте резервные данные на несколько носителей. Например, полное резервное копирование на одной ленте и дифференцирование на 6 других лент увеличило ваш риск потери данных в 7 раз. Если у меня есть резервная копия, мне нравится, чтобы она содержала все файлы, необходимые для восстановления данных. Лучше иметь 7 полных резервных копий.

В некотором смысле, рейд считается несколькими СМИ. Где бы вы ни использовали RAID, убедитесь, что у него есть функция автоматического переключения при горячей замене. Имейте по крайней мере один запасной диск в отсеке для дисков в качестве выделенного запасного устройства для горячей замены, и системы автоматически заменят неисправный накопитель запасным устройством для горячей замены. Если у вас есть терабайты данных, подумайте о наличии двух или более резервных копий в режиме RAID.

Соблюдайте дистанции за пределами площадки:

Ваше удаленное расстояние важно. Бессмысленное резервное копирование не имеет смысла, если в некоторых случаях оно защищает от потери данных. Любой, кто пережил землетрясение, наводнение, торнадо, ураган и т.д., скажет вам это. Недавние землетрясения в нашем городе привели к тому, что многие крупные компании потерпели крах, не создавая резервных копий за пределами площадки (ленты все еще рядом с серверами) или нечитаемых резервных копий. Как правило, 60 миль / 90 км - это хорошее расстояние.

Я не знаю ваш бюджет, поэтому давать советы сложно. Бюджет влияет на выбор резервного копирования и хранилища. Я работал на кинопродюсера, обеспечивающего ИТ-поддержку, поэтому у меня есть некоторое представление о движущихся частях вашей отрасли. Есть много вопросов без ответов:

Какие серверы у вас есть, если есть? Сколько у вас сотрудников? Это ваш единственный художественный фильм? Какой размер самого большого файла или набора файлов? Сколько времени между этим фильмом и следующим? Например, если вы занимаетесь производством полный рабочий день, у вас есть денежный поток для покрытия ежемесячных расходов, таких как удаленное резервное копирование по оптоволокну. Какого рода денежный поток будет генерировать фильм? Какие требования у вас есть для продвижения вперед? Эти и другие вопросы определяют ваши требования, методологию и бюджет.

Например: если вы производите 3 полнометражных фильма в год и каждый месяц рекламируете с использованием дюжины сотрудников, вы можете позволить себе: Серверы с RAID-массивом, резервное копирование на RAID-сервер NAS на месте. Выделенный оптоволоконный канал (не такой дорогой) с 100-битной неконтролируемой (не ограниченной ISP) ссылкой, реплицированной в центр обработки данных на расстоянии 60 м / 90 тыс. Важные архивные данные должны быть записаны на ленту или RDX и сохранены в центре обработки данных или хранилище ленты. Бюджет является вашим единственным определяющим фактором в отношении степени резервирования и резервного копирования, которую вы можете себе позволить.

Или, если бюджет небольшой, доход от продаж и будущее неизвестно, возможно, вы рассматриваете TAPE, RDX или USB-накопители (не рекомендуется), хранящиеся дома.

Настоящие и будущие требования, денежный поток и бюджет, взвешенные с потерей данных, являются вашими определяющими факторами. Я предлагаю вам нанять опытного специалиста по резервному копированию и / или бизнес-аналитика для прохождения процесса хранения и резервного копирования для вас.