Общие советы по архивному решению. ~ 15тб и растет.

Мне нужна лучшая система хранения и архивирования для файлов моего малого бизнеса. В частности, файлы завершены видео проектов. Помимо ограничений по времени и стоимости, меня сдерживает то, что я не верю ни в одно из решений, которые я обдумывал. Поэтому я выкладываю проблему и свои мысли. Буду признателен за любые мнения.

Бюджет: я верю в то, что нужно тратить. Это, как говорится, мы малый бизнес. Я надеюсь, что смогу выйти из этого за <5k и больше около 1-3k. Это может быть несбыточной мечтой. Просто скажи мне так.

Проблема:

Необработанные видеофайлы имеют огромный размер. На сегодняшний день мы накопили, вероятно, 10 + ТБ, и это быстро растет.
Для редактирования видео требуется быстрый доступ для чтения / записи к файлам, поэтому центральный или облачный файловый сервер не будет достаточно быстрым. Поэтому нам, вероятно, нужно найти удачное решение для старых проектов, а текущие проекты должны остаться локальными.
Мы хотим какое-то резервирование и стороннее решение.

Что мы сейчас делаем:

Мы используем большие, высококачественные внешние жесткие диски.
Мы всегда покупаем в парах и вручную дублируем контент. Другими словами, мы работаем от одного и дублируем файлы на другой, который служит резервной копией / резервной версией.
Эти HD достаточно быстрые с FireWire800 или USB3, чтобы работать напрямую.
После заполнения мы откладываем пару.

Что не так с текущим решением:

Несмотря на то, что данные дублируются на двух дисках, на этих дисках нет резервных копий или они хранятся вне сайта.
Организовать эти внешние HD очень сложно. Какой проект на каком диске? и т.п.
В конце концов у нас будет смешное количество жестких дисков.
Дублирование не RAID.

Опции:

Локальный сервер

Купите сервер для монтажа в стойку и корпус массива жестких дисков, смонтированный в стойке, например, Norco (SAS) (20 отсеков).
Все видео файлы будут храниться на этом сервере. Мы могли бы установить и оплатить облачный сервис для резервного копирования этого компьютера / сервера. CrashPlan работает в Linux и не имеет ограничений по объему данных. Харддрайвами будут физические диски, подключенные к серверу, поэтому мы обходим правила «без NAS», которые есть у таких компаний, как CrashPlan. Это не персональный компьютер, поэтому синхронизация может выполняться 24/7/365. Это решило бы проблему вне офиса.
Вместо использования онлайн-сервиса резервного копирования, такого как CrashPlan, мы могли бы написать скрипт для синхронизации этих файлов с учетной записью Amazon Glacier.
Политика, при которой видео просматривает работу с внешних жестких дисков для текущих проектов, но должна поместить проект на этот новый компьютер после завершения. Другими словами, продолжайте использовать внешние жесткие диски для текущих проектов и сохраняйте архивированные проекты на этом сервере.

Облачные сервисы резервного копирования (CrashPlan.com, BackBlaze.com, Carbonite.com)

Обычно позволяет создавать резервные копии только внешнего жесткого диска, который физически подключен к компьютеру. (нет NAS или сетевых дисков).
Обычно они ожидают, что резервный внешний диск останется подключенным к вашему компьютеру, а все данные останутся на диске. Если вы месяцами не подключаете внешний жесткий диск, что происходит с резервными копиями? Если вы очистите пространство, удалив старые проекты, они также будут удалены из онлайн-сервиса.
Требует от наших пользователей оставлять внешние жесткие диски подключенными к своему компьютеру, пока все данные не будут в облаке. Это может занять несколько недель для большого проекта.
Восстановление проекта будет очень медленным из-за скорости интернет-передачи.
Эти учетные записи резервного копирования в облаке обычно относятся к одному пользователю / одному компьютеру. Так что, если жесткий диск поддерживается одним пользователем. Затем над проектом работает второй пользователь, что это значит?

Большой NAS

NAS - это «Сетевое хранилище». Вы вставляете столько жестких дисков, сколько он будет держать. Это будет совершать набег на них. Вы можете получить доступ к этому через сетевое соединение или, возможно, USB3 / Firewire.
У большинства есть операционная система. Таким образом, вы не можете запускать другие программы, такие как облачные сервисы резервного копирования. Вы также не можете выполнять какие-либо настройки или запускать собственное программное обеспечение. Вы получаете то, что покупаете.
Большие NAS довольно дороги и не такие уж большие. Вы не найдете много с более чем 4 отсеками. В настоящее время большой HD составляет 3 ТБ. Таким образом, 4bays могут быть где-то около 12 ТБ памяти. Не супер удобно на будущее.

Другие идеи:

Резервное копирование на ленту
Просто заархивируйте старые проекты прямо в Amazon Glacier, пропустите создание локального сервера для их хранения.

Спасибо за любой совет !!! Джед

— maestrojed
источник

После завершения проекта, как часто вам нужно возвращаться и работать с его данными?

— Майкл Хэмптон

Вы понимаете, что «Большой NAS» удивительно мало. Есть компании от NetApp до EMC, от IBM до Isilon и многих других, которые хотели бы с вами сесть.

— mfinni

Нам нужно будет возвращаться к этим данным один или два раза в месяц. Если бы была задержка доступа к этим данным (Amazon Glacier), я думаю, что было бы приемлемо, если бы мы говорили часами, а не днями.

— Маэстроед

Тогда не используйте Glacier. Поиск Fess будет высоким, и ваш бухгалтер выйдет из строя, когда он получит счет.

— HopelessN00b

@mfinni Я уверен, что у EMC и IBM будут отличные идеи и отличное оборудование (я не знал о NetApp). Не уверен, что это вписывается в мой описанный бюджет, и при этом это не подходит для малого бизнеса. Похоже, что NetApp делает аппаратное обеспечение похожим на то, что я называл «массивом жестких дисков» производства Norco. Я упомянул об этом в сборке моей собственной идеи сервера. Это подход, который вы предлагаете?

— Маэстроед

Ответы:

Tape. Просто так. У Quantum есть система SuperSTore, которая может справиться с гораздо большими затратами, и я видел их менее чем за 5000 цен - новинка. Хорошая вещь заключается в том, что вы можете извлекать ленты для хранения, поэтому их масштабирование будет достаточно экономичным, а ленты сохранятся.

— TomTom
источник

Поскольку вы довольны временем поиска в течение нескольких часов, я полностью согласен с TomTom. Лента сильно недооценена и отлично подходит для такого рода вещей.

— MadHatter

Если вы идете с лентой, просто убедитесь, что у вас есть что-то, что позволяет вам часто тестировать ленту. По моему опыту, около 75% резервных копий на магнитной ленте не работают, потому что люди используют одни и те же кассеты несколько раз и удивляются, когда не могут извлечь данные из них через 3 года.

— Матфея

Достаточно удивительно, учитывая, что надлежащее хранение должным образом (кашель) имеет длительный срок гарантии (я думаю, 30 лет). И вы можете легко сделать 2 копии. Возьмите весы очень хорошо. Это скорее - извините - идиотизм людей, которые, вероятно, никогда не проверят восстановление ни разу ... хотя я бы сделал это по графику (1 неделя, 1 месяц, 1 год).

— TomTom

+1 - это практически учебник для кассеты большой емкости. Дополнительные затраты на добавление хранилища в архив на основе ленты (даже с разрезанием двух лент для хранения на и вне сайта) ниже, чем на жестких дисках, и ленты предназначены для архивирования. LTO поддерживается отраслевой ассоциацией, которая продемонстрировала приверженность созданию продуктов, обеспечивающих доступ к более старым носителям. Тем не менее, через несколько лет, когда вы замените ленточный элемент, вы, вероятно, должны перенести старые данные в новые форматы ленты, хотя бы для борьбы с потенциальной гнилой битой. Если вам нужно, чтобы это было «OPEX», рассмотрите вариант лизинга.

— Эван Андерсон

Лента хороша, но требует дисциплины - регулярное тестирование, ротация за пределами площадки и т. Д. Я бы лично пошел с сетевым NAS (вероятно, nas4free) и rsync с ограниченной скоростью на внешнюю идентичную коробку.

— quadruplebucky

Во-первых, я бы посоветовал избегать ледника. Это звучит хорошо, пока вы не сократите затраты на восстановление большого объема данных. Это неофициальный калькулятор, который вы можете использовать, чтобы рассчитать стоимость хранения и поиска Glacier, и судить сами . Восстановление терабайт данных из Glacier - довольно непривлекательная перспектива.

Во-вторых, я бы посоветовал, чтобы в целях простого резервного копирования вы могли использовать один NAS-сервер с большим количеством дисков. Для меня это звучит так, будто вы рассматривали только варианты NAS для дома и небольшого офиса, и вам следует подумать о правильном предложении NAS. Предпочитая Dell, я бы выделил серверы Dell PowerVault NAS , но HP, IBM, SuperMicro и почти все остальные имеют аналогичные предложения. У меня дома установлен старый Dell PowerVault NX, который служит моей медиатекой, и в нем двенадцать почти 2 ТБ дисков SAS. Нынешние накопители SAS емкостью 4 ТБ также доступны в эти дни, поэтому вы всегда можете заполнить их нужным NAS-сервером. (Или купите пару серверов NAS.)

Вы можете легко использовать один из них в локальной сети, установить программное обеспечение для резервного копирования по вашему выбору ( например, Bacula, если вам нравится бесплатное , или любое из десятка коммерческих предложений, если вам нужна поддержка поставщика) и использовать большой том RAID в качестве вашего резервная цель. Затем вы можете использовать службу резервного копирования в облачном хранилище для резервного копирования этого NAS-сервера и использовать преимущества локального и удаленного резервного копирования. Опять же, это то, что я делаю дома. Правильный NAS-сервер, терабайты резервных копий данных в облачный сервис.

И, конечно, вы также можете использовать магнитную ленту ... купите ленточный накопитель LTO или библиотеку - лично я сделаю все возможное, чтобы избежать использования ленточных или оптических дисков, но они являются законным вариантом и могут быть дешевле диска -дисковое решение.

Наконец, я хотел бы предложить вам рассмотреть главный недостаток облачных сервисов резервного копирования - размер вашего интернет-канала. Загрузка терабайтов данных через интернет может занимать недели или месяцы и / или взиматься дополнительная плата от вашего интернет-провайдера. Поэтому, несмотря на то, что они являются жизнеспособным вариантом для резервного копирования данных, даже корпоративных данных, большинство людей не рассматривают это ограничение до тех пор, пока не достигнут его.

— HopelessN00b
источник

+1. Ледник архивный - это серьезно S ++++ для резервного копирования. Резервное копирование означает, что не нужно восстанавливать целую вечность, затем много, а квота 5% означает оплату в случае восстановления.

— TomTom

Я думаю, это зависит от вашего бюджета. Если вы можете потратить всего $ 6k, вам, вероятно, потребуется создать собственный NAS. Я бы посмотрел на nas4free и какой сервер вам стоит. Если вы можете потратить $ 20 тыс., Вы, вероятно, можете заполнить сервер кучей дисков и приличной картой RAID или программным RAID под Linux или любым другим.

Приблизительно за $ 40 тыс. Вы можете получить высокопроизводительный 1U (IBM x3550 M4, 2-портовый Emulex 10 Гбит / с, 4 Гбит NIC, 128 ГБ ОЗУ, 2 локальных диска SAS 10 КБ) с 10 Гбит iSCSI в коробку Infortrend SAN с 24 дисками SAS 4 ТБ, которые вы можете ломтик и кости, как вы хотите. RAID6 - разумный конфиг.

Лента тоже хорошая идея, но я не знаю, насколько она дешевая. Это зависит от того, какую большую библиотеку вы получите. Если библиотека ленточных носителей 48 подойдет, вы можете снова сделать это с 1U и внешней картой SAS, может быть, за 30 тыс. Долл. И 2 накопителя LTO6 ... Но тогда вам нужны лицензии на программное обеспечение для управления резервными копиями на магнитной ленте или чем-то еще. Я использовал только NetBackup, который, вероятно, вам здесь не подходит. Только не забывайте, что вы, вероятно, захотите использовать ленточную библиотеку в программном обеспечении. Но как только вы выйдете из библиотеки, не забудьте найти ленту и загрузить ее, а также подготовительную зону для доступа ...

— jmp242
источник