Как вы справляетесь с архивированием данных? [закрыто]

Резервные копии - это одно, а долгосрочные архивы - другое. Например, вам может потребоваться хранить электронную почту в течение 7 лет или хранить все данные проекта в течение неопределенного времени. Раньше я сохранял архивы на ленту, но потом мне пришлось уничтожать ленты (диски вырывали ленту). Итак ... напиши на 2 кассеты, я слышу, как ты говоришь. Это то, что делают другие? Есть 2 (или более) ленты с одинаковыми данными для резервирования?

Но тогда другая проблема заключается в том, что ленты обычно не могут быть прочитаны разными поставщиками программного обеспечения для резервного копирования. Например, если вы перейдете из Arcserve -> Backup Exec -> Commvault более чем на 10 лет, вам потребуется сохранить все 3 системы, чтобы вы могли восстановить старые данные. Аналогично для оборудования. Старые ленты могут не иметь штрих-кодов. Возможно, он не совместим с новой библиотекой и т. Д. Итак, оставляете ли вы старое аппаратное обеспечение на магнитной ленте и старое программное обеспечение на тот случай, если вам может понадобиться восстановить 10-летний файл?

Или ... когда вы переходите на новую систему резервного копирования, переносите ли вы все архивные данные в новую систему и повторно архивируете их на новые ленты? Это может быть огромной работой.

Какие-нибудь мысли?

Сколько данных мы говорим? Наши «архивные» данные настолько малы, что мы просто храним их в оперативном хранилище (на устройстве NAS), которое резервируется обычными оперативными данными, поэтому они существуют точно так же, как наши обычные данные, и на них распространяются те же методы восстановления без приходится беспокоиться о сохранении технологии десятилетней давности. Если наши оперативные данные перемещаются на новую платформу хранения, архив перемещается вместе с ним. Мы также устанавливаем разрешения для архивных данных таким образом, чтобы только член группы безопасности архива (из которых очень мало пользователей) имеет доступ к удалению чего-либо из этих папок.

Если вы имеете дело с большим количеством данных, чем можно разумно хранить в оперативном хранилище, лента может быть лучшим выбором для долгосрочного хранения в сочетании с хранением как минимум двух копий в разных контролируемых местах хранения. Выпускайте их каждые пару лет, чтобы убедиться, что носитель по-прежнему доступен для чтения, и перенесите его со старых носителей на новый, если вы переключаете поставщиков, чтобы обеспечить возможность дальнейшего доступа к данным.

В моем случае мы делаем архивы на ленту, и я скажу вам, почему это имеет для нас смысл.

Прежде всего, программное обеспечение, которое мы используем, Tivoli Storage Manager, - это руки вниз, программное обеспечение, которое мы будем использовать в обозримом будущем. По моему мнению, TSM является вершиной пищевой цепи с точки зрения программного обеспечения для резервного копирования на предприятии, поэтому проблема перехода на другую программную платформу для нас относительно не существует.

При этом мы поддерживаем довольно много долгосрочных архивов, и у нас есть несколько разных способов сделать это. К счастью для нас, мы используем некоторые из новейших ленточных технологий, которые могут хранить более 1 ТБ на картридж, поэтому наличие большого количества архивов внутри библиотеки не является проблемой.

• Архивируйте на локальные ленты и копируйте эти архивы в наш альтернативный центр обработки данных, а архивные ленты находятся внутри библиотеки магнитных лент.

Мы делаем это для определенных типов данных, потому что данные восстанавливаются на регулярной основе, и это достаточно важно, чтобы потребовать две копии.

• Архивируйте локальные ленты, но не удаленные, и оставляйте ленты внутри библиотеки.

Мы делаем это для чуть менее важных данных, которые необходимо регулярно восстанавливать.

• Архивировать на локальную ленту и отправлять их за пределы хранилища.

Вышеуказанные практики хорошо сработали в прошлом. Пару лет назад мы перешли на совершенно другую ленточную технологию, и для перемещения данных потребовалось немного усилий, но на самом деле это не имело большого значения. В TSM это была буквально одна команда на серверную сумму архивов, и она запускалась. Может потребоваться пара дней, чтобы бежать, но это не было активным трудом для всех.

Волна будущего - это, очевидно, дисковое хранилище.

Как только появится такая возможность, я буду размещать дисковый массив в безопасном хранилище и копировать архивы типа долговременного аудита на подобное устройство.

Две установки EMC Centera (зеркалированные из разных мест). Это стоит больших долларов, но это работает.

http://www.emc.com/products/family/emc-centera-family.htm

Вы также можете посмотреть на решение, подобное Data Domain (теперь NetApp) . Они архивируют и выполняют расширенное сжатие, которое они называют DeDupe, в результате чего они ищут похожие фрагменты данных и получают очень высокие коэффициенты сжатия.

Какие данные вы пытаетесь сохранить? Это все "случайные" данные, такие как видео или музыка? Или это данные, которые могут быть использованы для сжатия?

Продвигайтесь вперед с новым решением для архивирования и сохраняйте ленты до тех пор, пока вам требуются эти данные. Если вам это нужно постоянно, вы можете перенести его на диск. Благодаря резервному копированию дисков на будущие носители значительно проще.

Через год или, возможно, через 2 года вы можете начать игнорировать записи, если эти резервные копии больше не нужны.

Реализовать это огромное усилие, если время решит вашу проблему для вас. Проведите анализ затрат, если у вас есть расходы, связанные с хранением резервных копий и / или лицензий на программное обеспечение для работы с ними.

Ваша проблема с архивированием данных, чтобы упростить вашу загадку, кажется, в будущем совместимость старых лент с новым оборудованием.

Мое решение: выберите только одного поставщика с полным решением (программным и аппаратным), который, как вы доверяете, сделает все возможное, чтобы обеспечить унаследованную совместимость.

И, очевидно, получите очень хороший ценовой контракт, учитывая вашу верность;)