Как минимизировать потребление памяти?

У меня есть сеть с серверами Live, User Acceptance, Stageing и Development (в данном случае Windows в основном 2012r2, все гости Hyper-V). Каждая из этих частей сети имеет внешний и внутренний сервер. Внутренние серверы содержат пропорционально большие объемы данных. На серверах принятия, размещения и разработки эти данные не изменяются (за исключением периодического обновления из живого состояния) и редко доступны вне цикла разработки.

В этом типе среды, как вы минимизируете потребление памяти и не тратите пространство памяти на статические и редко используемые данные. Данные состоят из тысяч файлов, таких как PDF, JSON, DWG и PNG.

Вещи, которые я рассмотрел.

Удаление серверов, когда они не используются - не лучший вариант, так как иногда время на восстановление этих серверов весит время, которое разработчики собираются использовать. Наше решение для резервного копирования - MS Data Protection Manager.

Удаление дисков с данными, когда они не используются. Немного лучше, чем указано выше, но опять же время является фактором.

Перемещение дисков с данными между серверами. Поскольку они являются гостями Hyper-V, я мог просто прикреплять диски с данными по мере необходимости, однако бывают случаи, когда одновременно используется более одной среды.

Возможно, вы захотите проверить некоторые гибридные файловые серверы, один из которых переносит холодные данные в общедоступное облако, где хранилище дешевое (S3) или почти бесплатное (Glacier). Если у вас есть корпоративное соглашение в Azure, вы можете попробовать StorSimple от Microsoft, как физического, так и виртуального.

https://azure.microsoft.com/en-us/services/storsimple/

Насуни тоже хорош, но пока не имеет надежного SMB3.

https://www.nasuni.com

На рынке есть много интересных решений, я не пробовал Nasuni, но выглядит неплохо. Кроме того, вы можете взглянуть на Aclouda, который можно использовать в качестве аппаратного шлюза, и представить облачное хранилище в качестве локального диска и автоматически выгружать данные в облако. Его можно установить на локальный сервер в качестве диска SATA / SAS с подключением к облаку либо Amazon, либо Azure. http://aclouda.com/

Поскольку у вас достаточно большой объем данных, которые со временем сильно не меняются, я настоятельно рекомендую вам внедрить какое-то многоуровневое управление (должно подходить пространство памяти с автоматическим многоуровневым размещением). Идея состоит в том, что «горячий» уровень, то есть локальное хранилище, должен содержать самые последние данные, к которым необходимо быстро получить доступ, и «холодный» уровень можно выгружать в облако.

Идея не нова - Насуни https://www.nasuni.com/ делает вещи, очень похожие на этот подход. Вариант «сделай сам» - это S3Fuse https://www.interserver.net/tips/kb/mount-s3-bucket-centos-ubuntu-using-s3fs/, который позволяет монтировать облачное хранилище в качестве локального диска. StorSimple https://azure.microsoft.com/en-us/services/storsimple/ - еще один вариант, но он строго связан с Azure.

Если вы не желаете устанавливать / настраивать и обслуживать какое-либо дополнительное программное обеспечение, вы можете использовать аппаратный шлюз, такой как AcloudA http://aclouda.com/, который будет выполнять эту работу, не требуя никакого дополнительного программного обеспечения или драйверов.

Поскольку ваши гости - Windows 2012 R2, вы можете запустить дедупликацию внутри виртуальной машины. За исключением начального сканирования, я обнаружил, что он не очень ресурсоемкий. В магазинах документов моя экономия составила 55% или выше.

Если ваше хранилище находится на сервере Windows (дисковые пространства и т. П.), Вы можете дедуплировать хранилище VHD. Использование опции VDI при настройке дедупликации на томе включает дедупликацию открытых VHD. См. Https://technet.microsoft.com/en-us/library/dn486808.aspx