Геосервер с Amazon S3 Bucket

У меня Apache, на котором запущен Geoserver на моем виртуальном экземпляре, и мне интересно, может ли каталог данных Geoserver указывать на корзину Amazon S3. Это возможно? Как это влияет на производительность?

Если S3 плохая настройка для каталога данных Geoserver, есть ли какие-либо предложения по добавлению больших объемов данных в мой каталог данных Geoserver? Каталог данных может достигать до 100 ГБ, возможно, больше. Должен ли я просто получить сервер с большим жестким диском или подключиться к более масштабируемому решению, например, к корзине Amazon S3?

geoserver amazon-s3

— modulitos
источник

Что это за данные? Я предполагаю образы, но вы выложили это? Может быть, какая-то база данных для растровых побед :-)

— BradHards

Если ваши данные являются растровыми и будут считываться и обрабатываться для интерактивного WMS S3, возможно, он слишком медленный. Подсказки из прошлого опыта, вы можете посмотреть на glusterfs + EBS.

— simogeo

Я заинтересован в использовании S3 в качестве общего хранилища данных для горизонтально-эластично масштабируемого парка GeoServers. В настоящее время я изучаю использование S3Fuse для монтирования файловой системы для этого. Было бы здорово услышать о любых других успехах / неудачах в этой области.

— 8bitjunkie

Есть ли опыт в этой теме?

— geogeek

Ответы:

Указывать «напрямую» на ведро S3 (например, используя s3fs) «вероятно» плохая идея. например, /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS почти наверняка является подходящим местом для хранения данных для доступа GeoServer.

100 ГБ очень управляемы по стандартам EBS. (Максимальный объем тома составляет 16 терабайт!)

Я мог бы предложить сохранить исходные данные в S3, а затем при необходимости скопировать их на ваши экземпляры, используя инструменты CLI AWS для синхронизации содержимого папки S3 с вашим локальным экземпляром с помощью одной команды. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 возможно избыточен, но я считаю, что он добавляет гибкость и удобство.

Примечание: если вы планируете использовать большие многоядерные экземпляры в любом случае, и вы знаете, что объем данных вряд ли будет неожиданно расти, и вы можете автоматически создавать свои экземпляры, вы можете рассмотреть возможность использования хранилища экземпляров («эфемерное хранилище») ) поскольку ваши исходные данные будут в безопасности в S3, вы можете сэкономить на сборах EBS, а в некоторых случаях хранение экземпляров может быть немного быстрее, чем EBS.

— python1981
источник

Это исчерпывающий ответ. Безграничный есть немного информации здесь: boundlessgeo.com/2013/04/…

— Алекс Лейт

что вы используете для запуска команд AWS из pyQGIS? Processing.call? Кажется, что boto3 не запускается. Он работает в оболочке Osgeo с python2, но не 3 ...

— Лев

Возможно ли это: Это может быть легко достигнуто для данных, которые подходят для формата GeoTIFF, используя модуль Geoserver s3 for Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Как это влияет на производительность? На это сложно ответить, однако я обнаружил, что производительность примерно эквивалентна хранилищу EBS / EFS за небольшую цену.

— nstillwell
источник