Вопросы с тегом «big-data»

У меня есть код Python, который предназначен для принятия точечных шейп-файлов через следующий рабочий процесс: Точки слияния Объедините точки так, чтобы любые точки в пределах 1 м друг от друга становились одной точкой Создать векторный слой, где выбраны точки с z <10 Буферные очки Разрешение полигона на растр 1м Реклассифицировать, …

34 arcpy  geoprocessing  big-data 

Мне нужно импортировать большие файлы шейп-файлов (> 1 миллион записей) в PostGIS, и я задумался о том, как лучше всего это сделать. В своем вопросе я специально использовал слово «хак» вместо инструмента, потому что я думаю, что дело не в том, какой инструмент, а в том, какой набор шагов или …

21 postgis  database  big-data 

Мне интересно узнать, как использовать массивы NumPy для оптимизации геообработки. Большая часть моей работы связана с «большими данными», где для геообработки часто требуются дни для выполнения определенных задач. Излишне говорить, что я очень заинтересован в оптимизации этих процедур. ArcGIS 10.1 имеет ряд функций NumPy, к которым можно получить доступ через …

16 arcgis-desktop  python  arcpy  numpy  big-data 

Я заинтересован в изучении методов, позволяющих использовать все возможности многоядерной обработки, доступные на настольном компьютере. Arc заявляет, что фоновая геообработка позволяет пользователю использовать несколько ядер, однако задачи по сути должны ждать в очереди, чтобы предыдущая задача была завершена. Кто-нибудь разрабатывал параллельные или многопоточные методы геообработки в Arc / Python? Существуют …

12 python  arcpy  parallel-processing  big-data 

Я пытаюсь обрезать большой ECW (подробности ниже), но растровый файл слишком велик для полной обработки. Некоторые детали ECW ниже Драйвер: ECW / ERDAS сжатые вейвлеты (SDK 5.0) размер файла: 50 ГБ Размер 450000, 565081 Размер пикселя: 0,15 0,15 COLORSPACE = RGB COMPRESSION_RATE_TARGET = 9 VERSION = 2 Количество полос: 4 …

9 raster  gdal  clip  ecw  big-data