Читать только часть шейп-файла ESRI в R

10

У меня есть очень большой шейп-файл ESRI (> 8000 полигонов, файл .shp> 32 МБ), который я хочу прочитать в R в Windows 7.

Я знаком с rgdal и readOGR (). Однако при таком размере шейп-файла считывание всего шейп-файла в память является очень медленным процессом. Кроме того, меня интересуют только несколько кластерных полигонов (<100) из 8000, которые содержатся в шейп-файле. Процесс, для которого мне нужно это сделать, является очень повторяющимся, то есть шейп-файл должен загружаться много раз, поэтому в настоящее время он очень медленный.

Поэтому мне интересно, можно ли читать только часть шейп-файла, чтобы ускорить процесс. Кажется непрактичным загружать такое огромное количество данных, а затем отбрасывать большую их часть.

shapefile r rgdal

— БМЗ
источник

Какую платформу вы используете? Если у вас есть доступ к ArcGIS, я полагаю, вы могли бы написать скрипт в ArcPy, который делает выбор подмножества, а затем выполняет процесс R из скрипта python. Это определенно возможно ... Запустите поиск Google для выполнения кода R из python.

— GeoJohn

3

Возможно, попытайтесь экспортировать в новый шейп-файл ту часть ваших данных, которая важна для вас, а затем поработайте с ней в R.

— ami

это, вероятно, будет работать с SF. Но сохраните его в формате рабочей области R с помощью saveRDS. Существуют способы хранения в целом в SQLite или аналогичные, но я сомневаюсь, что это требуется

— mdsumner

8

Единственное, что приходит на ум, - это использовать новую библиотеку "sfr" и связанный с ней простой класс пространственных объектов для поднабора. Библиотека sfr в настоящее время доступна на GitHub, и вот руководство для начала.

Я не верю, что вы можете выполнять потоковую передачу данных на основе подмножества запросов, однако это значительно сократит время чтения и, возможно, является будущим для R пространственных классов .

Другим вариантом будет сохранение ваших пространственных данных в базе данных (например, PostGIS) и запрос из базы данных. Это может быть чрезвычайно эффективным способом работы с большими данными.

— Джеффри Эванс
источник

2

sfПакет доступен на CRAN начиная с версии 0.2 (2016-10-26): cran.r-project.org/web/packages/sf/index.html

— RCS

1

Я думаю, что использование ГИС, такой как QGIS, и выбор необходимых вам функций было бы хорошим подходом.
Если вам нужно объединить результаты, вы можете создать один файл с 7900 полигонами, которые вы не хотите обрабатывать, затем обработать 100 полигонов и вернуться после обработки.

— MichaelStoner
источник

0

Вы можете создать подмножество шейп-файла с помощью org2ogrкоманды, как показано здесь:

ogr2ogr выбор объектов по атрибутам

Вам нужно будет выяснить условие для выбора функций, которые вы хотите, хотя.

— Spacedman
источник