Измерять разницу в производительности между Merge и Append в ArcGIS Desktop?

12

Часто я нахожусь в ситуации, когда мне все равно, создает ли мой инструмент новый класс пространственных объектов, но меня волнует, сколько времени потребуется для объединения всех моих больших наборов данных. Требуется ли больше времени для создания нового класса объектов с помощью инструмента «Объединить» вместо инструмента «Добавить», или же слияние и добавление по сути одинаковы с точки зрения производительности?

— MTerry
источник

2

Немного анекдотического свидетельства: я всегда обнаруживал, что Merge работает быстрее, особенно при работе с большим количеством функций.

— Девдатта Тенгше

но Append работает лучше всего, когда у вас есть предопределенные домены и подтипы.

— Mapperz

6

Слияние принимает как геометрию, так и атрибуты и объединяет (объединяет) весь набор данных в новый набор классов объектов. введите описание изображения здесь

Добавить - это хороший способ присоединить дополнительные данные к существующему набору данных - у него могут быть опции для управления подтипами добавляемых объектов.

http://resources.arcgis.com/en/help/main/10.1/index.html#//001700000055000000

Ключевое отличие

Если указан тип схемы TEST , схема (определения полей) входных наборов данных должна совпадать со схемой целевого набора данных для добавления объектов. Если указан тип схемы NO_TEST , схема входного набора данных (определения полей) не обязательно должна соответствовать целевому набору данных. Однако любые поля из входных наборов данных, которые не совпадают с полями целевого набора данных, не будут сопоставлены с целевым набором данных, если это отображение явно не установлено в элементе управления Field Map.

подтип (Необязательно) Описание подтипа для назначения этого подтипа всем новым данным, добавляемым в целевой набор данных.

http://resources.arcgis.com/en/help/main/10.1/index.html#//001700000050000000

введите описание изображения здесь

Возможно, вас заинтересует «Плиточная обработка больших наборов данных».

http://resources.arcgis.com/en/help/main/10.1/index.html#//01m10000000r000000

— Mapperz
источник

1

Я знаю о различиях между инструментами, но мне интересно, приводят ли эти различия к значительной разнице во времени обработки. Обычно я использую NO_TEST при использовании инструмента добавления, так как перед добавлением / объединением я проверяю, совпадают ли мои определения полей.

— MTerry

5

Возьмите эти ответы, основываясь на самих инструментах, а не на реальном тесте:

Инструмент слияния создает новый класс пространственных объектов, который требует времени сам по себе, прежде чем объединить два набора данных.

Инструмент добавления с опцией TEST предполагает, что оба набора данных имеют одинаковые поля (имена полей), и объединяет их без необходимости создания нового класса объектов (звучит быстрее).

Инструмент добавления с опцией NO TEST позволяет сопоставлять поля, чтобы объединить как классы объектов, которые могут иметь разные имена полей. Это требует некоторого закулисного условного тестирования, которое займет больше времени.

По мере роста размера набора данных время, необходимое для создания нового fc, кажется незначительным. Единственный способ узнать наверняка - это сделать несколько тестов с вашими большими наборами данных и опубликовать ответы здесь!

Я подозреваю, что разница не в том, а в том, что вы хотите от инструмента в конце (отображение полей, новый класс пространственных объектов или новый класс пространственных объектов)

— Рой
источник

0

Я просто запустил все три варианта. Я всегда комбинировал одни и те же 63 шейп-файла. Каждый шейп-файл содержит около 63000 точек, созданных в результате операции RasterToPoint. Все шейп-файлы имеют одну и ту же таблицу атрибутов.

Для разных вариантов требовалось следующее время компиляции:

Слияние: 13 минут 57 секунд
Добавить с ТЕСТОМ: 8 минут 34 секунды
Добавить с NO_TEST: 9 минут 12 секунд

Похоже, Добавить с TEST в качестве входного параметра является самым быстрым. Очевидно, что выбор того, что использовать для добавления, зависит не от скорости, а от ваших входных файлов, как описано выше.

Надеюсь, это полезно.

— Александр
источник