Поиск дубликатов записей в поле с помощью ArcGIS for Desktop?

Я ищу дубликаты записей в файлах DBF на основе атрибута с именем «ID». У меня есть различные файлы DBF от 500 000 записей до 1,5 миллиона, и я знаю, что есть множество дубликатов.

Я хотел бы добавить поле «Дублировать», которое говорит «Да» или «Нет» (или 1 или 0 в порядке), когда атрибут идентификатора присутствует в другом месте. При использовании следующего скрипта Python в Field Calculator возвращается 1 для дублированной записи и 0 для уникальной записи;

uniqueList = []
def isDuplicate(inValue):
  if inValue in uniqueList:
    return 1
  else:
    uniqueList.append(inValue)
    return 0
isDuplicate(!FIELD_NAME!)

Однако 1-я запись, например, 5 дубликатов идентификаторов также будет возвращена как 0 (последующие 4 считаются дубликатами). Мне нужно, чтобы все 5 были отмечены как дубликаты, поскольку идентификатор существует в другом месте.

Использование следующего кода даст вам дополнительный подсчет того, сколько раз этот идентификатор встречается, причем 1 означает 1-й случай и т. Д .;

UniqueDict = {}
def isDuplicateIndex(inValue):
    UniqueDict.setdefault(inValue,0)
    UniqueDict[inValue] += 1
    return UniqueDict[inValue]

isDuplicateIndex( !YOUR_FIELD! )

Я просто хочу 1 (или Да), если идентификатор этой записи существует в другом месте! (ArcGIS версия 10.1)

Я видел другие ответы, такие как сценарий Python для определения дубликатов записей (продолжение), но это не совсем работает.

Альтернативное решение состоит в том, чтобы использовать существующий инструмент « сводной статистики » в ArcGIS, а затем вы присоединяете итоговую таблицу на основе вашего поля ID. Дубликаты будут иметь «COUNT» больше 1, поэтому его легко вычислить с помощью полевого калькулятора.

Другое альтернативное решение ( работает только со средами SDE ) заключается в использовании существующих функций SQL в ArcGIS для отображения дубликатов записей.

Получить повторяющиеся записи в таблице (выбор по атрибуту)

[FIELD_NAME] In (SELECT [FIELD_NAME] FROM [TABLE_NAME] GROUP BY [FIELD_NAME] HAVING Count(*)>1 )

Пример:

ID In (SELECT ID FROM GISDATA.MY_TABLE GROUP BY ID HAVING Count(*)>1 )

Следующий скрипт создает новое поле с количеством вхождений каждого значения из указанного поля. Так, например, если у вас есть «Париж» 6 раз в этом поле, каждый ряд с «Парижем» получит 6.

import arcpy

arcpy.env.workspace=r"D:\test.gdb"
infeature="sample_feature"
field_in="sample_field"
field_out="COUNT_"+field_in

#create the field for the count values
arcpy.AddField_management(infeature,field_out,"SHORT")

#creating the list with all the values in the field, including duplicates
lista=[]
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field_in)    
    lista.append(i)
del cursor1, row

#updating the count field with the number on occurrences of field_in values
#in the previously created list
cursor2=arcpy.UpdateCursor(infeature)
for row in cursor2:
    i=row.getValue(field_in)
    occ=lista.count(i)   
    row.setValue(field_out,occ)
    cursor2.updateRow(row)
del cursor2, row
print ("Done.")

Его можно легко изменить, чтобы иметь значение «Да» или « 1», если число> 1, но я полагаю, что полезнее иметь фактическое число.

Позже Редактировать: Или вы можете использовать это в полевом калькуляторе. Код пре-логического кода:

infeature="sample_feature" #change with the name of your feature
lista=[]
field="sample_field" #change with your field with duplicates
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field)    
    lista.append(i)
del cursor1, row

def duplicates(field_in):        
    occ=lista.count(field_in)
    return occ

дубликат поля =

duplicates(!sample_field!)