Suchen Sie mit ArcGIS for Desktop doppelte Datensätze im Feld?

Ich suche nach doppelten Datensätzen in DBF-Dateien basierend auf dem Attribut 'ID'. Ich habe verschiedene DBF-Dateien von 500.000 Datensätzen bis 1,5 Millionen und ich weiß, dass es eine Vielzahl von Duplikaten gibt.

Ich möchte ein Feld 'Duplizieren' hinzufügen, das Ja oder Nein sagt (oder 1 oder 0 ist in Ordnung), wenn das ID-Attribut an anderer Stelle vorhanden ist. Wenn Sie das folgende Python-Skript in Field Calculator verwenden, wird 1 für einen doppelten Eintrag und 0 für einen eindeutigen Eintrag zurückgegeben.

uniqueList = []
def isDuplicate(inValue):
  if inValue in uniqueList:
    return 1
  else:
    uniqueList.append(inValue)
    return 0
isDuplicate(!FIELD_NAME!)

Der erste Datensatz von beispielsweise 5 doppelten IDs wird jedoch auch als 0 zurückgegeben (die folgenden 4 werden als doppelte IDs betrachtet). Ich würde alle 5 als doppelt markiert markieren müssen, da die ID an anderer Stelle vorhanden ist.

Wenn Sie den folgenden Code verwenden, erhalten Sie eine inkrementelle Zählung, wie oft diese ID vorkommt, wobei 1 die erste Gelegenheit usw. bedeutet.

UniqueDict = {}
def isDuplicateIndex(inValue):
    UniqueDict.setdefault(inValue,0)
    UniqueDict[inValue] += 1
    return UniqueDict[inValue]

isDuplicateIndex( !YOUR_FIELD! )

Ich möchte nur eine 1 (oder Ja), wenn die ID dieses Datensatzes an anderer Stelle vorhanden ist! (ArcGIS Version 10.1)

Ich habe andere Antworten wie das Python-Skript zum Identifizieren doppelter Datensätze gesehen (Follow-up), aber es funktioniert nicht ganz.

Eine alternative Lösung besteht darin, das vorhandene Tool " Zusammenfassungsstatistik " in ArcGIS zu verwenden und dann die resultierende Tabelle basierend auf Ihrem ID-Feld zu verknüpfen. Die Duplikate haben einen "COUNT" größer als 1, so dass es einfach ist, ihn mit Ihrem Feldrechner zu berechnen.

Eine andere alternative Lösung ( funktioniert nur in SDE-Umgebungen ) besteht darin, die vorhandenen SQL-Funktionen in ArcGIS zu verwenden, um die doppelten Datensätze anzuzeigen

Doppelte Datensätze in Tabelle abrufen (nach Attribut auswählen)

[FIELD_NAME] In (SELECT [FIELD_NAME] FROM [TABLE_NAME] GROUP BY [FIELD_NAME] HAVING Count(*)>1 )

Beispiel:

ID In (SELECT ID FROM GISDATA.MY_TABLE GROUP BY ID HAVING Count(*)>1 )

Das folgende Skript erstellt ein neues Feld mit der Anzahl der Vorkommen jedes Werts aus einem angegebenen Feld. Wenn Sie beispielsweise 6 Mal "Paris" in diesem Feld haben, erhält jede Zeile mit "Paris" eine 6.

import arcpy

arcpy.env.workspace=r"D:\test.gdb"
infeature="sample_feature"
field_in="sample_field"
field_out="COUNT_"+field_in

#create the field for the count values
arcpy.AddField_management(infeature,field_out,"SHORT")

#creating the list with all the values in the field, including duplicates
lista=[]
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field_in)    
    lista.append(i)
del cursor1, row

#updating the count field with the number on occurrences of field_in values
#in the previously created list
cursor2=arcpy.UpdateCursor(infeature)
for row in cursor2:
    i=row.getValue(field_in)
    occ=lista.count(i)   
    row.setValue(field_out,occ)
    cursor2.updateRow(row)
del cursor2, row
print ("Done.")

Es kann leicht geändert werden, so dass Sie "Ja" oder 1 haben können, wenn die Anzahl> 1 ist, aber ich denke, dass es nützlicher ist, die tatsächliche Anzahl zu haben.

Später bearbeiten: Oder Sie können dies im Feldrechner verwenden. Pre-Logic-Skriptcode:

infeature="sample_feature" #change with the name of your feature
lista=[]
field="sample_field" #change with your field with duplicates
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field)    
    lista.append(i)
del cursor1, row

def duplicates(field_in):        
    occ=lista.count(field_in)
    return occ

doppeltes Feld =

duplicates(!sample_field!)