Python-Pandas: Entfernen Sie Duplikate in Spalte A, wobei die Zeile mit dem höchsten Wert in Spalte B beibehalten wird

Ich habe einen Datenrahmen mit Wiederholungswerten in Spalte A. Ich möchte Duplikate löschen und die Zeile mit dem höchsten Wert in Spalte B beibehalten.

Also das:

A B
1 10
1 20
2 30
2 40
3 10

Sollte sich in Folgendes verwandeln:

A B
1 20
2 40
3 10

Wes hat einige nette Funktionen hinzugefügt, um Duplikate zu löschen: http://wesmckinney.com/blog/?p=340 . AFAICT wurde jedoch für exakte Duplikate entwickelt, sodass Kriterien für die Auswahl der beibehaltenen Zeilen nicht erwähnt werden.

Ich vermute, es gibt wahrscheinlich einen einfachen Weg, dies zu tun - vielleicht so einfach wie das Sortieren des Datenrahmens vor dem Löschen von Duplikaten -, aber ich kenne die interne Logik von groupby nicht gut genug, um es herauszufinden. Irgendwelche Vorschläge?

Dies dauert den letzten. Nicht das Maximum:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Sie können auch so etwas tun:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

Die beste Antwort ist zu viel Arbeit und scheint für größere Datenmengen sehr langsam zu sein. applyist langsam und sollte nach Möglichkeit vermieden werden. ixist veraltet und sollte ebenfalls vermieden werden.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Oder gruppieren Sie einfach nach allen anderen Spalten und nehmen Sie das Maximum der benötigten Spalte. df.groupby('A', as_index=False).max()

Einfachste Lösung:

So löschen Sie Duplikate basierend auf einer Spalte:

df = df.drop_duplicates('column_name', keep='last')

So löschen Sie Duplikate basierend auf mehreren Spalten:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Versuche dies:

df.groupby(['A']).max()

Ich würde den Datenrahmen zuerst mit absteigender Spalte B sortieren, dann Duplikate für Spalte A löschen und zuerst behalten

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

ohne groupby

Sie können dies auch versuchen

df.drop_duplicates(subset='A', keep='last')

Ich habe dies von https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html weitergeleitet

Ich denke in deinem Fall brauchst du nicht wirklich einen Groupby. Ich würde Ihre B-Spalte in absteigender Reihenfolge sortieren und dann Duplikate in Spalte A ablegen. Wenn Sie möchten, können Sie auch einen neuen schönen und sauberen Index wie diesen haben:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Hier ist eine Variation, die ich lösen musste und die es wert ist, geteilt zu werden: Für jede eindeutige Zeichenfolge in columnAwollte ich die häufigste zugehörige Zeichenfolge in finden columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

Die .any()Auswahl eins, wenn es ein Unentschieden für den Modus gibt. (Beachten Sie, dass die Verwendung .any()einer Reihe von ints einen Booleschen Wert zurückgibt, anstatt einen davon auszuwählen.)

Für die ursprüngliche Frage vereinfacht sich der entsprechende Ansatz zu

df.groupby('columnA').columnB.agg('max').reset_index().

Wenn bereits gegebene Beiträge die Frage beantworten, habe ich eine kleine Änderung vorgenommen, indem ich den Spaltennamen hinzugefügt habe, auf den die Funktion max () angewendet wird, um die Lesbarkeit des Codes zu verbessern.

df.groupby('A', as_index=False)['B'].max()

Der einfachste Weg, dies zu tun:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

das funktioniert auch:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Ich werde Ihnen nicht die ganze Antwort geben (ich glaube, Sie suchen sowieso nicht nach dem Parsen und Schreiben in einen Dateiteil), aber ein entscheidender Hinweis sollte ausreichen: Verwenden Sie die Python- set()Funktion und dann sorted()oder .sort()gekoppelt mit .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]