Python-Pandas Herausfiltern von Nan aus einer Datenauswahl einer Spalte von Zeichenfolgen

190

Ohne Verwendung, groupbywie würde ich Daten ohne herausfiltern NaN?

Angenommen, ich habe eine Matrix, in der Kunden 'N / A', 'n / a' oder eine ihrer Variationen ausfüllen und andere sie leer lassen:

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

Ausgabe:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

Wie würde ich NaN-Werte herausfiltern, damit ich die folgenden Ergebnisse erzielen kann:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

Ich ~np.isnanschätze, ich brauche so etwas, aber die Tilda funktioniert nicht mit Saiten.

ccsv
quelle

Antworten:

254

Lass sie einfach fallen:

nms.dropna(thresh=2)

Dadurch werden alle Zeilen gelöscht, in denen mindestens zwei Nicht-Zeilen vorhanden sind NaN.

Dann könnten Sie dort ablegen, wo der Name ist NaN:

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]

BEARBEITEN

Wenn Sie sich ansehen, was Sie ursprünglich möchten, können Sie genau dies ohne den dropnaAnruf tun :

nms[nms.name.notnull()]

AKTUALISIEREN

Wenn man sich diese Frage 3 Jahre später threshansieht , gibt es einen Fehler. Erstens sucht arg nach mindestens nNichtwerten NaN, daher sollte die Ausgabe tatsächlich sein:

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

Es ist möglich, dass ich mich vor 3 Jahren geirrt habe oder dass die Version von Pandas, die ich ausgeführt habe, einen Fehler hatte. Beide Szenarien sind durchaus möglich.

EdChum
quelle
190

Einfachste aller Lösungen:

filtered_df = df[df['name'].notnull()]

Daher werden nur Zeilen herausgefiltert, die keine NaN-Werte in der Spalte 'Name' haben.

Für mehrere Spalten:

filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]
Gil Baggio
quelle
2
Wie erreichen Sie dies mit mehreren Spalten, ODER verknüpfen Sie sie miteinander? 'name' ist null oder 'foo' ist null
Greg Hilston
3
@ Greg Hilston Verwenden Sie das & oder | Opearator zu Kettenbedingungen während der Filterung. filtered_df = df[df['name'].notnull() | df['foo'].notnull()]
Deepak Rajendran
2
@GregHilston Ich habe auch die Antwort auf Ihre Frage hinzugefügt. In diesem Beispiel filtere ich Nicht-Null-Werte von Spalten wie cols = ['Name', 'Region', 'Land'].
Gil Baggio
9
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]
Bashar Mohammad
quelle
5
df.dropna(subset=['columnName1', 'columnName2'])
JacoSolari
quelle