pandas read_csv und filtern spalten mit usecols

Ich habe eine CSV-Datei, die nicht richtig eingeht, pandas.read_csvwenn ich die Spalten mit usecolsfiltere und mehrere Indizes verwende.

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

Ich gehe davon aus, dass df1 und df2 bis auf die fehlende Dummy-Spalte identisch sein sollten, aber die Spalten sind falsch beschriftet. Auch das Datum wird als Datum analysiert.

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

Die Verwendung von Spaltennummern anstelle von Namen gibt mir das gleiche Problem. Ich kann das Problem umgehen, indem ich die Dummy-Spalte nach dem Schritt read_csv lösche, aber ich versuche zu verstehen, was falsch läuft. Ich benutze Pandas 0.10.1.

Bearbeiten: Fehlerhafte Header-Verwendung behoben.

Die Antwort von @chip verfehlt den Punkt zweier Schlüsselwortargumente vollständig.

• Namen sind nur erforderlich, wenn kein Header vorhanden ist und Sie andere Argumente mithilfe von Spaltennamen anstelle von Ganzzahlindizes angeben möchten.
• usecols soll einen Filter bereitstellen, bevor der gesamte DataFrame in den Speicher eingelesen wird. Bei ordnungsgemäßer Verwendung sollte es niemals erforderlich sein, Spalten nach dem Lesen zu löschen.

Diese Lösung korrigiert diese Kuriositäten:

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

Was uns gibt:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Dieser Code erreicht, was Sie wollen - auch sein seltsamer und sicherlich fehlerhafter:

Ich habe festgestellt, dass es funktioniert, wenn:

a) Sie geben die index_colrel. auf die Anzahl der Spalten, die Sie wirklich verwenden - also die drei Spalten in diesem Beispiel, nicht vier (Sie löschen dummyund beginnen von da an zu zählen)

b) Gleiches für parse_dates

c) nicht so für usecols;) aus offensichtlichen Gründen

d) hier habe ich das angepasst, namesum dieses Verhalten widerzuspiegeln

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

welche druckt

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Wenn Ihre CSV-Datei zusätzliche Daten enthält, können Spalten nach dem Import aus dem DataFrame gelöscht werden .

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

Was uns gibt:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Sie müssen nur den index_col=FalseParameter hinzufügen

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     index_col=["date", "loc"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1

Importieren Sie zuerst CSV und verwenden Sie CSV.DictReader. Es ist einfach zu verarbeiten ...