_csv.Error: Feld größer als Feldgrenze (131072)

Ich habe ein Skript in einer CSV-Datei mit sehr großen Feldern gelesen:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Dies löst jedoch bei einigen CSV-Dateien den folgenden Fehler aus:

_csv.Error: field larger than field limit (131072)

Wie kann ich CSV-Dateien mit großen Feldern analysieren? Das Überspringen der Zeilen mit großen Feldern ist keine Option, da die Daten in den folgenden Schritten analysiert werden müssen.

Die CSV-Datei enthält möglicherweise sehr große Felder. Erhöhen Sie daher Folgendes field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsizefunktioniert für Python 2.x und 3.x. sys.maxintwürde nur mit Python 2.x funktionieren ( SO: Was-ist-Sys-Maxint-in-Python-3 )

Aktualisieren

Wie Geoff betonte, kann der obige Code zu folgendem Fehler führen : OverflowError: Python int too large to convert to C long. Um dies zu umgehen, können Sie den folgenden schnellen und schmutzigen Code verwenden (der auf jedem System mit Python 2 und Python 3 funktionieren sollte):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Dies kann daran liegen, dass in Ihre CSV-Datei einfache oder doppelte Anführungszeichen eingebettet sind. Wenn Ihre CSV-Datei durch Tabulatoren getrennt ist, öffnen Sie sie wie folgt:

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)

Unten ist die aktuelle Grenze zu überprüfen

csv.field_size_limit()

Out [20]: 131072

Unten ist das Limit zu erhöhen. Fügen Sie es dem Code hinzu

csv.field_size_limit(100000000)

Versuchen Sie erneut, das Limit zu überprüfen

csv.field_size_limit()

Out [22]: 100000000

Jetzt wird der Fehler "_csv.Error: Feld größer als Feldlimit (131072)" nicht angezeigt.

CSV -Feldgrößen werden über [Python 3.Docs] gesteuert : CSV. field_size_limit ( [new_limit] ) :

Gibt die aktuelle maximale Feldgröße zurück, die vom Parser zugelassen wird. Wenn new_limit angegeben wird, wird dies das neue Limit.

Es wird standardmäßig gesetzt 128k oder 0x20000 ( 131072 ), die für jeden anständig genug sollte .csv :

>>> import csv
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

Wenn Sie jedoch mit einer CSV- Datei ( mit dem richtigen Anführungszeichen und Trennzeichen ) arbeiten, die (mindestens) ein Feld länger als diese Größe hat, wird der Fehler angezeigt.
Um den Fehler zu beseitigen, sollte die Größenbeschränkung erhöht werden (um Bedenken zu vermeiden, wird der maximal mögliche Wert versucht).

Hinter den Kulissen ( siehe [GitHub]: python / cpython - (master) cpython / Modules / _csv.c für Implementierungsdetails) ist die Variable, die diesen Wert enthält, ein C long ( [Wikipedia]: C-Datentypen ), deren Größe variiert je nach CPU- Architektur und Betriebssystem ( I L P ). Der klassische Unterschied: Für ein 64-Bit- Betriebssystem ( Python- Build ) beträgt die lange Schriftgröße ( in Bit ):

• Nix : 64
• Gewinn : 32

Beim Versuch, ihn festzulegen, wird überprüft , ob der neue Wert innerhalb der langen Grenzen liegt. Aus diesem Grund wird in einigen Fällen eine weitere Ausnahme angezeigt (dieser Fall tritt häufig bei Win auf ):

>>> import sys
>>>
>>> sys.platform, sys.maxsize
('win32', 9223372036854775807)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

Um dieses Problem zu vermeiden, setzen Sie das (maximal mögliche) Limit ( LONG_MAX ) mit einem Kunstgriff (dank [Python 3.Docs]: ctypes - Eine Fremdfunktionsbibliothek für Python ). Es sollte unter Python 3 und Python 2 auf jeder CPU / jedem Betriebssystem funktionieren .

>>> import ctypes as ct
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

64-Bit- Python unter einem Nix- ähnlichen Betriebssystem :

>>> import sys, csv, ctypes as ct
>>>
>>> sys.platform, sys.maxsize
('linux', 9223372036854775807)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

Für 32-Bit- Python sind die Dinge einheitlich: Es ist das Verhalten, das unter Win auftritt .

Überprüfen Sie die folgenden Ressourcen auf weitere Details zu:

• Spielen mit C- Typ-Grenzen aus Python : [SO]: Maximaler und minimaler Wert von C-Typ-Ganzzahlen aus Python (@ CristiFatis Antwort)
• Unterschiede zwischen Python 32bit und 64bit : [SO]: Wie kann ich feststellen, ob meine Python-Shell unter OS X im 32bit- oder 64bit-Modus ausgeführt wird? (@ CristiFatis Antwort)

Mir ist das gerade in einer "einfachen" CSV-Datei passiert. Einige Leute nennen es möglicherweise eine ungültig formatierte Datei. Keine Escapezeichen, keine doppelten Anführungszeichen und Trennzeichen waren ein Semikolon.

Eine Beispielzeile aus dieser Datei würde folgendermaßen aussehen:

Erste Zelle; Zweite "Zelle mit einem doppelten Anführungszeichen und führendem Leerzeichen; 'teilweise zitierte' Zelle; letzte Zelle

Das einfache Anführungszeichen in der zweiten Zelle würde den Parser von den Schienen werfen. Was funktionierte war:

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

Manchmal enthält eine Zeile eine doppelte Anführungsspalte. Wenn der CSV-Leser versucht, diese Zeile zu lesen, das Ende der Spalte nicht zu verstehen, und diese Erhöhung auslösen. Die Lösung ist unten:

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Sie können read_csvvon verwenden pandas, um diese Zeilen zu überspringen.

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Suchen Sie die cqlshrc-Datei, die normalerweise im Verzeichnis .cassandra abgelegt ist.

In dieser Datei anhängen,

[csv]
field_size_limit = 1000000000