"Zeile enthält NULL-Byte" im CSV-Reader (Python)

Ich versuche, ein Programm zu schreiben, das eine CSV-Datei (input.csv) betrachtet und nur die Zeilen neu schreibt, die mit einem bestimmten Element (korrigiert.csv) beginnen, wie in einer Textdatei (output.txt) aufgeführt.

So sieht mein Programm jetzt aus:

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Leider bekomme ich diesen Fehler immer wieder und ich habe keine Ahnung, worum es geht.

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

Wir danken allen Menschen hier , um mich an diesen Punkt zu bringen.

Ich habe ein ähnliches Problem mit einer einfacheren Lösung gelöst:

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

Der Schlüssel war die Verwendung des Codecs-Moduls, um die Datei mit der UTF-16-Codierung zu öffnen. Es gibt viel mehr Codierungen. Überprüfen Sie die Dokumentation .

Ich vermute, Sie haben ein NUL-Byte in input.csv. Sie können das mit testen

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

wenn Sie tun,

reader = csv.reader(x.replace('\0', '') for x in mycsv)

kann Sie um das herum bringen. Oder es zeigt an, dass Sie utf16 oder etwas 'Interessantes' in der CSV-Datei haben.

Wenn Sie die Nullen durch etwas ersetzen möchten, können Sie dies tun:

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Sie können einfach einen Generator einbinden, um die Nullwerte herauszufiltern, wenn Sie so tun möchten, als ob sie nicht existieren. Dies setzt natürlich voraus, dass die Null-Bytes nicht wirklich Teil der Codierung sind und wirklich eine Art fehlerhaftes Artefakt oder Fehler sind.

Siehe (line.replace('\0','') for line in f)unten, außerdem möchten Sie diese Datei wahrscheinlich im Modus öffnen rb.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Hier erfahren Sie, in welcher Leitung das Problem liegt.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

Vielleicht wäre dies von daniweb hilfreich:

Beim Lesen aus einer CSV-Datei wird folgende Fehlermeldung angezeigt: "Runtime Error! Zeile enthält NULL-Byte". Irgendeine Idee über die Grundursache dieses Fehlers?

...

Ok, ich habe es verstanden und dachte, ich würde die Lösung veröffentlichen. Einfach noch Kummer verursacht ... Die verwendete Datei wurde in einem XLS-Format anstelle einer CSV-Datei gespeichert. Dies wurde nicht abgefangen, da der Dateiname selbst die Erweiterung CSV hatte, während der Typ noch XLS war

Ein kniffliger Weg:

Wenn Sie sich unter Lunux entwickeln, können Sie die gesamte Kraft von sed nutzen :

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

Die effizienteste Lösung für große Dateien.

Überprüft auf Python3, Kubuntu

Ich habe dieses Problem kürzlich behoben und in meinem Fall war es eine komprimierte Datei, die ich lesen wollte. Überprüfen Sie zuerst das Dateiformat. Überprüfen Sie dann, ob der Inhalt der Erweiterung entspricht.

Die Umwandlung meiner Linux-Umgebung in eine saubere, vollständige UTF-8-Umgebung war für mich der Trick. Versuchen Sie Folgendes in Ihrer Befehlszeile:

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Dies ist seit langem geklärt, aber ich bin auf diese Antwort gestoßen, weil beim Lesen einer CSV, die als Trainingsdaten in Keras und TensorFlow verarbeitet werden soll, ein unerwarteter Fehler aufgetreten ist.

In meinem Fall war das Problem viel einfacher und es lohnt sich, sich dessen bewusst zu sein. Die in der CSV erzeugten Daten waren nicht konsistent, was dazu führte, dass einige Spalten vollständig fehlten, was diesen Fehler ebenfalls zu verursachen scheint.

Die Lektion: Wenn Sie diesen Fehler sehen, überprüfen Sie, ob Ihre Daten so aussehen, wie Sie denken, dass dies der Fall ist!

pandas.read_csv behandelt jetzt die unterschiedliche UTF-Codierung beim Lesen / Schreiben und kann daher direkt mit Null-Bytes umgehen

data = pd.read_csv(file, encoding='utf-16')

Siehe https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html