Unterschied zwischen open und codecs.open in Python

Es gibt zwei Möglichkeiten, eine Textdatei in Python zu öffnen:

f = open(filename)

Und

import codecs
f = codecs.open(filename, encoding="utf-8")

Wann ist es codecs.openvorzuziehen open?

Seit Python 2.6 ist eine gute Praxis zu verwenden io.open(), die auch ein encodingArgument wie das jetzt veraltete nimmt codecs.open(). In Python 3 io.openist ein Alias ​​für das open()eingebaute. Funktioniert also io.open()in Python 2.6 und allen späteren Versionen, einschließlich Python 3.4. Siehe Dokumente: http://docs.python.org/3.4/library/io.html

Nun, für die ursprüngliche Frage: beim Lesen Text (einschließlich „Klartext“, HTML, XML und JSON) in Python 2 Sie sollten immer verwenden io.open()mit einer expliziten Kodierung oder open()mit einer expliziten Kodierung in Python 3. Doing so Mittel erhalten Sie richtig Unicode dekodiert oder sofort einen Fehler angezeigt, was das Debuggen erheblich erleichtert.

Reiner ASCII "Klartext" ist ein Mythos aus der fernen Vergangenheit. Der richtige englische Text verwendet geschweifte Anführungszeichen, Striche, Aufzählungszeichen, € (Euro-Zeichen) und sogar Diaeresis (¨). Sei nicht naiv! (Und vergessen wir nicht das Fassadenmuster!)

Da reines ASCII keine echte Option ist, ist open()eine explizite Codierung nur zum Lesen von Binärdateien sinnvoll .

Persönlich benutze ich immer , es codecs.opensei denn, es gibt einen klar identifizierten Bedarf open**. Der Grund ist, dass ich so oft gebissen wurde, weil sich utf-8-Eingaben in meine Programme eingeschlichen haben. "Oh, ich weiß nur, dass es immer ASCII sein wird" ist eine Annahme, die oft gebrochen wird.

Die Annahme von 'utf-8' als Standardcodierung ist meiner Erfahrung nach eine sicherere Standardauswahl, da ASCII als UTF-8 behandelt werden kann, aber das Gegenteil ist nicht der Fall. Und in jenen Fällen, in denen ich wirklich weiß , dass die Eingabe ASCII ist, tue ich dies immer noch, codecs.openda ich fest davon überzeugt bin, dass "explizit besser als implizit" ist .

** - in Python 2.x, wie der Kommentar zu der Frage in Python 3 openersetztcodecs.open

In Python 2 gibt es Unicode-Zeichenfolgen und Bytestrings. Wenn Sie nur Bytestrings verwenden, können Sie in eine Datei lesen / schreiben, die mit open()ganz gut geöffnet wurde . Immerhin sind die Zeichenfolgen nur Bytes.

Das Problem tritt auf, wenn Sie beispielsweise eine Unicode-Zeichenfolge haben und Folgendes tun:

>>> example = u'Μου αρέσει Ελληνικά'
>>> open('sample.txt', 'w').write(example)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)

Hier codieren Sie also offensichtlich entweder explizit Ihre Unicode-Zeichenfolge in utf-8 oder Sie verwenden codecs.opendies, um dies transparent für Sie zu tun.

Wenn Sie immer nur Bytestrings verwenden, gibt es keine Probleme:

>>> example = 'Μου αρέσει Ελληνικά'
>>> open('sample.txt', 'w').write(example)
>>>

Dies ist komplizierter, da beim Verketten einer Unicode- und Bytestring-Zeichenfolge mit dem +Operator eine Unicode-Zeichenfolge angezeigt wird . Leicht von diesem gebissen zu werden.

codecs.openMag auch keine Bytestrings mit Nicht-ASCII-Zeichen, die übergeben werden:

codecs.open('test', 'w', encoding='utf-8').write('Μου αρέσει')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/codecs.py", line 691, in write
    return self.writer.write(data)
  File "/usr/lib/python2.7/codecs.py", line 351, in write
    data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)

Der Ratschlag zu Zeichenfolgen für Eingabe / Ausgabe lautet normalerweise "so früh wie möglich in Unicode konvertieren und so spät wie möglich zurück in Bytestrings". Mit codecs.openkönnen Sie Letzteres sehr einfach tun.

Achten Sie nur darauf, dass Sie ihm Unicode-Zeichenfolgen und keine Bytestrings geben, die möglicherweise Nicht-ASCII-Zeichen enthalten.

Wenn Sie eine Datei mit einer bestimmten Codierung öffnen müssen, verwenden Sie das codecsModul.

codecs.openIch nehme an, es ist nur ein Überbleibsel aus der Python 2Zeit, als das eingebaute Open eine viel einfachere Oberfläche und weniger Funktionen hatte. In Python 2 wird für opendie integrierte Funktion kein Codierungsargument verwendet. Wenn Sie also etwas anderes als den Binärmodus oder die Standardcodierung verwenden möchten, sollte codecs.open verwendet werden.

In Python 2.6kam das io-Modul zur Hilfe, um die Dinge ein bisschen einfacher zu machen. Nach der offiziellen Dokumentation

New in version 2.6.

The io module provides the Python interfaces to stream handling.
Under Python 2.x, this is proposed as an alternative to the
built-in file object, but in Python 3.x it is the default
interface to access files and streams.

Trotzdem kann ich mir codecs.openim aktuellen Szenario nur die Abwärtskompatibilität vorstellen. In allen anderen Szenarien (es sei denn, Sie verwenden Python <2.6) ist die Verwendung vorzuziehen io.open. Auch in Python 3.x io.openist das gleiche wiebuilt-in open

Hinweis:

Es gibt auch einen syntaktischen Unterschied zwischen codecs.openund io.open.

codecs.open::

open(filename, mode='rb', encoding=None, errors='strict', buffering=1)

io.open::

open(file, mode='r', buffering=-1, encoding=None,
     errors=None, newline=None, closefd=True, opener=None)

• Wenn Sie eine Binärdatei laden möchten, verwenden Sie f = io.open(filename, 'b').

• Verwenden Sie zum Öffnen einer Textdatei immer die f = io.open(filename, encoding='utf-8')explizite Codierung.

In Python 3open funktioniert dies jedoch genauso wie io.openund kann stattdessen verwendet werden.

Hinweis: Es codecs.open ist geplant, dass es nach seiner Einführung in Python 2.6 veraltet und ersetzt wird . Ich würde es nur verwenden, wenn Code mit früheren Python-Versionen kompatibel sein muss. Weitere Informationen zu Codecs und Unicode in Python finden Sie im Unicode-HOWTO .io.open

Wenn Sie mit Textdateien arbeiten und eine transparente Codierung und Decodierung in Unicode-Objekte wünschen.

Ich war in der Lage, eine .asm-Datei zu öffnen und die Datei zu verarbeiten.

#https://docs.python.org/3/library/codecs.html#codecs.ignore_errors
#https://docs.python.org/3/library/codecs.html#codecs.Codec.encode

with codecs.open(file, encoding='cp1252', errors ='replace') as file:

Ohne viel Mühe kann ich die gesamte Datei lesen, irgendwelche Vorschläge?