Ändern der Standardcodierung von Python?

Ich habe viele Probleme mit Python, bei denen ich meine Anwendungen von der Konsole aus ausführen kann. Aber in der Eclipse PyDev IDE ist die Standardzeichenkodierung auf UTF-8 eingestellt , und mir geht es gut.

Ich habe nach der Einstellung der Standardcodierung gesucht und die Leute sagen, dass Python die sys.setdefaultencodingFunktion beim Start löscht und wir sie nicht verwenden können.

Was ist die beste Lösung dafür?

Hier ist eine einfachere Methode (Hack), mit der Sie die setdefaultencoding()Funktion zurückerhalten, aus der gelöscht wurde sys:

import sys
# sys.setdefaultencoding() does not exist, here!
reload(sys)  # Reload does the trick!
sys.setdefaultencoding('UTF8')

(Hinweis für Python 3.4+: reload()befindet sich in der importlibBibliothek.)

Dies ist jedoch keine sichere Sache : Dies ist offensichtlich ein Hack, da er sys.setdefaultencoding()absichtlich entfernt wird, syswenn Python gestartet wird. Durch erneutes Aktivieren und Ändern der Standardcodierung kann Code beschädigt werden, bei dem ASCII als Standard verwendet wird (dieser Code kann von Drittanbietern stammen, was das Beheben im Allgemeinen unmöglich oder gefährlich machen würde).

Wenn Sie diese Fehlermeldung erhalten, wenn Sie versuchen, die Ausgabe Ihres Skripts weiterzuleiten / umzuleiten

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)

Exportieren Sie einfach PYTHONIOENCODING in die Konsole und führen Sie dann Ihren Code aus.

export PYTHONIOENCODING=utf8

A) So steuern Sie die sys.getdefaultencoding()Ausgabe:

python -c 'import sys; print(sys.getdefaultencoding())'

ascii

Dann

echo "import sys; sys.setdefaultencoding('utf-16-be')" > sitecustomize.py

und

PYTHONPATH=".:$PYTHONPATH" python -c 'import sys; print(sys.getdefaultencoding())'

utf-16-be

Sie könnten Ihre sitecustomize.py höher in Ihre setzen PYTHONPATH.

Vielleicht reload(sys).setdefaultencodingmöchten Sie es auch mit @EOL versuchen

B) Um zu steuern stdin.encodingund stdout.encodingSie möchten einstellen PYTHONIOENCODING:

python -c 'import sys; print(sys.stdin.encoding, sys.stdout.encoding)'

ascii ascii

Dann

PYTHONIOENCODING="utf-16-be" python -c 'import sys; 
print(sys.stdin.encoding, sys.stdout.encoding)'

utf-16-be utf-16-be

Endlich: Sie können A) oder B) oder beides verwenden!

Ab PyDev 3.4.1 wird die Standardkodierung nicht mehr geändert. Siehe dieses Ticket für Details.

Bei früheren Versionen besteht eine Lösung darin, sicherzustellen, dass PyDev nicht mit UTF-8 als Standardcodierung ausgeführt wird. Führen Sie unter Eclipse Dialogeinstellungen aus ("Konfigurationen ausführen", wenn ich mich richtig erinnere). Sie können die Standardcodierung auf der allgemeinen Registerkarte auswählen. Ändern Sie es in US-ASCII, wenn Sie diese Fehler "früh" haben möchten (mit anderen Worten: in Ihrer PyDev-Umgebung). Lesen Sie auch einen Original-Blogbeitrag zu dieser Problemumgehung .

In Bezug auf Python2 (und nur Python2) basieren einige der früheren Antworten auf der Verwendung des folgenden Hacks:

import sys
reload(sys)  # Reload is a hack
sys.setdefaultencoding('UTF8')

Es wird davon abgeraten, es zu verwenden (überprüfen Sie dies oder das )

In meinem Fall hat dies einen Nebeneffekt: Ich verwende Ipython-Notizbücher, und sobald ich den Code ausgeführt habe, funktioniert die Funktion "Drucken" nicht mehr. Ich denke, es würde eine Lösung dafür geben, aber ich denke trotzdem, dass die Verwendung des Hacks nicht die richtige Option sein sollte.

Nachdem ich viele Optionen ausprobiert hatte, verwendete die für mich funktionierende den gleichen Code in der sitecustomize.py, in der sich dieser Code befinden soll . Nach der Auswertung dieses Moduls wird die Funktion setdefaultencoding aus sys entfernt.

Die Lösung besteht also darin, /usr/lib/python2.7/sitecustomize.pyden Code anzuhängen :

import sys
sys.setdefaultencoding('UTF8')

Wenn ich virtualenvwrapper verwende, ist die von mir bearbeitete Datei ~/.virtualenvs/venv-name/lib/python2.7/sitecustomize.py.

Und wenn ich es mit Python-Notizbüchern und Conda verwende, ist es das auch ~/anaconda2/lib/python2.7/sitecustomize.py

Es gibt einen aufschlussreichen Blog-Beitrag darüber.

Siehe https://anonbadger.wordpress.com/2015/06/16/why-sys-setdefaultencoding-will-break-code/ .

Ich paraphrasiere seinen Inhalt unten.

In Python 2, das in Bezug auf die Codierung von Zeichenfolgen nicht so stark typisiert war, konnten Sie Operationen an unterschiedlich codierten Zeichenfolgen ausführen und erfolgreich sein. ZB würde das Folgende zurückkehren True.

u'Toshio' == 'Toshio'

Dies würde für jede (normale, nicht vorfixierte) Zeichenfolge gelten, in sys.getdefaultencoding()der standardmäßig codiert wurde , für asciiandere jedoch nicht.

Die Standardcodierung sollte systemweit geändert werden site.py, jedoch nicht an einer anderen Stelle. Die Hacks (auch hier vorgestellt) zum Festlegen in Benutzermodulen waren genau das: Hacks, nicht die Lösung.

Python 3 hat die Systemcodierung standardmäßig auf utf-8 geändert (wenn LC_CTYPE Unicode-fähig ist), aber das grundlegende Problem wurde mit der Anforderung gelöst, "Byte" -Strings explizit zu codieren, wenn sie mit Unicode-Strings verwendet werden.

Erstens: Das reload(sys)Festlegen einer zufälligen Standardcodierung nur in Bezug auf die Notwendigkeit eines Ausgabe-Terminal-Streams ist eine schlechte Praxis. reloadändert häufig Dinge in sys, die je nach Umgebung eingerichtet wurden - z. B. sys.stdin / stdout-Streams, sys.excepthook usw.

Lösen des Codierungsproblems auf stdout

Die beste Lösung, die ich kenne, um das Codierungsproblem zu lösen print, Unicode-Strings und strBeyond-ASCIIs (z. B. aus Literalen) auf sys.stdout zu lösen, ist: sich um ein sys.stdout (dateiähnliches Objekt) zu kümmern, das fähig ist und optional tolerant in Bezug auf die Bedürfnisse:

• Wenn sys.stdout.encodinges Noneaus irgendeinem Grund oder nicht vorhanden oder fälschlicherweise falsch oder "weniger" ist als das, wozu das Standardterminal oder der Standard-Stream wirklich in der Lage ist, versuchen Sie, ein korrektes .encodingAttribut bereitzustellen . Zuletzt durch Ersetzen sys.stdout & sys.stderrdurch ein übersetzendes dateiähnliches Objekt.

• Wenn das Terminal / der Stream immer noch nicht alle vorkommenden Unicode-Zeichen codieren kann und Sie diese nicht printnur aus diesem Grund unterbrechen möchten , können Sie ein Verhalten zum Codieren mit Ersetzen in das übersetzungsdateiähnliche Objekt einführen.

Hier ein Beispiel:

#!/usr/bin/env python
# encoding: utf-8
import sys

class SmartStdout:
    def __init__(self, encoding=None, org_stdout=None):
        if org_stdout is None:
            org_stdout = getattr(sys.stdout, 'org_stdout', sys.stdout)
        self.org_stdout = org_stdout
        self.encoding = encoding or \
                        getattr(org_stdout, 'encoding', None) or 'utf-8'
    def write(self, s):
        self.org_stdout.write(s.encode(self.encoding, 'backslashreplace'))
    def __getattr__(self, name):
        return getattr(self.org_stdout, name)

if __name__ == '__main__':
    if sys.stdout.isatty():
        sys.stdout = sys.stderr = SmartStdout()

    us = u'aouäöüфżß²'
    print us
    sys.stdout.flush()

Verwenden von einfachen String-Literalen jenseits von ASCII in Python 2/2 + 3-Code

Der einzige gute Grund, die globale Standardcodierung (nur auf UTF-8) zu ändern, betrifft meiner Meinung nach eine Entscheidung über den Quellcode der Anwendung - und nicht aufgrund von Problemen mit der Codierung von E / A-Streams: Zum Schreiben von String-Literalen über ASCII hinaus in Code, ohne dazu gezwungen zu werden um immer u'string'Style-Unicode-Escape zu verwenden. Dies kann ziemlich konsistent erfolgen (trotz des Artikels von anonbadger ), indem eine Python 2- oder Python 2 + 3-Quellcodebasis verwendet wird, die konsistente ASCII- oder UTF-8-Zeichenfolgenliterale konsistent verwendet - sofern diese Zeichenfolgen möglicherweise stumm geschaltet werden Unicode-Konvertierung und zwischen Modulen wechseln oder möglicherweise zu stdout wechseln. Dafür lieber "# encoding: utf-8"oder ascii (keine Deklaration). Ändern oder Löschen von Bibliotheken, die sich immer noch auf sehr dumme Weise auf ASCII-Standardcodierungsfehler jenseits von chr # 127 stützen (was heute selten ist).

Und tun Sie dies beim Start der Anwendung (und / oder über sitecustomize.py) zusätzlich zu dem SmartStdoutoben beschriebenen Schema - ohne Folgendes zu verwenden reload(sys):

...
def set_defaultencoding_globally(encoding='utf-8'):
    assert sys.getdefaultencoding() in ('ascii', 'mbcs', encoding)
    import imp
    _sys_org = imp.load_dynamic('_sys_org', 'sys')
    _sys_org.setdefaultencoding(encoding)

if __name__ == '__main__':
    sys.stdout = sys.stderr = SmartStdout()
    set_defaultencoding_globally('utf-8') 
    s = 'aouäöüфżß²'
    print s

Auf diese Weise funktionieren String-Literale und die meisten Operationen (mit Ausnahme der Zeicheniteration) komfortabel, ohne über die Unicode-Konvertierung nachzudenken, als gäbe es nur Python3. Datei-E / A benötigen natürlich immer besondere Sorgfalt bei der Codierung - wie in Python3.

Hinweis: Einfache Zeichenfolgen werden dann implizit von utf-8 in Unicode in SmartStdoutkonvertiert, bevor sie in den folgenden Ausgabestream konvertiert werden.

Hier ist der Ansatz, mit dem ich Code erstellt habe, der sowohl mit python2 als auch mit python3 kompatibel war und immer eine utf8- Ausgabe erzeugte . Ich habe diese Antwort woanders gefunden, kann mich aber nicht an die Quelle erinnern.

Dieser Ansatz ersetzt sys.stdoutdurch etwas, das nicht ganz dateiähnlich ist (aber immer noch nur Dinge in der Standardbibliothek verwendet). Dies kann durchaus Probleme für Ihre zugrunde liegenden Bibliotheken verursachen. In dem einfachen Fall, in dem Sie eine gute Kontrolle darüber haben, wie sys.stdout out über Ihr Framework verwendet wird, kann dies ein vernünftiger Ansatz sein.

sys.stdout = io.open(sys.stdout.fileno(), 'w', encoding='utf8')

Dies hat das Problem für mich behoben.

import os
os.environ["PYTHONIOENCODING"] = "utf-8"

Dies ist ein schneller Hack für alle, die (1) auf einer Windows-Plattform (2) mit Python 2.7 und (3) verärgert sind, weil eine nette Software (dh nicht von Ihnen geschrieben, also nicht sofort ein Kandidat für das Codieren / Decodieren) ist Manöver) zeigen die "hübschen Unicode-Zeichen" in der IDLE-Umgebung nicht an (Pythonwin druckt Unicode-Fein), z. B. die sauberen Logiksymbole erster Ordnung, die Stephan Boyer in der Ausgabe seines pädagogischen Prüfers bei First Order Logic Prover verwendet .

Die Idee, ein sys-Reload zu erzwingen, gefiel mir nicht und ich konnte das System nicht dazu bringen, mit dem Festlegen von Umgebungsvariablen wie PYTHONIOENCODING zusammenzuarbeiten (versuchte es mit einer direkten Windows-Umgebungsvariablen und löschte diese auch in einer sitecustomize.py in Site-Paketen als Eins liner = 'utf-8').

Wenn Sie also bereit sind, Ihren Weg zum Erfolg zu hacken, wechseln Sie in Ihr IDLE-Verzeichnis. In der Regel: "C: \ Python27 \ Lib \ idlelib" Suchen Sie die Datei IOBinding.py. Erstellen Sie eine Kopie dieser Datei und speichern Sie sie an einem anderen Ort, damit Sie bei Bedarf zum ursprünglichen Verhalten zurückkehren können. Öffnen Sie die Datei in der Idlelib mit einem Editor (z. B. IDLE). Gehen Sie zu diesem Codebereich:

# Encoding for file names
filesystemencoding = sys.getfilesystemencoding()

encoding = "ascii"
if sys.platform == 'win32':
    # On Windows, we could use "mbcs". However, to give the user
    # a portable encoding name, we need to find the code page 
    try:
        # --> 6/5/17 hack to force IDLE to display utf-8 rather than cp1252
        # --> encoding = locale.getdefaultlocale()[1]
        encoding = 'utf-8'
        codecs.lookup(encoding)
    except LookupError:
        pass

Mit anderen Worten, kommentieren Sie die ursprüngliche Codezeile nach dem ' Versuch ' aus, bei dem die Codierungsvariable gleich locale.getdefaultlocale wurde (da Sie dadurch cp1252 erhalten, was Sie nicht möchten), und erzwingen Sie sie stattdessen brutal auf 'utf-8' '(durch Hinzufügen der Zeile' encoding = 'utf-8 ' wie gezeigt).

Ich glaube, dies wirkt sich nur auf die IDLE-Anzeige auf stdout aus und nicht auf die Codierung, die für Dateinamen usw. verwendet wird (die zuvor in der Dateisystemcodierung erhalten wurde). Wenn Sie ein Problem mit einem anderen Code haben, den Sie später in IDLE ausführen, ersetzen Sie einfach die Datei IOBinding.py durch die ursprüngliche unveränderte Datei.

Sie können die Codierung Ihres gesamten Betriebssystems ändern. Unter Ubuntu können Sie dies mit tun

sudo apt install locales 
sudo locale-gen en_US en_US.UTF-8    
sudo dpkg-reconfigure locales