UnicodeDecodeError: Der Codec 'ascii' kann das Byte 0xef an Position 1 nicht dekodieren

Ich habe einige Probleme beim Versuch, eine Zeichenfolge in UTF-8 zu codieren. Ich habe zahlreiche Dinge ausprobiert, einschließlich der Verwendung von string.encode('utf-8')und unicode(string), aber ich erhalte den Fehler:

UnicodeDecodeError: Der Codec 'ascii' kann das Byte 0xef an Position 1 nicht dekodieren: Ordnungszahl nicht im Bereich (128)

Das ist meine Zeichenfolge:

(｡･ω･｡)ﾉ

Ich sehe nicht, was falsch läuft, eine Idee?

Bearbeiten: Das Problem ist, dass das Drucken der Zeichenfolge so wie sie ist nicht richtig angezeigt wird. Auch dieser Fehler, wenn ich versuche, es zu konvertieren:

Python 2.7.1+ (r271:86832, Apr 11 2011, 18:13:53)
[GCC 4.5.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-5: ordinal not in range(128)

Dies hängt damit zusammen, dass die Codierung Ihres Terminals nicht auf UTF-8 eingestellt ist. Hier ist mein Terminal

$ echo $LANG
en_GB.UTF-8
$ python
Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
(｡･ω･｡)ﾉ
>>> 

Auf meinem Terminal funktioniert das Beispiel mit dem oben genannten, aber wenn ich die LANGEinstellung los werde, funktioniert es nicht

$ unset LANG
$ python
Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-5: ordinal not in range(128)
>>> 

Konsultieren Sie die Dokumente für Ihre Linux-Variante, um herauszufinden, wie Sie diese Änderung dauerhaft vornehmen können.

Versuchen:

string.decode('utf-8')  # or:
unicode(string, 'utf-8')

bearbeiten:

'(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'.decode('utf-8')gibt u'(\uff61\uff65\u03c9\uff65\uff61)\uff89', was richtig ist.

Ihr Problem muss sich also an einem anderen Ort befinden, möglicherweise wenn Sie versuchen, etwas damit zu tun, wenn eine implizite Konvertierung stattfindet (könnte Drucken, Schreiben in einen Stream sein ...)

Um mehr zu sagen, müssen wir Code sehen.

Mein +1 zum Kommentar von mata unter https://stackoverflow.com/a/10561979/1346705 und zur Demonstration von Nick Craig-Wood. Sie haben die Zeichenfolge korrekt dekodiert. Das Problem liegt beim printBefehl, da er die Unicode-Zeichenfolge in die Konsolencodierung konvertiert und die Konsole die Zeichenfolge nicht anzeigen kann. Versuchen Sie, die Zeichenfolge in eine Datei zu schreiben, und sehen Sie sich das Ergebnis mit einem anständigen Editor an, der Unicode unterstützt:

import codecs

s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
s1 = s.decode('utf-8')
f = codecs.open('out.txt', 'w', encoding='utf-8')
f.write(s1)
f.close()

Dann wirst du sehen (｡･ω･｡)ﾉ.

Wenn Sie auf einem Remote- Host arbeiten, schauen Sie /etc/ssh/ssh_configauf Ihrem lokalen PC nach.

Wenn diese Datei eine Zeile enthält:

SendEnv LANG LC_*

Kommentieren Sie es mit dem Hinzufügen #am Anfang der Zeile aus. Es könnte helfen.

sshSendet mit dieser Zeile sprachbezogene Umgebungsvariablen Ihres PCs an den Remote- Host. Es verursacht viele Probleme.

Versuchen Sie, die Systemstandardcodierung wie utf-8zu Beginn des Skripts festzulegen, damit alle Zeichenfolgen damit codiert werden.

# coding: utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Es ist in Ordnung, den folgenden Code oben in Ihrem Skript zu verwenden, wie Andrei Krasutski vorgeschlagen hat.

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Ich werde Ihnen jedoch vorschlagen, # -*- coding: utf-8 -*ganz oben im Skript eine Zeile hinzuzufügen .

Wenn ich es weglasse, wird in meinem Fall der folgende Fehler ausgegeben, wenn ich versuche, ihn auszuführen basic.py.

$ python basic.py
  File "01_basic.py", line 14
SyntaxError: Non-ASCII character '\xd9' in file basic.py on line 14, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

Das Folgende ist der vorhandene Code, basic.pyder den obigen Fehler auslöst.

Code mit Fehler

from pylatex import Document, Section, Subsection, Command, Package
from pylatex.utils import italic, NoEscape

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def fill_document(doc):
    with doc.create(Section('ِش سثؤفهخى')):
        doc.append('إخع ساخعمي شمصشغس سحثشن فاث فقعفا')
        doc.append(italic('فشمهؤ ؤخىفثىفس شقث شمسخ ىهؤث'))

        with doc.create(Subsection('آثص ٍعلاسثؤفهخى')):
            doc.append('بشةخعس ؤقشئغ ؤاشقشؤفثقس: $&#{}')


if __name__ == '__main__':
    # Basic document
    doc = Document('basic')
    fill_document(doc)

Dann habe ich # -*- coding: utf-8 -*-ganz oben eine Zeile hinzugefügt und ausgeführt. Es funktionierte.

Code ohne Fehler

# -*- coding: utf-8 -*-
from pylatex import Document, Section, Subsection, Command, Package
from pylatex.utils import italic, NoEscape

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def fill_document(doc):
    with doc.create(Section('ِش سثؤفهخى')):
        doc.append('إخع ساخعمي شمصشغس سحثشن فاث فقعفا')
        doc.append(italic('فشمهؤ ؤخىفثىفس شقث شمسخ ىهؤث'))

        with doc.create(Subsection('آثص ٍعلاسثؤفهخى')):
            doc.append('بشةخعس ؤقشئغ ؤاشقشؤفثقس: $&#{}')


if __name__ == '__main__':
    # Basic document
    doc = Document('basic')
    fill_document(doc)

Vielen Dank.

Keine Probleme mit meinem Terminal. Die obigen Antworten haben mir geholfen, in die richtigen Richtungen zu schauen, aber es hat bei mir nicht funktioniert, bis ich hinzugefügt habe 'ignore':

fix_encoding = lambda s: s.decode('utf8', 'ignore')

Wie im Kommentar unten angegeben, kann dies zu unerwünschten Ergebnissen führen. OTOH, es kann auch gerade gut genug sein, um die Dinge zum Laufen zu bringen, und es ist Ihnen egal, ob Sie einige Charaktere verlieren.

Dies funktioniert für Ubuntu 15.10:

sudo locale-gen "en_US.UTF-8"
sudo dpkg-reconfigure locales

Es sieht so aus, als ob Ihre Zeichenfolge codiert utf-8ist. Was genau ist das Problem? Oder was versuchst du hier zu machen ..?

Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
(｡･ω･｡)ﾉ
>>> s2 = u'(｡･ω･｡)ﾉ'
>>> s2 == s1
True
>>> s2
u'(\uff61\uff65\u03c9\uff65\uff61)\uff89'

In meinem Fall wurde dies dadurch verursacht, dass meine Unicode-Datei mit einer "Stückliste" gespeichert wurde. Um dies zu lösen, habe ich die Datei mit BBEdit aufgebrochen und "Speichern unter ..." ausgewählt, um "Unicode (UTF-8)" zu codieren, und nicht "Unicode (UTF-8, mit Stückliste)". ""

Ich habe den gleichen Fehlertyp erhalten und festgestellt, dass die Konsole die Zeichenfolge nicht in einer anderen Sprache anzeigen kann. Daher habe ich die folgenden Codeänderungen vorgenommen, um default_charset als UTF-8 festzulegen.

data_head = [('\x81\xa1\x8fo\x89\xef\x82\xa2\x95\xdb\x8f\xd8\x90\xa7\x93x\x81\xcb3\x8c\x8e\x8cp\x91\xb1\x92\x86(\x81\x86\x81\xde\x81\x85)\x81\xa1\x8f\x89\x89\xf1\x88\xc8\x8aO\x81A\x82\xa8\x8b\xe0\x82\xcc\x90S\x94z\x82\xcd\x88\xea\x90\xd8\x95s\x97v\x81\xa1\x83}\x83b\x83v\x82\xcc\x82\xa8\x8e\x8e\x82\xb5\x95\xdb\x8c\xaf\x82\xc5\x8fo\x89\xef\x82\xa2\x8am\x92\xe8\x81\xa1', 'shift_jis')]
default_charset = 'UTF-8' #can also try 'ascii' or other unicode type
print ''.join([ unicode(lin[0], lin[1] or default_charset) for lin in data_head ])

Dies ist die beste Antwort: https://stackoverflow.com/a/4027726/2159089

unter Linux:

export PYTHONIOENCODING=utf-8

so sys.stdout.encodingist OK.

Stückliste, es ist so oft Stückliste für mich

vi die Datei verwenden

:set nobomb

und speichern Sie es. Das behebt es in meinem Fall fast immer

Ich hatte den gleichen Fehler mit URLs, die Nicht-ASCII-Zeichen enthielten (Bytes mit Werten> 128).

url = url.decode('utf8').encode('utf-8')

In Python 2.7 hat diese Zuweisung für mich funktioniert und ich nehme an, dass diese Zuweisung 'etwas' in der strinternen Darstellung geändert hat - dh sie erzwingt die richtige Dekodierung der gesicherten Bytesequenz in urlund setzt den String schließlich in eine utf-8 str mit all der Magie in der richtige Ort. Unicode in Python ist für mich schwarze Magie. Hoffe nützlich

Ich löse das Problem, das sich in der Datei settings.py mit 'ENGINE': 'django.db.backends.mysql' ändert. Verwenden Sie nicht 'ENGINE': 'mysql.connector.django',

Konvertieren Sie den Text einfach explizit in einen String mit str(). Hat für mich gearbeitet.