Konvertieren Sie Bytes in eine Zeichenfolge

Ich verwende diesen Code, um die Standardausgabe eines externen Programms zu erhalten:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

Die Methode communic () gibt ein Array von Bytes zurück:

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Ich möchte jedoch mit der Ausgabe als normaler Python-String arbeiten. Damit ich es so ausdrucken kann:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Ich dachte, dafür ist die binascii.b2a_qp () -Methode gedacht , aber als ich es versuchte, bekam ich wieder das gleiche Byte-Array:

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Wie konvertiere ich den Bytewert zurück in einen String? Ich meine, die "Batterien" zu verwenden, anstatt es manuell zu tun. Und ich möchte, dass Python 3 in Ordnung ist.

Sie müssen das Byte-Objekt dekodieren, um eine Zeichenfolge zu erstellen:

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

Sie müssen die Byte-Zeichenfolge dekodieren und in eine Zeichenfolge (Unicode) umwandeln.

Auf Python 2

encoding = 'utf-8'
'hello'.decode(encoding)

oder

unicode('hello', encoding)

Auf Python 3

encoding = 'utf-8'
b'hello'.decode(encoding)

oder

str(b'hello', encoding)

Ich denke, dieser Weg ist einfach:

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Wenn Sie die Codierung nicht kennen, verwenden Sie die alte MS-DOS CP437- Codierung , um binäre Eingaben in Zeichenfolgen in Python 3- und Python 2-kompatibler Weise zu lesen :

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Da die Codierung unbekannt ist, erwarten Sie, dass nicht englische Symbole in Zeichen von übersetzt werden cp437(englische Zeichen werden nicht übersetzt, da sie in den meisten Einzelbyte-Codierungen und UTF-8 übereinstimmen).

Das Dekodieren eines beliebigen Binäreingangs in UTF-8 ist unsicher, da dies möglicherweise auftritt:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

Gleiches gilt für das latin-1, was für Python 2 beliebt war (Standardeinstellung?). Siehe die fehlenden Punkte im Codepage-Layout - hier erstickt Python mit berüchtigten ordinal not in range.

UPDATE 20150604 : Es gibt Gerüchte, dass Python 3 die surrogateescapeFehlerstrategie zum Codieren von Daten in Binärdaten ohne Datenverlust und Abstürze hat. Es sind jedoch Konvertierungstests erforderlich [binary] -> [str] -> [binary], um sowohl die Leistung als auch die Zuverlässigkeit zu überprüfen .

UPDATE 20170116 : Dank des Kommentars von Nearoo besteht auch die Möglichkeit, alle unbekannten Bytes mit dem backslashreplaceFehlerhandler zu verkleinern. Dies funktioniert nur für Python 3, sodass Sie auch mit dieser Problemumgehung eine inkonsistente Ausgabe von verschiedenen Python-Versionen erhalten:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Weitere Informationen finden Sie in der Unicode-Unterstützung von Python .

UPDATE 20170119 : Ich habe mich für die Implementierung einer Schrägstrich- Escape- Dekodierung entschieden, die sowohl für Python 2 als auch für Python 3 funktioniert. Sie sollte langsamer als die cp437Lösung sein, aber bei jeder Python-Version identische Ergebnisse liefern .

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

In Python 3 lautet die Standardcodierung "utf-8", sodass Sie direkt Folgendes verwenden können:

b'hello'.decode()

das ist äquivalent zu

b'hello'.decode(encoding="utf-8")

In Python 2 wird für die Codierung standardmäßig die Standard-Zeichenfolgencodierung verwendet. Daher sollten Sie verwenden:

b'hello'.decode(encoding)

Wo encodingist die gewünschte Codierung?

Hinweis: Die Unterstützung für Schlüsselwortargumente wurde in Python 2.7 hinzugefügt.

Ich denke du willst das wirklich:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Aarons Antwort war richtig, außer dass Sie wissen müssen, welche Codierung Sie verwenden sollen. Und ich glaube, dass Windows 'Windows-1252' verwendet. Es spielt nur eine Rolle, wenn Ihr Inhalt ungewöhnliche (Nicht-ASCII-) Zeichen enthält, aber dann macht es einen Unterschied.

By the way, die Tatsache , dass es tut Materie ist der Grund , dass Python mit zwei verschiedenen Typen für binäre und Textdaten verschoben: es magisch zwischen ihnen nicht konvertieren kann, weil es nicht die Kodierung nicht wissen , wenn Sie ihm sagen! Sie können nur die Windows-Dokumentation lesen (oder hier lesen).

Setzen Sie universal_newlines auf True, dh

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

Während die Antwort von @Aaron Maenpaa gerade funktioniert, hat ein Benutzer kürzlich gefragt :

Gibt es einen einfacheren Weg? 'fhand.read (). decode ("ASCII")' [...] Es ist so lang!

Sie können verwenden:

command_stdout.decode()

decode()hat ein Standardargument :

codecs.decode(obj, encoding='utf-8', errors='strict')

Um eine Bytefolge als Text zu interpretieren, müssen Sie die entsprechende Zeichenkodierung kennen:

unicode_text = bytestring.decode(character_encoding)

Beispiel:

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

lsDer Befehl kann eine Ausgabe erzeugen, die nicht als Text interpretiert werden kann. Dateinamen unter Unix können eine beliebige Folge von Bytes sein, außer Schrägstrich b'/'und Null b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

Der Versuch, eine solche Bytesuppe mit utf-8-Codierungserhöhungen zu dekodieren UnicodeDecodeError.

Es kann schlimmer sein. Die Dekodierung schlägt möglicherweise stillschweigend fehl und erzeugt Mojibake, wenn Sie eine falsche inkompatible Codierung verwenden:

>>> '—'.encode('utf-8').decode('cp1252')
'—'

Die Daten sind beschädigt, aber Ihr Programm weiß nicht, dass ein Fehler aufgetreten ist.

Im Allgemeinen ist die zu verwendende Zeichenkodierung nicht in die Bytesequenz selbst eingebettet. Sie müssen diese Informationen außerhalb des Bandes kommunizieren. Einige Ergebnisse sind wahrscheinlicher als andere, und daher gibt es ein chardetModul, das die Zeichenkodierung erraten kann . Ein einzelnes Python-Skript kann mehrere Zeichencodierungen an verschiedenen Stellen verwenden.

lsAusgabe kann an eine Python Zeichenfolge umgewandelt werden unter Verwendung von os.fsdecode() Funktion , die auch für gelingt es nicht decodierbaren Dateinamen (es verwendet sys.getfilesystemencoding()und surrogateescapeFehler - Handler auf Unix):

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

Um die ursprünglichen Bytes zu erhalten, können Sie verwenden os.fsencode().

Wenn Sie einen universal_newlines=TrueParameter übergeben, subprocesswird er locale.getpreferredencoding(False)zum Dekodieren von Bytes verwendet, z. B. unter cp1252Windows.

Um den Byte-Stream im laufenden Betrieb zu dekodieren, io.TextIOWrapper() könnte Folgendes verwendet werden: Beispiel .

Unterschiedliche Befehle können unterschiedliche Zeichencodierungen für ihre Ausgabe verwenden, z. B. kann dirinterner Befehl ( cmd) cp437 verwenden. Um die Ausgabe zu dekodieren, können Sie die Codierung explizit übergeben (Python 3.6+):

output = subprocess.check_output('dir', shell=True, encoding='cp437')

Die Dateinamen können von os.listdir()denen abweichen (die die Windows-Unicode-API verwenden), z. B. '\xb6'können sie durch '\x14'die cp437-Codec-Zuordnungen von Python ersetzt werden b'\x14', um das Zeichen U + 0014 anstelle von U + 00B6 (¶) zu steuern. Informationen zur Unterstützung von Dateinamen mit beliebigen Unicode-Zeichen finden Sie unter Decodieren der PowerShell-Ausgabe, die möglicherweise Nicht-ASCII-Unicode-Zeichen enthält, in eine Python-Zeichenfolge

Da diese Frage tatsächlich die subprocessAusgabe betrifft , steht Ihnen ein direkterer Ansatz zur Verfügung, da Popenein Codierungsschlüsselwort (in Python 3.6+) akzeptiert wird :

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

Die allgemeine Antwort für andere Benutzer besteht darin , Bytes in Text zu dekodieren :

>>> b'abcde'.decode()
'abcde'

Ohne Argument sys.getdefaultencoding()wird verwendet. Wenn Ihre Daten nicht vorhanden sind sys.getdefaultencoding(), müssen Sie die Codierung im decodeAufruf explizit angeben :

>>> b'caf\xe9'.decode('cp1250')
'café'

Wenn Sie Folgendes versuchen sollten decode():

AttributeError: Das Objekt 'str' hat kein Attribut 'decode'.

Sie können den Codierungstyp auch direkt in einer Besetzung angeben:

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Wenn \r\nich mit Daten von Windows-Systemen (mit Zeilenenden) arbeite , lautet meine Antwort

String = Bytes.decode("utf-8").replace("\r\n", "\n")

Warum? Versuchen Sie dies mit einer mehrzeiligen Input.txt:

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

Alle Ihre Zeilenenden werden verdoppelt (bis \r\r\n), was zu zusätzlichen leeren Zeilen führt. Die Textlesefunktionen von Python normalisieren normalerweise Zeilenenden, sodass nur Zeichenfolgen verwendet werden \n. Wenn Sie Binärdaten von einem Windows-System empfangen, hat Python keine Möglichkeit dazu. Somit,

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

repliziert Ihre Originaldatei.

Ich habe eine Funktion zum Bereinigen einer Liste erstellt

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Für Python 3 ist dies ein viel sicherer und Pythonic Ansatz zur Umwandlung von bytezu string:

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

Ausgabe:

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Von sys - Systemspezifische Parameter und Funktionen :

Verwenden Sie den zugrunde liegenden Binärpuffer, um Binärdaten von / in die Standard-Streams zu schreiben oder zu lesen. Verwenden Sie beispielsweise, um Bytes in stdout zu schreiben sys.stdout.buffer.write(b'abc').

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

Für Ihren speziellen Fall "Führen Sie einen Shell-Befehl aus und erhalten Sie seine Ausgabe als Text anstelle von Bytes" sollten Sie in Python 3.7 verwenden subprocess.runund übergeben text=True(sowie capture_output=Truedie Ausgabe erfassen).

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

textwurde früher aufgerufen universal_newlinesund in Python 3.7 geändert (naja, alias). Wenn Sie Python-Versionen vor 3.7 unterstützen möchten, übergeben Sie universal_newlines=Truestatttext=True

Wenn Sie Bytes konvertieren möchten, konvertieren Sie nicht nur Zeichenfolgen in Bytes:

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

Dies ist jedoch nicht sehr effizient. Aus einem 2-MB-Bild werden 9 MB.

Versuche dies

bytes.fromhex('c3a9').decode('utf-8')