Python: \ xa0 aus String entfernen?

Ich verwende derzeit Beautiful Soup, um eine HTML-Datei zu analysieren und aufzurufen get_text(), aber es scheint, als würde mir eine Menge \ xa0 Unicode übrig bleiben, die Leerzeichen darstellen. Gibt es eine effiziente Möglichkeit, alle in Python 2.7 zu entfernen und in Leerzeichen umzuwandeln? Ich denke, die allgemeinere Frage wäre, gibt es eine Möglichkeit, die Unicode-Formatierung zu entfernen?

Ich habe versucht line = line.replace(u'\xa0',' '),: zu verwenden , wie von einem anderen Thread vorgeschlagen, aber das hat die \ xa0 in u geändert, sodass ich jetzt stattdessen überall "u" ​​habe. ):

EDIT: Das Problem scheint gelöst zu werden str.replace(u'\xa0', ' ').encode('utf-8'), aber nur tun , .encode('utf-8')ohne replace()es zu verursachen scheint noch seltsame Zeichen auszuzuspucken, \ xc2 zum Beispiel. Kann jemand das erklären?

\ xa0 ist in Latin1 (ISO 8859-1), auch chr (160), ein nicht unterbrechender Raum. Sie sollten es durch ein Leerzeichen ersetzen.

string = string.replace(u'\xa0', u' ')

Wenn .encode ('utf-8'), wird der Unicode in utf-8 codiert, was bedeutet, dass jeder Unicode durch 1 bis 4 Bytes dargestellt werden kann. In diesem Fall wird \ xa0 durch 2 Bytes \ xc2 \ xa0 dargestellt.

Lesen Sie unter http://docs.python.org/howto/unicode.html nach .

Bitte beachten Sie: Diese Antwort aus dem Jahr 2012, Python ist weitergegangen, sollten Sie unicodedata.normalizejetzt verwenden können

Es gibt viele nützliche Dinge in Pythons unicodedataBibliothek. Eine davon ist die .normalize()Funktion.

Versuchen:

new_str = unicodedata.normalize("NFKD", unicode_str)

Ersetzen Sie NFKD durch eine der anderen im obigen Link aufgeführten Methoden, wenn Sie nicht die gewünschten Ergebnisse erzielen.

Versuchen Sie es mit .strip () am Ende Ihrer Zeile line.strip() für mich gut funktioniert hat

Nachdem ich verschiedene Methoden ausprobiert habe, um es zusammenzufassen, habe ich es so gemacht. Im Folgenden finden Sie zwei Möglichkeiten zum Vermeiden / Entfernen von \ xa0-Zeichen aus analysierten HTML-Zeichenfolgen.

Angenommen, wir haben unser rohes HTML wie folgt:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Versuchen wir also, diese HTML-Zeichenfolge zu bereinigen:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Der obige Code erzeugt diese Zeichen \ xa0 in der Zeichenfolge. Um sie richtig zu entfernen, können wir zwei Möglichkeiten verwenden.

Methode 1 (empfohlen): Die erste ist die get_text- Methode von BeautifulSoup mit dem Strip-Argument True. Unser Code wird also zu:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Methode 2: Die andere Option besteht darin, die Unicodedata der Python-Bibliothek zu verwenden

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Ich habe diese Methoden auch in diesem Blog detailliert beschrieben, auf die Sie möglicherweise verweisen möchten.

Versuche dies:

string.replace('\\xa0', ' ')

Ich hatte das gleiche Problem beim Abrufen einiger Daten aus einer SQLite3-Datenbank mit Python. Die obigen Antworten haben bei mir nicht funktioniert (ich weiß nicht warum), aber das hat funktioniert:line = line.decode('ascii', 'ignore') weiß Mein Ziel war es jedoch, die \ xa0s zu löschen, anstatt sie durch Leerzeichen zu ersetzen.

Ich habe dies aus diesem super hilfreichen Unicode-Tutorial von Ned Batchelder erhalten.

Ich lande hier, während ich nach dem Problem mit dem nicht druckbaren Zeichen google. Ich benutze MySQL UTF-8 general_ciund beschäftige mich mit polnischer Sprache. Für problematische Saiten muss ich wie folgt vorgehen:

text=text.replace('\xc2\xa0', ' ')

Es ist nur eine schnelle Problemumgehung und Sie sollten wahrscheinlich etwas mit der richtigen Codierungskonfiguration ausprobieren.

Versuchen Sie diesen Code

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) ist in UTF-8 0xC2A0. .encode('utf8')Nehmen Sie einfach Ihren Unicode 0xA0 und ersetzen Sie ihn durch den 0xC2A0 von UTF-8. Daher die Erscheinung von 0xC2s ... Die Codierung ersetzt nicht, wie Sie wahrscheinlich jetzt erkannt haben.

Es ist das Äquivalent eines Leerzeichens, also zieh es aus

print(string.strip()) # no more xa0

In Beautiful Soup können Sie get_text()den Strip-Parameter übergeben, der Leerzeichen vom Anfang und Ende des Textes entfernt. Dadurch werden \xa0andere Leerzeichen entfernt, wenn sie am Anfang oder Ende der Zeichenfolge auftreten. Beautiful Soup ersetzte eine leere Saite durch \xa0und dies löste das Problem für mich.

mytext = soup.get_text(strip=True)

Generische Version mit dem regulären Ausdruck (alle Steuerzeichen werden entfernt):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python erkennt es wie ein Leerzeichen, sodass Sie splites ohne Argumente verwenden und durch ein normales Leerzeichen verbinden können:

line = ' '.join(line.split())