Ruby 1.9: Ungültige Bytesequenz in UTF-8

Ich schreibe einen Crawler in Ruby (1.9), der viel HTML von vielen zufälligen Sites verbraucht.
Beim Versuch, Links zu extrahieren, habe ich mich entschieden, .scan(/href="(.*?)"/i)anstelle von nokogiri / hpricot (größere Beschleunigung) zu verwenden. Das Problem ist, dass ich jetzt viele " invalid byte sequence in UTF-8" Fehler erhalte .
Soweit ich verstanden habe, verfügt die net/httpBibliothek über keine codierungsspezifischen Optionen, und das eingehende Material ist im Grunde nicht richtig gekennzeichnet.
Was wäre der beste Weg, um tatsächlich mit diesen eingehenden Daten zu arbeiten? Ich habe versucht, .encodedie Optionen "Ersetzen" und "Ungültig" festzulegen, aber bisher kein Erfolg ...

In Ruby 1.9.3 ist es möglich, String.encode zu verwenden, um die ungültigen UTF-8-Sequenzen zu "ignorieren". Hier ist ein Ausschnitt, der sowohl in 1.8 ( iconv ) als auch in 1.9 ( String # encode ) funktioniert :

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

oder wenn Sie wirklich problematische Eingaben haben, können Sie eine doppelte Konvertierung von UTF-8 nach UTF-16 und zurück nach UTF-8 durchführen:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Die akzeptierte Antwort oder die andere Antwort funktionieren für mich. Ich habe diesen Beitrag gefunden, der vorgeschlagen hat

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Dies hat das Problem für mich behoben.

Meine aktuelle Lösung lautet:

my_string.unpack("C*").pack("U*")

Dies wird zumindest die Ausnahmen beseitigen, die mein Hauptproblem waren

Versuche dies:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Ich empfehle Ihnen, einen HTML-Parser zu verwenden. Finden Sie einfach den schnellsten.

Das Parsen von HTML ist nicht so einfach, wie es scheint.

Browser analysieren ungültige UTF-8-Sequenzen in UTF-8-HTML-Dokumenten und setzen einfach das Symbol " ". Sobald die ungültige UTF-8-Sequenz im HTML analysiert wurde, ist der resultierende Text eine gültige Zeichenfolge.

Selbst innerhalb von Attributwerten müssen Sie HTML-Entitäten wie amp dekodieren

Hier ist eine großartige Frage, die zusammenfasst, warum Sie HTML nicht zuverlässig mit einem regulären Ausdruck analysieren können: RegEx stimmt mit offenen Tags überein, mit Ausnahme von in sich geschlossenen XHTML-Tags

Das scheint zu funktionieren:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Ich bin auf eine Saite gestoßen, die eine Mischung aus Englisch, Russisch und einigen anderen Alphabeten enthielt, was zu Ausnahmen führte. Ich brauche nur Russisch und Englisch, und das funktioniert derzeit für mich:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Während Nakilons Lösung funktioniert, zumindest um den Fehler zu überwinden, ließ ich in meinem Fall dieses seltsame F-Ed-Up-Zeichen aus Microsoft Excel in CSV konvertieren, das sich in Ruby als (get this) cyrillic K registrierte Ruby war ein fettgedrucktes K. Um dies zu beheben, habe ich 'iso-8859-1' verwendet, nämlich. CSV.parse(f, :encoding => "iso-8859-1"), was meine verrückten deaky kyrillischen K's zu einem viel handlicheren machte /\xCA/, mit dem ich sie dann entfernen konntestring.gsub!(/\xCA/, '')

Stellen Sie vor der Verwendung scansicher, dass der Content-TypeHeader der angeforderten Seite lautet text/html, da Links zu Bildern vorhanden sein können, die nicht in UTF-8 codiert sind. Die Seite kann auch nicht HTML sein, wenn Sie eine hrefin so etwas wie ein <link>Element aufgenommen haben. Wie Sie dies überprüfen, hängt davon ab, welche HTTP-Bibliothek Sie verwenden. String#ascii_only?Stellen Sie dann sicher, dass das Ergebnis nur ASCII mit ist (nicht UTF-8, da HTML nur ASCII verwenden soll, Entitäten können anderweitig verwendet werden). Wenn beide Tests bestanden sind, ist die Verwendung sicher scan.

Wenn Sie sich nicht für die Daten "interessieren", können Sie einfach Folgendes tun:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Ich habe es nur valid_encoding?bestanden. Meins ist ein Suchfeld, und so fand ich immer wieder die gleiche Verrücktheit, also benutzte ich etwas wie: nur um das System nicht kaputt zu machen. Da ich die Benutzererfahrung nicht so kontrolliere, dass sie vor dem Senden dieser Informationen automatisch validiert wird (z. B. automatische Rückmeldung, um "Dummy-up!" Zu sagen), kann ich sie einfach aufnehmen, entfernen und leere Ergebnisse zurückgeben.