Wie erkennt man automatisch die Kodierung von Textdateien?

Es gibt viele reine Textdateien, die in verschiedenen Zeichensätzen codiert wurden.

Ich möchte sie alle in UTF-8 konvertieren, aber bevor iconv ausgeführt wird, muss ich die ursprüngliche Codierung kennen. Die meisten Browser haben eine Auto DetectKodierungsoption. Ich kann diese Textdateien jedoch nicht einzeln prüfen, da zu viele vorhanden sind.

Erst nachdem ich die ursprüngliche Kodierung gekannt habe, kann ich die Texte nach konvertieren iconv -f DETECTED_CHARSET -t utf-8.

Gibt es ein Dienstprogramm zum Erkennen der Codierung von Nur-Text-Dateien? Es muss NICHT 100% perfekt sein, es macht mir nichts aus, wenn 100 Dateien in 1.000.000 Dateien falsch konvertiert sind.

Probieren Sie das Python-Modul chardet aus , das auf PyPi verfügbar ist:

pip install chardet

Dann lauf chardetect myfile.txt.

Chardet basiert auf dem Erkennungscode, der von Mozilla verwendet wird, und sollte daher angemessene Ergebnisse liefern, vorausgesetzt, der Eingabetext ist lang genug für statistische Analysen. Lesen Sie die Projektdokumentation .

Wie in den Kommentaren erwähnt, ist es recht langsam, aber einige Distributionen liefern auch die ursprüngliche C ++ - Version aus, wie @Xavier unter https://superuser.com/a/609056 gefunden hat . Irgendwo gibt es auch eine Java-Version.

Ich würde diesen einfachen Befehl verwenden:

encoding=$(file -bi myfile.txt)

Oder wenn Sie nur den tatsächlichen Zeichensatz möchten (wie utf-8):

encoding=$(file -b --mime-encoding myfile.txt)

Unter Debian-basierten Linux bietet das uchardet- Paket ( Debian / Ubuntu ) ein Befehlszeilentool. Siehe unten die Paketbeschreibung:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Für Linux gibt es enca und für Solaris können Sie auto_ef verwenden .

Mozilla hat eine nette Codebasis für die automatische Erkennung in Webseiten:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Detaillierte Beschreibung des Algorithmus:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Zurück zu chardet (Python 2.?) Reicht dieser Aufruf möglicherweise aus:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Obwohl es alles andere als perfekt ist ...

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Für diejenigen, die regelmäßig Emacs verwenden, ist möglicherweise Folgendes hilfreich (ermöglicht die manuelle Überprüfung und Validierung der Transfomation).

Außerdem stelle ich häufig fest, dass die automatische Erkennung von Emacs-Zeichensätzen wesentlich effizienter ist als die anderen Tools zur automatischen Erkennung von Zeichensätzen (z. B. chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Dann erledigt ein einfacher Aufruf von Emacs mit diesem Skript als Argument (siehe die Option "-l") den Job.

UTFCast ist einen Versuch wert. Hat bei mir nicht funktioniert (vielleicht weil meine Dateien schrecklich sind), aber es sieht gut aus.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

isutf8(aus dem moreutilsPaket) hat den Job gemacht

Auch für den Fall, dass Sie Datei -i gibt Ihnen unbekannt

Sie können diesen PHP-Befehl verwenden, der den folgenden Zeichensatz erraten kann:

In PHP können Sie wie folgt überprüfen:

Codierungsliste explizit angeben:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Genauere " mb_list_encodings ":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Hier im ersten Beispiel sehen Sie, dass ich eine Liste von Codierungen (Erkennungslistenreihenfolge) erstellt habe, die möglicherweise übereinstimmen. Um genauere Ergebnisse zu erhalten, können Sie alle möglichen Kodierungen verwenden: mb_list_encodings ()

Hinweis Für mb_ * -Funktionen ist php-mbstring erforderlich

apt-get install php-mbstring 

Siehe Antwort: https://stackoverflow.com/a/57010566/3382822