Wie kann ich die Codierung / Codepage einer Textdatei erkennen?

In unserer Anwendung erhalten wir Textdateien ( .txt, .csvusw.) aus verschiedenen Quellen. Beim Lesen enthalten diese Dateien manchmal Müll, da die Dateien in einer anderen / unbekannten Codepage erstellt wurden.

Gibt es eine Möglichkeit, die Codepage einer Textdatei (automatisch) zu erkennen?

Die detectEncodingFromByteOrderMarksauf dem StreamReaderKonstruktor, arbeiten für UTF8 und andere Unicode markiert Dateien, aber ich bin auf der Suche nach einer Möglichkeit , Code - Seiten zu erkennen, wie ibm850, windows1252.

Vielen Dank für Ihre Antworten, das habe ich getan.

Die Dateien, die wir erhalten, stammen von Endbenutzern und haben keine Ahnung von Codepages. Die Empfänger sind auch Endbenutzer. Mittlerweile wissen sie Folgendes über Codepages: Codepages existieren und sind ärgerlich.

Lösung:

• Öffnen Sie die empfangene Datei im Editor und sehen Sie sich einen verstümmelten Text an. Wenn jemand François oder so heißt, können Sie dies mit Ihrer menschlichen Intelligenz erraten.
• Ich habe eine kleine App erstellt, mit der der Benutzer die Datei öffnen und einen Text eingeben kann, von dem der Benutzer weiß, dass er in der Datei angezeigt wird, wenn die richtige Codepage verwendet wird.
• Durchlaufen Sie alle Codepages und zeigen Sie diejenigen an, die eine Lösung mit dem vom Benutzer bereitgestellten Text bieten.
• Wenn mehr als eine Codepage angezeigt wird, bitten Sie den Benutzer, mehr Text anzugeben.

Sie können die Codepage nicht erkennen, Sie müssen darüber informiert werden. Sie können die Bytes analysieren und erraten, aber das kann zu bizarren (manchmal amüsanten) Ergebnissen führen. Ich kann es jetzt nicht finden, aber ich bin sicher, dass Notepad dazu verleitet werden kann, englischen Text auf Chinesisch anzuzeigen.

Auf jeden Fall ist dies das, was Sie lesen müssen: Das absolute Minimum, das jeder Softwareentwickler unbedingt positiv über Unicode und Zeichensätze wissen muss (keine Ausreden!) .

Insbesondere sagt Joel:

Die wichtigste Tatsache über Codierungen

Wenn Sie alles, was ich gerade erklärt habe, vollständig vergessen haben, erinnern Sie sich bitte an eine äußerst wichtige Tatsache. Es ist nicht sinnvoll, eine Zeichenfolge zu haben, ohne zu wissen, welche Codierung sie verwendet. Sie können Ihren Kopf nicht mehr in den Sand stecken und so tun, als wäre "einfacher" Text ASCII. Es gibt keinen einfachen Text.

Wenn Sie eine Zeichenfolge, einen Speicher, eine Datei oder eine E-Mail-Nachricht haben, müssen Sie wissen, in welcher Codierung sie sich befindet, oder Sie können sie nicht interpretieren oder den Benutzern nicht korrekt anzeigen.

Wenn Sie Nicht-UTF-Codierungen (dh keine Stückliste) erkennen möchten, müssen Sie im Wesentlichen die Heuristik und die statistische Analyse des Textes durchführen. Vielleicht möchten Sie einen Blick auf das Mozilla-Papier zur universellen Zeichensatzerkennung werfen ( gleicher Link mit besserer Formatierung über Wayback Machine ).

Haben Sie C # -Port für Mozilla Universal Charset Detector ausprobiert ?

Beispiel von http://code.google.com/p/ude/

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}    

Sie können die Codepage nicht erkennen

Das ist eindeutig falsch. Jeder Webbrowser verfügt über eine Art universellen Zeichensatzdetektor für Seiten, die keinerlei Hinweis auf eine Codierung enthalten. Firefox hat einen. Sie können den Code herunterladen und sehen, wie es funktioniert. Eine Dokumentation finden Sie hier . Grundsätzlich ist es eine Heuristik, die aber sehr gut funktioniert.

Bei einer angemessenen Textmenge ist es sogar möglich, die Sprache zu erkennen.

Hier ist eine andere, die ich gerade mit Google gefunden habe:

Ich weiß, dass es für diese Frage sehr spät ist und diese Lösung einige nicht ansprechen wird (aufgrund ihrer englischsprachigen Tendenz und des Fehlens statistischer / empirischer Tests), aber sie hat bei mir sehr gut funktioniert, insbesondere bei der Verarbeitung hochgeladener CSV-Daten:

http://www.architectshack.com/TextFileEncodingDetector.ashx

Vorteile:

• Eingebaute Stücklistenerkennung
• Standard- / Fallback-Codierung anpassbar
• (meiner Erfahrung nach) ziemlich zuverlässig für westeuropäische Dateien, die einige exotische Daten (z. B. französische Namen) mit einer Mischung aus Dateien im UTF-8- und Latin-1-Stil enthalten - im Grunde genommen der Großteil der US- und westeuropäischen Umgebungen.

Hinweis: Ich bin derjenige, der diese Klasse geschrieben hat, also nimm sie offensichtlich mit einem Körnchen Salz! :) :)

Notepad ++ bietet diese Funktion sofort. Es unterstützt auch das Ändern.

Auf der Suche nach einer anderen Lösung habe ich das gefunden

https://code.google.com/p/ude/

Diese Lösung ist ziemlich schwer.

Ich brauchte eine grundlegende Codierungserkennung, basierend auf 4 ersten Bytes und wahrscheinlich einer XML-Zeichensatzerkennung. Deshalb habe ich einen Beispielquellcode aus dem Internet genommen und eine leicht modifizierte Version von hinzugefügt

http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html

geschrieben für Java.

    public static Encoding DetectEncoding(byte[] fileContent)
    {
        if (fileContent == null)
            throw new ArgumentNullException();

        if (fileContent.Length < 2)
            return Encoding.ASCII;      // Default fallback

        if (fileContent[0] == 0xff
            && fileContent[1] == 0xfe
            && (fileContent.Length < 4
                || fileContent[2] != 0
                || fileContent[3] != 0
                )
            )
            return Encoding.Unicode;

        if (fileContent[0] == 0xfe
            && fileContent[1] == 0xff
            )
            return Encoding.BigEndianUnicode;

        if (fileContent.Length < 3)
            return null;

        if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
            return Encoding.UTF8;

        if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
            return Encoding.UTF7;

        if (fileContent.Length < 4)
            return null;

        if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
            return Encoding.UTF32;

        if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
            return Encoding.GetEncoding(12001);

        String probe;
        int len = fileContent.Length;

        if( fileContent.Length >= 128 ) len = 128;
        probe = Encoding.ASCII.GetString(fileContent, 0, len);

        MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
        // Add '[0].Groups[1].Value' to the end to test regex

        if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
        {
            // Typically picks up 'UTF-8' string
            Encoding enc = null;

            try {
                enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
            }catch (Exception ) { }

            if( enc != null )
                return enc;
        }

        return Encoding.ASCII;      // Default fallback
    }

Es reicht aus, wahrscheinlich die ersten 1024 Bytes aus der Datei zu lesen, aber ich lade die ganze Datei.

Wenn jemand nach einer 93,9% igen Lösung sucht. Das funktioniert bei mir:

public static class StreamExtension
{
    /// <summary>
    /// Convert the content to a string.
    /// </summary>
    /// <param name="stream">The stream.</param>
    /// <returns></returns>
    public static string ReadAsString(this Stream stream)
    {
        var startPosition = stream.Position;
        try
        {
            // 1. Check for a BOM
            // 2. or try with UTF-8. The most (86.3%) used encoding. Visit: http://w3techs.com/technologies/overview/character_encoding/all/
            var streamReader = new StreamReader(stream, new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true), detectEncodingFromByteOrderMarks: true);
            return streamReader.ReadToEnd();
        }
        catch (DecoderFallbackException ex)
        {
            stream.Position = startPosition;

            // 3. The second most (6.7%) used encoding is ISO-8859-1. So use Windows-1252 (0.9%, also know as ANSI), which is a superset of ISO-8859-1.
            var streamReader = new StreamReader(stream, Encoding.GetEncoding(1252));
            return streamReader.ReadToEnd();
        }
    }
}

Ich habe etwas Ähnliches in Python gemacht. Grundsätzlich benötigen Sie viele Beispieldaten aus verschiedenen Codierungen, die durch ein verschiebbares Zwei-Byte-Fenster aufgeschlüsselt und in einem Wörterbuch (Hash) gespeichert sind, das auf Byte-Paaren verschlüsselt ist und Werte für Codierungslisten liefert.

Mit diesem Wörterbuch (Hash) nehmen Sie Ihren Eingabetext und:

• Wenn es mit einem Stücklistenzeichen beginnt ('\ xfe \ xff' für UTF-16-BE, '\ xff \ xfe' für UTF-16-LE, '\ xef \ xbb \ xbf' für UTF-8 usw.), I. Behandle es wie vorgeschlagen
• Wenn nicht, nehmen Sie ein ausreichend großes Beispiel des Textes, nehmen Sie alle Bytepaare des Beispiels und wählen Sie die Codierung, die am seltensten aus dem Wörterbuch vorgeschlagen wird.

Wenn Sie auch UTF-codierte Texte abgetastet haben, die nicht mit einer Stückliste beginnen, werden im zweiten Schritt diejenigen behandelt, die aus dem ersten Schritt herausgerutscht sind.

Bisher funktioniert es bei mir (die Beispieldaten und nachfolgenden Eingabedaten sind Untertitel in verschiedenen Sprachen) mit abnehmenden Fehlerraten.

Das Tool "uchardet" macht dies gut, indem es Zeichenhäufigkeitsverteilungsmodelle für jeden Zeichensatz verwendet. Größere Dateien und "typischere" Dateien haben (offensichtlich) mehr Vertrauen.

Auf Ubuntu bist du einfach apt-get install uchardet.

Auf anderen Systemen finden Sie Quelle, Verwendung und Dokumente hier: https://github.com/BYVoid/uchardet

Der Konstruktor der StreamReader-Klasse verwendet einen Parameter zum Erkennen der Codierung.

Wenn Sie eine Verknüpfung zu einer C-Bibliothek herstellen können, können Sie diese verwenden libenca. Siehe http://cihar.com/software/enca/ . Von der Manpage:

Enca liest bestimmte Textdateien oder Standardeingaben, wenn keine angegeben sind, und verwendet Kenntnisse über deren Sprache (muss von Ihnen unterstützt werden) und eine Mischung aus Analyse, statistischer Analyse, Vermutung und schwarzer Magie, um ihre Codierungen zu bestimmen.

Es ist GPL v2.

Ich habe das gleiche Problem, aber noch keine gute Lösung gefunden, um es automatisch zu erkennen. Jetzt benutze ich PsPad (www.pspad.com) dafür;) Funktioniert gut

Da es sich im Wesentlichen um Heuristiken handelt, kann es hilfreich sein, die Codierung zuvor empfangener Dateien aus derselben Quelle als ersten Hinweis zu verwenden.

Die meisten Leute (oder Anwendungen) erledigen Dinge jedes Mal in der gleichen Reihenfolge, oft auf demselben Computer. Wenn Bob eine CSV-Datei erstellt und an Mary sendet, wird sie wahrscheinlich immer Windows-1252 oder verwenden was auch immer seine Maschine standardmäßig ist.

Wo möglich schadet auch ein bisschen Kundenschulung nie :-)

Eigentlich suchte ich nach einer generischen, nicht programmierbaren Methode zum Erkennen der Dateicodierung, fand diese aber noch nicht. Beim Testen mit verschiedenen Codierungen stellte ich fest, dass mein Text UTF-7 war.

Also, wo ich zuerst war: StreamReader file = File.OpenText (vollständiger Dateiname);

Ich musste es ändern in: StreamReader file = new StreamReader (vollständiger Dateiname, System.Text.Encoding.UTF7);

OpenText geht davon aus, dass es sich um UTF-8 handelt.

Sie können den StreamReader auch wie diesen neuen StreamReader (vollständiger Dateiname, true) erstellen. Der zweite Parameter bedeutet, dass versucht werden soll, die Codierung anhand der Byteordermarkierung der Datei zu erkennen. In meinem Fall hat dies jedoch nicht funktioniert.

Öffnen Sie die Datei in AkelPad (oder kopieren Sie einfach einen verstümmelten Text) und gehen Sie zu Bearbeiten -> Auswahl -> Neu codieren ... -> aktivieren Sie "Autodetect".

Als Addon zum ITmeze-Beitrag habe ich diese Funktion verwendet, um die Ausgabe des C # -Ports für Mozilla Universal Charset Detector zu konvertieren

    private Encoding GetEncodingFromString(string codePageName)
    {
        try
        {
            return Encoding.GetEncoding(codePageName);
        }
        catch
        {
            return Encoding.ASCII;
        }
    }

MSDN

Vielen Dank an Erik Aronesty für die Erwähnung uchardet.

Mittlerweile gibt es das (gleiche?) Tool für Linux : chardet.
Oder Sie möchten auf cygwin Folgendes verwenden:chardetect .

Siehe: Chardet-Manpage: https://www.commandlinux.com/man-page/man1/chardetect.1.html

Dadurch wird die Zeichenkodierung für jede gegebene Datei heuristisch erkannt (erraten) und der Name und das Konfidenzniveau für die erkannte Zeichenkodierung jeder Datei angegeben.

Ich verwende diesen Code, um beim Lesen einer Datei die Unicode- und Windows-Standard-Ansi-Codepage zu erkennen. Für andere Codierungen ist eine Überprüfung des Inhalts manuell oder durch Programmierung erforderlich. Dies kann verwendet werden, um den Text mit derselben Codierung wie beim Öffnen zu speichern. (Ich benutze VB.NET)

'Works for Default and unicode (auto detect)
Dim mystreamreader As New StreamReader(LocalFileName, Encoding.Default) 
MyEditTextBox.Text = mystreamreader.ReadToEnd()
Debug.Print(mystreamreader.CurrentEncoding.CodePage) 'Autodetected encoding
mystreamreader.Close()

10Y (!) War vergangen, seit dies gefragt wurde, und ich sehe immer noch keine Erwähnung der guten, nicht GPL-fähigen Lösung von MS: IMultiLanguage2 API.

Die meisten bereits erwähnten Bibliotheken basieren auf Mozillas UDE - und es scheint vernünftig, dass Browser bereits ähnliche Probleme gelöst haben. Ich weiß nicht, was die Lösung von Chrome ist, aber seit IE 5.0 haben MS ihre veröffentlicht, und es ist:

1. Frei von GPL-ähnlichen Lizenzproblemen,
2. Unterstützt und gepflegt wahrscheinlich für immer,
3. Bietet reichhaltige Ausgabe - alle gültigen Kandidaten für Codierung / Codepages zusammen mit Konfidenzwerten,
4. Überraschend einfach zu bedienen (es ist ein einzelner Funktionsaufruf).

Es ist ein nativer COM-Aufruf, aber hier ist eine sehr schöne Arbeit von Carsten Zeumer, die das Interop-Chaos für die .net-Nutzung behandelt. Es gibt einige andere, aber im Großen und Ganzen bekommt diese Bibliothek nicht die Aufmerksamkeit, die sie verdient.