Effektiver Weg, um die Kodierung einer Datei zu finden

Ja ist eine sehr häufige Frage, und diese Angelegenheit ist für mich vage und da ich nicht viel darüber weiß.

Aber ich möchte einen sehr präzisen Weg, um eine Dateicodierung zu finden. So präzise wie Notepad ++.

Die StreamReader.CurrentEncodingEigenschaft gibt selten die richtige Textdatei-Codierung für mich zurück. Ich habe größere Erfolge bei der Bestimmung der Endianness einer Datei erzielt, indem ich deren Byte Order Mark (BOM) analysiert habe. Wenn die Datei keine Stückliste hat, kann dies die Codierung der Datei nicht bestimmen.

* AKTUALISIERT am 08.04.2020, um die UTF-32LE-Erkennung einzuschließen und die korrekte Codierung für UTF-32BE zurückzugeben

/// <summary>
/// Determines a text file's encoding by analyzing its byte order mark (BOM).
/// Defaults to ASCII when detection of the text file's endianness fails.
/// </summary>
/// <param name="filename">The text file to analyze.</param>
/// <returns>The detected encoding.</returns>
public static Encoding GetEncoding(string filename)
{
    // Read the BOM
    var bom = new byte[4];
    using (var file = new FileStream(filename, FileMode.Open, FileAccess.Read))
    {
        file.Read(bom, 0, 4);
    }

    // Analyze the BOM
    if (bom[0] == 0x2b && bom[1] == 0x2f && bom[2] == 0x76) return Encoding.UTF7;
    if (bom[0] == 0xef && bom[1] == 0xbb && bom[2] == 0xbf) return Encoding.UTF8;
    if (bom[0] == 0xff && bom[1] == 0xfe && bom[2] == 0 && bom[3] == 0) return Encoding.UTF32; //UTF-32LE
    if (bom[0] == 0xff && bom[1] == 0xfe) return Encoding.Unicode; //UTF-16LE
    if (bom[0] == 0xfe && bom[1] == 0xff) return Encoding.BigEndianUnicode; //UTF-16BE
    if (bom[0] == 0 && bom[1] == 0 && bom[2] == 0xfe && bom[3] == 0xff) return new UTF32Encoding(true, true);  //UTF-32BE

    // We actually have no idea what the encoding is if we reach this point, so
    // you may wish to return null instead of defaulting to ASCII
    return Encoding.ASCII;
}

Der folgende Code funktioniert gut mit der StreamReaderKlasse:

  using (var reader = new StreamReader(fileName, defaultEncodingIfNoBom, true))
  {
      reader.Peek(); // you need this!
      var encoding = reader.CurrentEncoding;
  }

Der Trick besteht darin, den PeekAufruf zu verwenden, andernfalls hat .NET nichts getan (und die Präambel, die Stückliste, nicht gelesen). Wenn Sie ReadXXXvor dem Überprüfen der Codierung einen anderen Aufruf verwenden, funktioniert dies natürlich auch.

Wenn die Datei keine Stückliste hat, wird die defaultEncodingIfNoBomCodierung verwendet. Es gibt auch einen StreamReader ohne diese Überladungsmethode (in diesem Fall wird die Standardcodierung (ANSI) als defaultEncodingIfNoBom verwendet). Ich empfehle jedoch, zu definieren, was Sie als Standardcodierung in Ihrem Kontext betrachten.

Ich habe dies erfolgreich mit Dateien mit Stückliste für UTF8, UTF16 / Unicode (LE & BE) und UTF32 (LE & BE) getestet. Es funktioniert nicht für UTF7.

Ich würde die folgenden Schritte versuchen:

1) Überprüfen Sie, ob ein Byte Order Mark vorhanden ist

2) Überprüfen Sie, ob die Datei UTF8 gültig ist

3) Verwenden Sie die lokale "ANSI" -Codepage (ANSI, wie Microsoft es definiert)

Schritt 2 funktioniert, weil die meisten Nicht-ASCII-Sequenzen in anderen Codepages als UTF8 kein gültiges UTF8 sind.

Überprüfen Sie dies.

UDE

Dies ist ein Port von Mozilla Universal Charset Detector und Sie können ihn so verwenden ...

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}

Bereitstellung der Implementierungsdetails für die von @CodesInChaos vorgeschlagenen Schritte:

1) Überprüfen Sie, ob ein Byte Order Mark vorhanden ist

2) Überprüfen Sie, ob die Datei UTF8 gültig ist

3) Verwenden Sie die lokale "ANSI" -Codepage (ANSI, wie Microsoft es definiert)

Schritt 2 funktioniert, weil die meisten Nicht-ASCII-Sequenzen in anderen Codepages als UTF8 kein gültiges UTF8 sind. https://stackoverflow.com/a/4522251/867248 erklärt die Taktik ausführlicher.

using System; using System.IO; using System.Text;

// Using encoding from BOM or UTF8 if no BOM found,
// check if the file is valid, by reading all lines
// If decoding fails, use the local "ANSI" codepage

public string DetectFileEncoding(Stream fileStream)
{
    var Utf8EncodingVerifier = Encoding.GetEncoding("utf-8", new EncoderExceptionFallback(), new DecoderExceptionFallback());
    using (var reader = new StreamReader(fileStream, Utf8EncodingVerifier,
           detectEncodingFromByteOrderMarks: true, leaveOpen: true, bufferSize: 1024))
    {
        string detectedEncoding;
        try
        {
            while (!reader.EndOfStream)
            {
                var line = reader.ReadLine();
            }
            detectedEncoding = reader.CurrentEncoding.BodyName;
        }
        catch (Exception e)
        {
            // Failed to decode the file using the BOM/UT8. 
            // Assume it's local ANSI
            detectedEncoding = "ISO-8859-1";
        }
        // Rewind the stream
        fileStream.Seek(0, SeekOrigin.Begin);
        return detectedEncoding;
   }
}


[Test]
public void Test1()
{
    Stream fs = File.OpenRead(@".\TestData\TextFile_ansi.csv");
    var detectedEncoding = DetectFileEncoding(fs);

    using (var reader = new StreamReader(fs, Encoding.GetEncoding(detectedEncoding)))
    {
       // Consume your file
        var line = reader.ReadLine();
        ...

Die folgenden Codes sind meine Powershell-Codes, um zu bestimmen, ob einige cpp- oder h- oder ml-Dateien mit ISO-8859-1 (Latin-1) oder UTF-8 ohne Stückliste codiert sind, wenn beides nicht GB18030 ist. Ich bin ein Chinese, der in Frankreich arbeitet, und MSVC speichert als Latin-1 auf einem französischen Computer und als GB auf einem chinesischen Computer. Dies hilft mir, Codierungsprobleme beim Austausch von Quelldateien zwischen meinem System und meinen Kollegen zu vermeiden.

Der Weg ist einfach: Wenn alle Zeichen zwischen x00-x7E, ASCII, UTF-8 und Latin-1 liegen, sind alle gleich. Wenn ich jedoch eine Nicht-ASCII-Datei von UTF-8 lese, wird das Sonderzeichen angezeigt Versuchen Sie also, mit Latin-1 zu lesen. In Latin-1 ist zwischen \ x7F und \ xAF leer, während GB zwischen x00-xFF voll verwendet. Wenn ich also eine zwischen den beiden habe, ist es nicht Latin-1

Der Code ist in PowerShell geschrieben, verwendet jedoch .net, sodass er leicht in C # oder F # übersetzt werden kann.

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False)
foreach($i in Get-ChildItem .\ -Recurse -include *.cpp,*.h, *.ml) {
    $openUTF = New-Object System.IO.StreamReader -ArgumentList ($i, [Text.Encoding]::UTF8)
    $contentUTF = $openUTF.ReadToEnd()
    [regex]$regex = '�'
    $c=$regex.Matches($contentUTF).count
    $openUTF.Close()
    if ($c -ne 0) {
        $openLatin1 = New-Object System.IO.StreamReader -ArgumentList ($i, [Text.Encoding]::GetEncoding('ISO-8859-1'))
        $contentLatin1 = $openLatin1.ReadToEnd()
        $openLatin1.Close()
        [regex]$regex = '[\x7F-\xAF]'
        $c=$regex.Matches($contentLatin1).count
        if ($c -eq 0) {
            [System.IO.File]::WriteAllLines($i, $contentLatin1, $Utf8NoBomEncoding)
            $i.FullName
        } 
        else {
            $openGB = New-Object System.IO.StreamReader -ArgumentList ($i, [Text.Encoding]::GetEncoding('GB18030'))
            $contentGB = $openGB.ReadToEnd()
            $openGB.Close()
            [System.IO.File]::WriteAllLines($i, $contentGB, $Utf8NoBomEncoding)
            $i.FullName
        }
    }
}
Write-Host -NoNewLine 'Press any key to continue...';
$null = $Host.UI.RawUI.ReadKey('NoEcho,IncludeKeyDown');

.NET ist nicht sehr hilfreich, aber Sie können den folgenden Algorithmus ausprobieren:

1. Versuchen Sie, die Codierung nach Stückliste (Byte Order Mark) zu finden ... sehr wahrscheinlich nicht gefunden
2. Versuchen Sie, in verschiedene Codierungen zu analysieren

Hier ist der Anruf:

var encoding = FileHelper.GetEncoding(filePath);
if (encoding == null)
    throw new Exception("The file encoding is not supported. Please choose one of the following encodings: UTF8/UTF7/iso-8859-1");

Hier ist der Code:

public class FileHelper
{
    /// <summary>
    /// Determines a text file's encoding by analyzing its byte order mark (BOM) and if not found try parsing into diferent encodings       
    /// Defaults to UTF8 when detection of the text file's endianness fails.
    /// </summary>
    /// <param name="filename">The text file to analyze.</param>
    /// <returns>The detected encoding or null.</returns>
    public static Encoding GetEncoding(string filename)
    {
        var encodingByBOM = GetEncodingByBOM(filename);
        if (encodingByBOM != null)
            return encodingByBOM;

        // BOM not found :(, so try to parse characters into several encodings
        var encodingByParsingUTF8 = GetEncodingByParsing(filename, Encoding.UTF8);
        if (encodingByParsingUTF8 != null)
            return encodingByParsingUTF8;

        var encodingByParsingLatin1 = GetEncodingByParsing(filename, Encoding.GetEncoding("iso-8859-1"));
        if (encodingByParsingLatin1 != null)
            return encodingByParsingLatin1;

        var encodingByParsingUTF7 = GetEncodingByParsing(filename, Encoding.UTF7);
        if (encodingByParsingUTF7 != null)
            return encodingByParsingUTF7;

        return null;   // no encoding found
    }

    /// <summary>
    /// Determines a text file's encoding by analyzing its byte order mark (BOM)  
    /// </summary>
    /// <param name="filename">The text file to analyze.</param>
    /// <returns>The detected encoding.</returns>
    private static Encoding GetEncodingByBOM(string filename)
    {
        // Read the BOM
        var byteOrderMark = new byte[4];
        using (var file = new FileStream(filename, FileMode.Open, FileAccess.Read))
        {
            file.Read(byteOrderMark, 0, 4);
        }

        // Analyze the BOM
        if (byteOrderMark[0] == 0x2b && byteOrderMark[1] == 0x2f && byteOrderMark[2] == 0x76) return Encoding.UTF7;
        if (byteOrderMark[0] == 0xef && byteOrderMark[1] == 0xbb && byteOrderMark[2] == 0xbf) return Encoding.UTF8;
        if (byteOrderMark[0] == 0xff && byteOrderMark[1] == 0xfe) return Encoding.Unicode; //UTF-16LE
        if (byteOrderMark[0] == 0xfe && byteOrderMark[1] == 0xff) return Encoding.BigEndianUnicode; //UTF-16BE
        if (byteOrderMark[0] == 0 && byteOrderMark[1] == 0 && byteOrderMark[2] == 0xfe && byteOrderMark[3] == 0xff) return Encoding.UTF32;

        return null;    // no BOM found
    }

    private static Encoding GetEncodingByParsing(string filename, Encoding encoding)
    {            
        var encodingVerifier = Encoding.GetEncoding(encoding.BodyName, new EncoderExceptionFallback(), new DecoderExceptionFallback());

        try
        {
            using (var textReader = new StreamReader(filename, encodingVerifier, detectEncodingFromByteOrderMarks: true))
            {
                while (!textReader.EndOfStream)
                {                        
                    textReader.ReadLine();   // in order to increment the stream position
                }

                // all text parsed ok
                return textReader.CurrentEncoding;
            }
        }
        catch (Exception ex) { }

        return null;    // 
    }
}

Suchen Sie hier nach c #

https://msdn.microsoft.com/en-us/library/system.io.streamreader.currentencoding%28v=vs.110%29.aspx

string path = @"path\to\your\file.ext";

using (StreamReader sr = new StreamReader(path, true))
{
    while (sr.Peek() >= 0)
    {
        Console.Write((char)sr.Read());
    }

    //Test for the encoding after reading, or at least
    //after the first read.
    Console.WriteLine("The encoding used was {0}.", sr.CurrentEncoding);
    Console.ReadLine();
    Console.WriteLine();
}

Es kann nützlich sein

string path = @"address/to/the/file.extension";

using (StreamReader sr = new StreamReader(path))
{ 
    Console.WriteLine(sr.CurrentEncoding);                        
}