Java FileReader-Codierungsproblem

Ich habe versucht, mit java.io.FileReader einige Textdateien zu lesen und in eine Zeichenfolge zu konvertieren, aber ich habe festgestellt, dass das Ergebnis falsch codiert und überhaupt nicht lesbar ist.

Hier ist meine Umgebung:

• Windows 2003, Betriebssystemcodierung: CP1252

• Java 5.0

Meine Dateien sind UTF-8-codiert oder CP1252-codiert, und einige von ihnen (UTF-8-codierte Dateien) können chinesische (nicht lateinische) Zeichen enthalten.

Ich benutze den folgenden Code, um meine Arbeit zu erledigen:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

Der obige Code funktioniert nicht. Ich habe festgestellt, dass die FileReader-Codierung CP1252 ist, auch wenn der Text UTF-8-codiert ist. Aber das JavaDoc von java.io.FileReader sagt Folgendes:

Die Konstruktoren dieser Klasse gehen davon aus, dass die Standardzeichencodierung und die Standardgröße des Bytepuffers angemessen sind.

Bedeutet dies, dass ich die Zeichencodierung nicht selbst festlegen muss, wenn ich FileReader verwende? Aber ich habe derzeit falsch codierte Daten erhalten. Wie gehe ich richtig mit meiner Situation um? Vielen Dank.

Ja, Sie müssen die Codierung der Datei angeben, die Sie lesen möchten.

Ja, dies bedeutet, dass Sie die Codierung der Datei kennen müssen , die Sie lesen möchten.

Nein, es gibt keine allgemeine Möglichkeit, die Codierung einer bestimmten "Nur-Text" -Datei zu erraten .

Die Ein-Argument-Konstruktoren von verwendenFileReader immer die Standardcodierung der Plattform, was im Allgemeinen eine schlechte Idee ist .

Seit Java 11 FileReaderhat auch Konstruktoren gewonnen, die eine Codierung akzeptieren: new FileReader(file, charset)und new FileReader(fileName, charset).

In früheren Versionen von Java müssen Sie verwenden .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader Verwendet die Plattform-Standardcodierung von Java, die von den Systemeinstellungen des Computers abhängt, auf dem sie ausgeführt wird, und ist im Allgemeinen die beliebteste Codierung unter Benutzern in diesem Gebietsschema.

Wenn diese "beste Vermutung" nicht korrekt ist, müssen Sie die Codierung explizit angeben. Erlaubt FileReaderdies leider nicht (große Kontrolle in der API). Stattdessen müssen Sie new InputStreamReader(new FileInputStream(filePath), encoding)die Codierung aus Metadaten für die Datei verwenden und im Idealfall abrufen.

Seit Java 11 können Sie Folgendes verwenden:

public FileReader(String fileName, Charset charset) throws IOException;

Für Java 7+ doc können Sie Folgendes verwenden:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Hier sind alle Charsets doc

Wenn sich Ihre Datei beispielsweise in CP1252 befindet, verwenden Sie diese Methode

Charset.forName("windows-1252");

Hier finden Sie weitere kanonische Namen für Java-Codierungen für IO- und NIO- Dokumente

Wenn Sie nicht wissen , mit genau codiert , in einer Datei erhalten haben, können Sie einige Drittanbieter - Libs wie dieses Tool von Google verwenden diese , die recht ordentlich funktioniert.

FileInputStream mit InputStreamReader ist besser als die direkte Verwendung von FileReader, da Sie mit letzterem keinen Codierungszeichensatz angeben können.

Hier ist ein Beispiel für die gemeinsame Verwendung von BufferedReader, FileInputStream und InputStreamReader, damit Sie Zeilen aus einer Datei lesen können.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Für eine andere als lateinische Sprache, zum Beispiel Kyrillisch, können Sie Folgendes verwenden:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

und stellen Sie sicher, dass Ihre .txtDatei im UTF-8(aber nicht als Standard ANSI) Format gespeichert ist. Prost!