All-inclusive-Zeichensatz zur Vermeidung von "java.nio.charset.MalformedInputException: Eingabelänge = 1"?

Ich erstelle ein einfaches Wordcount-Programm in Java, das die textbasierten Dateien eines Verzeichnisses liest.

Ich erhalte jedoch immer wieder den Fehler:

java.nio.charset.MalformedInputException: Input length = 1

aus dieser Codezeile:

BufferedReader reader = Files.newBufferedReader(file,Charset.forName("UTF-8"));

Ich weiß, dass ich das wahrscheinlich bekomme, weil ich ein verwendet habe Charset, das einige der Zeichen in den Textdateien nicht enthielt, von denen einige Zeichen anderer Sprachen enthielten. Aber ich möchte diese Zeichen einschließen.

Ich habe später bei den JavaDocs erfahren, dass das Charsetoptional ist und nur zum effizienteren Lesen der Dateien verwendet wird. Deshalb habe ich den Code geändert in:

BufferedReader reader = Files.newBufferedReader(file);

Aber einige Dateien werfen immer noch die MalformedInputException. Ich weiß nicht warum.

Ich habe mich gefragt, ob es ein All-Inclusive-Angebot gibt Charset, mit dem ich Textdateien mit vielen verschiedenen Zeichentypen lesen kann .

Vielen Dank.

Sie möchten wahrscheinlich eine Liste der unterstützten Codierungen haben. Versuchen Sie für jede Datei nacheinander jede Codierung, möglicherweise beginnend mit UTF-8. MalformedInputExceptionVersuchen Sie jedes Mal, wenn Sie die fangen , die nächste Codierung.

Erstellen von BufferedReader aus Files.newBufferedReader

Files.newBufferedReader(Paths.get("a.txt"), StandardCharsets.UTF_8);

Beim Ausführen der Anwendung kann die folgende Ausnahme ausgelöst werden:

java.nio.charset.MalformedInputException: Input length = 1

Aber

new BufferedReader(new InputStreamReader(new FileInputStream("a.txt"),"utf-8"));

funktioniert gut.

Der Unterschied besteht darin, dass der erstere die Standardaktion CharsetDecoder verwendet.

Die Standardaktion für fehlerhafte Eingabe- und nicht zuordnungsfähige Zeichenfehler besteht darin , sie zu melden .

während letzterer die Aktion REPLACE verwendet.

cs.newDecoder().onMalformedInput(CodingErrorAction.REPLACE).onUnmappableCharacter(CodingErrorAction.REPLACE)

ISO-8859-1 ist ein All-Inclusive-Zeichensatz in dem Sinne, dass garantiert keine MalformedInputException ausgelöst wird. Es ist also gut zum Debuggen, auch wenn Ihre Eingabe nicht in diesem Zeichensatz enthalten ist. So:-

req.setCharacterEncoding("ISO-8859-1");

Ich hatte einige doppelte Anführungszeichen / doppelte linke Anführungszeichen in meiner Eingabe, und sowohl US-ASCII als auch UTF-8 haben MalformedInputException darauf geworfen, aber ISO-8859-1 hat funktioniert.

Ich bin auch auf diese Ausnahme mit der Fehlermeldung gestoßen.

java.nio.charset.MalformedInputException: Input length = 1
at java.nio.charset.CoderResult.throwException(Unknown Source)
at sun.nio.cs.StreamEncoder.implWrite(Unknown Source)
at sun.nio.cs.StreamEncoder.write(Unknown Source)
at java.io.OutputStreamWriter.write(Unknown Source)
at java.io.BufferedWriter.flushBuffer(Unknown Source)
at java.io.BufferedWriter.write(Unknown Source)
at java.io.Writer.write(Unknown Source)

und festgestellt, dass ein seltsamer Fehler auftritt, wenn versucht wird, zu verwenden

BufferedWriter writer = Files.newBufferedWriter(Paths.get(filePath));

um einen String "orazg 54" zu schreiben, der von einem generischen Typ in einer Klasse umgewandelt wurde.

//key is of generic type <Key extends Comparable<Key>>
writer.write(item.getKey() + "\t" + item.getValue() + "\n");

Dieser String hat die Länge 9 und enthält Zeichen mit den folgenden Codepunkten:

111 114 97 122 103 9 53 52 10

Wenn jedoch der BufferedWriter in der Klasse durch Folgendes ersetzt wird:

FileOutputStream outputStream = new FileOutputStream(filePath);
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(outputStream));

Es kann diesen String ohne Ausnahmen erfolgreich schreiben. Wenn ich denselben String schreibe, der aus den Zeichen erstellt wurde, funktioniert er außerdem weiterhin in Ordnung.

String string = new String(new char[] {111, 114, 97, 122, 103, 9, 53, 52, 10});
BufferedWriter writer = Files.newBufferedWriter(Paths.get("a.txt"));
writer.write(string);
writer.close();

Bisher bin ich bei der Verwendung des ersten BufferedWriter zum Schreiben von Strings nie auf eine Ausnahme gestoßen. Es ist ein seltsamer Fehler, der bei BufferedWriter auftritt, der aus java.nio.file.Files.newBufferedWriter (Pfad, Optionen) erstellt wurde.

ISO_8859_1 Hat für mich gearbeitet! Ich habe eine Textdatei mit durch Kommas getrennten Werten gelesen

Ich habe Folgendes geschrieben, um eine Liste der Ergebnisse zu drucken, die basierend auf den verfügbaren Zeichensätzen standardisiert werden sollen. Beachten Sie, dass Sie auch erfahren, welche Zeile von einer auf 0 basierenden Zeilennummer ausfällt, falls Sie Fehler beheben, welches Zeichen Probleme verursacht.

public static void testCharset(String fileName) {
    SortedMap<String, Charset> charsets = Charset.availableCharsets();
    for (String k : charsets.keySet()) {
        int line = 0;
        boolean success = true;
        try (BufferedReader b = Files.newBufferedReader(Paths.get(fileName),charsets.get(k))) {
            while (b.ready()) {
                b.readLine();
                line++;
            }
        } catch (IOException e) {
            success = false;
            System.out.println(k+" failed on line "+line);
        }
        if (success) 
            System.out.println("*************************  Successs "+k);
    }
}

Versuchen Sie dies .. Ich hatte das gleiche Problem, unten Implementierung funktionierte für mich

Reader reader = Files.newBufferedReader(Paths.get(<yourfilewithpath>), StandardCharsets.ISO_8859_1);

Verwenden Sie dann Reader, wo immer Sie möchten.

foreg:

CsvToBean<anyPojo> csvToBean = null;
    try {
        Reader reader = Files.newBufferedReader(Paths.get(csvFilePath), 
                        StandardCharsets.ISO_8859_1);
        csvToBean = new CsvToBeanBuilder(reader)
                .withType(anyPojo.class)
                .withIgnoreLeadingWhiteSpace(true)
                .withSkipLines(1)
                .build();

    } catch (IOException e) {
        e.printStackTrace();
    }

Nun, das Problem ist, dass Files.newBufferedReader(Path path)es so implementiert wird:

public static BufferedReader newBufferedReader(Path path) throws IOException {
    return newBufferedReader(path, StandardCharsets.UTF_8);
}

Grundsätzlich macht es keinen Sinn, UTF-8etwas anzugeben, es sei denn, Sie möchten in Ihrem Code eine Beschreibung abgeben. Wenn Sie einen "breiteren" Zeichensatz ausprobieren möchten, können Sie es versuchen StandardCharsets.UTF_16, aber Sie können nicht 100% sicher sein, dass Sie trotzdem jeden möglichen Charakter erhalten.

UTF-8 funktioniert bei mir mit polnischen Zeichen

Sie können so etwas ausprobieren oder einfach kopieren und unter das Stück einfügen.

boolean exception = true;
Charset charset = Charset.defaultCharset(); //Try the default one first.        
int index = 0;

while(exception) {
    try {
        lines = Files.readAllLines(f.toPath(),charset);
          for (String line: lines) {
              line= line.trim();
              if(line.contains(keyword))
                  values.add(line);
              }           
        //No exception, just returns
        exception = false; 
    } catch (IOException e) {
        exception = true;
        //Try the next charset
        if(index<Charset.availableCharsets().values().size())
            charset = (Charset) Charset.availableCharsets().values().toArray()[index];
        index ++;
    }
}