Entfernen Sie ✅, 🔥, ✈, ♛ und andere solche Emojis / Bilder / Zeichen aus Java-Strings

Ich habe einige Zeichenfolgen mit allen möglichen Emojis / Bildern / Zeichen.

Nicht alle Zeichenfolgen sind in Englisch - einige von ihnen sind in anderen nicht-lateinischen Sprachen, zum Beispiel:

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

... und viele mehr davon.

Ich möchte all diese Zeichen / Bilder loswerden und nur die Buchstaben (und Satzzeichen) in den verschiedenen Sprachen behalten.

Ich habe versucht, die Schilder mit der EmojiParser-Bibliothek zu reinigen :

String withoutEmojis = EmojiParser.removeAllEmojis(input);

Das Problem ist, dass EmojiParser die meisten Zeichen nicht entfernen kann. Das ♦ Zeichen ist das einzige, das ich bis jetzt gefunden habe, als es entfernt wurde. Andere Zeichen wie ✪ ❉ ★ ✰ ❈ ❧ ❧ ✂ ❋ ⓡ ✿ not not werden nicht entfernt.

Gibt es eine Möglichkeit, alle diese Zeichen aus den Eingabezeichenfolgen zu entfernen und nur die Buchstaben und Satzzeichen in den verschiedenen Sprachen beizubehalten?

Wie wäre es, eine Whitelist der Charaktere zu erstellen, die Sie behalten möchten, anstatt einige Elemente auf die schwarze Liste zu setzen? Auf diese Weise müssen Sie sich nicht um jedes neue Emoji kümmern, das hinzugefügt wird.

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

So:

• [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]ist ein Bereich, der alle numerischen ( \\p{N}), Buchstaben ( \\p{L}), Markierungen ( \\p{M}), Satzzeichen ( \\p{P}), Leerzeichen / Trennzeichen ( \\p{Z}), anderen Formatierungszeichen ( \\p{Cf}) und anderen Zeichen oben U+FFFFin Unicode ( \\p{Cs}) und Zeilenumbrüche ( \\s) darstellt. Enthält \\p{L}speziell die Zeichen aus anderen Alphabeten wie Kyrillisch, Latein, Kanji usw.
• Der ^im regulären Ausdruck enthaltene Zeichensatz negiert die Übereinstimmung.

Beispiel:

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

Wenn Sie weitere Informationen benötigen, lesen Sie die Java- Dokumentation für reguläre Ausdrücke.

Ich mag Java nicht besonders, daher werde ich nicht versuchen, Beispielcode inline zu schreiben, aber ich würde dies tun, um zu überprüfen, was Unicode "die allgemeine Kategorie" jedes Zeichens nennt. Es gibt einige Buchstaben- und Interpunktionskategorien.

Mit Character.getType können Sie die allgemeine Kategorie eines bestimmten Zeichens ermitteln. Sie sollten wahrscheinlich die Zeichen behalten, die in diese allgemeinen Kategorien fallen:

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

(Alle Zeichen, die Sie als speziell entfernen möchten, haben eine allgemeine Kategorie OTHER_SYMBOL, die ich nicht in die Whitelist der obigen Kategorie aufgenommen habe.)

Basierend auf der vollständigen Emoji-Liste, Version 11.0 , müssen 1644 verschiedene Unicode-Codepunkte entfernt werden. Zum Beispiel ✅steht auf dieser Liste als U+2705.

Wenn Sie die vollständige Liste der Emojis haben, müssen Sie sie mithilfe von Codepunkten herausfiltern . Das Iterieren über einzelne charoder bytenicht als einzelner Codepunkt kann mehrere Bytes umfassen. Da Java UTF-16-Emojis verwendet, dauert es normalerweise zwei charSekunden.

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

Die Zuordnung vom Unicode-Codepunkt U+2705zu Java intist unkompliziert:

int viSign = 0x2705;

oder da Java Unicode-Zeichenfolgen unterstützt:

int viSign = "✅".codePointAt(0);

ICU4J ist dein Freund.

UCharacter.hasBinaryProperty(UProperty.EMOJI);

Denken Sie daran, Ihre Version von icu4j auf dem neuesten Stand zu halten, und beachten Sie, dass dadurch nur offizielle Unicode-Emoji herausgefiltert werden, keine Symbolzeichen. Kombinieren Sie dies wie gewünscht mit dem Herausfiltern anderer Zeichentypen.

Weitere Informationen: http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

Ich habe unten einige Beispiele gegeben und dachte, dass Latein genug ist, aber ...

Gibt es eine Möglichkeit, alle diese Zeichen aus der Eingabezeichenfolge zu entfernen und nur die Buchstaben und Satzzeichen in den verschiedenen Sprachen beizubehalten?

Entwickelte nach der Bearbeitung eine neue Lösung unter Verwendung der Character.getTypeMethode, und das scheint der beste Schuss zu sein.

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

Ausgabe:

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

Der Code funktioniert durch Streaming des Strings zu Codepunkten. Verwenden Sie dann Lambdas, um Zeichen in a zu filternint Array , und konvertieren Sie das Array in String.

Die Buchstaben und Leerzeichen werden mit den Zeichenmethoden gefiltert, was bei der Interpunktion nicht gut ist. Versuch fehlgeschlagen .

Der Unicode blockiert den Weißfilter unter Verwendung der Unicode-Blöcke, die der Programmierer als zulässig angibt. Versuch fehlgeschlagen .

Der Unicode blockiert den Schwarzfilter unter Verwendung der Unicode-Blöcke, die der Programmierer als nicht zulässig angibt. Versuch fehlgeschlagen .

Der Kategoriefilter mit der statischen Methode Character.getType. Der Programmierer kann im categoryArray definieren, welche Typen zulässig sind. WERKE 😨😱😰😲😀.

Probieren Sie dieses Projekt aus simple-emoji-4j

Kompatibel mit Emoji 12.0 (2018.10.15)

Einfach mit:

EmojiUtils.removeEmoji(str)

Verwenden Sie ein jQuery-Plugin namens RM-Emoji. So funktioniert das:

$('#text').remove('emoji').fast()

Dies ist der schnelle Modus, in dem möglicherweise einige Emojis fehlen, da heuristische Algorithmen zum Auffinden von Emojis im Text verwendet werden. Verwenden Sie die .full()Methode, um die gesamte Zeichenfolge zu scannen und alle garantierten Emojis zu entfernen.