กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ ก็็็็็็็็็็็็็็็็็็็็ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้ ก็็็็็็็็็็็็็็็็็็็็ กิิิิิิิิิิิิิิิิิิิิ ก้้้้้้้้้้้้้้้้้้้้

Diese wurden kürzlich in Facebook-Kommentarbereichen angezeigt.

Wie können wir das sanieren?

Was ist mit diesen Unicode-Zeichen los?

Das ist ein Charakter mit einer Reihe von kombinierten Charakteren . Da die fraglichen kombinierenden Zeichen über das Basiszeichen hinausgehen möchten, stapeln sie sich (im wahrsten Sinne des Wortes). Zum Beispiel der Fall von

ก้้้้้้้้้้้้้้้้้้้้

... es ist ein ก (thailändisches Zeichen ko kai ) ( U + 0E01 ), gefolgt von 20 Kopien des thailändischen Kombinationszeichens mai tho ( U + 0E49 ).

Wie können wir das sanieren?

Sie können den Text und begrenzen die Anzahl der Kombinationszeichen Vorprozess, die auf ein einzelnes Zeichen angewendet werden kann, aber der Aufwand ist vielleicht nicht die Belohnung wert sein. Sie benötigen die Datenblätter für alle aktuellen Zeichen, damit Sie wissen, ob sie kombiniert wurden oder was, und Sie müssen mindestens einige zulassen, da einige Sprachen mit mehreren diakritischen Zeichen auf einer einzigen Basis geschrieben sind . Wenn Sie Kommentare auf den lateinischen Zeichensatz beschränken möchten, ist dies eine einfachere Bereichsprüfung. Dies ist jedoch nur dann eine Option, wenn Sie Kommentare auf wenige Sprachen beschränken möchten. Weitere Informationen, Codeblätter usw. unter unicode.org .

Übrigens, wenn Sie jemals wissen wollen, wie ein Charakter zusammengesetzt wurde, habe ich kürzlich für eine andere Frage eine schnelle und schmutzige "Unicode Show Me" -Seite auf JSBin codiert. Sie kopieren einfach den Text und fügen ihn in den Textbereich ein. Daraufhin werden alle Codepunkte (~ Zeichen) angezeigt, aus denen der Text besteht, mit Links wie den oben genannten zu der Seite, auf der die einzelnen Zeichen beschrieben werden. Es funktioniert nur für Codepunkte im Bereich U + FFFF und darunter, da es in JavaScript geschrieben ist und um Zeichen über U + FFFF in JavaScript zu verarbeiten, müssen Sie mehr Arbeit leisten, als ich für diese Frage wollte (weil in JavaScript a "Charakter" ist immer 16 Bit, was bedeutet, dass für einige Sprachen ein Zeichen auf zwei separate JavaScript- "Zeichen" aufgeteilt werden kann und ich das nicht berücksichtigt habe), aber es ist praktisch für die meisten Texte ...

Wenn Sie eine Regex-Engine mit anständiger Unicode-Unterstützung haben, ist es trivial, diese Art von Zeichenfolgen zu bereinigen. In Perl können Sie beispielsweise alle bis auf die erste Kombinationsmarke von jedem (vom Benutzer wahrgenommenen) Zeichen wie folgt entfernen:

#!/usr/bin/perl
use strict;
use utf8;

binmode(STDOUT, ':utf8');

my $string = "กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้ กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้";
$string =~ s/(\p{Mark})\p{Mark}+/$1/g; # Strip excess combining marks
print("$string\n");

Dies wird gedruckt:

กิ ก้ ก็ ก็ กิ ก้ ก็ กิ ก้ กิ ก้ ก็ ก็ ก็ กิ ก้ ก็ กิ ก้

"Wie können wir das desinfizieren?" Wird am besten oben von TJ Crowder beantwortet

Ich denke jedoch, dass Desinfektion der falsche Ansatz ist, und Cristy hat es richtig mit overflow:hiddendem CSS-haltigen Element.

Zumindest löse ich das so.

Ok, ich habe eine Weile gebraucht, um das herauszufinden. Ich hatte den Eindruck, dass die Kombination von Charakteren zur Herstellung von Zalgo auf diese beschränkt ist . Also erwartete ich, dass Regex die Freaks fangen würde.

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]{2,})

und es hat nicht funktioniert ...

Der Haken ist, dass die Liste im Wiki nicht die gesamte Bandbreite der kombinierten Zeichen abdeckt.

Was mir einen Hinweis gab, ist "ก้้้้้้้้้้้้้้้้้้้้".charCodeAt(2).toString(16)= "e49", was nicht in einem Kombinationsbereich liegt, sondern in den "privaten Gebrauch" fällt.

In C # fallen sie unter UnicodeCategory.NonSpacingMarkund das folgende Skript löscht sie aus:

    [Test]
    public void IsZalgo()
    {
        var zalgo = new[] { UnicodeCategory.NonSpacingMark };

        File.Delete("IsModifyLike.html");
        File.AppendAllText("IsModifyLike.html", "<table>");
        for (var i = 0; i < 65535; i++)
        {
            var c = (char)i;
            if (zalgo.Contains(Char.GetUnicodeCategory(c)))
            {


                File.AppendAllText("IsModifyLike.html", string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>A&#{3};&#{3};&#{3}</td></tr>\n",  i.ToString("X"), c, Char.GetUnicodeCategory(c), i));

            }
        }
        File.AppendAllText("IsModifyLike.html", "</table>");
    }

Wenn Sie sich die generierte Tabelle ansehen, sollten Sie sehen können, welche stapeln. Ein Bereich, der im Wiki fehlt, ist ein 06D6-06DCanderer 0730-0749.

AKTUALISIEREN:

Hier ist ein aktualisierter Regex , der alle Zalgo herausfischen sollte, einschließlich derjenigen, die im "normalen" Bereich umgangen wurden.

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F\u0483-\u0486\u05C7\u0610-\u061A\u0656-\u065F\u0670\u06D6-\u06ED\u0711\u0730-\u073F\u0743-\u074A\u0F18-\u0F19\u0F35\u0F37\u0F72-\u0F73\u0F7A-\u0F81\u0F84\u0e00-\u0eff\uFC5E-\uFC62]{2,})

Am schwierigsten ist es, sie zu identifizieren, sobald Sie dies getan haben - es gibt eine Vielzahl von Lösungen, einschließlich einiger guter oben.

Hoffe das spart dir etwas Zeit.