UTF-8: Allgemein? Behälter? Unicode?

Ich versuche herauszufinden, welche Sortierung ich für verschiedene Datentypen verwenden soll. 100% des Inhalts, den ich speichern werde, sind vom Benutzer eingereicht.

Nach meinem Verständnis sollte ich UTF-8 General CI (ohne Berücksichtigung der Groß- und Kleinschreibung) anstelle von UTF-8 Binary verwenden. Ich kann jedoch keine klare Unterscheidung zwischen UTF-8 General CI und UTF-8 Unicode CI finden.

1. Sollte ich vom Benutzer eingereichte Inhalte in UTF-8 General- oder UTF-8 Unicode CI-Spalten speichern?
2. Für welche Art von Daten wäre UTF-8 Binary anwendbar?

Im Allgemeinen ist utf8_general_ci schneller als utf8_unicode_ci , aber weniger korrekt.

Hier ist der Unterschied:

Für jeden Unicode-Zeichensatz sind Operationen, die mit der _general_ci-Kollatierung ausgeführt werden, schneller als die für die _unicode_ci-Kollatierung . Beispielsweise sind Vergleiche für die Kollatierung utf8_general_ci schneller, aber etwas weniger korrekt als Vergleiche für utf8_unicode_ci. Der Grund dafür ist, dass utf8_unicode_ci Zuordnungen wie Erweiterungen unterstützt. Das heißt, wenn ein Zeichen mit Kombinationen anderer Zeichen verglichen wird. Zum Beispiel ist in Deutsch und einigen anderen Sprachen "ß" gleich "ss". utf8_unicode_ci unterstützt auch Kontraktionen und ignorierbare Zeichen. utf8_general_ci ist eine Legacy-Kollatierung, die keine Erweiterungen, Kontraktionen oder ignorierbaren Zeichen unterstützt. Es können nur Eins-zu-Eins-Vergleiche zwischen Zeichen durchgeführt werden.

Zitiert von: http://dev.mysql.com/doc/refman/5.0/en/charset-unicode-sets.html

Weitere Informationen finden Sie im folgenden Beitrag in den MySQL-Foren: http://forums.mysql.com/read.php?103,187048,188748

Utf8_bin: Sowohl utf8_general_ci als auch utf8_unicode_ci führen einen Vergleich ohne Berücksichtigung der Groß- und Kleinschreibung durch. Im Gegensatz dazu unterscheidet utf8_bin (unter anderem) zwischen Groß- und Kleinschreibung , da es die Binärwerte der Zeichen vergleicht.

Sie sollten sich auch der Tatsache bewusst sein, dass mit utf8_general_ci bei Verwendung eines varchar-Felds als eindeutiger oder primärer Index das Einfügen von 2 Werten wie 'a' und 'á' einen doppelten Schlüsselfehler ergeben würde.

• utf8_binvergleicht die Bits blind. Kein Fallklappen, kein Akzentabziehen.
• utf8_general_civergleicht ein Byte mit einem Byte. Es werden Fallfalten und Akzententfernung durchgeführt, aber keine 2-Zeichen-Vergleiche: ijist ijin dieser Zusammenstellung nicht gleich .
• utf8_*_ciist eine Reihe von sprachspezifischen Regeln, aber ansonsten wie unicode_ci. Einige Sonderfälle: Ç, Č, ch,ll
• utf8_unicode_cifolgt einem alten Unicode-Standard für Vergleiche. ij= ij, aber ae! =æ
• utf8_unicode_520_cifolgt einem neueren Unicode-Standard. ae=æ

In der Kollatierungstabelle finden Sie Details dazu, was in verschiedenen utf8-Kollatierungen gleich ist.

utf8, wie von MySQL definiert, ist auf die 1- bis 3-Byte-utf8-Codes beschränkt. Dies lässt Emoji und einige Chinesen aus. Sie sollten also wirklich zu wechseln, utf8mb4wenn Sie weit über Europa hinausgehen möchten.

Die obigen Punkte gelten utf8mb4nach geeigneter Rechtschreibänderung. Vorwärts gehen utf8mb4und utf8mb4_unicode_520_ciwerden bevorzugt.

• utf16 und utf32 sind Varianten von utf8; es gibt praktisch keine Verwendung für sie.
• ucs2 ist näher an "Unicode" als "utf8"; es hat praktisch keinen Sinn dafür.

Wirklich, ich habe das Speichern von Werten wie 'é' und 'e' in einer Spalte mit eindeutigem Index getestet und sie verursachen doppelte Fehler sowohl bei 'utf8_unicode_ci' als auch bei 'utf8_general_ci'. Sie können sie nur in der sortierten Spalte 'utf8_bin' speichern.

Und MySQL-Dokumente (in http://dev.mysql.com/doc/refman/5.7/en/charset-applications.html ) schlagen in ihren Beispielen die Sortierung 'utf8_general_ci' vor.

[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci

Akzeptierte Antwort ist veraltet.

Wenn Sie MySQL 5.5.3+ verwenden, verwenden Sie utf8mb4_unicode_cistattdessen, utf8_unicode_cium sicherzustellen, dass die von Ihren Benutzern eingegebenen Zeichen keine Fehler verursachen.

utf8mb4unterstützt beispielsweise Emojis, während Sie utf8möglicherweise Hunderte von Fehlern im Zusammenhang mit der Codierung erhalten, wie z.

Incorrect string value: ‘\xF0\x9F\x98\x81…’ for column ‘data’ at row 1