Welche SQL Server-Kollatierung sollte ich für biblisches Hebräisch verwenden? Die betreffende Datenbank muss diakritische Zeichen (dh Vokale, Akzente, Trope usw.) enthalten.
19
Welche SQL Server-Kollatierung sollte ich für biblisches Hebräisch verwenden? Die betreffende Datenbank muss diakritische Zeichen (dh Vokale, Akzente, Trope usw.) enthalten.
Erstens: Es gibt keine Unterscheidung in Bezug auf die Zusammenstellung zwischen biblischem Hebräisch und modernem Hebräisch. Wir haben es nur mit Hebräisch zu tun.
Zweite: Unabhängig von allem anderen möchten Sie den neuesten Satz von Kollatierungen verwenden, bei denen es sich um Normalerweise empfehle ich dringend, die neueste Version der von Ihnen benötigten Kollatierung zu verwenden, aber zumindest in diesem Fall gibt es gute Gründe, die Version ohne Versionsnummer im Namen zu verwenden. Die Kollatierungen der Version 100 (oder neuer) sind weitaus vollständiger und können zwischen zusätzlichen Zeichen unterscheiden (oder sie sogar vollständig unterstützen, wenn eine _100_Serien handelt, da sie neuere / vollständigere Sortiergewichte und Sprachregeln als die älteren Serien ohne Versionsnummer im Namen haben (technisch gesehen die Are-Version 80).SCoder 140Kollatierung verwendet wird), aber vorausgesetzt, Sie haben nicht mit zusätzlichen Zeichen zu tun, dann die Version 80 (keine Version) Nummer im Namen) Sortierungen können besser mit Hebräisch umgehen (siehe Punkt "Sechste" weiter unten).
Drittens: Es gibt kein Konzept für "Kana" (oder Kana-Typ) auf Hebräisch. Sie können daher alle Sortierungsvarianten mit _KSihren Namen ignorieren (da dies eine Empfindlichkeit ist, die Sie niemals verwenden werden).
Viertens: Die Kollatierungen, die mit _SCunterstützenden Zusatzzeichen enden (dh mit vollem UTF-16). Wählen Sie daher am besten eines dieser Zeichen aus, sofern verfügbar (dh wenn Sie SQL Server 2012 oder eine neuere Version verwenden).
Fünftens: Sie möchten keine binäre Kollatierung ( _BINoder _BIN2), da diese nicht zwischen hebräischen Buchstaben mit Vokalen und Cantillationszeichen unterscheiden können, die jedoch die kombinierten Zeichen in unterschiedlicher Reihenfolge aufweisen, und auch Vokale und andere Zeichen nicht ignorieren können Gleiche Dinge wie אund אֽ.
Zum Beispiel (Vokal- und Cantillationszeichen, die Zeichen in umgekehrter Reihenfolge kombinieren):
SELECT NCHAR(0x05D0) + NCHAR(0x059C) + NCHAR(0x05B8),
NCHAR(0x05D0) + NCHAR(0x05B8) + NCHAR(0x059C)
WHERE NCHAR(0x05D0) + NCHAR(0x059C) + NCHAR(0x05B8) =
NCHAR(0x05D0) + NCHAR(0x05B8) + NCHAR(0x059C) COLLATE Hebrew_100_CS_AS_SC;
-- אָ֜ אָ֜
SELECT NCHAR(0x05D0) + NCHAR(0x059C) + NCHAR(0x05B8),
NCHAR(0x05D0) + NCHAR(0x05B8) + NCHAR(0x059C)
WHERE NCHAR(0x05D0) + NCHAR(0x059C) + NCHAR(0x05B8) =
NCHAR(0x05D0) + NCHAR(0x05B8) + NCHAR(0x059C) COLLATE Hebrew_100_BIN2;
-- no rows
Sechstens: Es hängt davon ab, wie Sie mit den Zeichenfolgenwerten interagieren. Hebräisch hat keine Groß- / Kleinschreibung, es gibt jedoch einige Codepunkte, die von der Groß- / Kleinschreibung betroffen sind. Es gibt sogar einige Codepunkte, die von der Breite abhängig sind. Akzentempfindlich / unempfindlich wirkt sich auf diakritische Zeichen aus, die für Vokale, Aussprache und Cantillationszeichen (dh Trope) verwendet werden.
Müssen Sie zwischen endgültigen und nicht endgültigen Formen desselben Buchstabens unterscheiden? Es gibt fünf Buchstaben auf Hebräisch, die anders aussehen, wenn sie als letzter Buchstabe eines Wortes verwendet werden. SQL Server handhabt dies über Groß- und Kleinschreibung / _CSKollatierungen (obwohl es in den neueren und normalerweise besseren Kollatierungen der Version 100 und neueren anscheinend fehlerhaft ist):
SELECT NCHAR(0x05DE) AS [Mem],
NCHAR(0x05DD) AS [Final Mem]
WHERE NCHAR(0x05DE) = NCHAR(0x05DD) COLLATE Hebrew_CI_AS_KS_WS;
-- 1 row (expected; all sensitive except case)
-- Mem Final Mem
-- מ ם
SELECT NCHAR(0x05DE) AS [Mem],
NCHAR(0x05DD) AS [Final Mem]
WHERE NCHAR(0x05DE) = NCHAR(0x05DD) COLLATE Hebrew_CS_AI;
-- no rows (expected; all insensitive except case)
SELECT NCHAR(0x05DE) AS [Mem],
NCHAR(0x05DD) AS [Final Mem]
WHERE NCHAR(0x05DE) = NCHAR(0x05DD) COLLATE Hebrew_100_CI_AI;
-- no rows (expected 1 row; all insensitive)
Müssen Sie zwischen Aussprachemarken, Vokalen und Cantillationsmarken unterscheiden? SQL Server handhabt dies über Akzentempfindlichkeit / _ASKollatierungen (obwohl es in den neueren und in der Regel besseren Kollatierungen der Version 100 und neuer anscheinend fehlerhaft ist). Bitte beachten Sie, dass alle drei unter Akzentempfindlichkeit zusammengefasst sind und nicht separat gesteuert werden können (dh Sie können nicht vokalsensitiv, aber Cantillationszeichen unempfindlich).
Aussprachemarken
Es gibt mehrere Buchstaben mit zwei unterschiedlichen Lauten. Manchmal ist der einzige Indikator, für den der Ton verwendet werden soll, der Kontext, in dem sich das Wort befindet (und manchmal sogar die umgebenden Wörter), wie in der eigentlichen Tora (wo es keine Aussprachemarkierungen oder Vokale gibt). Für denselben Text in anderen Formen sowie für anderen Text werden Punkte entweder innerhalb des Buchstabens oder für den Buchstaben Shin über dem Buchstaben platziert. Der Buchstabe Shin kann entweder einen "sh" - oder einen "s" -Ton haben. Um das "sh" Geräusch anzuzeigen (dh den Buchstaben "shin"), befindet sich ein Punkt oben rechts, während ein Punkt oben links das "s" Geräusch anzeigt (Buchstabe "sin"):
SELECT NCHAR(0x05E9) AS [Shin], -- ש
NCHAR(0x05E9) + NCHAR(0x05C1) AS [Shin + Shin Dot], -- שׁ
NCHAR(0x05E9) + NCHAR(0x05C2) AS [Shin + Sin Dot] -- שׂ
WHERE NCHAR(0x05E9) = NCHAR(0x05E9) + NCHAR(0x05C1) COLLATE Hebrew_CS_AI_KS_WS
AND NCHAR(0x05E9) = NCHAR(0x05E9) + NCHAR(0x05C2) COLLATE Hebrew_CS_AI_KS_WS;
-- 1 row (expected; all sensitive except accent)
SELECT NCHAR(0x05E9) AS [Shin], -- ש
NCHAR(0x05E9) + NCHAR(0x05C1) AS [Shin + Shin Dot], -- שׁ
NCHAR(0x05E9) + NCHAR(0x05C2) AS [Shin + Sin Dot] -- שׂ
WHERE NCHAR(0x05E9) = NCHAR(0x05E9) + NCHAR(0x05C1) COLLATE Hebrew_CI_AS
OR NCHAR(0x05E9) = NCHAR(0x05E9) + NCHAR(0x05C2) COLLATE Hebrew_CI_AS;
-- no rows (expected; all insensitive except accent)
SELECT NCHAR(0x05E9) AS [Shin], -- ש
NCHAR(0x05E9) + NCHAR(0x05C1) AS [Shin + Shin Dot], -- שׁ
NCHAR(0x05E9) + NCHAR(0x05C2) AS [Shin + Sin Dot] -- שׂ
WHERE NCHAR(0x05E9) = NCHAR(0x05E9) + NCHAR(0x05C1) COLLATE Hebrew_100_CI_AI_SC
OR NCHAR(0x05E9) = NCHAR(0x05E9) + NCHAR(0x05C2) COLLATE Hebrew_100_CI_AI_SC;
-- no rows (expected 1 row; all insensitive)
Vokale
SELECT NCHAR(0x05D0) AS [Aleph], -- א
NCHAR(0x05D0) + NCHAR(0x05B8) AS [Aleph with vowel] -- אָ
WHERE NCHAR(0x05D0) =
NCHAR(0x05D0) + NCHAR(0x05B8) COLLATE Hebrew_CS_AI_KS_WS;
-- 1 row (expected; all sensitive except accent)
SELECT NCHAR(0x05D0) AS [Aleph], -- א
NCHAR(0x05D0) + NCHAR(0x05B8) AS [Aleph with vowel] -- אָ
WHERE NCHAR(0x05D0) =
NCHAR(0x05D0) + NCHAR(0x05B8) COLLATE Hebrew_CI_AS;
-- no rows (expected; all insensitive except accent)
SELECT NCHAR(0x05D0) AS [Aleph], -- א
NCHAR(0x05D0) + NCHAR(0x05B8) AS [Aleph with vowel] -- אָ
WHERE NCHAR(0x05D0) =
NCHAR(0x05D0) + NCHAR(0x05B8) COLLATE Hebrew_100_CI_AI_SC;
-- no rows (expected 1 row; all insensitive)
Kragspuren
Technisch gesehen sind nach offiziellen Unicode-Daten hebräische Cantillation-Markierungen ignorierbar und sollten hier nur als Unterschied registriert werden, wenn eine binäre Kollation verwendet wird. SQL Server behandelt sie jedoch (leider) genauso wie Akzente und kann sie nicht getrennt von Aussprachemarkierungen oder Vokalen ignorieren.
SELECT NCHAR(0x05D0) AS [Aleph], -- א
NCHAR(0x05D0) + NCHAR(0x05A8) AS [Aleph with cantillation mark] -- א֨
WHERE NCHAR(0x05D0) =
NCHAR(0x05D0) + NCHAR(0x05A8) COLLATE Hebrew_CS_AI_KS_WS;
-- 1 row (expected; all sensitive except accent)
SELECT NCHAR(0x05D0) AS [Aleph], -- א
NCHAR(0x05D0) + NCHAR(0x05A8) AS [Aleph with cantillation mark] -- א֨
WHERE NCHAR(0x05D0) =
NCHAR(0x05D0) + NCHAR(0x05A8) COLLATE Hebrew_CI_AS;
-- no rows (expected; all insensitive except accent)
SELECT NCHAR(0x05D0) AS [Aleph], -- א
NCHAR(0x05D0) + NCHAR(0x05A8) AS [Aleph with cantillation mark] -- א֨
WHERE NCHAR(0x05D0) =
NCHAR(0x05D0) + NCHAR(0x05A8) COLLATE Hebrew_100_CI_AI_SC;
-- no rows (expected 1 row; all insensitive)Müssen Sie zwischen breiten und nicht breiten Formen desselben Buchstabens unterscheiden? Es gibt acht Buchstaben auf Hebräisch, die gestreckt (breit) sind, aber nur zum Zweck der Verwendung in Thora-Schriftrollen (entweder handgeschrieben / echt oder gedruckt), um das vollständig ausgerichtete Spaltenformat beizubehalten (wie es tatsächlich in Thora-Schriftrollen erscheint) ). SQL Server handhabt dies über Breitensensitivität / _WSKollatierungen (interessanterweise scheint es die einzige Sensitivität zu sein, die in der neueren Version 100 und neueren Kollatierungen korrekt funktioniert, obwohl dies leider die am wenigsten verwendete ist):
SELECT NCHAR(0x05DC) AS [Lamed],
NCHAR(0xFB25) AS [Wide Lamed]
WHERE NCHAR(0x05DC) = NCHAR(0xFB25) COLLATE Hebrew_CI_AI;
-- no rows (expected 1 row; all insensitive)
SELECT NCHAR(0x05DC) AS [Lamed],
NCHAR(0xFB25) AS [Wide Lamed]
WHERE NCHAR(0x05DC) = NCHAR(0xFB25) COLLATE Hebrew_100_CS_AS_KS_SC;
-- 1 row (expected; all sensitive except width)
-- Lamed Wide Lamed
-- ל ﬥ
SELECT NCHAR(0x05DC) AS [Lamed],
NCHAR(0xFB25) AS [Wide Lamed]
WHERE NCHAR(0x05DC) = NCHAR(0xFB25) COLLATE Hebrew_100_CI_AI_WS_SC;
-- no rows (expected; all insensitive except width)Also, vielleicht Hebrew_CI_AIfür die Spalten, und Sie können pro Ausdruck / Prädikat über die COLLATEAnweisung überschreiben, wenn Sie eine Variation wie COLLATE Hebrew_CS_AIoder Hebrew_CI_ASoder verwenden müssen Hebrew_CS_AS.
Zusätzliche Bemerkungen
Sie müssen die Daten in NVARCHARSpalten / Variablen speichern . Das meiste davon können Sie in regulären 8-Bit-Versionen VARCHARmit der Windows-1255-Codepage (die in allen Hebrew_*Kollatierungen verwendet wird) erreichen, einschließlich der Kombination von Zeichen für Vokale und Aussprachepunkte:
;WITH Hebrew AS
(
SELECT NCHAR(0x05E9) + NCHAR(0x05C1) + NCHAR(0x05B8)
COLLATE Hebrew_100_CS_AS AS [Shin]
)
SELECT
Hebrew.[Shin] AS [Unicode],
CONVERT(VARCHAR(20), Hebrew.[Shin]) AS [CodePage1255],
CONVERT(VARBINARY(10), CONVERT(VARCHAR(20), Hebrew.[Shin])) AS [CodePage1255_bytes]
FROM Hebrew;
-- Unicode CodePage1255 CodePage1255_bytes
-- שָׁ שָׁ F9D1C8
Allerdings enthält nur der Unicode- Hebräisch-Block die Cantillation-Marken (dh Trope; Codepunkte U + 0591 bis U + 05AF) sowie einige Extras (Codepunkte U + 05C4 bis U + 05C7), und der Block Alphabetic Presentation Forms enthält die Breite Variante von mehreren Buchstaben plus ein paar andere Sachen.
Gemäß den offiziellen Unicode-CLDR-Regeln (locale specific tailorings) für die hebräische Kultur ("he" und "he-IL") sollte U + 05F3 HEBREW PUNCTUATION GERESH entweder mit U + 0027 APOSTROPHE übereinstimmen oder davor stehen. Normalerweise wird U + 05F3 nach dem Apostroph sortiert . Dieses Verhalten tritt in der Tat auf, wenn Sie die ICU-Kollatierungsdemo verwenden und zwischen der Sortierreihenfolge "root" / standard (verwendet von US-Englisch / "en-US") und "he" wechseln. Dieses Verhalten scheint jedoch weder in .NET noch in SQL Server verfügbar zu sein:
SELECT NCHAR(0x05F3)
WHERE NCHAR(0x05F3) <= N'''' COLLATE Hebrew_100_CS_AS_KS_WS;
-- no rows
SELECT NCHAR(0x05F3)
WHERE NCHAR(0x05F3) <= N'''' COLLATE Hebrew_CS_AS_KS_WS;
-- no rowsObwohl es eine bedauerliche Auslassung ist, ist es sinnvoll, da ich keine "er" - oder "er-IL" -spezifischen Anpassungen in den Windows Sorting Weight Table-Dateien sehe. Dies kann durchaus bedeuten, dass es keinen tatsächlichen Unterschied zwischen den Hebrew_*und Latin1_General_*Sortierungen außerhalb der zugeordneten Codepage gibt, die nur für VARCHARDaten verwendet wird, und das gilt hier nicht.
OP antwortete mit:
Ja, ich muss unterscheiden zwischen: 1) endgültigen und nicht endgültigen Formen desselben Buchstabens 2) Aussprachezeichen 3) Vokalen und 4) Cantillationszeichen.
In diesem Fall können Sie die Sortierungen mit 100 Ebenen verwenden, da Sie die Unterschiede zwischen diesen Eigenschaften nicht ignorieren müssen. Das folgende Beispiel zeigt einen hebräischen Buchstaben (Sin) mit einem Aussprachezeichen, einem Cantillationszeichen und einem Vokal. Es gibt sechs Versionen, so dass jede mögliche Kombination der Reihenfolge der kombinierten Zeichen dargestellt werden kann. Es gibt einen siebten Eintrag, in dem der andere Punkt verwendet wird, um den Buchstaben Shin mit dem gleichen Grundbuchstaben, Vokal und Cantillationszeichen zu erstellen. Die Abfrage zeigt, dass nur die sechs "Sin" -Einträge miteinander übereinstimmen (auch bei unterschiedlichen Byte-Reihenfolgen), nicht jedoch das "Shin".
Ich habe die Verwendung von Latin1_Generalund Japanese_XJIS_140Kollatierungen hinzugefügt, um zu zeigen, dass die Regeln auch mit diesen funktionieren, falls Sie sie verwenden müssen (die 140Kollatierungen haben, nur auf Japanisch, mehr Zuordnungen in Groß- / Kleinschreibung als ältere Versionen). Aber im Allgemeinen ist es wahrscheinlich am besten, sich an die hebräischen Kollatierungen zu halten und eine Nichtversion zu verwenden, 100wenn Sie Unterschiede in Vokalen, Markierungen, Punkten und endgültigen gegenüber nicht endgültigen Formen ignorieren müssen.
DECLARE @Shin NVARCHAR(5) = NCHAR(0x05E9), -- base Hebrew letter
@Dot NVARCHAR(5) = NCHAR(0x05C2), -- Sin Dot
@Mark NVARCHAR(5) = NCHAR(0x05A8), -- Cantillation Mark (i.e. trope)
@Vowel NVARCHAR(5) = NCHAR(0x05B8); -- Vowel
DECLARE @Dot_Mark_Vowel NVARCHAR(20) = @Shin + @Dot + @Mark + @Vowel,
@Dot_Vowel_Mark NVARCHAR(20) = @Shin + @Dot + @Vowel + @Mark,
@Vowel_Dot_Mark NVARCHAR(20) = @Shin + @Vowel + @Dot + @Mark,
@Vowel_Mark_Dot NVARCHAR(20) = @Shin + @Vowel + @Mark + @Dot,
@Mark_Vowel_Dot NVARCHAR(20) = @Shin + @Mark + @Vowel + @Dot,
@Mark_Dot_Vowel NVARCHAR(20) = @Shin + @Mark + @Dot + @Vowel,
@ShinDot_Mark_Vowel NVARCHAR(20) = @Shin + NCHAR(0x05C1) + @Mark + @Vowel;
SELECT @Dot_Mark_Vowel AS [Sin], @ShinDot_Mark_Vowel AS [Shin];
;WITH chr AS
(
SELECT *
FROM (VALUES
(@Dot_Mark_Vowel, 'Dot + Mark + Vowel'),
(@Dot_Vowel_Mark, 'Dot + Vowel + Mark'),
(@Vowel_Dot_Mark, 'Vowel + Dot + Mark'),
(@Vowel_Mark_Dot, 'Vowel + Mark + Dot'),
(@Mark_Vowel_Dot, 'Mark + Vowel + Dot'),
(@Mark_Dot_Vowel, 'Mark + Dot + Vowel'),
(@ShinDot_Mark_Vowel, 'ShinDot + Mark + Vowel')
) tmp([Hebrew], [Description])
) SELECT chr1.[Hebrew],
'--' AS [---],
chr1.[Description] AS [Description_1],
CONVERT(VARBINARY(20), RIGHT(chr1.[Hebrew], 3)) AS [Bytes_1],
'--' AS [---],
chr2.[Description] AS [Description_2],
CONVERT(VARBINARY(20), RIGHT(chr2.[Hebrew], 3)) AS [Bytes_2]
FROM chr chr1
CROSS JOIN chr chr2
WHERE chr1.[Description] <> chr2.[Description] -- do not compare item to itself
AND chr1.[Hebrew] = chr2.[Hebrew] COLLATE Hebrew_100_CS_AS_SC
AND chr1.[Hebrew] = chr2.[Hebrew] COLLATE Latin1_General_100_CS_AS_SC
AND chr1.[Hebrew] = chr2.[Hebrew] COLLATE Japanese_XJIS_140_CS_AS;
-- this query returns 30 rows
Es hängt von vielen Dingen ab. Sortierung ist das Sortieren, Vergleichen und Nicht-Unicode-Codepage.
Dieses Repo hat eine gute Liste von Optionen rund um Hebräisch.
quelle