Unten finden Sie eine T-SQL-Lösung, die die ersten Millionen Zahlen in eine temporäre Tabelle schreibt. Es dauert ungefähr 84 ms auf meiner Maschine. Die Schlüsselengpässe warten auf das Latch NESTING_TRANSACTION_FULL und CXPACKET
beide kann ich nur ändernMAXDOP
. Ich wollte einen Abfrageplan, der die Vorteile von parallelen verschachtelten Schleifen und bedarfsorientierter Parallelität nutzt. Dies ist das, was ich erreicht habe:
Der Code ist etwas lang. Kurz gesagt, ich verbinde zwei abgeleitete Tabellen mit 246 Zeilen und 271 Zeilen für insgesamt 66666 Zeilen. Diese Zeilen werden mit einer von 15 Zeilen abgeleiteten Tabelle verbunden, die die Tatsache ausnutzt, dass das FIZZBUZZ-Muster für jeweils 15 Zeilen wiederholt wird. Die letzten zehn Zeilen werden mit a ergänzt UNION ALL
.
DROP TABLE IF EXISTS #t;
SELECT res.fizzbuzz INTO #t
FROM
(
VALUES
(0),
(15),
(30),
(45),
(60),
(75),
(90),
(105),
(120),
(135),
(150),
(165),
(180),
(195),
(210),
(225),
(240),
(255),
(270),
(285),
(300),
(315),
(330),
(345),
(360),
(375),
(390),
(405),
(420),
(435),
(450),
(465),
(480),
(495),
(510),
(525),
(540),
(555),
(570),
(585),
(600),
(615),
(630),
(645),
(660),
(675),
(690),
(705),
(720),
(735),
(750),
(765),
(780),
(795),
(810),
(825),
(840),
(855),
(870),
(885),
(900),
(915),
(930),
(945),
(960),
(975),
(990),
(1005),
(1020),
(1035),
(1050),
(1065),
(1080),
(1095),
(1110),
(1125),
(1140),
(1155),
(1170),
(1185),
(1200),
(1215),
(1230),
(1245),
(1260),
(1275),
(1290),
(1305),
(1320),
(1335),
(1350),
(1365),
(1380),
(1395),
(1410),
(1425),
(1440),
(1455),
(1470),
(1485),
(1500),
(1515),
(1530),
(1545),
(1560),
(1575),
(1590),
(1605),
(1620),
(1635),
(1650),
(1665),
(1680),
(1695),
(1710),
(1725),
(1740),
(1755),
(1770),
(1785),
(1800),
(1815),
(1830),
(1845),
(1860),
(1875),
(1890),
(1905),
(1920),
(1935),
(1950),
(1965),
(1980),
(1995),
(2010),
(2025),
(2040),
(2055),
(2070),
(2085),
(2100),
(2115),
(2130),
(2145),
(2160),
(2175),
(2190),
(2205),
(2220),
(2235),
(2250),
(2265),
(2280),
(2295),
(2310),
(2325),
(2340),
(2355),
(2370),
(2385),
(2400),
(2415),
(2430),
(2445),
(2460),
(2475),
(2490),
(2505),
(2520),
(2535),
(2550),
(2565),
(2580),
(2595),
(2610),
(2625),
(2640),
(2655),
(2670),
(2685),
(2700),
(2715),
(2730),
(2745),
(2760),
(2775),
(2790),
(2805),
(2820),
(2835),
(2850),
(2865),
(2880),
(2895),
(2910),
(2925),
(2940),
(2955),
(2970),
(2985),
(3000),
(3015),
(3030),
(3045),
(3060),
(3075),
(3090),
(3105),
(3120),
(3135),
(3150),
(3165),
(3180),
(3195),
(3210),
(3225),
(3240),
(3255),
(3270),
(3285),
(3300),
(3315),
(3330),
(3345),
(3360),
(3375),
(3390),
(3405),
(3420),
(3435),
(3450),
(3465),
(3480),
(3495),
(3510),
(3525),
(3540),
(3555),
(3570),
(3585),
(3600),
(3615),
(3630),
(3645),
(3660),
(3675)
) v246 (n)
CROSS JOIN
(
VALUES
(0),
(15),
(30),
(45),
(60),
(75),
(90),
(105),
(120),
(135),
(150),
(165),
(180),
(195),
(210),
(225),
(240),
(255),
(270),
(285),
(300),
(315),
(330),
(345),
(360),
(375),
(390),
(405),
(420),
(435),
(450),
(465),
(480),
(495),
(510),
(525),
(540),
(555),
(570),
(585),
(600),
(615),
(630),
(645),
(660),
(675),
(690),
(705),
(720),
(735),
(750),
(765),
(780),
(795),
(810),
(825),
(840),
(855),
(870),
(885),
(900),
(915),
(930),
(945),
(960),
(975),
(990),
(1005),
(1020),
(1035),
(1050),
(1065),
(1080),
(1095),
(1110),
(1125),
(1140),
(1155),
(1170),
(1185),
(1200),
(1215),
(1230),
(1245),
(1260),
(1275),
(1290),
(1305),
(1320),
(1335),
(1350),
(1365),
(1380),
(1395),
(1410),
(1425),
(1440),
(1455),
(1470),
(1485),
(1500),
(1515),
(1530),
(1545),
(1560),
(1575),
(1590),
(1605),
(1620),
(1635),
(1650),
(1665),
(1680),
(1695),
(1710),
(1725),
(1740),
(1755),
(1770),
(1785),
(1800),
(1815),
(1830),
(1845),
(1860),
(1875),
(1890),
(1905),
(1920),
(1935),
(1950),
(1965),
(1980),
(1995),
(2010),
(2025),
(2040),
(2055),
(2070),
(2085),
(2100),
(2115),
(2130),
(2145),
(2160),
(2175),
(2190),
(2205),
(2220),
(2235),
(2250),
(2265),
(2280),
(2295),
(2310),
(2325),
(2340),
(2355),
(2370),
(2385),
(2400),
(2415),
(2430),
(2445),
(2460),
(2475),
(2490),
(2505),
(2520),
(2535),
(2550),
(2565),
(2580),
(2595),
(2610),
(2625),
(2640),
(2655),
(2670),
(2685),
(2700),
(2715),
(2730),
(2745),
(2760),
(2775),
(2790),
(2805),
(2820),
(2835),
(2850),
(2865),
(2880),
(2895),
(2910),
(2925),
(2940),
(2955),
(2970),
(2985),
(3000),
(3015),
(3030),
(3045),
(3060),
(3075),
(3090),
(3105),
(3120),
(3135),
(3150),
(3165),
(3180),
(3195),
(3210),
(3225),
(3240),
(3255),
(3270),
(3285),
(3300),
(3315),
(3330),
(3345),
(3360),
(3375),
(3390),
(3405),
(3420),
(3435),
(3450),
(3465),
(3480),
(3495),
(3510),
(3525),
(3540),
(3555),
(3570),
(3585),
(3600),
(3615),
(3630),
(3645),
(3660),
(3675),
(3690),
(3705),
(3720),
(3735),
(3750),
(3765),
(3780),
(3795),
(3810),
(3825),
(3840),
(3855),
(3870),
(3885),
(3900),
(3915),
(3930),
(3945),
(3960),
(3975),
(3990),
(4005),
(4020),
(4035),
(4050)
) v271 (n)
CROSS APPLY
(
VALUES
(CAST(v246.n * 271 + v271.n + 1 AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 2 AS CHAR(8))),
(CAST('FIZZ' AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 4 AS CHAR(8))),
(CAST('BUZZ' AS CHAR(8))),
(CAST('FIZZ' AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 7 AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 8 AS CHAR(8))),
(CAST('FIZZ' AS CHAR(8))),
(CAST('BUZZ' AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 11 AS CHAR(8))),
(CAST('FIZZ' AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 13 AS CHAR(8))),
(CAST(v246.n * 271 + v271.n + 14 AS CHAR(8))),
(CAST('FIZZBUZZ' AS CHAR(8)))
) res (fizzbuzz)
UNION ALL
SELECT v.fizzbuzz
FROM (
VALUES
('999991'),
('999992'),
('FIZZ'),
('999994'),
('BUZZ'),
('FIZZ'),
('999997'),
('999998'),
('FIZZ'),
('BUZZ')
) v (fizzbuzz)
OPTION (MAXDOP 6, NO_PERFORMANCE_SPOOL);
Verwenden einer speicheroptimierten SQL Server 2014-Tabelle und einer systemeigenen kompilierten Prozedur:
Natives Verfahren:
Prüfung:
Typische Ergebnisse:
Dadurch wird die Prozedurausgabe in eine speicherinterne Tabellenvariable geschrieben, da ansonsten nur die Geschwindigkeit getestet wird, mit der die Ergebnisse in SSMS angezeigt werden.
Eine Million Zeilen
Die obige native Prozedur benötigt ungefähr 12 Sekunden , um mit 1.000.000 Nummern ausgeführt zu werden. In T-SQL gibt es alle möglichen schnelleren Möglichkeiten, dasselbe zu tun. Eine, die ich vorher geschrieben habe, folgt. Es läuft in ca. 500ms auf meinem Laptop auf einer Million Zeilen, wenn der vorgesehene Parallelplan erreicht ist:
quelle
Dieser läuft auf meinem Rechner genauso wie der erste (0ms). Ich bin nicht sicher, ob es schneller skalieren würde oder nicht.
quelle
Die beste Version, die ich mir ausgedacht habe, läuft in 30 ms auf meiner Maschine:
quelle
Laut sqlfiddle.com dauert dies 7 ms:
Verwendet keine Tabellen, gespeicherten Prozesse oder CTEs.
quelle
Ich habe eine vernünftige Version des nativ kompilierten gespeicherten Prozesses erhalten, der für 1 Million Zeilen in ~ 500-800 ms funktioniert. Dies ist eine T-SQL-Konvertierung des bitweisen Algorithmus von hier, mit ein wenig Hilfe von Adam Machanics Blog zu bitweisen Operationen hier .
Ich befolge (hoffentlich) die gleichen Regeln wie @ PaulWhites 500 ms / 1 Million Zeilenprozedur, dh ich erzeuge die Ergebnisse, zeige sie aber nicht an / gebe sie nicht als Teil des Timings weiter. Es müssen Hash-Indizes für die speicherinternen Tabellen für Geschwindigkeit und Bucket-Größen von 4.194.304 oder 8.388.608 sein, was für mich der Sweet Spot zu sein schien, obwohl dies offensichtlich eine hohe Anzahl leerer Bucket ergibt.
quelle
Ich fand und spielte mit dieser einzelnen Unterauswahl ohne CTE. max_elapsed_time in den Abfragestatistiken zeigt 1036
quelle
Ich nehme keinen Kredit für den Code wie geschrieben, ich wollte nur sehen, wie lange es dauern würde
Eine Milliarde Zeilen!
Die Antwort ist: ungefähr 10 Minuten.
quelle
PostgreSQL
PostgreSQL bietet
generate_series
eine Tabellenwertfunktion (Set-Returning-Funktion), die dies wesentlich vereinfacht. Ich gehe davon aus, dass Sie überhaupt nichts ausgeben möchten, wenn die Zahl weder 3 noch 5 drin ist.quelle