Ich bin ziemlich neu in Ceph und versuche herauszufinden, ob Ceph Raid-HBAs auf Hardware-Ebene unterstützt.
Leider konnten keine Informationen gefunden werden. Was ich gefunden habe ist, dass es empfohlen wird, einfache Festplatten für OSD zu verwenden. Dies drängt jedoch die Anforderungen an die PCIe, die Schnittstellen der Festplatte auf hohe Bandbreiten und die CPU-Anforderungen sind sehr hoch. Hardware-RAID-Controller haben diese Anforderungen bereits gelöst und bieten eine hohe Redundanz basierend auf den Setups, ohne meine PCIe, CPU oder andere Ressourcen zu verbrauchen.
Mein gewünschtes Setup wäre also, lokale RAID-Controller zu haben, die meine Festplattenredundanz auf Controller-Ebene (Raid 5, RAID 6) verarbeiten, unabhängig davon, welche RAID-Ebene ich benötige. Zusätzlich zu den RAID-LUNs möchte ich ceph verwenden, um die höhere Replikationsstufe zwischen Host, Chassis, Rack, Row, Rechenzentrum oder was auch immer in CRUSH möglich oder planbar ist, durchzuführen
Irgendwelche Erfahrungen in diesem Setup?
Ist es ein empfohlenes Setup?
Gibt es eine ausführliche Dokumentation für diese Hardware-RAID-Integration?
quelle
Nicht wirklich, viele Speicher-Workloads werden mit modernen Allzweck-CPUs und -Verbindungen gut bedient.
Ja, ein RAID-Controller sorgt für Redundanz mit einer Handvoll Festplatten in einem Gehäuse. Dies ist jedoch kosten- und komplex, wenn Sie bereits redundante verteilte Speicherlösungen mit mehreren Knoten wie Ceph ausführen. Warum sollte man sich die Mühe machen, eine physische Festplatte zu spiegeln, wenn Ceph bereits mehrere Kopien davon hat?
Die Bausteine einer solchen Lösung sind nur ein paar Festplatten. Wie Öffnen des Compute Speicher Öffnen Vault. 30 Spindeln in einem Gehäuse, die an einen Rechenknoten von vielleicht ein paar Dutzend CPU-Kernen angeschlossen sind. Fügen Sie so viele Knoten hinzu, wie Sie zum Skalieren benötigen. Sie können diese Berechnung Ceph widmen, wenn Sie den Durchsatz maximieren möchten.
quelle
Die empfohlene Einrichtung besteht darin, einzelne Festplatten oder eventuell Festplatten in RAID-1-Paaren zu verwenden.
Ein einzelner SAS-Controller (oder ein RAID-Controller im JBOD-Modus) kann problemlos mehrere hundert Festplatten betreiben.
Die Verwendung sehr großer Arrays macht den eigentlichen Zweck von CEPH zunichte, nämlich einzelne Fehlerpunkte und "Hot Points" zu vermeiden. Es wird auch tatsächlich Ihre Redundanz schädigen.
Angenommen, Sie möchten einen 1-PB-CEPH-Cluster mit 8-TB-Laufwerken und 36 Server-Chassis (normale Supermicro-ähnliche Hardware) erstellen. Vergleichen wir die Setups mit und ohne RAID hinsichtlich Speicherkapazität und Zuverlässigkeit:
Mit RAID-6 benötigen Sie 5 Chassis (und 10 OSDs).
Mit CEPH und 5 Chassis haben Sie 180 OSDs.
quelle