Ich werde mich bemühen, dies so zu formulieren, dass es nicht als Einkaufsliste gilt.
Wir führen seit einiger Zeit erfolgreich eine Entwicklungs- / Test-ESXi-Umgebung mit einigen Dell PE2950III-Servern über ein HP MSA2012fc Starter Kit (mit dem Brocade-basierten HP Class B SAN-Switch) aus. Dies hat bei uns sehr gut funktioniert, aber da wir uns in der Entwicklung / im Test befinden, gibt es verschiedene Einschränkungen hinsichtlich der Verfügbarkeit / Leistung.
In jedem Fall hat der wahrgenommene Erfolg der Entwicklungs- / Testplattform dazu geführt, dass eine „produktionsbereite“ Virtualisierungsplattform gefordert wurde. Wir arbeiten derzeit an den Empfehlungen.
Eine der Beschwerden auf dem vorhandenen Stack ist jedoch die mangelnde Unterstützung für andere Virtualisierungstechnologien (HyperV, Xen usw.), da die SAN-LUNs vollständig zugewiesen und als VMFS formatiert sind. Dies ist etwas, das wir überwinden sollen, aber wie es typisch ist, gibt es keinen Hinweis auf die Aufnahme von HyperV / Xen (und wir möchten die "teure" Speicherressource nicht besonders verschwenden, indem wir LUNs dort zuweisen, wo sie vorhanden sind wird nicht verwendet).
Daher besteht unsere derzeitige Denkweise darin, auf das herkömmliche Glasfaser-SAN zugunsten einer einfachen CentOS-Box (wahrscheinlich HP ProLiant DL380p Gen8 der höheren Preisklasse) zu verzichten, auf der NFS- und Samba / CIFS-Dämonen mit einem 10-GbE-Switch (wahrscheinlich) ausgeführt werden Cisco Nexus 5000/5500-Serie).
Die Argumentation ist, dass die ESXi-Köpfe NFS und die HyperV-Köpfe CIFS sprechen könnten, aber beide letztendlich auf die gleichen XFS / RAID1 + 0-Volumes verweisen.
Jetzt bin ich nicht grün genug, um zu glauben, dass ich mit 10 GbE einen echten 10-Gigabit-E / A-Durchsatz zwischen den Köpfen und den Festplatten erzielen kann, aber ich weiß nicht, von welchen Overheads ich erwarten kann die NFS- und CIFS-Implementierungen (und alle anderen Bits, die möglicherweise stören, wenn mehr als ein Host versucht, mit ihm zu kommunizieren).
Ich bin die Hoffnung, zumindest get in der Nähe von der anhaltenden Platte Lese- / Schreibgeschwindigkeiten von Direct-Attached - Platten, aber für so viele Hosts wie ich kann. Wenn ich mir die Websites verschiedener Laufwerkshersteller anschaue, gehe ich davon aus, dass dies irgendwo um die 140-160 MB / s-Marke liegt (wenn ich weit weg bin, lassen Sie es mich bitte wissen).
Was Empfehlungen / Richtlinien / weiterführende Literatur kann jemand Angebot in Bezug auf Linux / NFS / Samba oder 10GbE - Switch - Konfiguration , dass könnte diese Hilfe erlangen?
quelle
Antworten:
Ich verstehe den Wunsch, vom reinen Blockspeicher zu etwas Flexiblerem überzugehen.
Ich würde jedoch vermeiden, dafür einen direkten Linux-Speicherstapel zu verwenden, wenn derzeit mehrere Software-Angebote für Speichergeräte verfügbar sind. Ein Linux-Ansatz könnte funktionieren, aber der Mangel an Verwaltungsfunktionen / -unterstützung, die erforderliche XFS-Optimierung ( hier und hier ) und die Tatsache, dass es sich nicht um ein speziell entwickeltes Speicherbetriebssystem handelt, sind Nachteile.
Hinzu kommen einige unangenehme Probleme mit dem XFS / RHEL-Code-Betreuer und ein böser Kernel-Fehler, der sich auf den Durchschnitt der Systemlast auswirkt, und die von Ihnen beschriebene Linux-Kombination wird weniger ansprechend.
Ein reines Linux könnte für diesen Zweck gut funktionieren, aber das Setup würde sicherlich außerhalb der Norm liegen und möglicherweise esoterische Lösungen wie ZFS unter Linux oder das nicht so bereit für die Primetime bereitgestellte Btrfs verwenden . Mehr dazu später.
Ich mache dies häufig und entscheide mich für NFS auf ZFS-basiertem Speicher für die meisten meiner VMware-Bereitstellungen im Vergleich zu einem SAN der Einstiegsklasse wie dem HP P2000-Array. Ich erweitere die ZFS-Installation mit SSD- und DRAM-Cache-Geräten mit L2ARC (Lesen) und ZIL (Schreiben). Außerdem verwende ich seit vier Jahren 10 GbE mit dieser Art von Setup.
Ich werde mich im Moment auf NexentaStor konzentrieren , da dies die Appliance-Software ist, die ich die meiste Zeit benutze ...
Ich habe zahlreiche HP ProLiant-basierte Systeme für ZFS-Speicher erstellt, von All-in-One-VMware-Hosts über eigenständige DL380-Speicher- "Appliances" bis hin zu vollständigen Mehrweg -SAS-Verbindungen zu kaskadierten Speicher-JBOD-Einheiten ( vorne und hinten ).
NexentaStor und NFS / CIFS.
Nexenta unterstützt die Präsentation von Datei- UND Blockspeicher für externe Systeme. Ich kann einen Pool von 24 Festplatten verwenden und Hosts, die nativen Blockspeicher benötigen, iSCSI-Speicher, NFS für meine VMware ESXi-Infrastruktur und CIFS für eine Handvoll Windows-Clients bereitstellen. Der Raum wird effizient genutzt und aus dem Speicher des Pools herausgeschnitten. ZB keine künstlichen Kappen. Die Komprimierung ist transparent und hilft in VM-Szenarien enorm (weniger, um sich über das Kabel zu bewegen).
10 GbE hilft, hängt jedoch davon ab, was Sie Ihren Virtualisierungshosts präsentieren. Werden sie auch 1 GbE oder 10 GbE sein?
Benchmarks:
Ich werde einen kurzen Test einer virtuellen Gastmaschine ausführen, die auf einem ESXi-Host ausgeführt wird, der über 10 GbE mit einem NexentaStor-SAN verbunden ist.
Dies geht zu einem 6-Platten-Array. (in einem HP D2600-Gehäuse - 600 GB 15 KB SAS)
Dies geht an ein ausgelastetes 16-Festplatten-Array (in einem HP D2700-Gehäuse - 300 GB 10k SAS).
Die E / A-Diagramme aus demselben Lauf ... Kilobyte / Sekunde und IOPS-Messungen.
quelle
Die Verwendung eines Linux-Hosts, der CIFS-Speicher für Hyper-V-Hosts bereitstellt, ist nicht sinnvoll und wird von Microsoft definitiv nicht unterstützt. Wenn Sie über etwas so Wichtiges wie Virtualisierung für geschäftskritische Infrastrukturen sprechen, möchten Sie auf jeden Fall Unterstützung von Anbietern.
Sie müssen Ihren Hyper-V-Servern entweder traditionelleren iSCSI- oder Fibre Channel-Speicher bereitstellen, oder wenn Sie Windows 2012 ausführen möchten, können Sie Windows 2012-Speicherdienste verwenden, um Ihren Hosts iSCSI bereitzustellen.
Eine andere Möglichkeit besteht darin, Windows 2012 oder etwas Ähnliches wie Nexenta als virtuellen Gast in Ihrer VMWare-Infrastruktur auszuführen, um Ihren Hyper-V-Gästen iSCSI bereitzustellen. Es ist nicht die leistungsstärkste Konfiguration, aber es ist auch nicht schlecht. Da Ihr Hyper-V-Footprint klein bis nicht vorhanden ist, kann dies ein guter Kompromiss für maximale Flexibilität ohne dedizierte LUN sein.
Andernfalls müssen Sie sich für etwas entscheiden, das Ihre LUNs vollständig virtualisiert hat, wie z. B. ein HP LeftHand SAN. Mit LeftHand sind Festplatten keiner LUN zugeordnet. Stattdessen werden alle LUNs auf alle Festplatten verteilt. Es klingt ein bisschen seltsam, aber es ist ein gutes Produkt.
quelle
Es ist wahrscheinlich teilweise mein Hintergrund und meine Erfahrung, hier zu sprechen, aber ich würde keine selbstgebraute Serverlösung für die Speicherung virtueller Maschinen in einer "Produktions" - oder "Unternehmens" -Umgebung empfehlen.
Ich würde mir die gängigen Speicheranbieter ansehen, die eine SAN-Lösung anbieten könnten, aber mit zwei hochverfügbaren NAS-Köpfen, um das zugrunde liegende Dateisystem auf unterstützte, zertifizierbare Weise als NFS / CIFS zu exportieren.
quelle