Beste Dateisystemauswahl für NFS zum Speichern von VMware-Disk-Images

Derzeit verwenden wir ein iSCSI-SAN als Speicher für mehrere VMware ESXi-Server. Ich untersuche die Verwendung eines NFS-Ziels auf einem Linux-Server für zusätzliche virtuelle Maschinen. Ich bin auch offen für die Idee, ein alternatives Betriebssystem (wie OpenSolaris) zu verwenden, wenn es signifikante Vorteile bietet.

Welches Linux-basierte Dateisystem bevorzugt sehr große zusammenhängende Dateien (wie VMware-Disk-Images)? Wie haben die Leute ZFS auf OpenSolaris für diese Art von Workload gefunden?

(Diese Frage wurde ursprünglich in SuperUser gestellt . Wenn Sie wissen, wie, können Sie die Antworten hier migrieren.)

Ich würde Ihnen wirklich empfehlen, sich ZFS anzuschauen, aber um eine anständige Leistung zu erzielen, müssen Sie ein dediziertes Gerät als ZFS Intent Log (ZIL) verwenden. Grundsätzlich handelt es sich um ein kleines Gerät (einige GB), das extrem schnell schreiben kann (20-100 KB IOPS). Dadurch kann ZFS sofort bestätigen, dass Schreibvorgänge mit dem Speicher synchronisiert wurden. Warten Sie jedoch bis zu 30 Sekunden, um die Schreibvorgänge tatsächlich auf die Festplatten zu übertragen Ihr Pool. Im Falle eines Absturzes / Ausfalls werden alle nicht festgeschriebenen Transaktionen in der ZIL beim Mounten wiedergegeben. Daher möchten Sie möglicherweise zusätzlich zu einer USV ein Laufwerk mit einem internen Netzteil / Superkondensator, damit anstehende E / A-Vorgänge im Falle eines Stromausfalls dauerhaft gespeichert werden. Wenn Sie sich gegen ein dediziertes ZIL-Gerät entscheiden, können Schreibvorgänge eine hohe Latenz aufweisen, die zu allen möglichen Problemen führt. Vorausgesetzt, Sie interessieren sich nicht für Sun '

• DDRDrive X1 - 4 GB DDR2 + 4 GB SLC-Flash in einer PCIe x1-Karte, die explizit für die Verwendung mit ZIL entwickelt wurde. Schreibvorgänge gehen in den Arbeitsspeicher. Im Falle eines Stromausfalls wird der Arbeitsspeicher in <60 Sekunden von einem Superkondensator mit NAND synchronisiert. (50.000 bis 300.000 IOPS; 2000 USD direkt, 1500 USD für .edu)
• Intel X25-E 32 GB 2,5-Zoll-SSD (SLC, aber keine Superkappe, 3300 Schreib-IOPS); [$ 390 @ Amazon] [11]
• OCZ Vertex 2 Pro 40 GB 2,5-Zoll-SSD (Supercap, aber MLC, 20k-50k-Schreib-IOPS); $ 435 @ Amazon .

Sobald Sie OpenSolaris / Nexenta + ZFS eingerichtet haben, gibt es einige Möglichkeiten, Blöcke zwischen Ihrer OpenSolaris- und ESX-Box zu verschieben. Was für Sie richtig ist, hängt stark von Ihrer vorhandenen Infrastruktur (L3-Switches, Glasfaserkarten) und Ihren Prioritäten (Redundanz, Latenz, Geschwindigkeit, Kosten) ab. Da Sie jedoch keine speziellen Lizenzen benötigen, um die iSCSI / FC / NFS-Funktionalität freizuschalten, können Sie alles bewerten, wofür Sie Hardware haben, und Ihren Favoriten auswählen:

• iSCSI-Ziele (CPU-Overhead; keine TOE-Unterstützung in OpenSolaris)
• Fibre Channel Targets (Fibre Cards sind nicht billig)
• NFS (VMWare + NFS kann schwierig sein, auf 32 Bereitstellungen beschränkt)

Wenn Sie keine 500 US-Dollar für die Evaluierung ausgeben können, testen Sie mit und ohne deaktiviertem ZIL , ob der ZIL ein Engpass ist. (Es ist wahrscheinlich). Mach das nicht in der Produktion . Spielen Sie noch nicht mit der ZFS-Deduplizierung, es sei denn, Sie haben auch viel RAM und eine SSD für L2ARC. Es ist auf jeden Fall schön, wenn Sie es einmal eingerichtet haben, aber Sie versuchen auf jeden Fall, NFS-Tuning durchzuführen, bevor Sie mit Dedup spielen. Sobald die 1-2-Gb-Links gesättigt sind, gibt es Wachstumschancen bei 8-Gb-FC, 10-GigE und Infiniband, die jedoch selbst für die Bewertung eine erhebliche Investition erfordern.

Ich würde nicht genau das tun. Nach meiner Erfahrung ist Linux (speziell CentOS 3/4/5) eine allgemein schlechte Wahl für einen NFS-Server. Ich hatte mehrere und stellte fest, dass unter Last, Latenz und Durchsatz aus Gründen, die wir nie ganz in den Griff bekommen konnten, tendenziell sinken.

In unseren Fällen haben wir die Leistung von Linux hintereinander mit Solaris (unter Ultra-SPARC) und NetApp verglichen. Beides ergab Ergebnisse in Bezug auf die Leistung von Äpfeln zu Äpfeln und in nebulösen Begriffen: "Ingenieure beschweren sich nicht annähernd so viel über die Latenz, wenn der Server unter Last war". Es gab mehrere Versuche, den Linux-NFS-Server zu optimieren. Sowohl das NetApps- als auch das Solaris-System wurden sofort wie sie sind ausgeführt. Und da sowohl das Solaris- als auch das NetApp-System älter waren, konnte behauptet werden, dass die Linux-Server alle Vorteile hatten und dennoch nicht überzeugten.

Wenn Sie Zeit haben, lohnt es sich, die gleiche Hardware mit OpenSolaris (jetzt, wo Solaris effektiv zu teuer ist), Linux und vielleicht einer oder zwei BSD-Varianten einzurichten und sie zu testen. Wenn Sie einige Leistungsmetriken erstellen können (z. B. Anzahl der Festplatten-E / A in einer VM, die außerhalb des Stores gehostet wird), kann dies zu einem interessanten Whitepaper oder Internetartikel führen. (Wenn du die Zeit hast.)

In Bezug auf NFS im Allgemeinen sagten mir die NetApp-Mitarbeiter mehrmals, dass ihre Benchmarks zeigten, dass NFS nur 5 bis 10% der Leistung für VMs kostet - und wenn Ihre Anwendung so sensibel war, dass dies ein Problem darstellt, sollten Sie nicht virtualisieren es in erster Linie.

Aber ich sollte gestehen, dass unsere nicht lokalen Produktions-VM-Stores nach all der Zeit und den Tränen alle von iSCSI gespeist werden, hauptsächlich von NetApp.

Wir verwenden OpenSolaris 2009/06 mit einer RAID 10 ZFS-Konfiguration, um NFS für unseren VMWare ESXi-Server bereitzustellen. Es funktioniert ziemlich gut für unsere Bedürfnisse bisher. Wir verwenden Laufwerke vom Typ SATA Raid (Seagate ES.2 1 TB-Laufwerke). Wir müssen jedoch noch einige Anpassungen vornehmen.

Ich bin ein großer Fan von NFS-Datenspeichern für VMware. NetApp hat eine hervorragende Implementierung.

TR-3808 vergleicht die Skalierung von gemeinsam genutzten gemeinsam genutzten Datenspeichern mit NetApp FC, iSCSI und NFS.

Vielleicht möchten Sie den mehr als 3-jährigen Fehler mit ZFS ARC in Betracht ziehen, der immer noch besteht, bevor Sie mit ZFS zu tief eintauchen ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(Dieser ist böse, da er auch außerhalb der VM-Grenzen eines Hypervisors liegt!)