Beste Dateisystemauswahl für NFS zum Speichern von VMware-Disk-Images

11

Derzeit verwenden wir ein iSCSI-SAN als Speicher für mehrere VMware ESXi-Server. Ich untersuche die Verwendung eines NFS-Ziels auf einem Linux-Server für zusätzliche virtuelle Maschinen. Ich bin auch offen für die Idee, ein alternatives Betriebssystem (wie OpenSolaris) zu verwenden, wenn es signifikante Vorteile bietet.

Welches Linux-basierte Dateisystem bevorzugt sehr große zusammenhängende Dateien (wie VMware-Disk-Images)? Wie haben die Leute ZFS auf OpenSolaris für diese Art von Workload gefunden?

(Diese Frage wurde ursprünglich in SuperUser gestellt . Wenn Sie wissen, wie, können Sie die Antworten hier migrieren.)

mlambie
quelle

Antworten:

13

Ich würde Ihnen wirklich empfehlen, sich ZFS anzuschauen, aber um eine anständige Leistung zu erzielen, müssen Sie ein dediziertes Gerät als ZFS Intent Log (ZIL) verwenden. Grundsätzlich handelt es sich um ein kleines Gerät (einige GB), das extrem schnell schreiben kann (20-100 KB IOPS). Dadurch kann ZFS sofort bestätigen, dass Schreibvorgänge mit dem Speicher synchronisiert wurden. Warten Sie jedoch bis zu 30 Sekunden, um die Schreibvorgänge tatsächlich auf die Festplatten zu übertragen Ihr Pool. Im Falle eines Absturzes / Ausfalls werden alle nicht festgeschriebenen Transaktionen in der ZIL beim Mounten wiedergegeben. Daher möchten Sie möglicherweise zusätzlich zu einer USV ein Laufwerk mit einem internen Netzteil / Superkondensator, damit anstehende E / A-Vorgänge im Falle eines Stromausfalls dauerhaft gespeichert werden. Wenn Sie sich gegen ein dediziertes ZIL-Gerät entscheiden, können Schreibvorgänge eine hohe Latenz aufweisen, die zu allen möglichen Problemen führt. Vorausgesetzt, Sie interessieren sich nicht für Sun '

  • DDRDrive X1 - 4 GB DDR2 + 4 GB SLC-Flash in einer PCIe x1-Karte, die explizit für die Verwendung mit ZIL entwickelt wurde. Schreibvorgänge gehen in den Arbeitsspeicher. Im Falle eines Stromausfalls wird der Arbeitsspeicher in <60 Sekunden von einem Superkondensator mit NAND synchronisiert. (50.000 bis 300.000 IOPS; 2000 USD direkt, 1500 USD für .edu)
  • Intel X25-E 32 GB 2,5-Zoll-SSD (SLC, aber keine Superkappe, 3300 Schreib-IOPS); [$ 390 @ Amazon] [11]
  • OCZ Vertex 2 Pro 40 GB 2,5-Zoll-SSD (Supercap, aber MLC, 20k-50k-Schreib-IOPS); $ 435 @ Amazon .

Sobald Sie OpenSolaris / Nexenta + ZFS eingerichtet haben, gibt es einige Möglichkeiten, Blöcke zwischen Ihrer OpenSolaris- und ESX-Box zu verschieben. Was für Sie richtig ist, hängt stark von Ihrer vorhandenen Infrastruktur (L3-Switches, Glasfaserkarten) und Ihren Prioritäten (Redundanz, Latenz, Geschwindigkeit, Kosten) ab. Da Sie jedoch keine speziellen Lizenzen benötigen, um die iSCSI / FC / NFS-Funktionalität freizuschalten, können Sie alles bewerten, wofür Sie Hardware haben, und Ihren Favoriten auswählen:

  • iSCSI-Ziele (CPU-Overhead; keine TOE-Unterstützung in OpenSolaris)
  • Fibre Channel Targets (Fibre Cards sind nicht billig)
  • NFS (VMWare + NFS kann schwierig sein, auf 32 Bereitstellungen beschränkt)

Wenn Sie keine 500 US-Dollar für die Evaluierung ausgeben können, testen Sie mit und ohne deaktiviertem ZIL , ob der ZIL ein Engpass ist. (Es ist wahrscheinlich). Mach das nicht in der Produktion . Spielen Sie noch nicht mit der ZFS-Deduplizierung, es sei denn, Sie haben auch viel RAM und eine SSD für L2ARC. Es ist auf jeden Fall schön, wenn Sie es einmal eingerichtet haben, aber Sie versuchen auf jeden Fall, NFS-Tuning durchzuführen, bevor Sie mit Dedup spielen. Sobald die 1-2-Gb-Links gesättigt sind, gibt es Wachstumschancen bei 8-Gb-FC, 10-GigE und Infiniband, die jedoch selbst für die Bewertung eine erhebliche Investition erfordern.

notpeter
quelle
2

Ich würde nicht genau das tun. Nach meiner Erfahrung ist Linux (speziell CentOS 3/4/5) eine allgemein schlechte Wahl für einen NFS-Server. Ich hatte mehrere und stellte fest, dass unter Last, Latenz und Durchsatz aus Gründen, die wir nie ganz in den Griff bekommen konnten, tendenziell sinken.

In unseren Fällen haben wir die Leistung von Linux hintereinander mit Solaris (unter Ultra-SPARC) und NetApp verglichen. Beides ergab Ergebnisse in Bezug auf die Leistung von Äpfeln zu Äpfeln und in nebulösen Begriffen: "Ingenieure beschweren sich nicht annähernd so viel über die Latenz, wenn der Server unter Last war". Es gab mehrere Versuche, den Linux-NFS-Server zu optimieren. Sowohl das NetApps- als auch das Solaris-System wurden sofort wie sie sind ausgeführt. Und da sowohl das Solaris- als auch das NetApp-System älter waren, konnte behauptet werden, dass die Linux-Server alle Vorteile hatten und dennoch nicht überzeugten.

Wenn Sie Zeit haben, lohnt es sich, die gleiche Hardware mit OpenSolaris (jetzt, wo Solaris effektiv zu teuer ist), Linux und vielleicht einer oder zwei BSD-Varianten einzurichten und sie zu testen. Wenn Sie einige Leistungsmetriken erstellen können (z. B. Anzahl der Festplatten-E / A in einer VM, die außerhalb des Stores gehostet wird), kann dies zu einem interessanten Whitepaper oder Internetartikel führen. (Wenn du die Zeit hast.)

In Bezug auf NFS im Allgemeinen sagten mir die NetApp-Mitarbeiter mehrmals, dass ihre Benchmarks zeigten, dass NFS nur 5 bis 10% der Leistung für VMs kostet - und wenn Ihre Anwendung so sensibel war, dass dies ein Problem darstellt, sollten Sie nicht virtualisieren es in erster Linie.

Aber ich sollte gestehen, dass unsere nicht lokalen Produktions-VM-Stores nach all der Zeit und den Tränen alle von iSCSI gespeist werden, hauptsächlich von NetApp.

David Mackintosh
quelle
Ich denke, es ist NetApp, das mit NFS begann und später die iSCSI-Unterstützung einschaltete. Daher sehen ihre Produkte immer die NFS-Leistung im besten Fall im Vergleich zum iSCSI im schlechtesten Fall eine bessere Wahl IMO.
Chris Thorpe
2

Wir verwenden OpenSolaris 2009/06 mit einer RAID 10 ZFS-Konfiguration, um NFS für unseren VMWare ESXi-Server bereitzustellen. Es funktioniert ziemlich gut für unsere Bedürfnisse bisher. Wir verwenden Laufwerke vom Typ SATA Raid (Seagate ES.2 1 TB-Laufwerke). Wir müssen jedoch noch einige Anpassungen vornehmen.

Tegbains
quelle
2

Ich bin ein großer Fan von NFS-Datenspeichern für VMware. NetApp hat eine hervorragende Implementierung.

TR-3808 vergleicht die Skalierung von gemeinsam genutzten gemeinsam genutzten Datenspeichern mit NetApp FC, iSCSI und NFS.

Chamdor
quelle
-2

Vielleicht möchten Sie den mehr als 3-jährigen Fehler mit ZFS ARC in Betracht ziehen, der immer noch besteht, bevor Sie mit ZFS zu tief eintauchen ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(Dieser ist böse, da er auch außerhalb der VM-Grenzen eines Hypervisors liegt!)

user48838
quelle
Sie haben dieselbe "Antwort" auf mindestens zwei verschiedene Fragen im Zusammenhang mit Nexenta kopiert / eingefügt. Obwohl dies ein schwerwiegender Fehler ist, würde man ihn nur unter sehr seltenen Umständen antreffen. Daher wirken Ihre Handlungen etwas übertrieben. Die Vorteile von ZFS überwiegen bei weitem die sehr geringe Wahrscheinlichkeit, dass Sie auf diesen Fehler stoßen.
EEAA
Okay, stellen Sie diese 8 separaten Fragen, in die Sie dieselbe Antwort eingefügt haben.
EEAA
Sie sind verwandt, aber das ist Ihre Meinung. Ich bin mit den Vorteilen einverstanden, aber die Auswirkungen dieses ausstehenden / anhaltenden Fehlers sind erheblich, da das gesamte Betriebssystem zum Erliegen kommt - keine Vorteile, wenn Sie nicht zuverlässig auf die gespeicherten Daten zugreifen können.
Benutzer48838
Für die Leute, die dies wirklich fair für die allgemeine Nützlichkeit dieses Forums / Formats bewerten möchten, lesen Sie bitte zuerst den Kommentar zu folgendem: serverfault.com/questions/162693/…
user48838
ErikA wird sein ZFS-Rig NICHT identifizieren, daher können die Kommentare dieser Person zu der Situation, die in der unter "sehr seltenen Umständen" genannten Frage identifiziert wurde, von dieser Person nicht begründet werden ... Die Entscheidung, Anfragen zur Identifizierung des zu ignorieren Grundlage ihrer Aussage / Position sind auch diese Kommentare.
Benutzer48838