Hardware-Empfehlungen für ein DIY-Speichersystem basierend auf ZFS [geschlossen]

8

Sie möchten den alten Server als Proof-of-Concept verwenden, der im Leerlauf liegt. Hier sind die technischen Daten von Dell PE 2900: Xeon 5110 - 2P, 12 GB RAM, 8 x 300 GB, 15 KB Laufwerke, Perc 5i + 256 MB Cache

Welches zusätzliche H / W wird auf dem Server und den Hosts benötigt? 1 GB Ethernet-Karte, 1 GB Switch?

Es gibt 4 ESX-Server, die eine Verbindung zu diesem Speicherserver herstellen können (iSCSI oder NFS).

Was ist Software wird empfohlen? Opensolaris? Nexenta Community Edition? FreeNAS?

schätzen alle Links zu Anleitungen, Tutorials.

Maruti

virtualization solaris storage vmware-esx zfs John-ZFS
quelle
Nachdem Sie die Frage so weit bearbeitet haben, dass sie keine Ähnlichkeit mit der Originalversion hat, sollten Sie möglicherweise auch den Titel aktualisieren.
John Gardeniers
Dies ist keine vollständige Antwort, aber OpenFiler erledigt hervorragende iSCSI-Serving-Aufgaben für 9 ESX-Hosts auf unserer Site, die auf einem alten Computer mit ein paar GB RAM ausgeführt werden.
Chris Thorpe
Kann ich fragen, welche Hardware verwendet wird? wie Netzwerkgeräte: Switch etc? und welche E / A-Geschwindigkeiten erleben Sie?
John-ZFS

Antworten:

4

Installieren Sie eine aktuelle Entwicklungsversion von OpenSolaris (b134).

Wenn Sie Leistung wünschen, erstellen Sie 4 gespiegelte vdevs mit diesen acht Festplatten.

Verwenden Sie für eine noch bessere Leistung zwei gespiegelte SLC-SSDs als Protokollgerät und eine zusätzliche SSD als Cache.

Giovanni Tirloni
quelle
Opensolaris dev build: Wofür steht "ai"?
John-ZFS
"AI" steht für "Automated Installer", ein System ähnlich wie Jumpstart. Zu diesem Zeitpunkt ist es experimentell. Wenn Sie es nicht testen oder eine automatisierte Netzwerkinstallation durchführen möchten, können Sie sich an die Nicht-AI-ISOs halten.
Giovanni Tirloni
26

Für ZFS gibt es eine Reihe von Faktoren, die zu den Gesamtkosten, der Leistung und Ihrer Zufriedenheit mit dem von Ihnen erstellten System beitragen.

UNTERSTÜTZUNG Wenn Sie jemanden anrufen müssen, wenn Sie Probleme haben, kaufen Sie keine Sun 7000 Unified Storage-Appliance. Sie sind etwas teuer, aber Sie bekommen, wofür Sie bezahlen. Hochwertige Hardware mit aktuellem OpenSolaris-Code in Appliance-Form ... oh und Analytics ist ein Traum. Nur so können Sie OpenSolaris-Support von Oracle kaufen, und Sie haben relativ tiefe Gespräche mit Ihrem Oracle-Mitarbeiter, es könnte sich lohnen. (Es war für mich bei der Arbeit)

SOFTWARE Da Solaris 10 nicht über die neuesten ZFS-Funktionen verfügt (Dedup, nicht gespiegeltes ZIL, COMSTAR iSCSI / FibreChannel-Ziel usw.), möchten Sie etwas ausführen, das auf den OpenSolaris-Bits basiert. Da OpenSolaris selbst tot ist und es noch keine vollständige Verteilung um Illumos gibt, sollten Sie Nexenta in Betracht ziehen. Es ist im Grunde OpenSolaris Kernel + Debian Userland (apt). Die Nexenta Core Platform ist für die unbegrenzte Nutzung kostenlos. Wenn Sie jedoch bereit sind, für den Support zu zahlen, sollten Sie NexentaStor in Betracht ziehen, obwohl ich kein Fan von $$ pro TB bin (unbefristete Lizenzen beginnen bei 800 $ + 75 $ / TB).

MIRRORED vs RAIDZ1 / RAIDZ2 Grundsätzlich ein Kampf zwischen IOPS und Kapazität bei gleicher Anzahl von Laufwerken. Wenn Sie bei großen Festplatten (1-2 TB) der Meinung sind, dass die Spiegelung zu teuer ist, sollten Sie auf jeden Fall die doppelte Parität (RAIDZ2) wählen, da die Wiederherstellungszeiten mit Multi-TB-Arrays leicht länger als ein Tag sein können. (Mehr: ZFS: Mirror vs. RAID-Z ). Redundanz nicht vergessen! = Backups.

DRIVES Ich empfehle Ihnen, darüber nachzudenken, Ihren Speicher aus Ihrem Servergehäuse herauszubrechen. SuperMicro macht einige schöne Hüllen, aber Sie werden unweigerlich mehr Speicherplatz benötigen, als in Ihre Hülle passt. Beginnen Sie mit einem anständigen SAS-Gehäuse und kaufen Sie ein anderes, wenn Sie es erweitern. Ich würde SATA-Laufwerke mit 7200 U / min über 10k-15k SAS-Laufwerke kaufen. Mehr oder gespiegelte Spindeln übertreffen schnell teure Festplatten mit ZFS für das gleiche Geld.

Speicher Kaufen Sie viel RAM. Mindestens 12-16 GB, doppelt / dreifach, wenn Sie Dedup in Betracht ziehen möchten.

SSDs Wenn Sie iSCSI oder NFS für die Speicherung virtueller Maschinen verwenden, kaufen Sie auf jeden Fall ein High-End-Gerät für ZIL, um synchrone Schreibvorgänge zu beschleunigen (siehe: meine Antwort auf eine vorherige Frage ). Kaufen Sie eine / mehrere anständige MLC-SSDs, damit L2ARC als sekundärer Lese-Cache fungiert. Wenn Sie Dedup durchführen, möchten Sie, dass SSDs für L2ARC groß genug sind, um in Ihre Deduplizierungstabellen zu passen.

BEREITSTELLUNG ZFS macht die Thin-Bereitstellung eines Dateisystems so einfach wie das Erstellen eines Verzeichnisses in den meisten Umgebungen. zfs create -V 40g pool/fsnamedann zfs set shareiscsi=on pool/fsnameund du bist fertig. Das Klonen eines vorhandenen Systems ist ähnlich einfach wie mit einem Snapshot. 'Zfs snapshot pool / fsname @ snapname; zfs clone pool / fsname @ snapname pool / newfsname '. Diese Operationen sind schnell (0 - 5 Sekunden).

Aktualisieren Sie den 10.07.2010, um Empfehlungen zur Verwendung Ihrer Hardware wiederzugeben:

Da der Perc6 die direkte Übergabe der Festplatten als bloße Festplatten nicht unterstützt ( Diskussion ), müssen Sie 8 RAID 0-Arrays für einzelne Festplatten erstellen. Verwenden Sie zwei als gespiegeltes Paar und installieren Sie dort Ihr Root-Volume. Verwenden Sie die verbleibenden sechs als gestreiften Satz von 3 gespiegelten Paaren (denken Sie an RAID10) nach dem ersten Start durch Ausführen zpool create poolName mirror c0t0d0 c0t1d0 mirror c0t2d0 c0t3d0 mirror c0t4d0 c0t5d0(ersetzen Sie Ihre Diskid, indem Sie sich die Ausgabe des Befehls 'format' ansehen). Hinweis: Da der PERC möglicherweise neu nummeriert wird, wenn nach dem Neustart eine ausgefallene Festplatte (und damit der zugehörige RAID0-Satz) fehlt, sollten Sie die Laufwerksserien / cXtXdX / Steckplätze und das Dokument / Etikett entsprechend notieren. Hoffentlich werden Sie es nie brauchen, aber wenn Sie diese Informationen haben, ist es weniger schmerzhaft, wenn Sie jemals die Festplatten migrieren müssen oder eine gute Wiederherstellung verbieten müssen.

Vor der Übernahme von Oracle hätte ich OpenSolaris definitiv gegenüber der Nexenta Core Platform empfohlen, aber jetzt würde ich mich definitiv zu Nexenta CP neigen. Sie sind im Grunde die einzigen, die seit der Veröffentlichung von OpenSolaris b134 im März 2010 regelmäßig Updates durchführen. Eine Migration Ihres ZFS-Pools zwischen ist möglich, hängt jedoch nur von der Version von ZFS auf der Festplatte ab, die Sie zum Zeitpunkt der Poolerstellung angeben können ( Diskussion siehe 3. Nachricht ). . Ich habe noch nie FreeNAS oder EON verwendet und kann sie daher nicht kommentieren.

Was NFS und COMSTAR iSCSI betrifft, sollten Sie beide über Gigabit mit Jumbo-Frames testen. AFAIK, OpenSolaris / Nexenta unterstützen keine Hardware-TOE für NICs. Wenn Sie jedoch die TOE-fähigen NICs auf der VMWare-Seite haben, reduzieren sie den CPU-Overhead für iSCSI. Sie können mit direkt verkabelten Frequenzweichen testen, aber für Multi-Hosts benötigen Sie einen Gigabit-Switch, der Jumbo-Frames unterstützt (optimalerweise ein iSCSI-optimiertes VLAN auf einem Layer3-Switch). Wenn Sie einen Fibre-Card-Test haben, zielen auch COMSTAR Fibre Channel-Ziele.

Um die Hybridspeicherfunktionen von ZFS (HDD + SSD) zu nutzen, würde ich Ihre Nutzung ohne ein dediziertes ZIL-Gerät simulieren und prüfen, ob die Leistung gut genug ist (gestreifte / gespiegelte 15k-SAS-Festplatten sind möglicherweise ausreichend). Wenn nicht, deaktivieren Sie bei der Einrichtung einer / mehrerer NON PRODUCTION VMs vorübergehend die ZIL und messen Sie die Leistung erneut. Wenn Ihre Leistung viel besser ist, ist der ZIL ein Engpass für Ihr Setup und ein dediziertes ZIL-Gerät wäre das Geld wert. Das DDRDrive X1 ($ 2000, $ 1500 .edu) wurde für ZIL entwickelt und verwendet nur einen PCI-E x1-Steckplatz anstelle des Laufwerksschachts. Alternativ können Sie Ihre gespiegelten Startdisketten durch zwei nicht redundante 2,5-Zoll-SATA-SSDs ersetzen. Eine SSD mit Superkondensator-Unterstützung für ZIL-Anwendungen ( Vertex2Pro 32 GB $ 435) und eine anständige MLC-SSD (wie dieIntel X25-M 80GB $ 230) aufgeteilt mit einer kleinen Partition für Root und dem Rest für L2ARC. ZFS ARC nutzt mehr RAM, aber 12 GB sollten ausreichen, um zu starten.

Ich überlasse Vorschläge für Benchmarking-Tools einer anderen Frage (stark abhängig von Ihrem Speicher-> VM-Pfad, den Gastbetriebssystemen und der Arbeitslast), aber DTrace-Tests können trotz der Lernkurve viele nützliche Daten liefern (hier ist die Sun 7000 Series Analytics leuchtet). Zwei abschließende Hinweise: Aktualisieren Sie Ihre PERC6-Firmware und Ihr BIOS vor dem Start. Wenn Sie eine SSD für L2ARC erhalten, kann es Stunden dauern, bis sie heiß wird.

notpeter
quelle
Sun-Hardware hat kein Budget mehr. Ich möchte mit kostenlosen Tools experimentieren, damit ich die Chefs von der Investition überzeugen kann. Bitte schlagen Sie h / w, Software und Tutorials vor
John-ZFS
1
Extrem umfassend und gut geschrieben, +1
Pause
konnte sich GB Switch nicht leisten, ist es gut, mit 100 Mbit / s Switch und 2 Hosts zu beginnen? Welche iscsi-Geschwindigkeiten sind zu erwarten? 50 Mbit / s, 100 Mbit / s?
John-ZFS
Du wirst Gigabit wollen. 100 MBit begrenzen den maximalen Durchsatz auf 12 MB / s. Sie können einen billigen, nicht verwalteten Switch kaufen, der Gigabit + Jumbo-Frames für <200 US-Dollar ausführt.
Notpeter
"Mehr gespiegelte 7.2K SATA übertreffen SAS 15K" Was ist das kritische Nein von SATA-Laufwerken? Mirror RAID1 ist gut zum Lesen, aber schlecht zum Schreiben? Schlagen Sie RAID10 vor?
John-ZFS
2

Warten, bis das Dedup im ZFS von FreeNAS angezeigt wird ... In diesem Fall werden die RAM-Anforderungen möglicherweise vernünftiger.

user48838
quelle
Ich kann mir vorstellen, dass der Speicherbedarf ähnlich sein wird. Auf Deduplizierungstabellen muss schnell zugegriffen werden können, wenn nicht auf den Hauptspeicher (ARC), dann auf eine Art schnellen sekundären Cache (L2Arc) wie eine SSD. Wenn Sie ein kleineres Dateisystem mit einer großen durchschnittlichen Blockgröße haben, sind Ihre Dedup-Tabellen natürlich zunächst nicht so groß, aber ich bezweifle, dass die FreeNAS-Implementierung die Dedup-Cache-Anforderungen beeinflusst.
Notpeter
Ich hoffe nur, dass es weniger Speicher- und Prozessortyp mit einer etwas besseren / breiteren Hardwareunterstützung als OpenSolaris sein könnte.
Benutzer48838
0

Als Ergänzung zu anderen Antworten zu FreeNAS, FreeBSD und den letzten Versionen von ZFS (ich kann im Thread jetzt keinen Kommentar abgeben).

FreeBSD 9 (jetzt Beta1) unterstützt ZFS v28 http://hub.opensolaris.org/bin/view/Community+Group+zfs/28 .

Rufo El Magufo
quelle