Selbst gebraute automatische Tiered Storage-Lösungen unter Linux? (Speicher -> SSD -> Festplatte -> Remotespeicher)

13

Im Zusammenhang mit dieser Frage zur Verwendung einer SSD für das System und einer Festplatte für Daten , außer ich möchte, dass mein System dies automatisch ausführt ...

Ist es möglich, mehrere Schichten von Speicher- und Push-Elementen automatisch mit einer möglichst kostenlosen Open-Source-Software zwischen diesen zu verschieben?

Ich kenne sehr teure Lösungen der Enterprise-Klasse wie die automatische Archivierung EMC SAN-> EMC Centera , habe mich aber gefragt, ob diese Art von Staged Storage automatisch möglich ist.

Es wäre schön, wenn Sie mehrere Ebenen darin haben könnten: Speicher-> SSD-> HDD-> langsamere Festplatte oder Band oder eine andere Archivierungslösung.

Gibt es Dateisysteme, die dies automatisch tun können? (ZFS, Btrfs, HAMMER?)

Beliebige Unix- Varianten sind in Ordnung, da ich daran interessiert bin, wie das funktioniert und ob es wahrscheinlich auf Linux oder andere Arten (BSD usw.) portierbar ist.

linux unix ssd archive storage David Gardner
quelle

Antworten:

14

Nun, ZFS verwendet eine Speicherebene namens Hybrid Storage Pool (HSP) :

  1. Schicht: Gedächtnis
  2. Layer: SSD-basierte Read-Caches (L2ARC) und Write-Caches (separates Intent Log, auch Slog genannt).
  3. Schicht: (billige) Festplatten

Mit HSP können Sie die Vorteile von SSDs im Vergleich zu einer reinen Festplattenlösung ganz einfach automatisch nutzen. Ein System, das HSP verwendet, kann sowohl schneller als auch billiger als das letztere sein. Unter diesem Link finden Sie einige schöne Beispiele und weitere Details.

Ich denke, es gibt Pläne für das hierarchische Speichermanagement (HSM) für ZFS (siehe zum Beispiel das OpenSolaris-Projekt für die automatische Datenmigration (ADM) ), aber ich kenne seinen aktuellen Status nicht.

knweiss
quelle
Genau daran habe ich gedacht, danke! (Jetzt um auf dem Linux-Port zu helfen ...;)
David Gardner
Ich würde dieses Tiering nicht als Caching bezeichnen. In dem Sinne, dass Caching bedeutet, eine Kopie häufig verwendeter Blöcke zu speichern und die Daten in einen langsameren / schnelleren Speicher zu verschieben. Ich würde das Absichtsprotokoll in ZFS nicht als echten Schreibcache bezeichnen, wenn ich es richtig verstehe.
Mrossi
5

Schauen Sie sich die LVM-basierte "lvmts" -Lösung (LVM Tiered Storage) an, die dieser Typ gerade ausarbeitet:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Ziemlich cool.

Shane
quelle
+1 Das sieht sehr interessant aus - ich werde es im Auge behalten!
David Gardner
5

TIER scheint Ihre Anforderungen zu erfüllen. Es ist ein Linux-Kernel-Modul, das einen mehrstufigen Speicher erstellen kann. Es scheint von selbst das Muster zu lernen und die Platzierung im Speicher zu optimieren

http://www.lessfs.com/wordpress/?p=776

Dolanor
quelle
Habe
2
Alte Fragen wiederzubeleben ist besser, als mit alten und veralteten Informationen über sie zu faulen!
David Gardner
Ich mache mir Sorgen, dass dieser Typ aus Gründen der zusätzlichen Kapazität die Redundanz reduzieren möchte (insbesondere, wenn SSDs vergleichsweise klein und unzuverlässig sind).
Tobu
Auch besorgt, dass er Raid als Lösung vorschlägt, wenn experimentelle Software Backups am dringendsten benötigt.
Tobu
Hier ist ein bisschen mehr positives Feedback: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu
1

Beantworte meine eigene Frage mit etwas, was ich gerade gefunden habe:

Ich habe gerade den Kernel aktualisiert und mir das neue Material angesehen, das hinzugefügt wurde, und jetzt gibt es eine Option 'CACHEFILES' , mit der (normalerweise entfernte) Dateisysteme in ein lokales Dateisystem zwischengespeichert werden können. Ich schätze, ich könnte damit einen langsameren Speichermechanismus (HDD) auf einen schnelleren (SSD) zwischenspeichern, zumindest für eine Hierarchieebene.

David Gardner
quelle
Haben Sie diese Lösung ausprobiert? Wie läuft es ab?
Skolima
1
Nevermind - Ich habe selbst herausgefunden, dass CacheFS momentan nur NFS und AFS unterstützt.
Skolima
Die Verwendung von Netzwerk-Dateisystemen ist keine schlechte Idee, sie reifen in der Regel viel schneller als Kernel-Patchsets. Ich frage mich, ob Ceph oder DRBD nützliche Modi für Tiered Storage haben.
Tobu
1

Einige relevante Links. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) ist der erste Versuch in Richtung eines Open-Source-Datenspeichermanagers auf Unternehmensebene, mit dem Daten automatisch zwischen kostenintensivem und kostengünstigem Speicher verschoben werden Medien.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI unter Linux

http://jfs.sourceforge.net/ - JFS + DMAPI unter Linux

sendmoreinfo
quelle
Das OHSM-Projekt sieht interessant aus. Im Moment werden nur ext2 und der 2.6.30-Kernel unterstützt, aber ich gehe davon aus, dass dies mehr Dateisysteme bringt, wenn es gut funktioniert.
David Gardner
Das Projekt sieht aufgegeben aus, die letzte Aktivität war im Jahr 2009.
sendmoreinfo
0

LVM2-Snapshots fallen mir ein, aber Sie können nicht mehr als einen einzelnen Snapshot erstellen.

dyasny
quelle
0

SAM-QFS ist das bestehende Produkt von Sun und wurde letztes Jahr als Open-Source-Produkt angeboten. Da es sich um CDDL handelt, können Sie es nur direkt auf * BSD portieren.

TRS-80
quelle