Welches Dateisystem zeichnet sich durch hohe Leistung und geringe Zuverlässigkeit aus?

0

Ich führe einen Job auf einer virtuellen CentOS-Maschine aus, die Zehntausende temporärer Dateien verwendet. Dies führt dazu, dass E / A der größte Engpass für diesen Job ist, der schnell ausgeführt wird. Die Gesamtgröße der temporären Dateien ist sehr groß und kann den verfügbaren Arbeitsspeicher überschreiten.

Da der Job auf einer VM ausgeführt wird und alle Dateien temporär sind, ist mir jegliche Zuverlässigkeit egal. Wenn die Stromversorgung ausfällt, wird die VM trotzdem in den Papierkorb verschoben. Wenn ein Prozess abstürzt, wird die VM trotzdem gelöscht. Auf diese Dateien kann nur ein Prozess zugreifen. Außerdem werden die Dateien niemals gelöscht - die VM wird am Ende des Laufs in den Papierkorb verschoben.

Es hört sich für mich so an, als ob ich die meisten Funktionen bestehender Dateisysteme (Journaling, Sperren, Bitmapping) nicht benötige, aber ich benötige grundlegende Eigenschaften des Dateisystems. Meine Frage ist, welches Dateisystem am besten geeignet ist, um nur die Funktionen des Bare-Bones-Dateisystems ohne großen Aufwand bereitzustellen. Es liegt auf der Hand, dass ein solches Dateisystem auch die Leistung erheblich verbessern würde, da es nicht mit all diesen Dingen umgehen müsste.

Hinweis: Leider habe ich den Job nicht geschrieben und ich kann sein tempfile-Verhalten nicht steuern.

linux filesystems Schwachkopf
quelle
Können Sie den Job auf einer VFAT-Partition ausführen? Ist der Job ein Drehbuch oder eine Exe?
ott--
Es klingt wie eine gute Übereinstimmung für RAID-0, um effektiv zu sein; Schreibgeschwindigkeiten können oft sehr nahe an der theoretischen Maximalverdopplung liegen. SSDs sind für zufällige Schreibvorgänge bestens gerüstet. Wenn Sie Geld darauf werfen können, lassen sich doppelte SSDs in RAID-0 für den Preis gut skalieren, oder Sie können einfach eine große Menge RAM kaufen und es auf einer RAM-Disk ausführen. Es ist in der Regel nicht so teuer, wie es sich anhört, innerhalb angemessener Grenzen. Ich würde nicht glauben, dass Dateisystemänderungen an sich Verbesserungen bewirken können, die so groß sind wie diese.
Daniel Andersson

Antworten:

0

ext2 ist das Barebone unter Linux, wenn Sie mit Einschränkungen wie der Größe zurechtkommen. Sie finden vielleicht noch mehr Barebone-Modelle (Minix?), aber ich würde es nicht wirklich empfehlen, weil sie zu alt sind. Übrigens, geben Sie viel Speicher für das Zwischenspeichern, wenn Sie es sich leisten können, oder verwenden Sie einfach eine Ramdisk.

johnshen64
quelle
Es ist durchaus möglich, ext3 und / oder ext4 ohne Journaling auszuführen und dieselbe Leistung zu erzielen. Schauen Sie sich die Optionen von tune2fs an . Ich würde nicht nur das Journaling deaktivieren, sondern auch uninit_bg, filetypeund auch sicherstellen, dass es mit gemountet ist noatime. Dies sollte eine ähnliche Leistung wie ext2 ohne die Nachteile erzielen.
Supercheetah