Verschlechtert sich die NTFS-Leistung bei Volumina von mehr als fünf oder sechs TB erheblich?

7

Einer meiner Kunden plant die Einrichtung eines neuen Dokumentenspeichers, der voraussichtlich um 1 bis 2 TB pro Jahr wachsen wird. Einer meiner Mitarbeiter sagt, dass die Windows-Leistung extrem schlecht ist, wenn ein einzelnes NTFS-Volume vorhanden ist, das größer als fünf oder sechs TB ist. Er glaubt, dass wir ihr System mit mehreren Volumes einrichten müssen, damit kein einzelnes Volume diese Grenze überschreitet.

Ist das ein echtes Problem? Verlangsamt sich Windows oder NTFS, wenn die Volume-Größe mehrere Terabyte erreicht? Oder ist es möglich, ein einzelnes Volume mit 10 oder mehr TB zu erstellen?

Josh Yeager
quelle

Antworten:

9

Ich habe schon 30 TB Volumen gemacht. Sie enthielten große Dateien, was erheblich dazu beiträgt, Leistungseinbußen zu vermeiden. Keine Probleme im Vergleich zu kleineren Volumina.

Probleme können auftreten, wenn dieses große Dateisystem genügend Dateien und Verzeichnisse aufbaut, um in die wahnsinnig großen Bereiche zu gelangen. Ich spreche von 20 Millionen Dateien und Verzeichnissen oder mehr Ebenen. Zu diesem Zeitpunkt ist die MFT wahrscheinlich ziemlich fragmentiert und befindet sich auf Servern mit eingeschränktem RAM , die möglicherweise zu Leistungsproblemen bei der Verzeichnisanzeige führen. Der tatsächliche Zugriff auf Dateien sollte nicht beeinträchtigt werden, sondern nur die Operationen zum Öffnen von fileOpen () und Verzeichnissen.

Ist es eine echte Möglichkeit? Ja, aber der Effekt gilt auch für ähnlich große Dateisysteme auf anderen Plattformen und aus demselben Grund. Außerdem sind die Vorgänge, die am stärksten vom Leistungsabfall betroffen sind, möglicherweise nicht einmal diejenigen, über die Sie sich Sorgen machen. Da dies wie ein neues Setup klingt, klingt es nicht so, als würden Sie diese 10 TB auf einem Server mit nur 1 GB RAM verwenden, sodass Sie sich keine Sorgen machen müssen.

Woher die Sorge um die Größe kam, ist wahrscheinlich die WinNT- und Win2K-Ära, als MBR-Einschränkungen die Erstellung großer Volumes schwierig machten. Dies erforderte einige Tricks, um all das anzugehen, und in der Ära hatte der Trick Kosten. Dies vergrößerte die Leistungseinbußen bei vielen kleinen Dateien . GPT hat dieses Problem nicht. GPT-Volumes waren die ersten in Windows 2003, aber ihre Neuheit bedeutete, dass konservative Sysadmins sie zunächst nicht viel verwendeten.

Alte Einstellungen sterben manchmal schwer. Besonders wenn es ein Trauma gibt, das sie verstärkt.

sysadmin1138
quelle
3

Wir haben einige viel größere (mit W2K8) und wir haben keine merklichen Leistungsabfälle gesehen.

Chopper3
quelle
3

Es ist wahrscheinlicher, dass Hardware-Leistungsprobleme auftreten, lange bevor sie sich auf Software beziehen.

Bedenken Sie,

  • Festplatte: 10 x 1 TB Sata Green-Festplatten übertreffen möglicherweise 5 x 2 TB Festplatten. Ein Grund dafür ist, dass Sie mehr Festplattenwarteschlangen (DiskQueueLength) für die Samller-Festplatten haben. Halten Sie Ihr Betriebssystem jedoch auf einem separat schnelleren Volume. Die RAID-Karte und ihr Cache berücksichtigen auch einige schwerwiegende Leistungsaspekte.
  • RAM: Beeinflusst auch die Anzahl und Größe der Dateien, die geöffnet werden können (PagedPoolSize).
  • Netzwerkkarte: Beeinflusst, wie viele Daten auf den Server geschrieben werden können. Erwägen Sie, dass Ihre Backups von einer separaten Netzwerkkarte ausgeführt werden. Verwenden Sie Adapter-Teaming, um die beiden primären Netzwerkkarten zu einer einzigen zu kombinieren.

Derzeit habe ich zwei Server. Das Volumen beträgt 16 TB und 6 TB Daten 5 Millionen Dateien / Verzeichnisse. Am Ende des Tages wurden 200 GB Daten geändert oder hinzugefügt. Es sind 100 Benutzer mit dem Server verbunden. Und natürlich replizieren diese Server die Daten in Echtzeit mit DoubleTake. Niemand beschwert sich über die Serverleistung.

Das hängt jedoch auch davon ab, was Sie implementieren möchten. MS DFS-R unter Win2008R2 hat beispielsweise Grenzwerte wie 8 Millionen Dateien und 10 TB pro Server / Volume als offizielle Antwort. Aber ich habe Berichte über 20 + TB gesehen.

Sie können dies auch lesen, wenn Sie möchten ... http://www.microsoft.com/whdc/system/sysperf/perf_tun_srv.mspx

cwheeler33
quelle
Ich sollte auch einige weitere Links hinzufügen. Sie müssen sie durchlesen und selbst entscheiden, ob einer der Hacks verwendbar ist. Ich weiß, dass Dinge wie das Deaktivieren der letzten Zugriffszeit nicht möglich sind. Aber einmal pro Woche defragmentieren ist ein Muss. Apropos, wenn Sie die Blockgröße auf 64 KB ändern, müssen Sie ein spezielles Defragmentierungsprogramm kaufen. Windows kann nur die Standard-4 KB-Blöcke defragmentieren. waynes-world-it.blogspot.com/2008/03/… oreilly.com/pub/a/windows/2005/02/08/NTFS_Hacks.html
cwheeler33
Sie scheinen eine ganze Reihe von Punkten behandelt zu haben, aber nicht den, über den diskutiert wird. Vielleicht sollten Sie die Frage noch einmal lesen.
John Gardeniers
Warum bestehen alle darauf, WD Green-Laufwerke in Speicherservern zu verwenden? Ich habe so schlechte Erfahrungen mit WD Green auf 24x7 Servern gemacht und bin zu WD Black gewechselt und alle meine Probleme sind verschwunden
Mark Henderson
@ John, wie ich schon sagte, es ist kein Problem. Die meisten Probleme
betreffen
@ Mark, ich habe versucht zu veranschaulichen, dass mehr Festplatten besser sind. Einige ältere SATA-Laufwerke laufen langsamer als die aktuellen Green-Laufwerke. Und wenn Sie einen WD Black direkt mit einem RE vergleichen, müssten Sie sich für den RE entscheiden. Aber die Kosten für 6 RE gegen 8 Schwarz könnten immer noch höher sein. Aber die Leistung auf dem 8 Black wäre höher. Die meisten Menschen wissen bereits, dass schnellere Laufwerke besser funktionieren, übersehen jedoch möglicherweise die Tatsache, dass mehr Laufwerke auch die Leistung beschleunigen.
cwheeler33