Was ist der maximale theoretische Datendurchsatz von NTFS?

28

Vor kurzem war ich bei einem lokalen Benutzergruppentreffen, bei dem der Moderator feststellte, dass der maximale Durchsatz des NTFS-E / A-Stacks 1 GBit / s betrug. Er begründete seine Behauptung, indem er gleichzeitig zwei große Dateien vom selben logischen Datenträger auf verschiedene logische Datenträger kopierte (dh [a] ist die Quelle, [b] ist das Ziel 1 und [c] ist das Ziel 2) und die Übertragungsraten um 500 feststellte MBps. Er wiederholte diesen Test einige Male und stellte fest, dass das zugrunde liegende Speichersubsystem Flash war (um sicherzustellen, dass kein langsamer Speicher vermutet wurde).

Ich habe versucht, diese Behauptung zu überprüfen, kann aber nichts Dokumentiertes finden. Ich vermute, dass ich nach falschen Suchbegriffen suche ("1 GBit / s NTFS-Durchsatz", "NTFS-Durchsatz maximal"). Mich interessiert, ob der IO-Stack tatsächlich auf 1 GBit / s begrenzt ist.

BEARBEITEN

Zur Verdeutlichung: Ich glaube nicht, dass der Moderator beabsichtigte, zu implizieren, dass NTFS absichtlich eingeschränkt war (und es tut mir leid, wenn ich das auch implizierte). Ich denke, es wurde impliziert, dass es eine Funktion des Designs des Dateisystems war.

Swasheck
quelle
1 GB / s ist ziemlich schnell, auch für Flash-Laufwerke
TheFiddlerWins
2
@TheFiddlerWins 1 GB / s! = 1 Gbit / s
Kermit
1
Ich stimme zu, aber seine Frage lautet: "... der maximale Durchsatz des NTFS-E / A-Stacks betrug 1 GBit / s", soweit ich weiß. B = Bytes und B = Bits
TheFiddlerWins
1
Einfaches Experiment - Kopieren Sie die Datei über RAM-Festplatten? Heutzutage ist es nicht schwer, 16 * 2 = 32 GB RAM zu erhalten.
Kizzx2
1
JamesRyan - Wenn Sie FTP als Übertragungsmechanismus verwenden, ändert sich das Dateisystem nicht plötzlich. Verwechseln Sie SMB nicht mit NTFS.
MFINNI

Antworten:

36

Auch wenn du meintest GBpsund nicht Gbps...

Mir ist kein Dateisystem bekannt, das ein aktuelles hat throughput limit. Dateisysteme sind einfach Strukturen zum Speichern und Abrufen von Dateien. Sie verwenden Metadaten, Strukturen, Benennungskonventionen, Sicherheitskonventionen usw., aber die tatsächlichen Durchsatzbeschränkungen werden durch die zugrunde liegende Hardware selbst definiert (in der Regel eine Kombination aus vielen beteiligten Hardwarekomponenten).

Der Vergleich verschiedener Dateisysteme und deren Auswirkungen auf die Leistung der zugrunde liegenden Hardware ist möglich. Dies ist jedoch keine direkte Einschränkung des Dateisystems, sondern eher eine "Variable" für die Gesamtleistung des Systems.

Die Entscheidung, ein Dateisystem über ein anderes bereitzustellen, hängt in der Regel davon ab, welches Betriebssystem zugrunde liegt, wie der Server / die Anwendung aussehen wird, welche Hardware zugrunde liegt und welche weichen Faktoren wie die Fachkenntnisse und Vertrautheit des Administrators vorliegen.

================================================ ===============================

TECHNISCHE RESSOURCEN UND ZITATE


NTFS optimieren

NTFS-Leistungsfaktoren

Sie bestimmen viele der Faktoren, die sich auf die Leistung eines NTFS-Volumes auswirken. Sie wählen wichtige Elemente wie den Typ eines NTFS-Volumes (z. B. SCSI oder IDE), die Geschwindigkeit (z. B. die Drehzahl der Festplatten) und die Anzahl der Festplatten, die das Volume enthält. Zusätzlich zu diesen wichtigen Komponenten beeinflussen die folgenden Faktoren die Leistung eines NTFS-Volumes erheblich:

  • Die Größe des Clusters und der Zuordnungseinheit
  • Der Speicherort und die Fragmentierungsstufe von Dateien, auf die häufig zugegriffen wird, z. B. die Master File Table (MFT), Verzeichnisse, spezielle Dateien mit NTFS-Metadaten, die Auslagerungsdatei und häufig verwendete Benutzerdatendateien
  • Unabhängig davon, ob Sie das NTFS-Volume von Grund auf neu erstellen oder von einem vorhandenen FAT-Volume konvertieren
  • Gibt an, ob das Volume NTFS-Komprimierung verwendet
  • Ob Sie nicht benötigtes NTFS-Verhalten deaktivieren

Die Verwendung von schnelleren Festplatten und mehr Festplatten in Multidisk-Volumes ist eine naheliegende Möglichkeit, die Leistung zu verbessern. Die anderen Methoden zur Leistungsverbesserung sind unklarer und beziehen sich auf die Details der Konfiguration eines NTFS-Volumes.


Skalierbarkeit und Leistung in modernen Dateisystemen

Leider ist es nicht möglich, direkte Leistungsvergleiche der diskutierten Dateisysteme durchzuführen, da diese nicht alle auf derselben Plattform verfügbar sind. Da die verfügbaren Daten notwendigerweise von unterschiedlichen Hardwareplattformen stammen, ist es außerdem schwierig, die Leistungsmerkmale des Dateisystems von denen der Hardwareplattform zu unterscheiden, auf der es ausgeführt wird.


NTFS-Optimierung

Neues Whitepaper mit Anleitungen zur Größenanpassung von NTFS-Volumes

Was ist neu in NTFS

NTFS-Dateisystem für die Leistung konfigurieren

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

Bewährte Methoden für die NTFS-Komprimierung in Windows

Der Reiniger
quelle
9
Trotzdem konnte ich ein Symposium mit nur 802.11g auf allen Geräten geben und schwören, dass die Durchsatzgrenze von NTFS <54 Mbit / s war, indem ich immer wieder eine Kopie zwischen den Geräten demonstrierte.
TheCleaner
1
Könnte sein, aber zu sagen "NTFS hat ein hartes Limit" vs. "NTFS ist langsamer als ext4 auf <x> Hardware" ist ein großer Unterschied. Er könnte falsch gesprochen haben, Sie könnten falsch gedeutet haben, egal ... los geht's.
TheCleaner
7
Auch hier unterliegt NTFS, das Dateisystem, keiner solchen Einschränkung, möglicherweise jedoch einem bestimmten NTFS-Treiber.
Mfinni
1
Betrachten Sie es nicht als Grenze, sondern als logischen Aufwand. Dazu gehört auch, dass der Treiber als "eingestellter" Grenzwert ein Definitionswert sein müsste, der im Code des Treibers definiert ist. Ich verstehe jedoch, dass Sie dachten, Prozess <- (@mfinni) ... Harte Grenzen sind in Bezug auf den Datendurchsatz auf der Festplatte für die Verarbeitung von E / A-Lese- und Schreibvorgängen sowie in Bezug auf die technischen Einschränkungen des Transportmediums definiert.
AngryWombat
1
Nice fügt hinzu, @TheCleaner
mfinni
10

Ich bezweifle sehr, dass es einen Datenübertragungsengpass im Zusammenhang mit einem Dateisystem gibt , da Dateisysteme keine Implementierungsdetails vorgeben , die die Leistung stark einschränken würden . Ein bestimmter Treiber für ein Dateisystem auf einer bestimmten Hardwarekonfiguration weist natürlich Engpässe auf.

mfinni
quelle
Ich dachte nicht, dass es absichtlich begrenzt war, aber dachte, dass es vielleicht eine Beschränkung des Designs war
swasheck
Vielen Dank für den Fokus von "Dateisystem" auf "Treiber".
Swasheck
5
Sie können die Geschwindigkeit eines Buches nicht erhöhen - Sie können die Geschwindigkeit des Lesers und der Dinge, von denen der Leser abhängt, erhöhen.
Mfinni
Limits und Engpässe sind zwei verschiedene Dinge ... Da ein Dateisystem Overhead verursachen kann, ist es theoretisch möglich, einen Flaschenhals zu erstellen, aber es wird kein festes Limit definiert, von dem ich glaube, dass es in diesem Beitrag beabsichtigt war.
AngryWombat
7

Ich wäre sehr überrascht, wenn dies wahr wäre. Schauen wir uns alles an, was ein Dateisystem verlangsamen kann:

  • Das physische Medium (Festplatte, SSD)
  • Verbindung zu diesen Medien (sas, sata, fcal)
  • Zersplitterung
  • Schlechte Sperralgorithmen oder andere Codeprobleme
  • CPU- und Speichergeschwindigkeit

Der häufigste begrenzende Faktor sind Ihre physischen Medien. Rotierender Rost ist LANGSAM . Nehmen wir zum Beispiel diese wirklich neue Festplatte mit einer maximalen Geschwindigkeit von 6 Gbit / s (das sind Gbit / s, nicht GBit / s!). Die Verwendung eines RAID 1-Setups beschleunigt dies natürlich. Natürlich wirst du dies nie erreichen, da deine Leistung tödlich sein soll. Verwenden wir also eine SSD, wie Sie sagen? Oh schau dir das an, wieder 6Gb.

Dann gibt es die Verbindung: sas (der schnellste lokale Speicher) erreicht bis zu 6 Gbit / s, FC erreicht jedoch bis zu 16 Gbit / s.

Sind Sie sicher, dass Ihre Demo High-End-Hardware auf dem neuesten Stand der Technik verwendet hat?

Wenn du interessant bist! Möglicherweise haben Sie Fall 3 getroffen, und Ihr Dateisystem muss optimiert werden. Oder eher fressen Ihre Treiber und Anwendungen Ihre CPU (5). Sollte dies jedoch nicht der Fall sein, ist möglicherweise ein tatsächliches Leistungsproblem in NTFS aufgetreten. Melden Sie es bitte bei Microsoft.

Und selbst dann: Dies ist keine künstliche Grenze, die geschaffen wurde, um Ihr Leben unglücklicher zu machen. Dateisysteme begrenzen die Übertragungsgeschwindigkeit nicht absichtlich, sondern hängen von der Hardware ab, die Ihnen zur Verfügung steht.

Dennis Kaarsemaker
quelle
7

Ich glaube nicht, dass es ein Maximum gibt. Aber ich weiß, dass es mehr als 1 GB / s ist, weil die Leute bei Samsung mit ihrem 2009er-Rig mit 24 SSD-Laufwerken 2121,29 MB / s gelesen und 2000,195 MB / s geschrieben haben http://www.youtube.com/watch?v=96dWOEa4Djs

Sie glauben, diese Grenze erreicht zu haben, da dies die gesamte Hardware-Bandbreite der Controllerkarten ist, in die die SSDs eingesteckt wurden.

Auch auf dieser Seite http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk wird eine mit NTFS formatierte RAM-Disk mit 5 bis 7 GB angezeigt / s. Probieren Sie es selbst mit einem der RAMdisk-Titel aus, die unter http://en.wikipedia.org/wiki/List_of_RAM_drive_software aufgeführt sind

BeowulfNode42
quelle
3

Die einzig logische Möglichkeit, die Grenzen des Dateisystems zu vergleichen, besteht darin, dies auf allen Systemen zu tun, auf denen die Konstante das Dateisystem und die Variablen die anderen Faktoren wie Geräte, Verbindungen usw. waren bestimmtes System war begrenzt, nicht dass das Dateisystem begrenzt war.

Richard_G
quelle
3

Es muss nicht theoretisiert werden, ob NTFS mit 1 GBit / s limitiert ist oder nicht - moderne SSDs übertreffen dies bereits . Der Prüfstand ist ein Windows-Desktop.

Bildbeschreibung hier eingeben

Jason
quelle
1

In NTFS gibt es keine integrierte Durchsatzbeschränkung. Die einzige Einschränkung für die Geschwindigkeit sind die Leistungseigenschaften der zugrunde liegenden Hardware.

langer Hals
quelle
Ich dachte nicht, dass es absichtlich begrenzt war, dachte aber, dass es vielleicht eine Beschränkung des Designs war.
Swasheck
6
@swasheck Ich glaube nicht, dass es möglich ist, ein Dateisystem zu entwerfen, das Daten doppelt so schnell überträgt, wenn Sie einen Prozessor haben, der doppelt so schnell ist und die Festplatte doppelt so schnell lesen und doppelt so schnell suchen kann. Sogar das ineffizienteste mögliche Design kann schneller gemacht werden, indem alles, was es verwendet, schneller gemacht wird.
Random832