IPoIB (IP über InfiniBand) vs. RDMA-Leistung

8

Ich habe teilweise einen Linux-HA-Cluster geerbt, in dessen Zentrum derzeit eine Verbindung mit DRBD 8 über IPoIB (IP über InfiniBand) zwischen zwei Debian-Hosts hergestellt wird. Es ist nicht kaputt, also werde ich es nicht reparieren.

Ich habe auch festgestellt, dass DRBD 9 RDMA unterstützt, sodass möglicherweise die Frage auftaucht, ob die Verbindung mit DRBD 9 über RDMA (dh "natives" InfiniBand) in Zukunft ersetzt werden soll.

Da ich keine Leistungstests auf einem Produktionssystem durchführen möchte, frage ich mich: Gibt es veröffentlichte Leistungsvergleiche für IPoIB vs. RDMA / InfiniBand? Könnte ich zum Beispiel erwarten, dass die Bandbreite / Latenz von IPoIB in der Größenordnung von 10%, 50% oder 100% abweicht? Was ist zu erwarten?

rookie09
quelle

Antworten:

6

Hast du diese Präsentationen gesehen? https://www.linbit.com/de/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand ist nur eine bestimmte Netzwerkarchitektur, die RDMA anbietet. Ihre Leistung hängt jedoch davon ab, welche Art von Anwendungen Sie ausführen. Meine Erfahrung basiert auf akademischen / Forschungssystemen, die hauptsächlich MPI-basierte Anwendungen verwenden. In bestimmten Fällen habe ich gesehen, dass RDMA 20% besser abschneidet als IPoIB. Ein solches Benchmarking ist mir jedoch nicht bekannt, aber es gibt viele wissenschaftliche Artikel und auch White Papers von Anbietern. Wenn Sie nur an E / A denken, sollten Sie Folgendes berücksichtigen: Dateigröße, Anzahl der Lese- und Schreibvorgänge. RDMA bot normalerweise einen großen Vorteil für zufällige kleine Lesevorgänge, aber nur einen kleinen Vorteil für Schreibvorgänge. Möglicherweise möchten Sie sich über RoCE (RDMA über Converged Ethernet) und InfiniBand natives RDMA informieren.

Tux_DEV_NULL
quelle
Thx, esp. für die 20% Menge. Die Anwendung, die oben ausgeführt wird, ist PostgreSQL. (Seine pgdata befindet sich auf dem DRBD-Gerät.)
rookie09
2
Ja zu all dem. Sie können nicht schneller als die Festplatten in Ihrem System arbeiten. Wenn Sie jedoch sicher sind, dass die Festplatten schneller sind als das Netzwerk, über das sie replizieren, können Sie wahrscheinlich mehr Leistung aus dem System herausholen Umschalten auf RDMA.
Matt Kereczman
4
Hier ist eine weitere (alternative) Erklärung von RDMA, die für Sie von Interesse sein könnte. Starwindsoftware.com/…
Net Runner