Aufbau eines Home-Clusters - Hardware- und Kostenanalyse [geschlossen]

14

Kennt jemand einige Links / Bücher / irgendetwas, das Ihnen einfällt und das den Prozess des Aufbaus eines kleinen Heimclusters beschreibt (wenn ich von Zuhause spreche , bedeutet das nicht unbedingt, dass Sie zu Hause bleiben müssen - es ist nur relativ billig und klein) für Experimentelle Zwecke, mit besonderem Schwerpunkt auf der Frage, welche Hardware heute angemessen wäre, und eine Art Kostenanalyse?

Obwohl, wenn jemand hier es getan hat, würde ich all die Erfahrungen schätzen, die Sie teilen können.

cluster Turm
quelle
2
Was für ein Cluster? SQL-Cluster? Webfarm? Farm rendern? Dies sind wichtige Details bei der Hardware-Spezifikation.
Tsilb
1
Numerische Berechnung; CFD (um nicht weiter ins Detail zu gehen) - Parallelisierung von fortran Code.
Turm

Antworten:

8

Helmer fällt mir ein. :)

churnd
quelle
1
OK, das ist eine sehr ordentliche Seite, die meinen armen, verstorbenen DeCeleron 4node-Cluster unbedeutend erscheinen lässt.
Bill B
Tolle Seite! Ich liebe den IKEA-Schrank :) (vielleicht nicht die beste Lösung, aber trotzdem süß)
Rook
Dies ist eine CPU-basierte Renderfarm. Es sind 6 Intel Quad Core-Maschinen, die von IKEA in einen Aktenschrank gestellt werden (Produktname ist Helmer). Anscheinend hat das Gehäuse Löcher (nicht von IKEA) auf der Rückseite, die die Montage eines Netzteils und eines Lüfters an 6 Stellen ermöglichen.
Dlamblin
4

Bei Hack A Day wurden einige Ikea-Cluster vorgestellt:

Drew Stephens
quelle
3

Lesen Sie die Bücher Beowulf Cluster Computing von Thomas Sterling (eines für Linux und eines für Windows). Sie enthalten alles, was Sie über die Verwendung von MPI wissen müssen, damit Ihre Knoten miteinander kommunizieren können.

Ein Freund und ich bauten einen Cluster von 8 Boxen mit wirklich beschissener Hardware und ließen Windows XP darauf laufen. Das waren wie Pentium I - 90 MHz Boxen. Weit unter den Spezifikationen für Windows erforderlich, aber es lief gut. Wir haben auch SQL Server 2000 auf ihnen ausgeführt (ebenfalls weit unter den empfohlenen Spezifikationen) und einige Black-Scholes-Modelle der Aktienoptionspreise auf ihnen erstellt.

Es ist schwierig zu empfehlen, welche Art von Hardware angemessen wäre, ohne zu wissen, was Sie mit Ihrem Cluster tun möchten. Aber das Fazit ist, dass Sie einen Cluster von fast allem erstellen können.

Nathan DeWitt
quelle
Würdest du es nicht glauben, ich habe gestern genau diesen Titel bestellt! Nun warte darauf, dass es eintrifft :) Pentium 90 - wow, das ist alt. Wie lief es, glatt oder mit Störungen? Könnten Sie einen Vergleich mit einem modernen Äquivalent anstellen? Das ist übrigens eine ziemlich gute Idee für das, was ich versuche, da diese Art von Hardware heutzutage praktisch kostenlos erhältlich ist (sowieso absolut billig). Ich versuche, es zu erstellen, um einen Code zu parallelisieren, also experimentiere ich gleichzeitig mit dem Code und dem Hardwareteil. Es ist ein Lernexperiment, um zu sehen, wie es weitergeht.
Turm
1
Die Kosten für den Betrieb einer solchen alten Hardware sind in Bezug auf Leistung / Arbeit sehr hoch. Bei mehreren 90-MHz-Maschinen wird viel Strom verbraucht, um das Arbeitsäquivalent einer effizienteren Einzelmaschine zu erzielen. Ich bin an Ihrem Projekt interessiert, aber ... seien Sie sich bewusst, dass es auf interessante Weise kostspielig sein kann ... =]
David sagt, dass er Monica
Leistung war in Ordnung. Es war ein Projekt für die Schule, und unsere Hardware war alles, was die Schule herumliegen hatte. Wir haben uns auch nicht um Stromprobleme gekümmert, aber Reisschale ist absolut korrekt. es waren laute Monster.
Nathan DeWitt
@ricebowl - An diesem Punkt ist das kein Problem. 90 Mhz sind eine gute Idee, da wir sie herumliegen haben, also keine Kosten dort. Elec. ist auch kein Problem, da das Unternehmen es bezahlt, die von Computern verbrauchte Energie ist dort vernachlässigbar. An diesem Punkt lerne ich die Grundlagen, bei Bedarf kann immer neue Hardware beschafft werden.
Rook
@ Nathan DeWitt - Lautstärke ist auch kein Thema. Mir macht der Klang nichts aus (schien mir immer beruhigend), und sowieso ist niemand in ihrer Nähe.
Rook
2

Eine Alternative zu vielen physischen Clusterknoten ist das Erstellen virtueller Maschinen. Sie hätten nur eine oder zwei tatsächliche physische Maschinen, könnten aber simulieren, dass viel mehr Knoten vorhanden sind. Dies würde gut funktionieren, um weniger Ressourcen (Platz, Leistung, $$$) zu erstellen, zu lernen und zu nutzen.

Dies würde Ihnen nicht viel von einer Kostenanalyse geben, aber es würde Ihnen den Einstieg erleichtern. Die Art der Cluster-Einrichtung hängt von der Art der Arbeit ab, die Sie dafür erstellen möchten. Sie können viele kleine Knoten oder nur ein paar leistungsfähige Knoten haben. Es gibt Umgebungen mit gemeinsamem und nicht gemeinsamem Speicher, die ebenfalls berücksichtigt werden müssen. Welche Art von parallelen Programmen möchten Sie erstellen? Je mehr physische Knoten Sie haben, desto mehr Platz, Energie, Kühlung und Netzwerkverbindung müssen Sie in Betracht ziehen. Manchmal ist nur ein einziger großer, massiver Computer der richtige Weg (und Shared-Memory-Umgebungen sind für IMHO einfacher zu programmieren).

Ich habe kürzlich angefangen, mit einem Cluster zu spielen, der ein paar zufällige P4-Boxen, Ubuntu und LAM-MPI baut. Es war definitiv eine Lernerfahrung.

Es waren tatsächlich ein paar P4-Laptops und Türme, die in einer Garage gestapelt waren. Es war ein Ghetto, aber ich wollte nur lernen. Ich habe gerade ein 100-Mbit / s-Ethernet-Netzwerk verwendet. Ich habe mich für Ubuntu entschieden, weil ich nicht viel mit der Hardware-Konfiguration der Boxen zu tun haben wollte. Ubuntu hatte viele der Treiber, die ich brauchte. Ich brauchte eine Linux-Umgebung, da die Anwendungen, die ich dafür schrieb, C-basierte Apps mit MPI-Schnittstellen waren. Ich habe versucht, das zu replizieren, was ich zuvor benutzt habe. Es war alles anders. Hardware, nichts Standard. Die meisten Cluster verfügen über genaue Hardware, sodass Sie Knoten im Handumdrehen hinzufügen und entfernen können.

Troggy
quelle
Nun, ich habe eine große Anzahl alter Workstations zur Verfügung. Vom frühen Pentium bis zu 266 Mhz. Raum und Kraft habe ich reichlich. Lärm ist auch kein Problem, es ist nicht in der Nähe von Menschen (ja, nur für den Fall, dass Sie sich fragen, ich betrachte mich nicht als Mitglied der Menschheit :) Neue Hardware kann immer später bei Bedarf beschafft werden, aber für den Moment habe ich versuche unnötige kosten zu vermeiden, wenn ich kann, indem ich mit diesen spiele. Ich versuche, etwas (nicht alten) fortran Code (CFD, FVM) zu parallelisieren. An diesem Punkt bin ich hauptsächlich an Hardware-Assemblierung, Betriebssystemprinzipien und allgemeinen
Informationen
Virtualisierung nützt wenig, wenn es um CPU-gebundene numerische Berechnungen geht.
Tadeusz A. Kadłubowski
Wenn ich nicht zu viel frage, wie haben Sie sie miteinander verbunden (nicht nur die Einbauten, sondern wo haben Sie sie abgelegt (großer Turm? Kühlungsprobleme?))? Warum Ubuntu?
Rook
@Idigas Der Antwort wurde ein Absatz hinzugefügt.
Troggy
1

Je nachdem, was Sie versuchen, sollten Sie Ihr System auf einem Cluster virtueller Maschinen entwickeln. Mit einer Virtualisierungslösung für Betriebssysteme wie OpenVZ oder Parallel's Virtuozzo oder Solaris Containers können Sie im Vergleich zur vollständigen Systemvirtualisierung (z. B. VirtualBox / VirtualPC / Xen / VMWare) auf enorme Dichten skalieren. Wenn Sie das System dann tatsächlich für eine bestimmte Leistung bereitstellen müssen, führen Sie es "in der Cloud" auf Amazon EC2 oder einem ähnlichen System aus.

timday
quelle
Ich hatte gehofft, einige ältere Hardware, die ich zu diesem Zeitpunkt herumlag, wieder verwenden zu können, sodass die Virtualisierung für mich nicht so attraktiv ist.
Rook
1

Ich beginne mit einem Blick auf die Projekte von LittleFE ( http://littlefe.net/ ) oder Bootable Cluster CD ( http://bccd.net/ ). Siehe auch das Ubuntu Cloud-Projekt ( http://www.ubuntu.com/cloud ).

Fast jede Hardware sollte funktionieren. Ich wäre geneigt, mir eine Art Abschlussgeschäft anzuschauen oder Maschinen aus dem Leasing zu nehmen, um billige Hardware zu besorgen.

Labyrinth
quelle
0

Werfen Sie einen Blick auf Rocks , eine Cluster-Distribution, die das Bauen von Clustern sehr einfach macht. Es skaliert auch auf mindestens einige Hundert Knoten.

Jimmy Hedman
quelle