Welche „Teile“ werden benötigt, um einen Cluster physischer Server einzurichten?

Hintergrund:

Derzeit verwenden wir Rackspace-Cloud-Server. Wir haben nicht die Absicht, sie nicht mehr zu verwenden, möchten jedoch einen Cluster physischer Server einrichten (wahrscheinlich Desktop-Computer im Bereich von 400 US-Dollar mit jeweils 8 GB Speicher), um einen Teil unserer Last auszugleichen und als sekundärer, leistungsfähigerer Server zu arbeiten. weniger zuverlässiges System. Um die Dinge ins rechte Licht zu rücken, können wir vergleichbare Desktop-Computer zum gleichen Preis kaufen, den wir in einem Monat zahlen, um sie in der Rackspace Cloud zu mieten.

Ich verstehe, dass dies im Allgemeinen eine dumme Idee ist. In diesem speziellen Fall wird der Servercluster jedoch für seine Rechenleistung benötigt. Es ist nicht geschäftskritisch, es hostet keine Website für Verbraucher, und wenn es für ein oder zwei Tage ausfällt, ist es kein wirkliches Problem.

Derzeit haben wir Zugriff auf Verizon-Fios der Business Class. Wenn ich das richtig verstehe, können wir mit diesem Dienst mindestens 25 dedizierte IP-Adressen erhalten. Dies sollte ausreichen.

Bedarf:

• Auf jedem Server wird Linux Centos 6.3 ausgeführt
• Einige der Server führen Python aus und führen Prozesse aus einer Task-Warteschlange aus (Redis oder RabbitMQ).
• Einige der Server können statische Dateien und Python-gesteuerte REST-APIs bereitstellen
• Einige der Server hosten einen Cassandra-Datenbankcluster
• Einer oder mehrere der Server sind Redis-Datenbankserver
• Einer oder mehrere der Server sind PostgreSQL-Server

Fragen:

Welche Art von Router oder Switch wird benötigt?

• Wir möchten, dass die Computer über interne IP-Adressen effektiv miteinander kommunizieren können. Dies ist besonders wichtig für die Kommunikation mit Servern, auf denen Redis gehostet wird und die sehr schnell auf Anfragen reagieren müssen. Gibt es spezielle Switches oder Router, die verwendet werden müssen, um die Server miteinander zu verbinden?

Sind Desktop-Computer dafür in Ordnung?

• Wir haben festgestellt, dass wir größtenteils RAM-Flaschenhals haben. Ich verstehe, dass einige Server überlegene CPUs haben, aber ich bin nicht sicher, ob wir so viel CPU-Leistung benötigen wie RAM, was bei Desktop-Computern billig ist.
• Werden wir Probleme mit den WIFI-Karten auf den Desktops oder mit anderen unerwarteten Hardwareeinschränkungen haben?

Welche Tools sollten verwendet werden, um die Server abzubilden?

• Wenn wir beispielsweise eine richtige Installation für einen Redis-Server oder einen Cassandra-Knoten erhalten, gibt es Tools, die mit Linux Centos 6.3 geliefert werden, um den Server auf ein USB-Laufwerk oder ähnliches abzubilden?
• Oder müssen wir dafür eine andere Software verwenden?

Welche anderen Dinge fehlen uns, über die wir uns Sorgen machen sollten?

• Sie benötigen dafür keine Internet-IP - Sie können ein Site-to-Site-VPN einrichten und alles privat halten. Dies ist, was ich mit den aktuellen 2 Standorten mache (mein Keller in Polen, der jetzt einen 2-Rack-Server eingerichtet hat, und unser externer Standort in Chicago). Ich benutze 2 Router (virtuell in Chicago, physisch hier), um privates Routing einzurichten.

• Desktop ist in Ordnung, aber je nachdem, was Sie tun, möchten Sie vielleicht mit E3 Xeons arbeiten - 32 GB Memroy sind dort möglich, aber wichtiger: ECC-Speicher. Ich möchte wirklich nicht, dass meine Simulationen aufgrund von Speicherumkehr ein schlechtes Ergebnis erzielen. Zur Erklärung: Wir weisen 1 GB / Kern zu. Dies ist ein warteschlangengesteuerter HPC-Cluster, der in unserem Fall CPU-intensive Simulationen durchführt.

• Wenn Sie RAM-gebunden sind, suchen Sie nach AMD. Ihr G32-Sockel verfügt über ein 8-Kern-Setup, das für einen 64-GB-ECC-Speicher mit relativ geringem Preis geeignet ist. Gut auch für die Virtualisierung. Ich bekomme einige davon für ein Upgrade für meine Hauptserver (Hyper-V-Plattformen, die auch als Domänencontroller dienen usw.) aufgrund des überlegenen Arbeitsspeichers.

• Switch - alles schön und gut. Je nachdem, was Sie tun, möchten Sie möglicherweise einen der Netgear-Switches mit 48 x 1 GB und 4 x 10 GB erwerben - und über 10 GB eine Verbindung zu Ihren Dateiservern herstellen. Wir machen das einfach - denn mit den jetzt kommenden 2x Computern (wir fügen nur 16 in der Blade-Mitte hinzu) würde die Serverseite bei bestimmten Vorgängen das Netzwerk überlasten.

Ansonsten muss man wirklich verstehen, dass sich die Technologie weiterentwickelt hat - Schalter usw. sind heute zuverlässig und leistungsfähig. Es wird nichts Besonderes benötigt. Die Netzwerkeinrichtung ist nicht trivial, aber auch nicht sehr komplex.

Sie können sehr schnelle und zuverlässige Server (2 Sockets mal 6 Core) mit 48 GB RAM für rund 3000 Dollar kaufen. Dies gilt sogar für optionale Extras wie physische ILOM-Karten, sodass Sie diese wahrscheinlich um einige hundert reduzieren können.

Zurück zu Ihrer ursprünglichen Schätzung des Workstation-Preises ergibt sich etwas Ähnliches zu (48/8) * 400 US $ = 2400 US $. Das ist ohne Verkabelung, Schalter und anderen Aufwand.

Jetzt weiß ich, dass Sie diese Antwort wahrscheinlich nicht wollen, aber sind Sie sicher, dass Sie dies tun möchten? Der einzige Grund, warum ich mich für Desktop-Cluster entschieden habe, ist, mit neuen Technologien experimentieren zu wollen (daran ist natürlich nichts auszusetzen).