Cloud-Computing-Plattformen für maschinelles Lernen [geschlossen]

Ich habe eine kleine Liste von Unternehmen, die eine Plattform zum Ausführen von R-, Python- oder Oktavskripten auf Clustern bereitstellen, die auf Amazon EC2 aufbauen. Gibt es noch andere Namen, die ich hinzufügen sollte?

1. Wolkenzahlen
2. Opani
3. crdata

Ich habe diese Firmen nicht genutzt, aber dies sind nur einige der Optionen. Das Einrichten auf EC2 ist jedoch sehr einfach. Zumindest, nachdem Sie Ihren Kopf betäubt haben, indem Sie ihn hart genug und oft genug gegen die Wand geschlagen haben. Es erhöht auch Ihre Schmerzschwelle. Kinder haben es heutzutage viel einfacher. Als ich anfing, machten wir Nebel-Computing: Wir hatten nicht den geringsten Nebel, den wir berechneten.

Neben Erinnerungen ... Es gibt Tools und Ressourcen, mit denen Sie diese Anbieter umgehen und auf eigene Faust loslegen können. JD Long hatsegue es einfacher gemacht, R für EMR zu verwenden.

In Bezug auf Python ist boto eine Suite, mit der Python auf EC2 problemlos eingerichtet und ausgeführt werden kann. Es ist auch ziemlich einfach, Python mit AppEngine von Google zum Laufen zu bringen , wenn Sie bereit sind, eine EC2-Alternative in Betracht zu ziehen. Wenn Sie mit Python vertraut sind, müssen Sie wirklich keine Firma beauftragen, um das Heben für Sie zu erledigen, es sei denn, Sie sind nicht mit Skalieren, Sharding, Lastenausgleich usw. auch nur auf konzeptioneller Ebene vertraut. Wenn Sie jedoch darüber nachdenken, viel Geld für solche Dienste auszugeben, ist es eine gute Idee, sich mit der Effizienz Ihres Codes vertraut zu machen.

Was Octave in der Cloud angeht, ich habe keine Ahnung, was es außer diesen drei Unternehmen gibt. Früher bot Monkey Analytics das an, aber anscheinend sind sie weg. Ich würde empfehlen, Octave zu meiden und mich auf Python oder R zu konzentrieren.

Eine Ressource, die das Einrichten erleichtert, ist StarCluster . Wieder keine Erfahrung mit ihnen, aber das kann eine hilfreiche Route sein.

Um ehrlich zu sein, sind Ubuntu (oder Windows) und EC2 nicht so schwer zu erlernen. Ich würde Windows für R nicht wirklich empfehlen, da es unter R-Entwicklern und Windows nicht viel Liebe gibt. (NB: Soweit ich das beurteilen kann, gibt es keine ernsthaften Mac OS X Cloud-Dienste.) Sobald Sie einen Remote-Desktop haben, sind Sie im Geschäft. Der nächste Schritt ist das Erlernen des Skalierens.

Update 1: Andere, allgemeinere Cloud-Verwaltungsdienste umfassen RighstScale und Scalr.

Update 2: Ich möchte betonen, dass es wichtig ist, dass Sie lernen, Ihre Instanzen und Cluster in der Cloud selbst einzurichten. Zu den Vorteilen der praktischen Arbeit gehören:

• Erfahren Sie, wie Sie eine Mischung von Ressourcen verwalten (mehrere Instanzen, mehrere Instanztypen, viele Festplatten, verschiedene Verfügbarkeitszonen oder -regionen, verschiedene Überwachungstools usw.).
• Wenn Sie möchten, können Sie mit GPUs basteln (Auschecken gputools)
• Sie können Ihre Paketauswahl einfacher aktualisieren oder zurücksetzen
• Möglicherweise können Sie durch die Verwendung von Spot-Instanzen oder reservierten Instanzen erheblich niedrigere Kosten erzielen.
• Sie können verschiedene R-GUIs oder -IDEs ausprobieren, die für die Cloud-Anbieter möglicherweise keine Option sind.

Die Verwendung eines verwalteten Anbieters hat einige Vorteile, z. B. eine kürzere Einarbeitungszeit, eine bessere Unterstützung für die gemeinsame Nutzung von Ressourcen in einer Gruppe und einige nützliche Funktionen. Ich kann jedoch nicht auf die Vorteile eingehen, die sich aus der Verwendung von EC2 ergeben kam auf den Markt.

Es gibt auch PiCloud für die parallele Ausführung von Python-Code auf EC2.

Von ihrer Produktseite :

PiCloud ist eine Cloud-Computing-Plattform, die in die Programmiersprache Python integriert ist. Damit können Sie die Rechenleistung von Amazon Web Services nutzen, ohne virtuelle Server verwalten, warten oder konfigurieren zu müssen.

PiCloud lässt sich über eine benutzerdefinierte Python-Bibliothek (Cloud) nahtlos in Ihre vorhandene Codebasis integrieren. Um die Ausführung einer Funktion auf unsere Server zu verlagern, müssen Sie lediglich Ihre gewünschte Funktion an die Cloud-Bibliothek übergeben. PiCloud wird die Funktion auf seinem Hochleistungscluster ausführen. Wenn Sie mehr Funktionen ausführen, skaliert unser Cluster automatisch, um Ihren Computeranforderungen zu entsprechen. Der Einstieg in die Cloud war noch nie so einfach!

Haben Sie CloudStat schon einmal ausprobiert ? Im Gegensatz zu anderen Clouds ist CloudStat nur für Benutzer von R Language gedacht. Es gibt kein Setup mehr. Sie können sich einfach anmelden und bis zu 7,5 GB RAM kostenlos nutzen.

Bei einem kostenlosen Konto wird Ihre Analyse jedoch öffentlich angezeigt und verwendet. Die Option ist, 5 USD pro Monat zu zahlen, um Ihre Analyse privat zu machen.

Eine Cloud-Computing-Plattform, die ich empfehlen kann, ist Backbone , die eine sichere, produktivitätssteigernde Cloud-Computing- Plattform bietet.