Gibt es kostenlose Cloud-Dienste zum Trainieren von Modellen für maschinelles Lernen?

27

Ich möchte ein umfassendes Modell mit einer großen Menge an Trainingsdaten trainieren, aber mein Desktop verfügt nicht über die Fähigkeit, ein derart umfassendes Modell mit diesen umfangreichen Daten zu trainieren.

Ich möchte wissen, ob es kostenlose Cloud-Dienste gibt, mit denen Sie maschinelles Lernen und Deep-Learning-Modelle trainieren können.

Ich würde auch gerne wissen, ob es einen Cloud-Dienst gibt, bei dem ich die Trainingsergebnisse verfolgen und das Training fortsetzen kann, auch wenn ich nicht mit der Cloud verbunden bin.

Medien
quelle

Antworten:

19

Es gibt keine unbegrenzten kostenlosen Dienste *, aber einige haben Startguthaben oder kostenlose Angebote bei der erstmaligen Anmeldung. Hier sind einige Vorschläge:

  • AWS: Wenn speziell vertieftes Lernen in einem großen Datenbestand möglich ist, ist AWS wahrscheinlich nicht verfügbar. Das kostenlose Angebot deckt nicht alle Computer ab, die über genügend Rechenleistung verfügen, um vertieftes Lernen zu ermöglichen.

  • Möglicherweise ist das Startguthaben für Google Cloud ausreichend, um ein wenig zu lernen (für möglicherweise ein paar Wochen), obwohl es Anmelde- und Steuerbeschränkungen gibt.

  • Azure verfügt über eine kostenlose Stufe mit eingeschränkten Verarbeitungs- und Speicheroptionen.

Die meisten kostenlosen Angebote scheinen dem "Freemium" -Modell zu folgen - bieten Ihnen einen eingeschränkten Service, den Sie erlernen können und den Sie vielleicht mögen. Allerdings nicht genug, um es intensiv zu nutzen (z. B. um einen Bilderkenner oder ein NLP-Modell von Grund auf zu trainieren), es sei denn, Sie sind bereit zu zahlen.

Der beste Rat ist, ein bestes Einstiegsangebot und den besten Preis zu finden. Eine Überprüfung von Diensten ist hier nicht geeignet, da sie schnell veraltet ist und Stack Exchange nicht gut nutzt. Auf Quora und anderen Websites finden Sie ähnliche Fragen. Am besten führen Sie eine Websuche nach "Cloud-Computing-Diensten für vertiefendes Lernen" oder ähnlichem durch und nehmen sich Zeit, um Notizen zu vergleichen. In letzter Zeit sind einige spezielle Deep-Learning-Dienste wie Nimbix oder FloydHub aufgetaucht , und es gibt auch die großen Player wie Azure, AWS und Google Cloud.

Sie werden nichts völlig kostenlos und unbelastet vorfinden. Wenn Sie dies routinemäßig tun und Zeit für den Bau und die Wartung von Hardware haben möchten, ist es auf lange Sicht günstiger, Ihre eigene Ausrüstung zu kaufen - zumindest auf persönlicher Ebene.

Wenn Sie entscheiden möchten, ob Sie für eine Cloud bezahlen oder eine eigene Cloud erstellen möchten, sollten Sie einen typischen Preis für eine Cloud-Maschine, die für Deep Learning geeignet ist, für etwa 1 USD pro Stunde in Betracht ziehen Finden Sie eine Spezifikation, die zu Ihrem Problem passt. Für die Speicherung und Datenübertragung können zusätzliche Gebühren anfallen. Vergleichen Sie das mit vorgefertigten Deep-Learning-Maschinen ab 2000 US-Dollar oder bauen Sie Ihre eigenen für 1000 US-Dollar - solche Maschinen sind möglicherweise nicht zu 100% vergleichbar, aber wenn Sie selbst arbeiten, wird der Amortisationszeitpunkt nach nur wenigen liegen Monate verwenden. Vergessen Sie nicht die Stromkosten - eine leistungsstarke Maschine kann bei starker Beanspruchung 0,5 kW verbrauchen, was mehr ergibt, als Sie vielleicht erwarten.

Die Vorteile von Cloud Computing sind, dass jemand anderes die Wartungsarbeiten durchführt und das Risiko eines Hardwareausfalls übernimmt. Dies sind wertvolle Dienstleistungen zu einem angemessenen Preis.


* Siehe jedoch Jay Speidalls Antwort zu Googles colab-Dienst, der anscheinend kostenlos zu verwenden ist, jedoch möglicherweise einige Einschränkungen in Bezug auf die Nutzungsbedingungen aufweist, die Sie möglicherweise betreffen (zum Beispiel bezweifle ich, dass Sie die Content-Produktion von Deep Dream oder Style Transfer durchführen können) darauf)

Neil Slater
quelle
"Es gibt keine kostenlosen Dienste" <- das ist nicht wahr
Gaius
2
@ Gaius Ich habe eine Korrektur für Colab hinzugefügt. Ich kann sehen, dass Ihre Antwort Azure hinzufügt (mit strengen Einschränkungen). IMO, "1 Stunde pro Experiment" ist in Ordnung, um sich die Grundlagen des Tiefenlernens selbst beizubringen. Es nützt nicht viel für ernsthafte Nachforschungen. Konnte es für die meisten Kaggle-Wettbewerbe nicht verwenden. Ich würde weiterhin einen kostenpflichtigen Dienst empfehlen oder einen eigenen über Azure Free erstellen. Microsoft hofft natürlich, dass Sie Ihr System trainieren und dann ein Upgrade durchführen, um echte Arbeit zu leisten.
Neil Slater
Prost :-) Genießen Sie den Rest des Bankfeiertags!
Gaius
@ Gaius: Danke! Tatsächlich habe ich diese Antwort zu einem Community-Wiki gemacht, um zu verhindern, dass sie weiter veraltet ist.
Neil Slater
2
@Media: Ich kann den Repräsentanten von bisher fernhalten. Wenn Sie es zu einem Community-Wiki machen, können andere Leute es mit mehr Informationen aktualisieren - ich erwarte, dass Sie große Namen hinzufügen und ungefähr sehen, wie ihre kostenlose Service-Ebene aussieht. Dutzende "Update" -Antworten mit den neuesten Änderungen in der SaaS / IaaS Deep Learning-Umgebung können die Lesbarkeit der Seite beeinträchtigen.
Neil Slater
18

Ich möchte eine weitere Ressource hinzufügen, Google Colaboratory . Es ist ein kostenloses Cloud-iPython-Notebook und bietet Ihnen die kostenlose Nutzung einer GPU. Ich bin mir der genauen Einschränkungen noch nicht sicher, aber es sieht so aus, als ob Sie 12 Stunden GPU-Zeit pro Instanz haben und dies mehrmals pro Monat tun können.

Dies scheint eine großartige Ressource für Studenten und andere Laien zu sein, insbesondere für kleinere Jobs, die Sie in einem halben Tag ausführen können. Das spart Ihnen im Wesentlichen bis zu 10 US-Dollar pro Trainingseinheit, was meiner Meinung nach eine bedeutende Ressource für die maschinelle Lernforschung ist. Ich hoffe ernsthaft, dass es nicht missbraucht wird.

Jay Speidell
quelle
3
Es sieht so aus, als ob es auf unbestimmte Zeit frei sein wird.
Jay Speidell
1
NVIDIA Tesla T4 GPUs wurden kürzlich hinzugefügt ...
Benj
12
  • Schauen Sie sich Crestle an . (Kostenlose Rechenzeit für eine Stunde)

  • Googles colab

  • Floyd-Hub

  • Papierbereich (nicht kostenlos, aber es ist einfach, Empfehlungen zu verwenden und 15 $ Rechenzeit zu verdienen.)

  • Azure (200 US-Dollar)

  • deepcognition.ai (2 Stunden auf verschiedenen GPU-fähigen Rechnern)

  • IBM Cloud

Für eine aktuellere Liste können Sie dieses Github-Repertoire markieren: Cloud-GPUs

Aditya
quelle
11

Ja, mit Einschränkungen. Mit Google Cloud Compute erhalten Sie ein kostenloses Guthaben von 300 US-Dollar und mit Microsoft Azure 200 US-Dollar (die GPU-Zeit ist jedoch etwas billiger, sodass sie fast gleich ist).

So haben Sie viel GPU-Zeit und können loslegen, während Sie Ihre Optionen abwägen.

Jay Speidell
quelle
1
Es hat einige Bearbeitungsvorschläge und Verwirrung darüber gegeben. Google Cloud bietet in der Tat GPU- und sogar TPU-Instanzen an, und Ihr Guthaben ist dafür berechtigt. Ich benutze es tatsächlich, um Jupyter-Notebooks mit GPU-Unterstützung zu hosten.
Jay Speidell
Hat das Hochladen eine Beschränkung für freie Stunden? Weißt du, dass es stärker ist als das Colab-System? Und schließlich, wissen Sie, wie viele Stunden es frei ist?
Medien
Für die von verschiedenen Diensten angebotenen "Free Credit" -Studien erhalten Sie uneingeschränkten Zugriff auf alle Dienste. Die Gutschrift wird nur auf Ihre Rechnung angewendet. Colab ist auf 12 GB RAM beschränkt. Wenn Sie also Jupyter auf einer Compute Engine-Instanz einrichten, haben Sie viel mehr Optionen für Ressourcen.
Jay Speidell
1

Microsoft Azure Machine Learning Studio verfügt über eine "immer kostenlose" Schicht, die bestimmten Einschränkungen unterliegt , einschließlich

  • 100 Module pro Experiment (ein "Modul" in Azure-speak ist eine diskrete Operation wie "Daten laden" oder "Modell trainieren", sodass Sie mit 100 von ihnen einiges tun können)
  • 10 GB Speicher
  • 1 Stunde pro Versuch
  • Keine parallele Ausführung auf mehreren Knoten

Das Training wird fortgesetzt, solange Sie nicht verbunden sind, um Ihre zweite Frage zu beantworten. Sie können Ihre Experimente über die Weboberfläche oder über die Befehlszeile einrichten .

Gaius
quelle
1

Der Fragekörper fragt nach Tiefenlernen, aber es ist die erste Frage, die bei der Suche nach "kostenlosem Onlinedienst für maschinelles Lernen" gestellt wird.

Ich wollte hinzufügen, dass es auch andere kostenlose Online-ML-Dienste gibt.

Ich bin der Gründer eines solchen Dienstes mit einer kostenlosen Schicht ( fml.ai ), die auf AWS / Google Cloud ausgeführt wird. Unsere Benutzeroberfläche ist intuitiv, selbsterklärend und verwendet kuratierte Inhouse- und Open Source-Technologie. Natürlich gibt es Einschränkungen für die kostenlose Ebene und derzeit sind nur Datensätze mit einer Größe von bis zu 100 MB zulässig. Dennoch können Benutzer kostenlos Modelle erstellen und Ergebnisse visualisieren.

Ich glaube, es gibt auch einige andere ...

Abhimanyu Aditya
quelle
0

Anscheinend Intelkönnen Benutzer die KI DevCloud30 Tage lang kostenlos nutzen . Hier ist die Anleitung.

Medien
quelle