Eingeschränkte Boltzmann-Maschine: Wie wird sie beim maschinellen Lernen eingesetzt?

21

Hintergrund:

Ja, die eingeschränkte Boltzmann-Maschine (RBM) kann verwendet werden, um die Gewichte eines neuronalen Netzwerks zu initiieren. Außerdem KANN es "Schicht für Schicht" verwendet werden, um ein tiefes Glaubensnetzwerk aufzubauen (d. H. Eine te Schicht auf der ( n - 1 ) -ten Schicht zu trainieren und dann die zu trainieren n + 1- te Schicht auf der n- ten Schicht abspülen und wiederholen ...)n(n-1)n+1n .

Informationen zur Verwendung von RBM finden Sie im Thread des Tutorials für eingeschränkte Boltzmann-Maschinen (RBM), in dem einige Artikel und Tutorials enthalten sind.

Meine Frage wäre:

  • Wird RBM wirklich entweder in Industrieprojekten oder in akademischen Projekten eingesetzt?
  • Wenn ja, wie und welche Projekte werden verwendet?
  • Jede beliebte Bibliothek (wie Tensorflow, Caffe, Theono usw.) bietet RBM-Module?

Danke für das Teilen. Ich möchte wissen, ob RBM in der Praxis wirklich nützlich ist.

Bill Ancalagon der Schwarze
quelle

Antworten:

2

RBM war eine der ersten praktischen Methoden, um ein tiefes Netzwerk mit mehr als nur einer oder zwei Ebenen zu trainieren / zu lernen. Und das Deep-Believe-Netzwerk wurde von Geoffrey Hinton vorgeschlagen, der wohl als einer der "Väter des Deep-Learning" gilt, obwohl Yann LeCun meiner Meinung nach der andere Hauptvater des Deep-Learning ist, oder so sehe ich das auch. Natürlich wurde alles schon vor Jahren von Jürgen Schmidhuber erfunden :-)

RBMs sind deshalb berühmt, weil 1. eine der ersten Möglichkeiten, tiefes Lernen zu erlernen, 2. Geoffrey Hinton.

In der Praxis werden sie jedoch mit Sicherheit in der akademischen Forschung eingesetzt und sind brauchbar, da viele Menschen versuchen, eine einzigartige Nische zu finden, in der sie sich auskennen, und der weltweite Experte in einer Nische von RBMs zu sein, ist eine gute Sache Nische wie jede andere. In der Praxis, in der Industrie, behaupte ich zwar nicht, dass sie nie verwendet werden, aber sie kommen äußerst selten vor. Es gibt einfach so viele Standardtechniken, die sehr schnell und einfach trainiert werden können, z. B. logistische Regression und die Vorwärtsfaltung neuronaler Netze. Für unbeaufsichtigte sind Dinge wie GANs im Moment sehr beliebt.

Hugh Perkins
quelle
1

Es ist möglich, RBMs zu verwenden, um typische Probleme bei der Datenerfassung zu lösen (die beispielsweise zum Trainieren eines maschinellen Lernmodells verwendet werden können). Zu solchen Problemen gehören unausgeglichene Datensätze (in einem Klassifizierungsproblem) oder Datensätze mit fehlenden Werten (die Werte einiger Features sind unbekannt). Im ersten Fall ist es möglich, ein RBM mit Daten aus der Minderheitsklasse zu trainieren und daraus Beispiele für diese Klasse zu generieren, im zweiten Fall ist es möglich, ein RBM für jede Klasse separat zu trainieren und unbekannte Merkmalswerte aufzudecken.

Eine weitere typische Anwendung von RBMs ist die kollaborative Filterung ( http://dl.acm.org/citation.cfm?id=1273596) ).

In Bezug auf populäre Bibliotheken halte ich deeplearning4j für ein gutes Beispiel ( http://deeplearning4j.org ).

kostas
quelle