Laufen Deep Learning-Neuronale Netze auf Quantencomputern?

15

Deep Learning (mehrere Schichten künstlicher neuronaler Netze, die in überwachten und unbeaufsichtigten maschinellen Lernaufgaben verwendet werden) ist ein unglaublich leistungsfähiges Werkzeug für viele der schwierigsten maschinellen Lernaufgaben: Bilderkennung, Videoerkennung, Spracherkennung usw. Angesichts der Tatsache, dass es sich derzeit um eine handelt Unter den leistungsstärksten Algorithmen für maschinelles Lernen gilt Quantum Computing im Allgemeinen als ein Spielewandler für bestimmte sehr schwierige Rechenaufgaben. Ich frage mich, ob es Bewegung bei der Kombination der beiden gegeben hat.

  • Könnte ein Deep-Learning-Algorithmus auf einem Quantencomputer ausgeführt werden?
  • Ist es sinnvoll, es zu versuchen?
  • Gibt es andere Quantenalgorithmen, die Deep Learning irrelevant machen würden?
Bob Swain
quelle
1
Ich bin kein Experte, aber ich stelle mir vor, dass der HHL-Algorithmus in diesem Zusammenhang nützlich wäre.
DaftWullie

Antworten:

8
  1. Ja, alle klassischen Algorithmen können auf Quantencomputern ausgeführt werden. Darüber hinaus kann jeder klassische Algorithmus mit Suchfunktion ein Zeitgewinn durch Verwendung eines Grovers-Algorithmus. Ein Beispiel, das mir in den Sinn kommt, ist die Behandlung der Feinabstimmung von neuronalen Netzwerkparametern als ein "Suche nach Koeffizienten" -Problem.ursprüngliche Zeit

  2. In der Tat gibt es bei einigen Prozessen deutliche Rechengewinne: ja.

  3. Nicht, dass ich davon Wüste. Aber jemand mit mehr Fachwissen kann hier mitmachen, wenn er möchte. Eines fällt mir ein: Oft verwenden wir Deep Learning und andere Formen der künstlichen Intelligenz, um Probleme der Chemie und der Physik zu untersuchen, da Simulationen teuer oder unpraktisch sind. In diesem Bereich werden Quantum Computers wahrscheinlich ihre klassischen Vorfahren schlachten, da sie Quantensysteme (wie die in der Kernchemie) in Echtzeit oder schneller simulieren können.

Als ich das letzte Mal mit ihm gesprochen habe, war Mario Szegedy genau daran interessiert, wahrscheinlich arbeiten gerade auch viele andere Forscher daran.

frogeyedpeas
quelle
6
Ich bin nicht überzeugt, dass der Algorithmus von Grover hier relevant ist. Der Algorithmus von Grover findet die einzige eindeutige Eingabe , die genau eine bestimmte Ausgabe erzeugt. OTOH, neuronale Netze sind von Natur aus sehr uneinheitlich und auch nicht wirklich genau - bestenfalls asymptisch genau.
Leftaroundabout
Es kann als Datenbanksuchproblem behandelt werden, indem eine Superposition aller Zustände betrachtet wird, in denen die Gewichte sein können. Lassen Sie die Suchfunktion 1 zurückgeben, wenn die Norm der Ableitung des neuronalen Netzes auf einer Standardeingabe bezüglich der Gewichte ist weniger als eine gewünschte Toleranz.
Frogeyedpeas
1
Das wäre völlig nutzlos. Für jedes nichttriviale Problem gibt es viele Gewichtungskombinationen, bei denen der Gradient Null ist. Selbst wenn Ihnen der Algorithmus von Grover eines davon geben würde, wäre es im Allgemeinen kein Minimum, geschweige denn ein globales Minimum.
linksum den
In Anbetracht des folgenden Protokolls würde ich nicht zustimmen: Vanille-Gefälle bis zu einer bestimmten Schwelle, dann wende Grovers Suche in einem sehr begrenzten Raum von Gewichten an, um ein hartes Minimum innerhalb einer bestimmten Fehlergrenze zu finden. Dieser Endteil ist dort, wo Gefälle normalerweise sehr konvergiert langsam zum lokalen Optimum, und ich werde neugierig, ob es interessant sein könnte, auf Grover Search zurückzugreifen
frogeyedpeas
1
Hm, das könnte funktionieren; Ich bin mir jedoch sicher, dass Sie in diesem Teil auch viel besser als mit klassischen Mitteln bergab fahren können. Zweikonjugat-Gradient ist der offensichtliche Kandidat.
links um
13

Dies ist eine sehr offene Frage, aber es gibt eine beträchtliche Menge Arbeit, die an dieser Front geleistet wird.

Einige Klarstellungen

Zunächst ist anzumerken, dass es zwei wichtige Möglichkeiten gibt, maschinelles Lernen (und insbesondere Deep Learning) mit der Quantenmechanik / dem Quantencomputing zu verbinden:

Wenden Sie klassische Techniken des maschinellen Lernens an, um Probleme zu lösen, die im Zusammenhang mit Quantenmechanik / Quanteninformation / Quantenberechnung auftreten . Dieser Bereich wächst zu schnell, als dass ich überhaupt eine anständige Referenzliste erstellen könnte , und ich werde nur auf einige der neuesten Arbeiten in dieser Richtung verweisen : 1803.04114 verwendeten die Autoren einen maschinellen Lernansatz, um Schaltkreise zur Berechnung der Überlappung zu finden zwischen zwei Zuständen (es gibt eine Reihe anderer Arbeiten in der gleichen Richtung), und 1803.05193 untersuchten die Autoren, wie tiefe neuronale Netze verwendet werden können, um Quantenkontrollkorrekturschemata zu finden.

Untersuchung von Quantenalgorithmen zur Analyse von Big Data , bei der häufig nach " Quantenverallgemeinerungen " klassischer Algorithmen für maschinelles Lernen gesucht wird. Sie können sich meine andere Antwort ansehen, um einige grundlegende Referenzen zu diesem Thema zu erhalten. Insbesondere für den Fall des tiefen Lernens , in 1412.3489 (treffend benannt Quantum Deep Learning ) schlagen die Autoren eine Methode (effektiv, ein Quantenalgorithmus) inRegel Speed-up der Ausbildung von tiefen, beschränkten Boltzmann - Maschinen . Eine weitere relevante Referenz ist 1712.05304 , in der die Autoren einen Quantenalgorithmus mit geringer Tiefe entwickeln, um Quanten-Boltzmann-Maschinen zu trainieren. Siehe 1708.09757, sowie die Verweise in der verlinkten Antwort, um viel mehr Werke dazu zu finden. Beachten Sie, dass die Geschwindigkeit, die in diesen Werken angegeben wird, stark variieren kann, von exponentiellen bis zu polynomiellen.

Manchmal beruht die Beschleunigung auf der Verwendung von Quantenalgorithmen zur Lösung bestimmter linearer algebraischer Probleme (siehe z. B. Tabelle 1 in ( 1707.08561 )), manchmal auf der Verwendung von (Variationen von) Grovers Suche und manchmal auf anderen Dinge (aber meistens diese beiden). Zitat von Dunjko und Briegel hier :

Die Ideen zur Quantenverbesserung für ML lassen sich grob in zwei Gruppen einteilen: a) Ansätze, die sich auf Grovers Suche und Amplitudenverstärkung stützen, um quadratische Beschleunigungen zu erzielen, und b) Ansätze, die relevante Informationen in Quantenamplituden codieren , und die ein Potenzial für sogar exponentielle Verbesserungen haben. Die zweite Gruppe von Ansätzen bildet die vielleicht am weitesten entwickelte Forschungslinie für Quanten-ML und sammelt eine Vielzahl von Quantenwerkzeugen - insbesondere die quantenlineare Algebra, die in Quanten-ML-Vorschlägen verwendet wird.

Direktere Antwort auf die drei Fragen

Nachdem ich das oben Gesagte gesagt habe, lassen Sie mich die drei Punkte, die Sie angesprochen haben, direkter beantworten:

  1. Könnte ein Deep-Learning-Algorithmus auf einem Quantencomputer ausgeführt werden? Auf jeden Fall ja: Wenn Sie etwas auf einem klassischen Computer ausführen können, können Sie es auf Quantencomputern ausführen. Die Frage, die man sich stellen sollte, ist jedoch, ob ein Algorithmus für quantenbasiertes (tiefes) maschinelles Lernen effizienter sein kann als die klassischen Algorithmen . Die Antwort auf diese Frage ist schwieriger. Möglicherweise gibt es ja viele Vorschläge in diese Richtung, aber es ist zu früh zu sagen, was funktionieren wird oder nicht.

  2. Ist es sinnvoll, es zu versuchen? Ja!

  3. Gibt es andere Quantenalgorithmen, die Deep Learning irrelevant machen würden? Dies hängt stark davon ab, was Sie mit " irrelevant " meinen . Ich meine, für das, was im Moment bekannt ist, kann es durchaus klassische Algorithmen geben, die Deep Learning "irrelevant" machen.
glS
quelle
3
Im Zusammenhang mit dieser Antwort möchte ich diesen kürzlich erschienenen Aufsatz erwähnen , der zeigt, wie der Algorithmus zur Optimierung der Quantennäherung verwendet werden kann, um neuronale Netze (eingeschränkte Boltzmann-Maschinen) zu trainieren, indem eine ungefähre Gibbs-Abtastung auf universellen Quantencomputern verwendet wird.
Mark Fingerhuth
1
@MarkFingerhuth Ich habe es zur Antwort hinzugefügt, danke für den
Hinweis
2

Hier ist eine neueste Entwicklung von Xanadu, einer photonischen Quantenschaltung, die ein neuronales Netzwerk nachahmt. Dies ist ein Beispiel für ein neuronales Netzwerk, das auf einem Quantencomputer ausgeführt wird.

Diese photonische Schaltung enthält Interferometer und Quetschgatter, die die Gewichtungsfunktionen eines NN nachahmen, ein als Vorspannung wirkendes Verschiebungsgatter und eine nichtlineare Transformation ähnlich der ReLU-Funktion eines NN.

Sie haben diese Schaltung auch verwendet, um das Netzwerk zu trainieren, um Quantenzustände zu erzeugen und auch Quantentore zu implementieren.

Hier sind ihre Veröffentlichung und Code zum Trainieren der Schaltung verwendet . Hier ist ein mittlerer Artikel , der ihre Schaltung erklärt.

artha
quelle
2

Alle Antworten hier scheinen eine grundlegende praktische Einschränkung zu ignorieren:

Deep Learning funktioniert speziell mit Big Data am besten. MNIST umfasst 60000 Bilder, ImageNet umfasst 14 Millionen Bilder.

Inzwischen haben die größten Quantencomputer derzeit 50 bis 72 Qbits.

Selbst in den optimistischsten Szenarien werden Quantencomputer, die das Datenvolumen bewältigen können, das Deep Learning-Algorithmen anstelle herkömmlicher Modellierungsmethoden erfordern würde, nicht in naher Zukunft verfügbar sein.

QC auf Deep Learning anzuwenden mag also eine schöne theoretische Kuriosität sein, aber nicht etwas, das bald praktisch sein wird.

Alex Kinman
quelle