Wie viel von Deep Minds Arbeit ist tatsächlich reproduzierbar?

Deep Mind hat in den letzten Jahren viele Arbeiten zum Thema Deep Learning veröffentlicht, von denen die meisten auf dem neuesten Stand der Technik für ihre jeweiligen Aufgaben sind. Aber wie viel von dieser Arbeit wurde tatsächlich von der KI-Community reproduziert? Zum Beispiel scheint das Papier der Neural Turing Machine laut anderen Forschern sehr schwer zu reproduzieren zu sein.

Auf Vorschlag des OP rcpinto habe ich einen Kommentar zum Thema "Rund ein halbes Dutzend Artikel, die die Arbeit von Graves et al. Weiterverfolgen, die Ergebnisse des Kalibers hervorgebracht haben" umgesetzt und einige Links bereitgestellt. Denken Sie daran, dass dies nur den Teil der Frage beantwortet, der sich auf NTMs bezieht, nicht auf Google DeepMind selbst. Außerdem lerne ich immer noch die Seile des maschinellen Lernens, sodass ein Teil des Materials in diesen Artikeln über meinen Kopf geht. Ich habe es jedoch geschafft, einen Großteil des Materials in Graves et al .s Originalpapier {1] zu erfassen, und bin kurz davor, selbst entwickelten NTM-Code zum Testen zu haben. Ich habe in den letzten Monaten auch zumindest die folgenden Papiere überflogen; Sie replizieren die NTM-Studie nicht streng wissenschaftlich, aber viele ihrer experimentellen Ergebnisse stützen das Original zumindest tangential:

• In diesem Artikel über eine Variante der NTM-Adressierung haben Gulcehere et al. Versuchen Sie nicht, die Tests von Graves et al. präzise zu replizieren, aber wie das DeepMind-Team zeigt es deutlich bessere Ergebnisse für das ursprüngliche NTM und mehrere Varianten gegenüber einem normalen wiederkehrenden LSTM. Sie verwenden 10.000 Trainingsmuster eines Facebook-Q & A-Datensatzes anstelle der N-Gramm von Graves et al. in ihrem Papier bearbeitet, so ist es nicht Replikation im strengsten Sinne. Es gelang ihnen jedoch, eine Version des ursprünglichen NTM und mehrerer Varianten zum Laufen zu bringen und die gleiche Leistungsverbesserung zu verzeichnen. 2

• Im Gegensatz zum ursprünglichen NTM wurde in dieser Studie eine Version des Verstärkungslernens getestet, die nicht differenzierbar war. Dies könnte der Grund sein, warum sie nicht in der Lage waren, einige der programmierähnlichen Schnitte wie Repeat-Copy zu lösen, es sei denn, der Controller war nicht darauf beschränkt, sich vorwärts zu bewegen. Ihre Ergebnisse waren dennoch gut genug, um die Idee der NTMs zu unterstützen. Anscheinend ist eine neuere Überarbeitung ihres Papiers verfügbar, die ich noch nicht gelesen habe. Vielleicht wurden einige Probleme ihrer Variante gelöst. 3

• Anstatt das ursprüngliche Aroma von NTM mit gewöhnlichen neuronalen Netzen wie LSTMs zu testen, wurde es in diesem Artikel mit mehreren fortgeschritteneren NTM-Speicherstrukturen verglichen . Sie erzielten gute Ergebnisse bei der gleichen Art von programmierähnlichen Aufgaben wie Graves et al. getestet, aber ich glaube nicht, dass sie denselben Datensatz verwendeten (es ist schwer zu erkennen, wie ihre Studie geschrieben wurde, mit welchen Datensätzen sie gearbeitet haben). 4

• Auf P. In 8 dieser Studie übertrifft ein NTM mehrere LSTM-, Feed-Forward- und Nearest-Neighbour-basierte Schemata in einem Omniglot-Zeichenerkennungsdatensatz deutlich. Eine alternative Herangehensweise an das externe Gedächtnis, die von den Autoren entwickelt wurde, schlägt es deutlich, aber es funktioniert offensichtlich immer noch gut. Die Autoren scheinen zu einem konkurrierenden Team bei Google zu gehören, daher könnte dies ein Problem bei der Beurteilung der Reproduzierbarkeit sein. 5

• Auf P. 2 Diese Autoren berichteten, dass sie bei einem Test von Kopieraufgaben eine bessere Verallgemeinerung für "sehr große Sequenzen" erhalten, indem sie ein viel kleineres NTM-Netzwerk verwendeten, das sie mit dem genetischen NEAT-Algorithmus entwickelt hatten, der die Topologien dynamisch vergrößert. 6

NTMs sind ziemlich neu, so dass noch nicht viel Zeit blieb, um die ursprüngliche Forschung streng zu replizieren, nehme ich an. Die Handvoll Papiere, die ich im Sommer überflogen habe, scheinen jedoch ihre experimentellen Ergebnisse zu unterstützen; Ich habe noch keinen gesehen, der etwas anderes als eine hervorragende Leistung berichtet. Natürlich habe ich eine Verfügbarkeitsverzerrung, da ich nur die PDFs gelesen habe, die ich bei einer unachtsamen Internetsuche leicht finden konnte. Aus dieser kleinen Stichprobe geht hervor, dass sich der größte Teil der Nachuntersuchungen auf die Erweiterung des Konzepts und nicht auf die Replikation konzentriert hat, was den Mangel an Replizierbarkeitsdaten erklären würde. Ich hoffe das hilft.

1 Graves, Alex; Wayne, Greg und Danihelka, Ivo, 2014, "Neural Turing Machines", veröffentlicht am 10. Dezember 2014.

2 Gulcehre, Caglar; Chandar, Sarath; Choy, Kyunghyun und Bengio, Yoshua, 2016, "Dynamische neuronale Turingmaschine mit weichen und harten Adressierungsschemata", veröffentlicht am 30. Juni 2016.

3 Zaremba, Wojciech und Sutskever, Ilya, 2015, "Reinforcement Learning Neural Turing Machines", veröffentlicht am 4. Mai 2015.

4 Zhang; Wei; Yu, Yang und Zhou, Bowen, 2015, "Strukturiertes Gedächtnis für neuronale Turingmaschinen", veröffentlicht am 25. Oktober 2015.

5 Santoro, Adam; Bartunov, Sergey; Botvinick, Matthew; Wierstra, Daan und Lillicrap, Timothy, 2016, "One-Shot-Lernen mit gedächtnisverstärkten neuronalen Netzen", veröffentlicht am 19. Mai 2016.

6 Boll Greve, Rasmus; Jacobsen, Emil Juul und Sebastian Risi, Datum unbekannt, "Evolving Neural Turing Machines". Kein Verlag gelistet

Alle außer (vielleicht) Boll Greve et al. wurden in der Cornell Univeristy Library veröffentlicht. arXiv.org Repository: Ithaca, New York.

Ich neige dazu zu denken, dass diese Frage grenzwertig ist und möglicherweise nahe kommt. Ein paar Kommentare fürs Erste.

falsex Es gibt (mindestens) zwei Probleme bei der Reproduktion der Arbeit eines Unternehmens wie DeepMind:

• In Veröffentlichungen fehlende technische Details.
• Zugriff auf dieselbe Datenebene.

Technische Daten sollten funktionsfähig sein. Einige Leute haben einige der Atari- Gaming-Stunts reproduziert . AlphaGo scheint komplexer zu sein und erfordert mehr Arbeit. Dies sollte jedoch zu einem späteren Zeitpunkt möglich sein (Einzelpersonen verfügen möglicherweise heute nicht über ausreichende Rechenressourcen).

Daten können schwieriger sein. Mehrere Unternehmen öffnen ihre Datensätze, aber Daten sind auch der Nerv der Konkurrenz ...