Was sind die Mängel in Jeff Hawkins AI-Framework?

Im Jahr 2004 veröffentlichte Jeff Hawkins , der Erfinder des Palm-Piloten, ein sehr interessantes Buch mit dem Titel On Intelligence , in dem er eine Theorie zur Funktionsweise des menschlichen Neokortex beschreibt.

Diese Theorie wird als Memory-Prediction-Framework bezeichnet und weist einige bemerkenswerte Merkmale auf, zum Beispiel nicht nur Bottom-up (Vorwärtskopplung), sondern auch Top-down-Informationsverarbeitung und die Fähigkeit, simultane, aber diskrete Vorhersagen für verschiedene Zukunftsszenarien zu treffen (wie beschrieben) in diesem Papier ).

Das Versprechen des Memory-Prediction-Frameworks ist die unbeaufsichtigte Erzeugung von stabilen Darstellungen zukünftiger Möglichkeiten auf hoher Ebene. Etwas, das wahrscheinlich eine ganze Reihe von KI-Forschungsgebieten revolutionieren würde.

Hawkins gründete eine Firma und setzte seine Ideen um. Leider ist das Versprechen seiner Ideen mehr als zehn Jahre später immer noch unerfüllt. Bisher wird die Implementierung nur zur Erkennung von Anomalien verwendet, was genau das Gegenteil von dem ist, was Sie wirklich tun möchten. Anstatt das Verständnis zu extrahieren, extrahieren Sie die Instanzen, die Ihr künstlicher Kortex nicht versteht.

Meine Frage ist, inwiefern Hawkins 'Rahmen nicht ausreicht. Was sind die konkreten oder konzeptionellen Probleme, die seine Theorie bisher daran hindern, in der Praxis zu funktionieren?

Die kurze Antwort lautet, dass Hawkins Vision noch nicht in einer allgemein zugänglichen Weise umgesetzt wurde, insbesondere in Bezug auf die unverzichtbaren Teile der Vorhersage.

Die lange Antwort ist, dass ich Hawkins 'Buch vor ein paar Jahren gelesen habe und von den Möglichkeiten des Hierarchical Temporal Memory (HTM) begeistert war. Ich bin es immer noch, obwohl ich einige seiner philosophischen Überlegungen zu den Bedeutungen des Bewusstseins, des freien Willens und anderer solcher Themen zurückhalte. Auf diese Bedenken werde ich hier nicht näher eingehen, da sie für den Hauptgrund, warum HTM-Netze bisher nicht so erfolgreich waren wie erwartet, nicht von Belang sind: Meines Wissens hat Numenta nur eine abgeschnittene Version seiner Vision implementiert. Sie ließen den größten Teil der Vorhersagearchitektur aus, die in Hawkins 'Theorien eine so wichtige Rolle spielt. Wie es Gerod M. Bonhoff in einer hervorragenden These 1 zu HTMs formulierte,

Die wichtigste Entwurfsentscheidung, die Numenta getroffen hat, bestand darin, Rückkopplungen innerhalb der Hierarchie zu eliminieren und stattdessen dieses theoretische Konzept zu simulieren, indem nur Datenpooling-Algorithmen für die Gewichtung verwendet wurden. Diese Entscheidung ist sofort verdächtig und verstößt gegen die wichtigsten Konzepte von HTM. Hawkins beharrt darauf, dass Feedback für die kortikale Funktion von entscheidender Bedeutung und für seine Theorien von zentraler Bedeutung ist. Dennoch behauptet Numenta, dass die meisten HTM-Probleme mithilfe ihrer Implementierung und proprietären Pooling-Algorithmen gelöst werden können. "

Ich lerne immer noch die Seile auf diesem Gebiet und kann nicht sagen, ob Numenta diesen Ansatz seitdem zugunsten einer vollständigen Umsetzung von Hawkins 'Ideen, insbesondere der alles entscheidenden Vorhersage-Architektur, verworfen hat oder nicht. Auch wenn dies der Fall ist, hat diese Entwurfsentscheidung die Übernahme wahrscheinlich um viele Jahre verzögert. Das ist an sich keine Kritik; Vielleicht waren die Berechnungskosten für das Verfolgen und Aktualisieren von Vorhersagewerten zu hoch, als dass sie die normalen Kosten für die Verarbeitung neuronaler Netze hätten tragen können, und ließen ihnen keinen anderen Weg, als Halbwertsmaßnahmen wie das proprietäre Pooling Mechanismen. Nichtsdestotrotz haben sich alle der besten Forschungsarbeiten, die ich seitdem zu diesem Thema gelesen habe, dafür entschieden, die Algorithmen neu zu implementieren, anstatt sich auf die Plattform von Numenta zu verlassen, was in der Regel auf die fehlenden Vorhersagefunktionen zurückzuführen ist.Maltonis technischer Bericht für das Labor für biometrische Systeme der Universität Bologna 2 . In all diesen Fällen gibt es jedoch keine leicht zugängliche Software, mit der sich die verschiedenen HTMs sofort einsetzen lassen (soweit ich weiß). Der Kern des Ganzen ist, dass, wie GK Chestertons berühmte Maxime über das Christentum, "HTMs nicht ausprobiert und als mangelhaft befunden wurden; sie wurden als schwierig befunden und nicht erprobt". Da Numenta die Prognoseschritte ausgelassen hat, gehe ich davon aus, dass dies die Hauptstolpersteine ​​sind, die auf jeden warten, der Hawkins 'vollständige Vision davon, was ein HTM sein sollte, codieren möchte.

1 Bonhoff, Gerod M., 2008, Verwenden des hierarchischen zeitlichen Speichers zum Erkennen anomaler Netzwerkaktivität. Präsentiert im März 2008 am Air Force Institute of Technology der Wright-Patterson Air Force Base in Ohio.

2 Maltoni, Davide, 2011, Mustererkennung durch hierarchisches zeitliches Gedächtnis. DEIS Technical Report, veröffentlicht am 13. April 2011. Labor für biometrische Systeme der Universität Bologna: Bologna, Italien.

10 Jahre bis zur Serienreife?

Lassen Sie uns das ins rechte Licht rücken. Das Perzeptron wurde 1957 eingeführt. Bis zur Veröffentlichung der PDP-Bücher im Jahr 1986 blühte es nicht einmal als brauchbares Modell auf.

In den PDP-Büchern haben wir bis zum letzten Jahrzehnt nicht gesehen, dass dies als nutzbare tiefe Netzwerke ausgearbeitet wurde. Wenn Sie die Katzenerkennungsaufgabe von Andrew Ng und Jeff Dean als ein tiefgreifendes Netzwerk betrachten, das das Jahr 2012 definiert.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning