Was können wir aus künstlichen neuronalen Netzen über das menschliche Gehirn lernen?

Ich weiß, dass meine Frage / mein Titel nicht sehr spezifisch ist, deshalb werde ich versuchen, es zu klären:

Künstliche neuronale Netze sind relativ streng aufgebaut. Natürlich werden sie im Allgemeinen von der Biologie beeinflusst und versuchen, ein mathematisches Modell realer neuronaler Netze zu erstellen, aber unser Verständnis realer neuronaler Netze reicht nicht aus, um exakte Modelle zu erstellen. Daher können wir uns keine exakten Modelle oder irgendetwas vorstellen, das "in der Nähe" realer neuronaler Netze liegt.

Soweit ich weiß, sind alle künstlichen neuronalen Netze von echten neuronalen Netzen weit entfernt. Standardmäßige, klassische, vollständig verbundene MLPs sind in der Biologie nicht vorhanden. Rekurrente neuronale Netze weisen einen Mangel an echter Neuroplastizität auf. Jedes Neuron eines RNN weist dieselbe "Rückkopplungsarchitektur" auf, während echte Neuronen ihre Informationen eher einzeln speichern und teilen. Faltungs-Neuronale Netze sind effektiv und beliebt, aber (zum Beispiel) die Bildverarbeitung im menschlichen Gehirn besteht aus nur wenigen Faltungsschichten, während moderne Lösungen (wie GoogLeNet) bereits Dutzende von Schichten verwenden ... und obwohl sie hervorragende Ergebnisse für Computer liefern Sie sind nicht einmal in der Nähe der menschlichen Leistung. Besonders wenn wir an eine "Per-Layer-Performance" denken, da wir im Vergleich zu realen neuronalen Netzen eine relativ hohe Menge an Layern und Datenreduktion benötigen.

Außerdem sind meines Wissens sogar modulare, sich selbst erweiternde / selbst umstrukturierende künstliche neuronale Netze im Vergleich zu der enormen Anpassungsfähigkeit realer neuronaler Netze eher "fest und statisch". Das biologische Neuron hat normalerweise Tausende von Dendriten, die das Neuron mit einer Vielzahl von verschiedenen Bereichen und anderen Neuronen verbinden. Künstliche neuronale Netze sind viel "einfacher".

Können wir also etwas über das menschliche Gehirn / reale neuronale Netze von künstlichen neuronalen Netzen lernen? Oder ist es nur ein Versuch, Software zu erstellen, die eine bessere Leistung als klassische statische Algorithmen erbringt (oder sogar Dinge tut, bei denen solche Algorithmen versagen)?

Kann jemand (vorzugsweise wissenschaftliche) Quellen zu diesem Thema liefern?

EDIT: Weitere Antworten werden sehr geschätzt (:

Wie Sie bereits erwähnt haben, basieren die meisten neuronalen Netze auf allgemeinen einfachen Abstraktionen des Gehirns. Es fehlt ihnen nicht nur an Nachahmungseigenschaften wie Plastizität, sondern sie berücksichtigen auch nicht die Signale und das Timing wie echte Neuronen.

Es gibt ein relativ aktuelles Interview, das meiner Meinung nach für Ihre spezielle Frage angemessen war, nämlich den Maestro für maschinelles Lernen, Michael Jordan, über die Illusionen von Big Data und andere enorme technische Anstrengungen , und ich zitiere:

Aber es ist wahr, dass die Neurowissenschaften Jahrzehnte oder sogar Hunderte von Jahren benötigen werden, um die tiefen Prinzipien zu verstehen. Auf den untersten Ebenen der Neurowissenschaften sind Fortschritte zu verzeichnen. Aber bei Fragen höherer Erkenntnis - wie wir wahrnehmen, wie wir uns erinnern, wie wir handeln - wissen wir nicht, wie Neuronen Informationen speichern, wie sie rechnen, welche Regeln gelten, welche Algorithmen vorliegen, welche Darstellungen vorliegen und dergleichen. Wir befinden uns also noch nicht in einer Ära, in der wir ein Verständnis des Gehirns verwenden können, um uns beim Aufbau intelligenter Systeme anzuleiten.

Über die Funktionsweise des Gehirns aus künstlichen neuronalen Netzen wurde bisher nicht viel - wohl nichts - gelernt. [Klarstellung: Ich habe diese Antwort geschrieben und über neuronale Netze nachgedacht, die beim maschinellen Lernen verwendet werden. @MattKrause (+1) ist richtig , dass neuronale Netzwerk Modelle einiger biologischen neuronalen Phänomene könnten in vielen Fällen hilfreich gewesen.] Dies ist jedoch aufgrund der Tatsache , vielleicht teilweise ist die Erforschung künstlicher neuronaler Netze in maschinellen Lernens mehr oder weniger war in Stagnation bis etwa 2006, als Geoffrey Hinton fast im Alleingang das gesamte Feld neu entfachte, das mittlerweile Milliarden von Dollar anzieht.

In einem 2012 in Google gehaltenen Vortrag mit dem Titel " Brains, Sex and Machine Learning" (ab 45:30 Uhr) schlug Hinton vor, dass künstliche neuronale Netze einen Hinweis darauf geben können, warum [die meisten] Neuronen mit Spitzen und nicht mit analogen Signalen kommunizieren. Er schlägt nämlich vor, Spikes als eine Regularisierungsstrategie ähnlich wie Dropout zu sehen. Dropout ist ein kürzlich entwickelter Weg, um eine Überanpassung zu verhindern, wenn nur eine Teilmenge der Gewichte bei einem bestimmten Gradientenabstiegsschritt aktualisiert wird (siehe Srivastava et al. 2014 ). Anscheinend kann es sehr gut funktionieren, und Hinton glaubt, dass Spikes (dh die meisten Neuronen schweigen zu einem bestimmten Zeitpunkt) möglicherweise dem gleichen Zweck dienen.

Ich arbeite in einem neurowissenschaftlichen Forschungsinstitut und kenne hier niemanden, der von der Argumentation Hintons überzeugt ist. Die Jury ist immer noch nicht da (und wird wahrscheinlich für einige Zeit nicht da sein), aber zumindest ist dies ein Beispiel für etwas, das uns künstliche neuronale Netze möglicherweise über die Funktionsweise des Gehirns beibringen könnten .

Es ist sicher nicht wahr, dass das menschliche Gehirn nur "einige" Faltungsschichten verwendet. Etwa 1/3 des Gehirns von Primaten ist an der Verarbeitung visueller Informationen beteiligt. Dieses Diagramm von Felleman und Van Essen gibt einen groben Überblick darüber, wie visuelle Informationen durch das Affengehirn fließen, beginnend in den Augen (RGC unten) und endend im Hippocampus, einem Speicherbereich.

Jedes dieser Kästchen ist ein anatomisch definierter Bereich (mehr oder weniger), der mehrere Verarbeitungsstufen (in den meisten Fällen tatsächliche Schichten) enthält. Das Diagramm selbst ist 25 Jahre alt und wenn überhaupt, haben wir erfahren, dass es ein paar mehr Kästchen und viel mehr Linien gibt.

Es ist wahr, dass ein Großteil der vertieften Lernarbeit eher "vage vom Gehirn inspiriert" ist, als auf einer zugrunde liegenden neuronalen Wahrheit zu beruhen. "Deep Learning" hat auch den zusätzlichen Vorteil, dass es viel sexyer klingt als "iterierte logistische Regression".

Mathematische Modelle neuronaler Netze haben jedoch auch viel zum Verständnis des Gehirns beigetragen. In einem Extremfall versuchen einige Modelle, die bekannte Biologie und Biophysik genau nachzuahmen. Dazu gehören typischerweise Begriffe für einzelne Ionen und deren Fluss. Einige verwenden sogar 3D-Rekonstruktionen realer Neuronen, um deren Form zu beschränken. Wenn Sie dies interessiert, verfügt ModelDB über eine große Sammlung von Modellen und den dazugehörigen Veröffentlichungen. Viele werden mit der frei verfügbaren NEURON- Software implementiert .

Es gibt größere Modelle, die versuchen, bestimmte Verhaltens- oder neurophysiologische Effekte nachzuahmen, ohne sich über die zugrunde liegende Biophysik Gedanken zu machen. Connectionist- oder Parallel-Distributed-Processing-Modelle, die in den späten 1980er und 1990er Jahren besonders populär waren und Modelle verwendeten, die denen ähneln, die Sie in einer aktuellen maschinellen Lernanwendung finden könnten (z. B. keine Biophysik, einfache Aktivierungsfunktionen und stereotype Konnektivität), um verschiedene zu erklären psychologische Prozesse. Diese sind ein wenig aus der Mode gekommen, obwohl man sich fragt, ob sie jetzt, wo wir leistungsfähigere Computer und bessere Trainingsstrategien haben, ein Comeback feiern könnten. (Siehe unten bearbeiten!)

Schließlich gibt es irgendwo in der Mitte eine Menge Arbeit, die einige "Phänomenologie" sowie einige biologische Details enthält (z. B. einen explizit hemmenden Begriff mit bestimmten Eigenschaften, aber ohne die genaue Verteilung der Chloridkanäle anzupassen). Viele aktuelle Arbeiten passen in diese Kategorie, zB Arbeiten von Xiao Jing Wang (und vielen anderen ...)

EDIT : Seit ich das geschrieben habe, gibt es eine Explosion von Arbeiten, die das (reale) visuelle System mit tiefen neuronalen Netzen vergleichen, die für Objekterkennungsaufgaben trainiert wurden. Es gibt einige überraschende Ähnlichkeiten. Kerne in den ersten Schichten eines neuronalen Netzwerks sind den Kernen / Rezeptionsfeldern im primären visuellen Kortex sehr ähnlich, und nachfolgende Schichten ähneln den Rezeptionsfeldern in höheren visuellen Bereichen (siehe zum Beispiel die Arbeit von Nikolaus Kriegeskorte ). Die Umschulung neuronaler Netze kann zu ähnlichen Veränderungen führen wie ein umfangreiches Verhaltenstraining (Wenliang und Seitz, 2018) . DNNs und Menschen machen manchmal - aber nicht immer - auch ähnliche Fehlermuster.

Im Moment ist es noch ziemlich unklar, ob dies die Ähnlichkeit zwischen realen und künstlichen neuronalen Netzen im Allgemeinen widerspiegelt, etwas über Bilder im Besonderen [*] oder die Tendenz, dass neuronale Netze aller Streifen Muster finden, auch wenn sie nicht vorhanden sind. Dennoch ist der Vergleich der beiden Bereiche zu einem immer heißeren Forschungsgebiet geworden, und es ist wahrscheinlich, dass wir daraus etwas lernen werden.

* Zum Beispiel ist die in den frühen visuellen Systemen / ersten Schichten eines CNN verwendete Darstellung eine optimale, spärliche Basis für natürliche Bilder.

Das, was wir wirklich gelernt haben, ist die Verwendung von spärlicher Aktivierung und die Verwendung von linear gleichgerichteten Aktivierungsfunktionen. Letzteres ist im Grunde ein Grund, warum wir eine Explosion der Aktivität in Bezug auf das sogenannte neuronale Netzwerk sahen, da die Verwendung dieser Art von Aktivierungsfunktionen zu einer dramatischen Entfettung der Trainingskosten für die künstlichen Computernetzwerke führte, die wir als neuronale Netzwerke bezeichnen.

Was wir gelernt haben, ist, warum Synapse und Neuronen auf diese Weise aufgebaut werden und warum dies vorzuziehen ist. Diese linear gleichgerichtete Aktivierung (f (x): = x> a? X: 0) führt zu einer spärlichen Aktivierung (nur wenige der 'Neuronen' (Gewichte)) werden aktiviert.

Was wir also tun, während sich unser Wissen auf biologische Funktionen erstreckt, verstehen wir, warum dies von der Evolution ausgewählt und bevorzugt wurde. Wir wissen, dass diese Systeme ausreichen, aber auch im Hinblick auf die Fehlerkontrolle während des Trainings stabil sind und Ressourcen wie Energie und chemisch / biologische Ressourcen im Gehirn schonen.

Wir verstehen einfach, warum das Gehirn das ist, was es ist. Auch wenn wir die Strategien trainieren und betrachten, die wir über mögliche Informationsflüsse und die damit verbundene Informationsverarbeitung verstehen, können wir Hypothesen zu den einzelnen Themen aufstellen und bewerten.

Ich erinnere mich zum Beispiel, dass ich vor einem Jahrzehnt ein System zum Erlernen der natürlichen gesprochenen Sprache trainiert habe. Die Entdeckung war, dass das System ähnliche Probleme aufwies, die das analoge Verhalten von Babys, die eine Sprache lernen, wieder zusammensetzen. Sogar die Unterschiede zwischen dem Erlernen verschiedener Sprachen waren ähnlich genug.

Daher wurde durch die Untersuchung dieses Ansatzes und Designs der Schluss gezogen, dass die Verarbeitung menschlicher Informationen während des Sprachenlernens ähnlich genug ist, um Trainingsempfehlungen und -behandlungen für sprachbezogene Probleme zu erstellen. Dies half dabei, die Schwierigkeiten des Menschen zu lindern und zu verstehen und eine effizientere Behandlung zu entwickeln (wie auch immer) davon hat es in der Praxis wirklich geklappt ist eine andere Frage).

Vor einem Monat las ich einen Artikel darüber, wie die 3D-Navigation und das Erinnern an Rattengehirne wirklich funktionieren, und indem ich Computermodelle für jede Entdeckung erstellte, war es eine große Hilfe, zu verstehen, was wirklich vor sich geht. Das künstliche Modell füllte also die Lücken dessen, was im biologischen System beobachtet wurde.

Ich war sehr erstaunt, als ich erfuhr, dass die Neurowissenschaftler eine Sprache verwendeten, die eher die eines Ingenieurs als eine biologische Person war, die über Schaltkreise, Informationsfluss und logische Verarbeitungseinheiten sprach.

Wir lernen also viel von künstlichen neuronalen Netzen, da sie uns empirische Spielgründe bieten, aus denen wir Regeln und Sicherheit ableiten können, warum die Architektur des Gehirns so ist, wie sie ist, und auch, warum die Evolution dies gegenüber alternativen Wegen bevorzugt.

Es gibt immer noch viele Lücken, aber nach dem, was ich gelesen habe - ich bin erst kürzlich in CNNs etc. eingestiegen, hatte aber während der Universitätszeit in den frühen 2000ern künstliche KI, Fuzzy-Logik und neuronale Netze.

Ich hatte ein Jahrzehnt der Entwicklung und Entdeckung hinter mir und war all jenen Wissenschaftlern und Praktikern des neuronalen Netzwerks und der KI dankbar. Gut gemacht Leute, wirklich gut gemacht!