Ich lese gerade ein Buch mit dem Titel Praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow. In Kapitel 10 des Buches schreibt der Autor Folgendes:
Die Architektur biologischer neuronaler Netze (BNN) 4 ist immer noch Gegenstand aktiver Forschung, aber einige Teile des Gehirns wurden kartiert, und es scheint, dass Neuronen häufig in aufeinanderfolgenden Schichten organisiert sind, wie in Abbildung 10.2 dargestellt.
Es scheint jedoch keinen Zusammenhang mit irgendeiner Forschung dort zu geben. Und der Autor sagte es nicht durchsetzungsfähig, da er "es scheint, dass Neuronen oft in aufeinanderfolgenden Schichten organisiert sind" .
Ist das wahr und wie stark wird es geglaubt? Aus welcher Forschung stammt das?
artificial-neuron
biology
Blaszard
quelle
quelle
Antworten:
Wirklich kurze Antwort: Ja
Etwas längere Antwort: irgendwie
Lange Antwort:
Convolutional Neural Networks (CNNs), die heute ein Standard in Bildverarbeitungsmodellen sind, wurden von der Arbeit von Hubel und Wiesel in den 1950er-60er Jahren inspiriert. Sie zeigten, dass die visuellen Kortexen von Katzen und Affen Neuronen enthalten, die individuell auf kleine Regionen des Gesichtsfeldes reagieren.
Um Hintergrundinformationen zu geben, müssen wir zuerst von den Stäbchen und Zapfen in den Augen ausgehen. Diese lichtempfindlichen Zellen sind mit einigen Zellschichten verbunden, bevor sie über Ganglienzellen die Netzhaut verlassen.
Diese Ganglienzellen sind dann mit mehreren Regionen des Gehirns verbunden, vor allem aber mit dem Hinterhauptlappen, der sich im hinteren Teil des Gehirns befindet. Der Okzipitallappen ist für die visuelle Verarbeitung verantwortlich und ist in kortikale Schichten unterteilt, wobei der erste Name V1 der primäre visuelle Bereich ist. Die meisten Arbeiten von Hubel und Wiesel betrafen Zellen in V1 und zeigten, wie diese Zellen gegenüber Orientierung und Farbe aus ihren jeweiligen Rezeptionsbereichen auf der Netzhaut empfindlich waren.
Die Zellen in V1 sind mit den Zellen in V2 verbunden, die für noch spezifischere Reize wie Bewegung mit Orientierung empfindlich sind, und dieser Trend der spezifischen Empfindlichkeit setzt sich von V2 bis zu höheren Regionen im Gehirn fort.
Diese vielschichtige Herangehensweise an das Sehen wurde in CNNs so stark genutzt, dass ähnliche Reaktionen (Orientierung) gefunden werden, wenn die Empfindlichkeit von Neuronen in trainierten CNNs angezeigt wird.
Es gibt eindeutige Hinweise auf Schichten in biologischen optischen Systemen und ähnlich geschichtete Strukturen in den anderen Sinnen. Obwohl es viele Verbindungen zwischen verschiedenen Gehirnstrukturen gibt, hat die Hauptstruktur der Schichten im Gehirn dazu beigetragen, zu verstehen, was verschiedene Bereiche des Gehirns tun, und hat dazu beigetragen, viele (wenn nicht alle) Fortschritte in der neuronalen Netzwerkforschung zu inspirieren.
quelle
Sind biologische Neuronen in aufeinanderfolgenden Schichten organisiert?
Die Realität der Komplexität umarmen
"Ja" zu sagen wäre eine grobe Vereinfachung, genauso wie digitales Lernen, das sich aus einer einfachen Form der Rekursion ergibt, die auf eine Reihe von Prädikatenlogikregeln erster Ordnung angewendet wird, wie das Laufen entlang des Regenbogens eines Kobolds zum Goldschatz.
Die letzte Reihe von Fragen lautet apropos: "Ist das wahr und wie stark wird es geglaubt? Aus welcher Forschung stammt das?" Sie benötigen eine Umfrage, um festzustellen, wie stark angenommen wird, dass sich Neuronen im Gehirn in einer überwiegend geschichteten Struktur befinden. Verweise auf Schichten in der tatsächlichen Forschung scheinen keine Behauptungen aufzustellen, dass Schichten in den meisten Fällen aufeinanderfolgend sind. Es gibt aufeinanderfolgende Schichten auf der Haut, aber Haut mit nur Schichten würde Poren, Haare, Schnittstellen mit Körperöffnungen und viele andere Merkmale fehlen. Im menschlichen Gehirn (oder im tierischen Gehirn) ist die dreidimensionale Komplexität gegenüber der Haut erheblich erhöht.
Aus Sicht des KI-Forschers wäre es schön, wenn
Das in der Frage bereitgestellte Bild veranschaulicht eine solche Einfachheit nicht. Es zeigt tatsächlich das Gegenteil, dass die Natur in ihren Feinheiten selten so transparent ist.
Die Charakterisierung "Da es scheint, dass Neuronen oft in aufeinanderfolgenden Schichten organisiert sind" ist nicht genau. Die unten vernünftigere Charakterisierung des gezeigten bestimmten Schnitts zeigt zwei Bereiche an, die diskret voneinander getrennt sein können, das Gitter ganz links von 8% und die weitgehend horizontale Verbindung in den verbleibenden 92%.
Ein Elektrotechniker oder Mathematiker würde diese beiden Abschnitte wahrscheinlich nicht als Schichten bezeichnen. Es könnte angenommen werden, dass die linke Seite eine Matrix irgendeiner Form ist, und die rechten 92% könnten als komplexe Verarbeitungsschaltung angesehen werden.
Charakterisierung der 2D-Struktur
Ein weiteres Bild mit chaotischer Struktur
Millionenfach die Komplexität
Bedenken Sie ferner, dass ein Großteil der Komplexität dem Betrachter in einem einzelnen Schnitt einer dreidimensionalen neurologischen Struktur verborgen ist. Wenn wir willkürlich entscheiden, dass das Bild ein parallel zur xz-Ebene geschnittener Schnitt ist, können wir die Beziehungen in diesem xz-Plan sehen, aber weder im xy noch im yz. Jede andere Schicht aus einer anderen Richtung oder Stelle im Gehirn ist so einzigartig wie ein beliebiges Fenster in das Mandelbrot-Set.
Mehr Falschdarstellung von Forschungsergebnissen
Der Satz "Einige Teile des Gehirns wurden abgebildet" ist ebenfalls irreführend. Die allgemeine Konnektivität zwischen Substrukturen des menschlichen Gehirns wurde abgebildet, nicht die Signale und Kriterien für die Signalausbreitung und -stärke in einzelnen Neuronen. Auf Neuronenebene unterscheiden sich die Schaltkreise zwischen zwei Gehirnen radikal, die beide in vivo (in einem Lebewesen) intelligent sind.
Die Analogie ist wie eine Person von der Größe einer Mikrobe mit einer Karte von Kontinenten, Großstädten und Schifffahrtsrouten, aber ohne Vorkenntnisse über Transportsysteme, ohne GPS und ohne andere detaillierte Karte, die vom Eiffelturm zum Stadtzentrum in Sidney Australien. Es gibt eine unzureichende Entwicklung des Transportsystems oder detaillierte Anweisungen, mit denen die Reise erfolgreich durchgeführt werden kann.
Im Falle eines Detaillierungsgrades in der Struktur und Funktion des menschlichen Gehirns, der ausreicht, um eine elektronische Version von einem zu erstellen, enthalten die fehlenden Teile ein Unverständnis von
Ebenen und Hierarchien
In der Wissenschaft ist es üblich, nach Schichten oder Hierarchien zu suchen, die in Bildung und Praxis verwendet werden können, da sie zum Verständnis der anatomischen Struktur beitragen können. Diese Tendenz hat sich in der Softwareentwicklung im Betriebssystemdesign, im Programmiersprachen-Design, im Anwendungsdesign und jetzt im AI-Design gezeigt. Während sich diese Technologiebereiche weiterentwickeln, geht der Trend tatsächlich weg von einem rein schichtorientierten oder hierarchischen Design hin zu einem eher uneingeschränkten Netzwerk von Verbindungsteilen. Einfachheit ist erwünscht, aber manchmal ist Komplexität erforderlich.
Die Simulation von Intelligenz ist ein anspruchsvolles Ziel, und da die Einfachheit im ersten halben Jahrhundert des Versuchs, intelligente digitale Systeme zu entwerfen, gescheitert ist, ist klar, dass funktionierende Lösungen Komplexität und daher beträchtliches Fachwissen erfordern werden.
Es ist anzunehmen, dass es keine Einschränkung gibt, die die Entwicklung der menschlichen Intelligenz in Richtung einer Struktur steuert, die hauptsächlich durch eine Schicht oder eine hierarchische Struktur gekennzeichnet ist. Evolutionsprozesse nehmen die Einfachheit nicht zur Kenntnis, um das akademische Studium zu erleichtern. Es gibt nichts über die DNA-Genexpression oder die Art und Weise, wie Neuronen in fötalen oder späteren Stadien wachsen, was solche Regeln der Einfachheit in Bezug auf Struktur oder Funktion durchsetzen würde.
Wie komplex sind die DNA-Ausdrücke, die zu Merkmalen des Gehirns führen, die wir als Intelligenz betrachten? Wie komplex sind die neuronalen Systeme, die aus diesen Ausdrücken entstehen? Einige glauben, dass sich die Menschheit entwickeln muss, bevor sich der menschliche Geist simulieren kann. Eine solche Vermutung könnte wahr oder falsch sein. Dies ist selbst in der Größenordnung schwer vorherzusagen.
Numerische Analyse der optimistischen Vorhersage
Die Erwartung eines exponentiellen Wachstums wurde für die Lebenserwartung, die in Deutschland eingesetzte Kapazität von Solarmodulen, die CPU-Geschwindigkeit (Ausführung von Mikroprozessorbefehlen pro Sekunde), die Transistordichte (Moores "Gesetz"), die Größe der Kommunistischen Partei und viele andere Metriken vorgeschlagen. Obwohl die Wachstumsraten in der Natur und in menschlichen Bestrebungen in frühen Stadien oft exponentiell sind, hat sich dies nie als nachhaltig erwiesen. Die Wachstumsraten sind für kurze Zeit danach ungefähr linear und werden mit Annäherung an die Sättigung bogen-tangentialer. Ab der Sättigung neigen die Werte der Metrik dazu, in chaotischen Anpassungen abzunehmen und zuzunehmen und beginnen über lange Zeiträume.
Im April 2005 erklärte Gordon Moore (Autor von Moores "Gesetz"): "[Exponentielles Wachstum] kann nicht für immer andauern. Die Natur der Exponentiale ist, dass man sie herausdrückt und schließlich eine Katastrophe passiert." Später erklärte er: "In Bezug auf die Größe [der Transistoren] können Sie sehen, dass wir uns der Größe der Atome nähern, was eine grundlegende Barriere darstellt."
Es ist wichtig zu verstehen, dass Moore kein Gesetz erfunden hat. Er untersuchte Daten aus zwei Jahrzehnten und stellte fest, dass die Transistordichte in etwa proportional zu e t war , wobei t die Zeitspanne ist, seit integrierte Schaltkreise den Massenmarkt erreicht haben, und prognostizierte dann auf der Grundlage der klaren Trenddaten ein weiteres exponentielles Wachstum.
Realistische Vorhersage
Menschen haben noch nie etwas so grundlegendes versucht, eine Schwelle zu überschreiten, wie eine Simulation des Selbst zu erstellen. Ohne verwandte Erfahrung, aus der hervorgeht, ob exponentielles Wachstum, lineares Wachstum, Arcustangenswachstum oder eine andere Form das wahrscheinlichste Modell ist, ist das sicherste Modell wahrscheinlich dasjenige, das Occams Rasiermesser vorschreiben würde, eine lineare Vorhersage.
Um eine Vorhersage zu treffen, muss man einige Datenpunkte sammeln. Obwohl dies eine realistische Vorhersage ist, ist sie keine sehr sorgfältige. Möglicherweise könnte mehr Arbeit geleistet werden, um ein Modell zu finden, das wahrscheinlicher als ein lineares ist, ein System von Theorie und Metriken zu entwickeln, um den Fortschritt zu jedem Zeitpunkt zu bestimmen, oder mehr Datenpunkte zu sammeln, um eine Anpassung der kleinsten Quadrate zu ermitteln. Für die Zwecke dieser Antwort verwenden wir einfach zwei Datenpunkte und führen eine lineare Extrapolation durch.
Im Jahr 1660 schrieb Blaise Pascal in seinen Pensées ("Gedanken"): "Die Rechenmaschine erzeugt Effekte, die dem Denken näher kommen als alle Handlungen von Tieren. Aber sie tut nichts, was es uns ermöglichen würde, ihr den Willen zuzuschreiben Tiere ", so war zu dieser Zeit bereits die Suche nach mechanischen Simulationen der menschlichen Intelligenz im Gange.
Seitdem haben Computerprogrammierer Code entwickelt, der eine Reihe menschlicher Fähigkeiten erfüllt.
Die Merkmale, die im gegenwärtigen Umfang digitaler Simulationen der Intelligenz digitaler Systeme fehlen, sind wichtig und zahlreich.
Da diese Liste gekürzt ist und diese Elemente, die in Software noch nicht erreicht wurden, in natürlicher Sprache nicht so mechanisch beschreibbar sind wie diejenigen, die bereits erfolgreich programmiert wurden, können wir relativ sicher sein, dass wir 2017 nur digitale Systeme haben, die nur erreicht wurden Ein Bruchteil der Breite der Merkmale des gesamten Sets, die Menschen von einem Menschen erwarten, ohne die Person als geistig behindert zu bezeichnen. Nach der Liste der Errungenschaften zu urteilen, wurden nicht mehr als 10% dessen, was intelligente Menschen tun, durch Computersoftware simuliert.
Ohne Grund zu der Annahme, dass die Entdeckungsrate sinken oder ansteigen wird (trotz der Behauptung, dass der menschliche Fortschritt exponentiell war 1 ), setzt eine einfache lineare Näherung das relativ vollständige elektronische Gehirn für das Jahr 5.587 am Horizont.
quelle