Was macht neuronale Netze so gut bei Vorhersagen?

Ich bin neu in neuronalen Netzen und versuche mathematisch zu verstehen, was neuronale Netze bei Klassifizierungsproblemen so gut macht.

Am Beispiel eines kleinen neuronalen Netzwerks (zum Beispiel eines mit 2 Eingängen, 2 Knoten in einer verborgenen Schicht und 2 Knoten für den Ausgang) haben Sie nur eine komplexe Funktion am Ausgang, die über eine lineare Kombination meist sigmoid ist des Sigmoid.

Wie können sie also gut vorhersagen? Führt die endgültige Funktion zu einer Kurvenanpassung?

Neuronale Netze können gut klassifiziert werden. In einigen Situationen kommt es auf die Vorhersage an, aber nicht unbedingt.

Der mathematische Grund für die Fähigkeit der neuronalen Netze zur Klassifizierung ist der universelle Approximationssatz . Was besagt, dass ein neuronales Netzwerk jede kontinuierliche reelle Funktion in einer kompakten Teilmenge approximieren kann. Die Qualität der Approximation hängt von der Anzahl der Neuronen ab. Es wurde auch gezeigt, dass das Hinzufügen der Neuronen in zusätzlichen Schichten anstelle des Hinzufügens zu vorhandenen Schichten die Qualität der Approximation schneller verbessert.

Fügen Sie dazu die nicht gut verstandene Effektivität des Backpropagation- Algorithmus hinzu, und Sie haben ein Setup, dann können Sie tatsächlich die Funktion lernen, die die UAT verspricht, oder etwas Nahes.

In Neuronalen Netzen betrachten wir alles in hoher Dimension und versuchen, eine Hyperebene zu finden, die sie durch kleine Änderungen klassifiziert ...

Wahrscheinlich ist es schwer zu beweisen, dass es funktioniert, aber die Intuition sagt, wenn es klassifiziert werden kann, können Sie es tun, indem Sie eine entspannte Ebene hinzufügen und es zwischen Daten bewegen lassen, um ein lokales Optimum zu finden ...

Mit Neuronalen Netzen klassifizieren Sie einfach Daten. Wenn Sie richtig klassifizieren, können Sie zukünftige Klassifizierungen vornehmen.

Wie es funktioniert?

Einfache neuronale Netze wie Perceptron können eine Entscheidungsgrenze ziehen, um Daten zu klassifizieren.

Angenommen, Sie möchten ein einfaches UND-Problem mit einem einfachen neuronalen Netzwerk lösen. Sie haben 4 Beispieldaten mit x1 und x2 und einen Gewichtsvektor mit w1 und w2. Angenommen, der anfängliche Gewichtsvektor ist [0 0]. Wenn Sie eine Berechnung durchgeführt haben, die vom NN-Algorithmus abhängt. Am Ende sollten Sie einen Gewichtsvektor [1 1] oder ähnliches haben.

Bitte konzentrieren Sie sich auf die Grafik.

Es heißt: Ich kann Eingabewerte in zwei Klassen (0 und 1) klassifizieren. In Ordnung. Wie kann ich das dann tun? Es ist zu einfach. Erste Summeneingabewerte (x1 und x2).

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 2

Es sagt:

Wenn die Summe <1,5 ist, ist ihre Klasse 0

Wenn die Summe> 1,5 ist, ist ihre Klasse 1

Neuronale Netze zeichnen sich durch eine Vielzahl von Aufgaben aus. Um jedoch genau zu verstehen, warum, ist es möglicherweise einfacher, eine bestimmte Aufgabe wie die Klassifizierung zu übernehmen und tiefer zu tauchen.

In einfachen Worten lernen maschinelle Lerntechniken eine Funktion, um vorherzusagen, zu welcher Klasse eine bestimmte Eingabe gehört, abhängig von früheren Beispielen. Was neuronale Netze auszeichnet, ist ihre Fähigkeit, diese Funktionen zu konstruieren, die selbst komplexe Muster in den Daten erklären können. Das Herzstück eines neuronalen Netzwerks ist eine Aktivierungsfunktion wie Relu, mit der einige grundlegende Klassifizierungsgrenzen wie folgt gezogen werden können:

Durch Zusammensetzen von Hunderten solcher Relus können neuronale Netze beliebig komplexe Klassifizierungsgrenzen erstellen, zum Beispiel:

In diesem Artikel versuche ich, die Intuition zu erklären, die dahinter steckt, wie neuronale Netze funktionieren: https://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce