Warum verwenden wir ReLU in neuronalen Netzen und wie verwenden wir es?

Warum verwenden wir bei neuronalen Netzen gleichgerichtete Lineareinheiten (ReLU)? Wie verbessert das das neuronale Netzwerk?

Warum sagen wir, dass ReLU eine Aktivierungsfunktion ist? Funktioniert die Aktivierung von Softmax nicht für neuronale Netze? Ich vermute, dass wir beide verwenden, ReLU und Softmax, wie folgt:

Neuron 1 mit Softmax-Ausgabe ----> ReLU auf der Ausgabe von Neuron 1, die
Eingabe von Neuron 2 ist ---> Neuron 2 mit Softmax-Ausgabe -> ...

so dass die Eingabe von Neuron 2 grundsätzlich ReLU (softmax (x1)) ist. Ist das richtig?

Die ReLU-Funktion istNormalerweise wird dies elementweise auf die Ausgabe einer anderen Funktion angewendet, beispielsweise eines Matrixvektorprodukts. Bei MLP-Anwendungen ersetzen Gleichrichtereinheiten alle anderen Aktivierungsfunktionen mit Ausnahme der Ausleseschicht. Aber ich nehme an, Sie könnten sie kombinieren, wenn Sie möchten.$f(x)=\max(0, x).$

Eine Möglichkeit zur Verbesserung neuronaler Netze durch ReLUs ist die Beschleunigung des Trainings. Die Gradientenberechnung ist sehr einfach (entweder 0 oder 1, abhängig vom Vorzeichen von $x$ ). Auch der Rechenschritt einer ReLU ist einfach: Negative Elemente werden auf 0,0 gesetzt - keine Exponentiale, keine Multiplikations- oder Divisionsoperationen.

Gradienten von logistischen und hyperbolischen Tangens-Netzwerken sind kleiner als der positive Anteil der ReLU. Dies bedeutet, dass der positive Teil im Verlauf des Trainings schneller aktualisiert wird. Dies ist jedoch mit Kosten verbunden. Der 0-Gradient auf der linken Seite hat ein eigenes Problem, das als "tote Neuronen" bezeichnet wird. Bei diesem Problem werden die eingehenden Werte durch eine Gradientenaktualisierung auf eine ReLU gesetzt, sodass die Ausgabe immer Null ist. Modifizierte ReLU-Einheiten wie ELU (oder Leaky ReLU oder PReLU usw.) können dies verbessern.

$\frac{d}{dx}\text{ReLU}(x)=1\forall x > 0$ . Der Gradient einer Sigma-Einheit beträgt dagegen höchstens ; Andererseits ist für Eingaben in einer Region nahe 0 günstiger, da (ungefähr).$0.25$$\tanh$$0.25 < \frac{d}{dx}\tanh(x) \le 1 \forall x \in [-1.31, 1.31]$

Ein wichtiger Punkt ist, dass ReLU idempotent ist. Vorausgesetzt, dass ReLU , ist es leicht zu erkennen, dass für jede endliche Komposition gilt . Diese Eigenschaft ist für tiefe neuronale Netze sehr wichtig, da jede Schicht im Netz eine Nichtlinearität anwendet. Wenden wir nun zwei Funktionen der Sigmoid-Familie 1-3 mal wiederholt auf denselben Eingang an:$\rho(x) = \max(0, x)$$\rho \circ \rho \circ \rho \circ \dots \circ \rho = \rho$

Sie können sofort sehen, dass Sigmoid-Funktionen ihre Eingaben "quetschen", was zu dem Problem des verschwindenden Gradienten führt: Derivate nähern sich Null, wenn sich (die Anzahl der wiederholten Anwendungen) unendlich nähert.$n$

ReLU ist die maximale Funktion (x, 0) mit Eingabe x, z. B. Matrix aus einem gefalteten Bild. ReLU setzt dann alle negativen Werte in der Matrix x auf Null und alle anderen Werte werden konstant gehalten.

ReLU wird nach der Faltung berechnet und hat daher eine nichtlineare Aktivierungsfunktion wie tanh oder sigmoid.

Softmax ist ein Klassifikator am Ende des neuronalen Netzes. Dies ist eine logistische Regression, um die Ausgaben auf Werte zwischen 0 und 1 zu regulieren.

CNN Forward Pass zB: Eingabe-> Konv-> ReLU-> Pool-> Konv-> ReLU-> Pool-> FC-> Softmax

ReLU ist ein Literal-Switch. Mit einem elektrischen Schalter ergibt 1 Volt in 1 Volt out, n Volt in ergibt n Volt out, wenn eingeschaltet. Ein / Aus, wenn Sie sich entscheiden, auf Null zu schalten, ergibt genau das gleiche Diagramm wie ReLU. Die gewichtete Summe (Skalarprodukt) mehrerer gewichteter Summen ist immer noch ein lineares System. Für einen bestimmten Eingang sind die ReLU-Schalter einzeln ein- oder ausgeschaltet. Dies führt zu einer bestimmten linearen Projektion vom Eingang zum Ausgang, da verschiedene gewichtete Summen der gewichteten Summe von ... durch die Schalter miteinander verbunden werden. Für ein bestimmtes Eingabe- und ein bestimmtes Ausgabe-Neuron gibt es ein zusammengesetztes System von gewichteten Summen, die tatsächlich zu einer einzigen effektiven gewichteten Summe zusammengefasst werden können. Da der Zustand der ReLU-Schalter bei Null liegt, gibt es keine plötzlichen Unterbrechungen im Ausgang für allmähliche Änderungen im Eingang.

Es gibt andere numerisch effiziente Algorithmen für gewichtete Summen (Skalarprodukt) wie die FFT- und die Walsh-Hadamard-Transformation. Es gibt keinen Grund, warum Sie diese nicht in ein auf ReLU basierendes neuronales Netzwerk integrieren und von den Rechengewinnen profitieren können. (zB Feste Filterbank Neuronale Netze.)