Ich habe jetzt ein Buch mit dem Titel "Praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow" gelesen und in Kapitel 11 die folgende Beschreibung zur Erklärung von ELU (Exponential ReLU).

Drittens ist die Funktion überall flüssig, auch um z = 0, was den Gradientenabstieg beschleunigt, da sie links und rechts von z = 0 nicht so stark abprallt.

Dies zbedeutet die x-Achse in der obigen Grafik. Ich verstehe, dass die Ableitung glatt ist, da die z < 0Linie eine Kurve hat und in diesem Bereich die Ableitung nicht mehr gleich ist 0.

Warum ist es jedoch so, dass die Funktion, wenn sie "überall glatt ist, einschließlich um z = 0", den Gradientenabstieg beschleunigt?

Ich vermute, es liegt an der Ableitung, da ReLU eine diskontinuierliche Ableitung bei 0 hat. Wenn Sie also die Definition verwenden:

$$f' \approx \frac{f(x+\epsilon) -f(x-\epsilon)}{2 \epsilon}$$

$x$

Vorläufig: Es gibt drei Attribute einer Funktion, die hier relevant sind: kontinuierlich, monoton und differenzierbar. Die RELU ist eine kontinuierliche und monotone Mutter, die bei z = 0 nicht differenzierbar ist. Das exponentielle Relu oder ELU ist alle drei dieser Attribute.

Das Differential oder der Gradient gibt Ihnen eine Richtung. Wenn die Ableitung einer Funktion an einem Punkt undefiniert ist, ist die Richtung des Gradienten an diesem Punkt unbestimmt.

Bei der Anwendung des Gradientenabfalls möchten wir die Parameter kontinuierlich so ändern, dass die Verlustfunktion stetig abnimmt. Dies entspricht der Aussage, dass wir uns weiter in Richtung Minimum bewegen möchten.

Wenn die Ableitung einer Verlustfunktion irgendwann undefiniert ist, ist der Gradient unbestimmt. Dies bedeutet, dass sich der Gradientenabstieg möglicherweise in die falsche Richtung bewegen kann. Das Ausmaß der durch diese Unbestimmtheit verursachten Verzögerung hängt von der Lernrate und anderen Hyperparametern ab. Unabhängig von den Hyperparametern trägt statistisch gesehen die undefinierte Ableitung in RELU bei z = 0 zur Verlangsamung der Konvergenz des Gradientenabfalls bei.

Schneller oder niedriger zu sein ist ein relativer Begriff und muss im Kontext dessen verstanden werden, womit es verglichen wird. Um dies zu verstehen, müssen wir zunächst überlegen, wie der Gradientenabstieg mit anderen Arten der Aktivierungsfunktion funktioniert.

Beispiel-Setup

$n$

$z_1 = W_1 x + b_1$

$a_1 = f(z_1)$

...

$z_n = W_n a_{n-1} + b_n$

$y = f(z_n)$

$f$

Tanh und Sigmoid - verschwindender Gradient

$f$$f'(x) \in (-1, 1)$$x$

$y$$W_1$

$$\frac{df}{dW_1} = \frac{df}{dW_{n}} \frac{dW_{n}}{dW_{n-1}} ... \frac{dW_{2}}{dW_{1}}$$

$0 < i < n$

$$\frac{dX_{i}}{dX_{i-1}} = f'(W_{i-1}a_{i-2} + b_{i-1}) \times a_{i-2} \in (-1, 1)$$

$(-1, 1)$$f'$$a_{i-2}$$(-1, 1)$

$\frac{df}{dW_1}$$n$$\frac{df}{dW_1}$

RELU und Dead Neuron

$a_i > 0$$f$

$$\frac{dX_{i}}{dX_{i-1}} = a_{i-2}$$ $$\frac{df}{dW_1} = a_1 a_2 a_3 ... a_{n-1}$$

$x > 0$$x < 0$

Undichte RELU und ELU

$x > 0$$x<1$

Ich zitiere das Originalpapier für den Unterschied zwischen den beiden.

LReLUs und PReLUs haben zwar ebenfalls negative Werte, gewährleisten jedoch keinen rauschstabilen Deaktivierungszustand. ELUs sättigen sich mit kleineren Eingaben auf einen negativen Wert und verringern dadurch die vorwärts propagierte Variation und Information.

Die intuitive Erklärung lautet wie folgt. In der ELU wurde der Gradient immer dann, wenn x klein genug wurde, sehr klein und gesättigt (genauso wie bei Tanh und Sigmoid). Der kleine Gradient bedeutet, dass sich der Lernalgorithmus auf die Abstimmung anderer Gewichte konzentrieren kann, ohne sich um die Interaktivität mit den gesättigten Neuronen sorgen zu müssen.

Betrachten Sie ein Polynom vom Grad 2, das als glatte Oberfläche in einem 3D-Raum dargestellt werden kann. Um das lokale Minimum zu finden, muss ein Gradientenabstiegsalgorithmus die Steilheit sowohl in x- als auch in y-Richtung berücksichtigen. Wenn der Gradient sowohl in x- als auch in y-Richtung negativ ist, ist nicht klar, welcher Weg besser ist. Es ist also sinnvoll, irgendwo dazwischen einen Weg zu wählen. Aber was ist, wenn wir bereits wissen, dass alles in x-Richtung flach ist (Gradienten Null), dann ist es ein Kinderspiel, sich für die y-Richtung zu entscheiden. Mit anderen Worten, Ihr Suchraum wird viel kleiner.

Spezielle Notiz

Beim tiefen Lernen gibt es viele Behauptungen ohne ausreichende empirische Beweise oder tiefes Verständnis, um dies zu unterstützen. Im Fall von ELU kann es zwar zutreffen, dass dies für einige Datensätze zu einer schnelleren Konvergenz führt, es kann jedoch auch zutreffen, dass der Lernalgorithmus für einen anderen Datensatz auf dem lokalen Maximum bleibt. Wir wissen einfach noch nicht genug.

Ich habe eine intuitive Vorstellung davon, warum reibungslose Funktionen schneller zu optimieren sind, aber keinen mathematischen Beweis oder ähnliches.

Der Gradientenabstieg berechnet die Ableitung der Aktivierungsfunktion, um die Änderung der Gewichte zu bestimmen. Wenn die Aktivierungsfunktion einen harten Schnitt hat (z. B. bei z = 0 für ReLu), kann sich die Aktivierung der Einheit für bestimmte Datenpunkte radikal ändern (dh immer Null oder linear), wenn die Gewichte geändert werden.

Die anderen Gewichte müssen sich an dieses radikal unterschiedliche Verhalten einer bestimmten Einheit für bestimmte Datenpunkte anpassen. Wenn sich das Verhalten der Einheit jedoch während der nächsten Epoche wieder radikal ändert, ist das Netzwerk weiterhin auf Änderungen in der vorherigen Epoche eingestellt.

Bei einer reibungslosen Funktion gibt es keine derart radikalen Veränderungen. Und so kann sich das Netzwerk allmählich stabilisieren.