Warum sollten Sie im Softmax-Klassifikator die Funktion exp verwenden, um eine Normalisierung durchzuführen?

Warum Softmax im Gegensatz zur Standardnormalisierung verwenden? Im Kommentarbereich der oberen Antwort auf diese Frage hat @Kilian Batzner zwei Fragen aufgeworfen, die mich ebenfalls sehr verwirren. Es scheint, dass niemand eine Erklärung abgesehen von numerischen Vorteilen gibt.

Ich habe die Gründe für die Verwendung von Cross-Entropy Loss herausgefunden, aber wie hängt das mit dem Softmax zusammen? Sie sagten, "die Softmax-Funktion kann als Versuch angesehen werden, die Kreuzentropie zwischen den Vorhersagen und der Wahrheit zu minimieren". Angenommen, ich würde die Standard- / Linearnormalisierung verwenden, aber immer noch den Cross-Entropy-Verlust. Dann würde ich auch versuchen, die Cross-Entropy zu minimieren. Wie ist der Softmax mit Ausnahme der numerischen Vorteile mit der Cross-Entropy verknüpft?

Was die Wahrscheinlichkeitssicht betrifft: Was ist die Motivation, Log-Wahrscheinlichkeiten zu betrachten? Die Argumentation scheint ein bisschen zu sein wie "Wir verwenden e ^ x im Softmax, weil wir x als Log-Wahrscheinlichkeiten interpretieren". Mit der gleichen Überlegung könnten wir sagen, wir verwenden e ^ e ^ e ^ x im Softmax, weil wir x als log-log-log-Wahrscheinlichkeiten interpretieren (hier natürlich übertreiben). Ich habe die numerischen Vorteile von softmax, aber was ist die theoretische Motivation dafür?

Es ist mehr als nur numerisch. Eine kurze Erinnerung an den Softmax:

$$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$$

Dabei ist ein Eingabevektor mit einer Länge, die der Anzahl der Klassen . Die Softmax-Funktion hat 3 sehr schöne Eigenschaften: 1. Sie normalisiert Ihre Daten (gibt eine korrekte Wahrscheinlichkeitsverteilung aus), 2. ist differenzierbar und 3. sie verwendet die von Ihnen erwähnte exp. Einige wichtige Punkte:$x$$K$

1. Die Verlustfunktion steht nicht in direktem Zusammenhang mit softmax. Sie können die Standardnormalisierung verwenden und trotzdem die Kreuzentropie verwenden.

2. Eine "Hardmax" -Funktion (dh Argmax) ist nicht unterscheidbar. Der Softmax gibt allen Elementen im Ausgabevektor mindestens eine minimale Wahrscheinlichkeit und ist daher gut differenzierbar, daher der Begriff "soft" in softmax.

3. Jetzt komme ich zu deiner Frage. Das in softmax ist die natürliche Exponentialfunktion. Bevor wir normalisieren, transformieren wir wie im Diagramm von :x e $e$$x$$e^x$

Wenn 0 ist, dann ist , wenn 1 ist, dann ist und wenn 2 ist, dann ist ! Ein großer Schritt! Dies ist eine nichtlineare Transformation unserer nicht normalisierten Log-Scores. Die interessante Eigenschaft der Exponentialfunktion in Kombination mit der Normalisierung im Softmax ist, dass hohe Werte in viel wahrscheinlicher werden als niedrige Werte.y = 1 x y = 2,7 x y = 7 $x$$y=1$$x$$y=2.7$$x$$y=7$$x$

Ein Beispiel . Sagen Sie und Ihr Log-Score ist Vektor . Die einfachen argmax-Funktionsausgaben:x [ 2 , 4 , 2 , 1 $K=4$$x$$[2, 4, 2, 1]$

$$[0, 1, 0, 0]$$

Der Argmax ist das Ziel, aber es ist nicht differenzierbar und wir können unser Modell nicht damit trainieren: (Eine einfache Normalisierung, die differenzierbar ist, gibt die folgenden Wahrscheinlichkeiten aus:

$$[0.2222, 0.4444, 0.2222, 0.1111]$$

Das ist wirklich weit weg vom Argmax! :( Während die Softmax-Ausgänge:

$$[0.1025, 0.7573, 0.1025, 0.0377]$$

Das kommt dem argmax viel näher! Da wir das natürliche Exponential verwenden, erhöhen wir die Wahrscheinlichkeit der größten Punktzahl enorm und verringern die Wahrscheinlichkeit der niedrigeren Punktzahlen im Vergleich zur Standardnormalisierung. Daher das "max" in softmax.

Zusätzlich zu Vegas Erklärung,

Definieren wir den generischen Softmax: wobei eine Konstante> = 1 ist

$$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$$ $\psi$

Wenn , dann sind Sie ziemlich weit von Argmax entfernt, wie von @vega erwähnt.$\psi=1$

Nehmen wir jetzt an, , jetzt sind Sie ziemlich nah am Argmax, aber Sie haben auch wirklich kleine Zahlen für negative Werte und große Zahlen für positive. Diese Zahlen überlaufen die Schwimmerkommaarithmetik Grenze leicht (zB maximale Grenze von numpy float64 sind ). Darüber hinaus sollten Frameworks eine stabilere Version von softmax (Multiplikation von Zähler und Nenner mit Konstante ) implementieren , selbst wenn die Auswahl was viel kleiner als , da die Ergebnisse zu klein werden, um ausgedrückt werden zu können mit solcher Präzision.$\psi=100$$10^{308}$$\psi=e$$100$$C$

Sie möchten also eine Konstante auswählen, die groß genug ist, um sich Argmax gut anzunähern, und die klein genug ist, um diese großen und kleinen Zahlen in Berechnungen auszudrücken.

Und natürlich hat auch ziemlich nette Ableitungen.$e$

Diese Frage ist sehr interessant. Ich kenne den genauen Grund nicht, aber ich denke, der folgende Grund könnte verwendet werden, um die Verwendung der Exponentialfunktion zu erklären. Dieser Beitrag ist inspiriert von der statistischen Mechanik und dem Prinzip der maximalen Entropie.

Ich werde dies anhand eines Beispiels mit $N$ Bildern erläutern , die aus $n_1$ Bildern der Klasse $\mathcal{C}_1$ , $n_2$ Bildern der Klasse $\mathcal{C}_2$ , ... und $n_K$ Bildern der Klasse $\mathcal{C}_K$ . Dann gehen wir davon aus, dass unser neuronales Netzwerk in der Lage war anzuwenden auf unseren Bildern nicht - lineare Transformation, so dass wir ein ‚Energieniveau‘ können zuweisen $E_k$ für alle Klassen. Wir gehen davon aus, dass diese Energie nichtlinear ist, wodurch wir die Bilder linear trennen können.

Die mittlere Energie $\bar{E}$ ist mit dem anderen Energien bezogen $E_k$ durch die folgende Beziehung

$$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$$

Gleichzeitig sehen wir, dass die Gesamtanzahl der Bilder als folgende Summe berechnet werden kann

$$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$$

Die Grundidee des Maximum-Entropy-Prinzips ist, dass die Anzahl der Bilder in den entsprechenden Klassen so verteilt wird, dass die Anzahl der möglichen Kombinationen für eine gegebene Energieverteilung maximiert wird. Einfacher ausgedrückt wird das System nicht sehr wahrscheinlich in einen Zustand übergehen, in dem wir nur die Klasse $n_1$ es wird auch nicht in einen Zustand übergehen, in dem wir in jeder Klasse die gleiche Anzahl von Bildern haben. Aber warum ist das so? Wenn alle Bilder in einer Klasse wären, hätte das System eine sehr niedrige Entropie. Der zweite Fall wäre ebenfalls eine sehr unnatürliche Situation. Es ist wahrscheinlicher, dass wir mehr Bilder mit mäßiger Energie und weniger Bilder mit sehr hoher und sehr niedriger Energie haben.

Die Entropie nimmt mit der Anzahl der Kombinationen zu, in denen wir die $N$ Bilder mit entsprechender Energie in die $n_1$ , $n_2$ , ..., $n_K$ aufteilen können . Diese Anzahl von Kombinationen ist durch den Multinomialkoeffizienten gegeben

$$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$$

Wir werden versuchen, diese Zahl zu maximieren, vorausgesetzt, wir haben unendlich viele Bilder $N\to \infty$ . Seine Maximierung hat aber auch Gleichheitsbeschränkungen $(*)$ und $(**)$ . Diese Art der Optimierung wird als eingeschränkte Optimierung bezeichnet. Wir können dieses Problem mithilfe der Methode der Lagrange-Multiplikatoren analytisch lösen. Wir führen die Lagrange-Multiplikatoren $\beta$ und $\alpha$ für die Gleichheitsbedingungen ein und wir führen die Lagrange-Funktion $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$ .

$$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$$

Da wir $N\to \infty$ haben, können wir auch $n_k \to \infty$ annehmen und die Stirling-Näherung für die Fakultät verwenden

$$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$$

Beachten Sie, dass diese Näherung (die ersten beiden Terme) nur asymptotisch ist. Dies bedeutet jedoch nicht, dass diese Näherung gegen $\ln n!$ konvergiert ! für $n\to \infty$ .

Die partielle Ableitung der Lagrange-Funktion in Bezug auf $n_\tilde{k}$ führt zu

$$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$$

Wenn wir diese partielle Ableitung auf Null setzen, können wir finden

$$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$$

$(**)$

$$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$$

If we put this back into $(***)$ we get something that should remind us of the softmax function

$$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$$

If we define $n_\tilde{k}/N$ as the probability of class $\mathcal{C}_\tilde{k}$ by $p_\tilde{k}$ we will obtain something that is really similar to the softmax function

$$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$$

Hence, this shows us that the softmax function is the function that is maximizing the entropy in the distribution of images. From this point, it makes sense to use this as the distribution of images. If we set $\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$ we exactly get the definition of the softmax function for the $k^{\text{th}}$ output.