Unterschiedliche Definitionen der Kreuzentropieverlustfunktion

Ich habe mit dem Neuralnetworksanddeeplearning dot com Tutorial angefangen, etwas über neuronale Netze zu lernen. Insbesondere im 3. Kapitel gibt es einen Abschnitt über die Kreuzentropiefunktion und definiert den Kreuzentropieverlust als:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Beim Lesen der Tensorflow-Einführung ist der Kreuzentropieverlust jedoch definiert als:

(bei Verwendung der gleichen Symbole wie oben)$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$

Als ich mich dann umsah, um herauszufinden, was los war, fand ich einen weiteren Satz von Notizen: ( https://cs231n.github.io/linear-classify/#softmax-classifier ), der eine völlig andere Definition des Kreuzentropieverlusts verwendet, obwohl dies Zeit für einen Softmax-Klassifikator und nicht für ein neuronales Netzwerk.

Kann mir jemand erklären, was hier los ist? Warum gibt es übrigens Diskrepanzen? Als was definieren die Menschen den Kreuzentropieverlust? Gibt es nur ein übergeordnetes Prinzip?

Diese drei Definitionen sind im Wesentlichen gleich.

$$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$$

$j=2$

$$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$$ $\sum_ja_j=1$$\sum_jy_j=1$ $$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$$ Das ist das gleiche wie im 3. Kapitel .

3) Wenn $y$ist ein One-Hot-Vektor (was üblicherweise bei Klassifizierungsetiketten der Fall ist) mit$y_k$ Da es sich um das einzige Nicht-Null-Element handelt, beträgt der Kreuzentropieverlust der entsprechenden Probe

$$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$$

In den cs231-Anmerkungen ist der Kreuzentropieverlust einer Probe zusammen mit der Softmax-Normalisierung als angegeben

$$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$$

Im dritten Kapitel ist Gleichung (63) die Kreuzentropie, die im Tensoflow-Intro auf mehrere Sigmoide angewendet wird (die möglicherweise nicht 1 ergeben) die Kreuzentropie auf einer Softmax-Ausgangsschicht berechnet wird.

Wie von dontloo erklärt, sind beide Formeln für zwei Klassen im Wesentlichen gleichwertig, jedoch nicht, wenn mehr als zwei Klassen berücksichtigt werden. Softmax ist sinnvoll für Multiklassen mit exklusiven Klassen ( dh wenn es nur ein Etikett pro Probe gibt, das die One-Hot-Codierung von Etiketten ermöglicht), während (mehrere) Sigmoide verwendet werden können, um ein Multilabel-Problem zu beschreiben (dh bei Proben, die möglicherweise positiv sind für mehrere Klassen).

Siehe auch diese andere Dontloo-Antwort .