Maschinelles Lernen: Soll ich für binäre Vorhersagen eine kategoriale Kreuzentropie oder einen binären Kreuzentropieverlust verwenden?

Zunächst wurde mir klar, dass ich, wenn ich binäre Vorhersagen durchführen muss, mindestens zwei Klassen durch Ausführen einer One-Hot-Codierung erstellen muss. Ist das richtig? Gilt die binäre Kreuzentropie jedoch nur für Vorhersagen mit nur einer Klasse? Wenn ich einen kategorialen Cross-Entropy-Verlust verwenden würde, der normalerweise in den meisten Bibliotheken (wie TensorFlow) zu finden ist, gäbe es dann einen signifikanten Unterschied?

Was sind die genauen Unterschiede zwischen einer kategorialen und einer binären Kreuzentropie? Ich habe noch nie eine Implementierung der binären Kreuzentropie in TensorFlow gesehen, daher dachte ich, dass die kategoriale genauso gut funktioniert.

Der binomiale Kreuzentropieverlust ist ein Spezialfall des multinomialen Kreuzentropieverlusts für .$m=2$

$$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$$

Wobei Stichproben / Beobachtungen indiziert und Klassen indiziert und die Stichprobenbezeichnung ist (binär für LSH, Ein-Hot-Vektor auf der RHS) und ist die Vorhersage für eine Stichprobe.$i$$j$$y$$p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$

Binäre Kreuzentropie ist für Mehrfachmarkierungsklassifizierungen vorgesehen, wohingegen kategoriale Kreuzentropie für Mehrfachklassifizierungen vorgesehen ist, bei denen jedes Beispiel zu einer einzelnen Klasse gehört.

Ich denke, es gibt drei Arten von Klassifizierungsaufgaben:

1. Binäre Klassifizierung: zwei exklusive Klassen
2. Mehrklasseneinteilung: mehr als zwei exklusive Klassen
3. Multi-Label-Klassifizierung: Nur nicht exklusive Klassen

Daraus können wir sagen

• Im Fall von (1) müssen Sie die binäre Kreuzentropie verwenden.
• Im Fall von (2) müssen Sie eine kategoriale Kreuzentropie verwenden.
• Im Fall von (3) müssen Sie die binäre Kreuzentropie verwenden. Sie können den Multi-Label-Klassifikator einfach als einen Multi-Separate-Binärklassifikator betrachten. Wenn Sie hier 10 Klassen haben, haben Sie 10 Binärklassifikatoren separat. Jeder Binärklassifikator wird unabhängig trainiert. Auf diese Weise können wir für jede Probe mehrere Etiketten erstellen. Wenn Sie sicherstellen möchten, dass mindestens ein Label erfasst werden muss, können Sie das Label mit der niedrigsten Klassifizierungsverlustfunktion oder mit anderen Metriken auswählen.

Ich möchte betonen, dass die Klassifizierung mehrerer Klassen nicht mit der Klassifizierung mehrerer Etiketten vergleichbar ist ! Multi-Label-Klassifikator leiht eine Idee aus dem binären Klassifikator!