Neuronale Netze - Verlust- und Genauigkeitskorrelation

Ich bin etwas verwirrt über die Koexistenz von Verlust- und Genauigkeitsmetriken in neuronalen Netzen. Beide sollen die „Genauigkeit“ des Vergleichs machen $y$ und y , nicht wahr? Ist die Anwendung der beiden in den Trainingsepochen nicht überflüssig? Warum korrelieren sie nicht?$\hat{y}$

Der Protokollverlust hat die nette Eigenschaft, dass es sich um eine differenzierbare Funktion handelt. Die Genauigkeit ist möglicherweise wichtiger und definitiv interpretierbarer, kann jedoch aufgrund des Backpropagation-Algorithmus, bei dem die Verlustfunktion differenzierbar sein muss, nicht direkt für das Training des Netzwerks verwendet werden. Wenn Ihr bevorzugter Verlust nicht direkt optimierbar ist (wie die Genauigkeit), verwenden Sie eine Verlustfunktion, die sich ähnlich verhält wie der Proxy der wahren Metrik. Im Falle einer binären Klassifizierung würden Sie am Ende ein Sigmoid und einen Protokollverlust verwenden, um die Genauigkeit zu approximieren. Sie sind stark korreliert.

Verlust ist allgemeiner als Genauigkeit. Bei der Klassifizierung können Sie eine Genauigkeit von 100% erreichen, bei der alle Beschriftungen korrekt vorhergesagt werden. Aber was ist mit Regression oder Prognose? Es gibt keine Definition von 0% und 100%

$|y_{hat}-y|$

Ja, beide messen die Genauigkeit von y und y_hat und ja, sie sind normalerweise korreliert. Manchmal ist die Verlustfunktion möglicherweise nicht genau, aber Sie sind immer noch daran interessiert, die Genauigkeit zu messen, obwohl Sie sie nicht direkt optimieren. Das TensorFlow MNIST-Beispiel von Google minimiert / optimiert den Kreuzentropieverlust, zeigt dem Benutzer jedoch die Genauigkeit an, wenn Ergebnisse gemeldet werden. Dies ist völlig in Ordnung.

Manchmal möchten Sie die Genauigkeit nicht direkt optimieren. Wenn Sie beispielsweise ein schwerwiegendes Klassenungleichgewicht haben, maximiert Ihr Modell die Genauigkeit, indem Sie einfach immer die häufigste Klasse auswählen. Dies wäre jedoch kein nützliches Modell. In diesem Fall wäre Entropie / Log-Verlust eine bessere Verlustfunktion zur Optimierung.