Aufbau einer problemspezifischen Verlustfunktion

Problembeschreibung

Ich beginne mit dem Aufbau eines Netzwerks für ein Problem, von dem ich glaube, dass es eine weitaus aufschlussreichere Verlustfunktion haben könnte als eine einfache MSE-Regression.

Mein Problem betrifft die Klassifizierung in mehrere Kategorien ( siehe meine Frage zu SO, was ich damit meine), bei der es einen definierten Abstand oder eine definierte Beziehung zwischen Kategorien gibt, die berücksichtigt werden sollte.

Ein weiterer Punkt ist, dass der Fehler nicht durch die Anzahl der vorhandenen Zündkategorien verursacht werden sollte. Dh der Fehler für 5 Zündkategorien, die jeweils um 0,1 abweichen, sollte der gleiche sein wie 1 Zündkategorie, die um 0,1 abweicht. (Mit Schießen meine ich, dass sie nicht Null sind oder über einem bestimmten Schwellenwert liegen)

Wichtige Punkte

• Klassifizierung in mehrere Kategorien (Mehrfachfeuerung gleichzeitig)
• Beziehungen zwischen Kategorien
• Die Anzahl der Schusskategorien sollte keinen Verlust bewirken:
  • 

Mein Versuch

Der mittlere quadratische Fehler scheint ein guter Anfang zu sein:

Hierbei wird lediglich Kategorie für Kategorie berücksichtigt, was für mein Problem immer noch wertvoll ist, aber einen großen Teil des Bildes übersieht.

Hier ist mein Versuch, die Idee der Entfernung zwischen Kategorien zu korrigieren. Als nächstes möchte ich die Anzahl der Kategorien berücksichtigen, die ausgelöst werden ( nenne es: v )

Meine Frage

Ich habe einen sehr schwachen statistischen Hintergrund. Infolgedessen habe ich nicht viele Werkzeuge in meinem Gürtel, um ein solches Problem anzusprechen. Das Hauptthema meiner Frage scheint zu sein: "Wie kann man bei der Bildung einer Kostenfunktion mehrere Kostenmaße kombinieren? Oder welche Techniken kann man anwenden, um dies zu tun?" . Ich würde es auch begrüßen, wenn Fehler in meinem Denkprozess aufgedeckt und verbessert würden.

Ich schätze es, gelehrt zu werden, warum meine Fehler Fehler sind, anstatt dass jemand sie nur ohne Erklärung korrigiert.

Wenn ein Teil dieser Frage nicht klar genug ist oder verbessert werden könnte, lassen Sie es mich bitte wissen.

Sie können den Scharnierverlust verwenden, der eine Obergrenze für den Klassifizierungsverlust darstellt. Das heißt, das Modell wird bestraft, wenn sich das Etikett der Kategorie mit der höchsten Punktzahl vom Etikett der Grundwahrheitsklasse unterscheidet.

Weitere Informationen zum Zusammenhang zwischen Klassifizierungsverlust und Scharnierverlust finden Sie in Abschnitt 2 dieses großartigen Artikels von CNJ Yu und T. Joachims.

$\Delta \left( y_i, \hat{y}(x_i) \right)$$\hat{y}(x_i)$$x_i$$y_i$$\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$$\Delta$$y$$\hat{y}$$\Delta$$K \times K$$K$$\Delta(a, b)$$a$$b$

Zum Beispiel: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\ $