Zielfunktion, Kostenfunktion, Verlustfunktion: Sind sie dasselbe?

Beim maschinellen Lernen wird über Zielfunktion, Kostenfunktion und Verlustfunktion gesprochen. Sind sie nur verschiedene Namen der gleichen Sache? Wann benutzt man sie? Was sind die Unterschiede, wenn sie sich nicht immer auf dasselbe beziehen?

Dies sind keine sehr strengen Begriffe und sie sind eng miteinander verbunden. Jedoch:

• Die Verlustfunktion ist normalerweise eine Funktion, die für einen Datenpunkt, eine Vorhersage und eine Kennzeichnung definiert ist und die Strafe misst. Zum Beispiel:
  • Quadratverlust , verwendet in linearer Regression$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • Gelenkverlust , verwendet in SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 Verlust , verwendet in der theoretischen Analyse und Definition der Genauigkeit$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• Die Kostenfunktion ist normalerweise allgemeiner. Es kann sich um eine Summe von Verlustfunktionen über Ihrem Trainingssatz und einen gewissen Verlust an Modellkomplexität (Regularisierung) handeln. Zum Beispiel:
  • Mittlerer quadratischer Fehler$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • SVM-Kostenfunktion (es gibt zusätzliche Einschränkungen, die mit und mit dem Trainingssatz verbinden)ξ i$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• Objektive Funktion ist der allgemeinste Begriff für jede Funktion, die Sie während des Trainings optimieren. Beispielsweise ist eine Wahrscheinlichkeit, ein Trainingsset im Maximum-Likelihood-Ansatz zu generieren, eine genau definierte Zielfunktion, jedoch keine Verlust- oder Kostenfunktion (Sie können jedoch eine äquivalente Kostenfunktion definieren). Zum Beispiel:
  • MLE ist eine Art Zielfunktion (die Sie maximieren)
  • Die Divergenz zwischen Klassen kann eine objektive Funktion sein, ist jedoch kaum eine Kostenfunktion, es sei denn, Sie definieren etwas Künstliches wie 1-Divergenz und nennen es Kosten

Um es kurz zu machen, ich würde sagen:

Eine Verlustfunktion ist Teil einer Kostenfunktion, die eine Art Zielfunktion ist.

Laut Prof. Andrew Ng (siehe Folien auf Seite 11)

Die Funktion h (X) repräsentiert Ihre Hypothese. Für feste Anpassungsparameter Theta ist es eine Funktion von Merkmalen X. Ich würde sagen, dass dies auch die Zielfunktion genannt werden kann.

Die Kostenfunktion J ist eine Funktion der Anpassungsparameter Theta. J = J (Theta).

Nach dem Lehrbuch "Elements of Statistical Learning" von Hastie et al. Von S.37:

Wir suchen eine Funktion f (X), um Y gegebene Werte der Eingabe X vorherzusagen. [...] die Verlustfunktion L (Y, f (X)) ist "eine Funktion zur Bestrafung der Vorhersagefehler",

Es scheint also, dass "Verlustfunktion" ein etwas allgemeinerer Begriff ist als "Kostenfunktion". Wenn Sie in diesem PDF nach "loss" suchen, verwenden sie meiner Meinung nach "cost function" und "loss function" synonym.

In der Tat, p. 502

"Die Situation [in Clustering] ähnelt in gewisser Weise der Spezifikation einer Verlust- oder Kostenfunktion bei Vorhersageproblemen (überwachtes Lernen)."

Vielleicht existieren diese Begriffe, weil sie sich in verschiedenen akademischen Gemeinschaften unabhängig voneinander entwickelt haben. "Objektive Funktion" ist ein alter Begriff, der in Operations Research und Engineering Mathematics verwendet wird. Die "Verlustfunktion" ist unter Statistikern möglicherweise häufiger in Gebrauch. Aber ich spekuliere hier.

In Andrew NGs Worten

"Schließlich wurde die Verlustfunktion in Bezug auf ein einzelnes Trainingsbeispiel definiert. Sie misst, wie gut Sie in einem einzelnen Trainingsbeispiel abschneiden. Ich werde nun die sogenannte Kostenfunktion definieren, die misst, wie gut Sie abschneiden die Kostenfunktion J, die auf Ihre Parameter W und B angewendet wird, wird also der Durchschnitt mit einem der m der Summe der Verlustfunktionen sein, die auf jedes der Trainingsbeispiele und die Runde angewendet werden. "

Aus Abschnitt 4.3 in "Deep Learning" - Ian Goodfellow, Aaron Courville, Yoshua Bengio http://www.deeplearningbook.org/

"Die Funktion, die wir minimieren oder maximieren möchten, wird als Zielfunktion oder Kriterium bezeichnet. Wenn wir sie minimieren, können wir sie auch als Kostenfunktion, Verlustfunktion oder Fehlerfunktion bezeichnen. In diesem Buch verwenden wir diese Begriffe synonym. obwohl einige Veröffentlichungen zum maschinellen Lernen einigen dieser Begriffe eine besondere Bedeutung beimessen. "

Zumindest in diesem Buch sind Verlust und Kosten gleich.

Um dir eine kurze Antwort zu geben, laut mir sind sie auch. Die Kostenfunktion wird jedoch häufiger beim Optimierungsproblem und die Verlustfunktion bei der Parameterschätzung verwendet.

Die Begriffe Kosten- und Verlustfunktion werden von manchen Leuten auch als Fehlerfunktion bezeichnet. Das allgemeinere Szenario besteht darin, zuerst eine Zielfunktion zu definieren, die wir optimieren möchten. Diese Zielfunktion könnte darin bestehen,

1. Maximierung der posterioren Wahrscheinlichkeiten (zB naive Bayes)
2. Maximierung einer Fitnessfunktion (genetische Programmierung)
3. Maximieren Sie die Gesamtbelohnungs- / Wertfunktion (Bestärkungslernen)
4. Maximieren des Informationsgewinns / Minimieren der Verunreinigungen von Kinderknoten (CART-Entscheidungsbaumklassifizierung) 5. Minimieren der mittleren quadratischen Fehlerkosten (oder -verluste) (CART, Entscheidungsbaumregression, lineare Regression, adaptive lineare Neuronen, ...)
5. Maximierung der Log-Wahrscheinlichkeit oder Minimierung des Cross-Entropy-Verlusts (oder der Kosten) Minimierung des Gelenkverlusts (Support Vector Machine)

Eigentlich um einfach zu sein Wenn Sie m Trainingsdaten wie diese haben (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Wir verwenden die Verlustfunktion L (ycap, y), um den Verlust zwischen ycap und y eines einzelnen Trainingssatzes zu ermitteln. Wenn wir den Verlust zwischen ycap und y eines gesamten Trainingssatzes ermitteln möchten, verwenden wir Kostenfunktion.

Hinweis: - ycap bedeutet Ausgabe von unserem Modell und y bedeutet erwartete Ausgabe

Hinweis: - Kredit geht an Andrew ng Ressource: coursera neuronales Netzwerk und tiefes Lernen

Die Verlustfunktion berechnet den Fehler für ein einzelnes Trainingsbeispiel, während die Kostenfunktion der Durchschnitt der Verlustfunktionen des gesamten Trainingssatzes ist.