Was ist der Unterschied zwischen einer Verlustfunktion und einer Entscheidungsfunktion?

Ich sehe, dass beide Funktionen Teil von Data Mining-Methoden wie Gradient Boosting Regressors sind. Ich sehe, dass dies auch separate Objekte sind.

Wie ist die Beziehung zwischen beiden im Allgemeinen?

Eine Entscheidungsfunktion ist eine Funktion, die einen Datensatz als Eingabe nimmt und eine Entscheidung als Ausgabe gibt. Welche Entscheidung getroffen werden kann, hängt vom jeweiligen Problem ab. Beispiele beinhalten:

• Schätzprobleme : Die "Entscheidung" ist die Schätzung.
• Probleme beim Testen von Hypothesen: Die Entscheidung ist, die Nullhypothese abzulehnen oder nicht abzulehnen.
• Klassifizierungsprobleme: Die Entscheidung ist, eine neue Beobachtung (oder Beobachtungen) in eine Kategorie zu klassifizieren.
• Modellauswahlprobleme: Die Entscheidung ist, eines der Kandidatenmodelle auszuwählen.

In der Regel stehen für ein Problem unendlich viele Entscheidungsfunktionen zur Verfügung. Wenn wir zum Beispiel daran interessiert sind, die Größe schwedischer Männer auf der Grundlage von zehn Beobachtungen schätzen , können wir eine der folgenden Entscheidungsfunktionen d ( x ) verwenden :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• Der Stichprobenmittelwert: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• Der Median der Stichprobe: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• Das geometrische Mittel der Stichprobe: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• Die Funktion , die unabhängig vom Wert von x immer 1: zurückgibt . Blöd, ja, aber es ist trotzdem eine gültige Entscheidungsfunktion.$d(\mathbf{x})=1$$\mathbf{x}$

Wie können wir dann bestimmen, welche dieser Entscheidungsfunktionen verwendet werden sollen? Eine Möglichkeit ist die Verwendung einer Verlustfunktion , die den Verlust (oder die Kosten) beschreibt, die mit allen möglichen Entscheidungen verbunden sind. Unterschiedliche Entscheidungsfunktionen führen in der Regel zu unterschiedlichen Arten von Fehlern. Die Verlustfunktion sagt uns, um welche Art von Fehlern wir uns mehr Sorgen machen sollten. Die beste Entscheidungsfunktion ist die Funktion, die den niedrigsten erwarteten Verlust ergibt . Was unter dem erwarteten Verlust zu verstehen ist, hängt von der jeweiligen Situation ab (insbesondere davon, ob es sich um eine frequentistische oder eine bayesianische Statistik handelt).

Zusammenfassend:

• Entscheidungsfunktionen werden verwendet, um Entscheidungen basierend auf Daten zu treffen.
• Verlustfunktionen werden verwendet, um zu bestimmen, welche Entscheidungsfunktion verwendet werden soll.

Die Verlustfunktion ist das, was minimiert wird, um ein Modell zu erhalten, das in gewissem Sinne optimal ist. Das Modell selbst hat eine Entscheidungsfunktion, die zur Vorhersage verwendet wird.

Zum Beispiel in SVM-Klassifikatoren:

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$