Was versteht man unter der Varianz von * Funktionen * in * Einführung in das statistische Lernen *?

Auf pg. 34 der Einführung in das statistische Lernen : $\newcommand{\Var}{{\rm Var}}$

Obwohl der mathematische Beweis den Rahmen dieses Buches $x_0$ , kann gezeigt werden , dass die erwartete Test-MSE für einen gegebenen Wert x_0 immer in die Summe von drei Grundgrößen zerlegt werden kann: die Varianz von $\hat{f}(x_0)$ , die quadratische Vorspannung von $\hat{f}(x_0)$ und die Varianz der Fehlerterme $\varepsilon$ . Das ist,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] Varianz bezieht sich auf den Betrag, um den sich $\hat{f}$ ändern würde, wenn wir ihn anhand eines anderen Trainingsdatensatzes schätzen würden.

Frage: Da $\Var\big(\hat{f}(x_0)\big)$ die Varianz von Funktionen zu bezeichnen scheint , was bedeutet dies formal?

Das heißt, ich bin mit dem Konzept der Varianz einer Zufallsvariablen X vertraut $X$, aber was ist mit der Varianz einer Reihe von Funktionen? Kann man sich das nur als Varianz einer anderen Zufallsvariablen vorstellen, deren Werte die Form von Funktionen haben?

Ihre Korrespondenz mit @whuber ist korrekt.

Ein Lernalgorithmus kann als eine Funktion höherer Ebene angesehen werden, die Trainingssätze Funktionen zuordnet.$\mathcal{A}$

Dabei ist der Raum für mögliche Trainingssätze. Dies kann konzeptionell etwas haarig sein, aber im Grunde führt jeder einzelne Trainingssatz nach Verwendung des Modelltrainingsalgorithmus zu einer spezifischen Funktion die verwendet werden kann, um Vorhersagen für einen Datenpunkt zu treffen .$\mathcal{T}$$f$$x$

Wenn wir den Raum von Trainingssätzen als Wahrscheinlichkeitsraum betrachten, so dass es eine gewisse Verteilung möglicher Trainingsdatensätze gibt, wird der Modell-Trainingsalgorithmus zu einer Zufallsvariablen mit Funktionswert, und wir können uns statistische Konzepte vorstellen. Insbesondere wenn wir einen bestimmten Datenpunkt festlegen , erhalten wir die Zufallsvariable mit numerischem Wert$x_0$

Das heißt, trainiere zuerst den Algorithmus auf und bewerte dann das resultierende Modell bei . Dies ist nur eine einfache alte, aber ziemlich genial konstruierte Zufallsvariable in einem Wahrscheinlichkeitsraum, sodass wir über seine Varianz sprechen können. Dies ist die Abweichung in Ihrer Formel von ISL.$T$$x_0$

Eine visuelle Interpretation mit wiederholten kfolds

Betrachten Sie das folgende Spielzeugbeispiel, um die Antwort von @Matthew Drury visuell / intuitiv zu interpretieren.

• Daten werden aus einer verrauschten Sinuskurve erzeugt: "Wahres Rauschen"$f(x) \ +$
• Die Daten werden zwischen Trainings- und Testproben aufgeteilt (75% - 25%).
• Ein lineares (Polynom-) Modell wird an die Trainingsdaten angepasst:$\hat f(x)$
• Der Vorgang wird viele Male mit denselben Daten wiederholt (dh Training aufteilen - zufälliges Testen mit Sklearm wiederholt kfold)
• Dies erzeugt viele verschiedene Modelle, aus denen wir den Mittelwert und die Varianz an jedem Punkt sowie über alle Punkte berechnen .$x=x_i$

Unten finden Sie die resultierenden Diagramme für ein Polynommodell der Grade 2 und 6. Auf den ersten Blick scheint das höhere Polynom (in Rot) eine größere Varianz zu haben.

Argumentieren, dass der rote Graph eine größere Varianz aufweist - experimentell

Sei und den grünen bzw. roten Graphen und eine Instanz der Graphen in hellgrün und hellrot. Sei die Anzahl der Punkte entlang der Achse und die Anzahl der Graphen (dh die Anzahl der Simulationen). Hier haben wir und$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Ich sehe drei Hauptszenarien

1. Die Varianz der vorhergesagten Werte an einem bestimmten Punkt ist größer, dh$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. Die Varianz in ist für alle Punkte im Bereich größer.$(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. Die Varianz ist im Durchschnitt größer (dh kann für einige Punkte kleiner sein)

In diesem Spielzeugbeispiel gelten alle drei Szenarien über den Bereich was das Argument rechtfertigt, dass die Polynomanpassung höherer Ordnung (in Rot) eine höhere Varianz aufweist als das Polynom niedrigerer Ordnung (in Grün).$(0,1)$

Ein offener Abschluss

Was sollte argumentiert werden, wenn die oben genannten drei Szenarien nicht alle zutreffen ? Was ist zum Beispiel, wenn die Varianz der roten Vorhersagen im Durchschnitt größer ist, aber nicht für alle Punkte?

Details der Etiketten

Betrachten Sie Punkt$x_0 = 0.5$

• Der Fehlerbalken ist der Bereich zwischen min und max von$\hat f(x_0)$
• Die Varianz wird bei berechnet$x_0$
• Wahres ist die gepunktete blaue Linie$f(x)$