Varianzterm bei der Bias-Varianz-Zerlegung der linearen Regression

In 'Die Elemente des statistischen Lernens' wird der Ausdruck für die Bias-Varianz-Zerlegung des linearen Modells gegeben als wobei die eigentliche Zielfunktion ist, die Varianz des Zufallsfehlers im Modell und ist der lineare Schätzer von .

E. r r (x_{0}) = σ_{ϵ}^{2} + E. [f (x_{0}) - - E. \hat{f} (x_{0}) {]]}^{2} + | | h (x_{0}) | |^{2} σ_{ϵ}^{2},

$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$

f (x_{0})

$f(x_0)$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

y = f (x) + ϵ

$y=f(x)+\epsilon$

\hat{f} (x)

$\hat f(x)$

f (x)

$f(x)$

Der Varianzterm beunruhigt mich hier, weil die Gleichung impliziert, dass die Varianz Null wäre, wenn die Ziele geräuschlos sind, dhAber es macht für mich keinen Sinn, weil ich selbst mit Null Rauschen immer noch verschiedene Schätzer für verschiedene Trainingssätze erhalten kann, was impliziert, dass die Varianz ungleich Null ist. $\sigma_\epsilon^2=0.$ $\hat f(x_0)$

Angenommen, die Zielfunktion ist quadratisch und die Trainingsdaten enthalten zwei Punkte, die zufällig aus diesem Quadrat abgetastet wurden. Es ist klar, dass ich jedes Mal eine andere lineare Anpassung bekomme, wenn ich zwei Punkte zufällig vom quadratischen Ziel abtastet. Wie kann dann die Varianz Null sein? $f(x_0)$

Kann mir jemand helfen, herauszufinden, was an meinem Verständnis der Bias-Varianz-Zerlegung falsch ist?

regression linear-model bias-variance-tradeoff Abhinav Gupta
quelle

Antworten:

Es gibt immer eine lauernde Subtilität bei der Behandlung von Voreingenommenheit und Varianz, und es ist wichtig, beim Lernen sorgfältig darauf zu achten. Wenn Sie die ersten paar Wörter von ESL in einem Abschnitt aus diesem Kapitel noch einmal lesen, müssen die Autoren ihm etwas Respekt zollen.

Diskussionen über die Schätzung der Fehlerrate können verwirrend sein, da wir klarstellen müssen, welche Größen fest und welche zufällig sind

Die Subtilität ist das, was festgelegt ist und was zufällig ist .

$X$ $y$ $X$ $Err(x_0)$ $Err(x_0 \mid X)$

Das heißt nicht, dass Ihr Anliegen ungültig ist, es ist sicher richtig, dass die Auswahl von Trainingsdaten tatsächlich Zufälligkeit in unseren Modellalgorithmus einführt, und ein fleißiger Praktiker wird versuchen, die Auswirkung dieser Zufälligkeit auf ihre Ergebnisse zu quantifizieren. Tatsächlich können Sie ganz klar erkennen, dass die gängigen Praktiken des Bootstrapings und der Kreuzvalidierung diese Zufallsquellen explizit in ihre Schlussfolgerungen einbeziehen.

$X$ $X$

Matthew Drury
quelle

X

$X$

Y | X

$Y|X$

(X, Y)

$(X,Y)$

E = E_{X} E_{Y | X}

$E=E_XE_{Y|X}$

V a r (\hat{f} (x_{0})) = E_{X} [| | h (x_{0}) | |^{2} σ_{ϵ}^{2}]

$Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

Ich vermute, dass die Autoren davon ausgehen, dass das Modell korrekt spezifiziert ist, dh alle und nur die relevanten Prädiktoren mit den richtigen Transformationen enthält. Ich müsste zum Buch zurückkehren, anstatt mich auf mein Gedächtnis zu verlassen, um es zu bestätigen.

Matthew Drury

Wenn mit "richtig spezifiziert" gemeint ist, dass die Zielfunktion tatsächlich linear ist, dann verstehe ich, dass Nullrauschen Nullvorspannung bedeuten würde. Aber selbst wenn die Zielfunktion nicht linear ist, erhalten wir genau den gleichen Ausdruck für die Varianz.

Abhinav Gupta

Es ist wahr, aber in diesem Fall würde "richtig angegeben" bedeuten, dass Sie eine lineare Regression verwenden, um ein Modell mit den richtigen Prädiktoren anzupassen. Wenn also die wahre Beziehung quadratisch ist, würden Sie annehmen, dass Ihr Modell die quadratischen Terme enthält.

Matthew Drury