Verwirrt durch Ableitung der Regressionsfunktion

Ich habe gerade eine Kopie von The Elements of Statistical Learning von Hastie, Tibshirani und Friedman erhalten. In Kapitel 2 (Überblick über betreutes Lernen), Abschnitt 4 (Statistische Entscheidungstheorie) gibt er eine Ableitung der Regressionsfunktion.

Lassen bezeichnet einen reellen Zufallseingangsvektor geschätzt und einer reellen Zufallsausgangsgröße bewertet, mit gemeinsamer Verteilung . Wir suchen eine Funktion für die Vorhersage gegebenen Werten des Eingang . Diese Theorie erfordert eine Verlustfunktion zur Bestrafung von Vorhersagefehlern, und der bei weitem häufigste und bequemste ist der quadratische Fehlerverlust: . Dies führt uns zu einem Kriterium für die Wahl von , $X \in \mathbb{R}^p$ $Y\in\mathbb{R}$ $Pr(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y −f(X))^2$ $f$

$\begin{aligned} E. P. E. (f) & = E. (Y. - - f (X.))^{2} \\ = \int [y - - f (x) {]]}^{2} P. r (d x, d y) \end{aligned}$ $\begin{align*} EPE(f) &= E(Y-f(X))^2 \\ &= \int [y - f(x)]^2Pr(dx, dy)\end{align*}$ das erwartete (quadratischer) Vorhersagefehler.

Ich verstehe den Aufbau und die Motivation vollkommen. Meine erste Verwirrung ist: Bedeutet er oder ? Zweitens habe ich die Notation noch nie gesehen . Kann mir jemand seine Bedeutung erklären? Ist es nur so, dass ? Leider endet meine Verwirrung nicht dort, $E[(Y - f(x))]^2$ $E[(Y - f(x))^2]$ $Pr(dx,dy)$ $Pr(dx) = Pr(x)dx$

Durch Konditionieren auf können wir schreiben als $X$ $EPE$
$\begin{aligned} E. P. E. (f) = {E.}_{X.} {E.}_{Y. | X.} ([Y. - - f (X.) {]]}^{2} | X.) \end{aligned}$ $\begin{align*}EPE(f) = E_XE_{Y|X}([Y-f(X)]^2|X)\end{align*}$

Mir fehlt die Verbindung zwischen diesen beiden Schritten, und ich bin mit der technischen Definition von "Konditionierung" nicht vertraut. Lassen Sie mich wissen, ob ich etwas klarstellen kann! Ich denke, der größte Teil meiner Verwirrung ist auf eine ungewohnte Notation zurückzuführen. Ich bin zuversichtlich, dass ich es bekommen werde, wenn jemand diese Ableitung in einfaches Englisch zerlegen kann. Danke stats.SE!

regression statistical-learning Orang-Utango
quelle

Antworten:

Für Ihre erste Verwirrung sollte es die Erwartung eines quadratischen Fehlers sein, also ist es $E[(Y-f(x))^2].$

Für die Notation von ist es gleich , wobei das gemeinsame PDF von x und y ist. Und , dies kann interpretiert werden, wenn die Wahrscheinlichkeit, dass x innerhalb eines winzigen Intervalls von liegt, gleich dem PDF-Wert am Punkt , dh mal die Intervalllänge . $Pr(dx,dy)$ $g(x,y)\,dx\,dy$ $g(x,y)$ $Pr(dx)=f(x)\,dx$ $[x,x+dx]$ $x$ $f(x)$ $dx$

Die Gleichung über die EPE ergibt sich aus dem Satz für zwei beliebige Zufallsvariablen und . Sie können dies anhand der bedingten Verteilung beweisen. Die bedingte Erwartung ist die Erwartung, die unter Verwendung der bedingten Verteilung berechnet wird. Die bedingte Verteilung bedeutet die Wahrscheinlichkeit von nachdem Sie etwas über wissen . $E(E(Y|X))=E(Y)$ $X$ $Y$ $Y|X$ $Y$ $X$

Nehmen wir in unserem Fall an, wir bezeichnen den quadratischen Fehler als eine Funktion , die EPE berechnet $L(x,y)=(y-f(x))^2$

\begin{aligned} E. (L. (x, y)) & = \int \int L. (x, y) G (x, y) d x d y \\ = \int [\int L. (x, y) G (y | x) G (x) d y]] d x \\ = \int [\int L. (x, y) G (y | x) d y]] G (x) d x \\ = \int [{E.}_{Y. | X.} (L. (x, y)]] G (x) d x \\ = {E.}_{X.} ({E.}_{Y. | X.} (L. (x, y))) \end{aligned}

$\begin{equation}\begin{split}E(L(x,y))&=\int\int L(x,y)g(x,y)dx\,dy \\ &=\int\bigg[\int L(x,y)g(y|x)g(x)dy\bigg]dx \\ &=\int\bigg[\int L(x,y)g(y|x)dy\bigg]g(x)dx \\ &=\int\bigg[E_{Y|X} (L(x,y)\bigg]g(x)dx \\ &=E_X(E_{Y|X} (L(x,y)))\end{split}\end{equation}$

Das Ergebnis von oben entspricht dem von Ihnen aufgelisteten Ergebnis. Hoffe das kann dir ein bisschen helfen.

Jerry
quelle

Für das Endergebnis nach dem Konditionieren hat das Buch auch das | X, während das Endergebnis dieser Antwort fehlt. Ist es wichtig?

Robertmartin8