Bias-Varianz-Zerlegung: Begriff für den erwarteten quadratischen Prognosefehler abzüglich des nicht reduzierbaren Fehlers

Hastie et al. "Die Elemente des statistischen Lernens" (2009) betrachten einen Datenerzeugungsprozess mit und .

Y = f (X) + ε

$Y = f(X) + \varepsilon$

E (ε) = 0

$\mathbb{E}(\varepsilon)=0$

Var (ε) = σ_{ε}^{2}

$\text{Var}(\varepsilon)=\sigma^2_{\varepsilon}$

Sie zeigen die folgende Bias-Varianz-Zerlegung des erwarteten quadratischen Prognosefehlers am Punkt (S. 223, Formel 7.9): In my eigene Arbeit Ich gebe nicht sondern nehme stattdessen eine willkürliche Prognose (falls dies relevant ist). Frage: Ich suche einen Begriff für oder genauer $x_0$

\begin{aligned} Err (x_{0}) & = E ([y - \hat{f} (x_{0})]^{2} | X = x_{0}) \\ = \dots \\ = σ_{ε}^{2} + {Bias}^{2} (\hat{f} (x_{0})) + Var (\hat{f} (x_{0})) \\ = Irreducible error + {Bias}^{2} + Variance . \end{aligned}

$\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + \text{Var}(\hat f(x_0)) \\ &= \text{Irreducible error} + \text{Bias}^2 + \text{Variance} .\\ \end{aligned}$

\hat{f} (\cdot)

$\hat f(\cdot)$

\hat{y}

$\hat y$

{Bias}^{2} + Variance

$\text{Bias}^2 + \text{Variance}$

Err (x_{0}) - Irreducible error .

$\text{Err}(x_0) - \text{Irreducible error}.$

variance forecasting prediction terminology bias Richard Hardy
quelle

Was ist die Frage hier?

Michael R. Chernick

@sntx, danke für die Idee. Aber es klingt irgendwie nicht richtig. Möglicherweise Modellierungsfehler (dh Fehler aufgrund von Modellfehlspezifikationen und ungenauer Schätzung des Modells), aber dann ist es nicht sinnvoll, wenn es kein prognostizierungsgenerierendes Modell gibt (z. B. Expertenprognosen).

Richard Hardy

@ DeltaIV, das ist ziemlich gut. Ich denke jedoch, dass der Begriff berechnet wird; Es scheint, als ob die Prognose schlecht ist und wir es besser machen könnten. Angenommen, wir haben unser Bestes für die angegebenen Daten gegeben. Wir haben also zufällig das richtige Modell ausgewählt (keine "Modellverzerrung"), aber die Stichprobe ist einfach zu klein, um die Koeffizienten perfekt abzuschätzen. Die Schätzungsvarianz ("Modellvarianz") ist daher für die gegebene Stichprobengröße wirklich nicht reduzierbar - während der Begriff "reduzierbarer Fehler" darauf hindeutet, dass dies nicht der Fall ist. Ich bin mir nicht sicher, ob wir einen besseren Begriff finden können, aber ich würde mich trotzdem darum bemühen.

Richard Hardy

@ DeltaIV, OK, ich habe jetzt die Intuition, in welchem Sinne es reduzierbar ist. Trotzdem könnte der Begriff irreführend sein, wenn er ohne weitere Erklärung verwendet wird (genau wie Sie es mir erklären mussten). Ihr letzterer Vorschlag ist präzise, was wirklich nett ist, aber genau wie Sie sagten, ist er ziemlich verworren.

Richard Hardy

@ DeltaIV, ich wollte nicht so klingen. Das ist nichts Persönliches; Meine (hoffentlich überzeugenden) Argumente sind oben in den Kommentaren. Aber danke für die Diskussion mit mir, es hilft.

Richard Hardy

Antworten:

Ich schlage einen reduzierbaren Fehler vor . Dies ist auch die in Absatz 2.1.1 von Gareth, Witten, Hastie & Tibshirani, Eine Einführung in das statistische Lernen , verwendete Terminologie , ein Buch, das im Grunde eine Vereinfachung von ESL + einiger sehr cooler R-Code-Labors darstellt (mit Ausnahme der Tatsache, dass sie verwendet werden) attach, aber hey, niemand ist perfekt). Ich werde im Folgenden die Gründe für die Vor- und Nachteile dieser Terminologie auflisten.

Zunächst einmal müssen wir daran erinnern , dass wir nicht nur annehmen Mittelwert 0 haben, aber auch sein , unabhängig von (siehe Abschnitt 2.6.1, Formel 2.29 von ESL, 2 ^nd Edition, 12 ^th Druck). Dann kann natürlich nicht aus geschätzt werden , unabhängig davon, welche Hypothesenklasse (Modellfamilie) wir wählen und wie groß eine Stichprobe ist, mit der wir unsere Hypothese lernen (unser Modell schätzen). Dies erklärt, warum als irreduzibler Fehler bezeichnet wird . $\epsilon$ $X$ $\epsilon$ $X$ $\mathcal{H}$ $\sigma^2_{\epsilon}$

In Analogie erscheint es natürlich, den verbleibenden Teil des Fehlers, , den reduzierbaren Fehler, zu definieren . Diese Terminologie mag nun etwas verwirrend klingen: Unter der Annahme, die wir für den Datengenerierungsprozess getroffen haben, können wir dies tatsächlich beweisen $\text{Err}(x_0)-\sigma^2_{\epsilon}$

f (x) = E [Y | X = x]

$f(x)=\mathbb{E}[Y\vert X=x]$

Somit kann der reduzierbare Fehler genau dann auf Null reduziert werden, wenn (vorausgesetzt natürlich, wir haben einen konsistenten Schätzer). Wenn , können wir den reduzierbaren Fehler nicht auf 0 setzen, selbst im Grenzbereich einer unendlichen Stichprobengröße. Es ist jedoch immer noch der einzige Teil unseres Fehlers, der reduziert, wenn nicht beseitigt werden kann, indem die Stichprobengröße geändert, eine Regularisierung (Schrumpfung) in unseren Schätzer eingeführt wird usw. Mit anderen Worten, indem ein anderes in unserer Modellfamilie. $\mathbb{E}[Y\vert X=x]\in \mathcal{H}$ $\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$ $\hat{f}(x)$

Grundsätzlich reduzierbar ist nicht im Sinne gemeint zeroable (igitt!), Sondern im Sinne dieses Teils des Fehlers , die reduziert werden können, wenn auch nicht unbedingt beliebig klein gemacht. Beachten Sie außerdem, dass dieser Fehler im Prinzip durch Vergrößern von auf 0 reduziert werden kann, bis er . Im Gegensatz dazu nicht reduziert werden kann, egal wie groß ist, weil . $\mathcal{H}$ $\mathbb{E}[Y\vert X=x]$ $\sigma^2_{\epsilon}$ $\mathcal{H}$ $\epsilon\perp X$

DeltaIV
quelle

Wenn Rauschen der irreduzible Fehler ist, ist es nicht irreduzibel. Sie müssen das irgendwie motivieren, das kann ich nicht für mich tun.

Carl

In 2.1.1 ist das Beispiel "Assay eines Arzneimittels im Blut". Das erste Beispiel, das ich unten gebe, ist genau das. In diesem Assay ist der sogenannte irreduzible Messfehler nichts dergleichen. Es besteht aus Zählrauschen, das normalerweise durch Zählen von 10000 oder mehr Ereignissen, Pipettierfehlern, die fast exponentiell verteilt sind, und anderen technischen Fehlern reduziert wird. Um diese "irreduziblen" Fehler weiter zu reduzieren, empfehle ich, für jede Zeitprobe den Median von drei Zählröhrchen zu verwenden. Der Begriff irreduzibel ist schlechter Jargon. Versuchen Sie es erneut.

Carl

@ Delta, danke für die Antwort. Ein einzeiliger "reduzierbarer Fehler" war vielleicht nicht sehr überzeugend, aber angesichts des Kontexts und der Diskussion sieht er ziemlich gut aus!

Richard Hardy

Ich glaube nicht, dass der Zweck der Entwicklung von Jargon darin besteht, Menschen zu verwirren. Wenn Sie Fehler unabhängig von sagen möchten , versus Fehler, der eine Funktion von , sagen Sie, was Sie meinen.

n

$n$

n

$n$

Carl

@ DeltaV Ich glaube, dass Reduzierbarkeit eine zweifelhafte Annahme ist, siehe unten.

Carl

In einem System, für das alle physischen Ereignisse richtig modelliert wurden, wäre das verbleibende Rauschen. Der Fehler eines Modells in Daten ist jedoch im Allgemeinen strukturierter als nur Rauschen. Beispielsweise erklären Modellierungsvorspannung und Rauschen allein keine krummlinigen Residuen, dh keine unmodellierte Datenstruktur. Die Gesamtheit der ungeklärten Fraktionen beträgt , was aus einer falschen Darstellung der Physik sowie einer Vorspannung und einem Rauschen bekannter Strukturen bestehen kann. Wenn mit Bias nur der Fehler bei der Schätzung des Mittelwerts gemeint ist $1-R^2$ $y$ Mit "irreduziblem Fehler" meinen wir Rauschen, und mit Varianz meinen wir den systemischen physikalischen Fehler des Modells. Dann ist die Summe aus Vorspannung (Quadrat) und systemischem physikalischem Fehler nichts Besonderes, sondern nur der Fehler, der kein Rauschen ist . Der Begriff (quadratische) Fehlregistrierung könnte hierfür in einem bestimmten Kontext verwendet werden, siehe unten. Wenn Sie Fehler unabhängig von gegenüber Fehler $n$ $n$ sagen möchten, der eine Funktion von , sagen Sie das. Meiner Meinung nach ist keiner der Fehler irreduzibel, so dass die Eigenschaft der Irreduzibilität so irreführend ist, dass sie mehr verwirrt als beleuchtet.

Warum mag ich den Begriff "Reduzierbarkeit" nicht? Es riecht nach einer selbstreferenziellen Tautologie wie im Axiom der Reduzierbarkeit . Ich stimme Russell 1919 zu : "Ich sehe keinen Grund zu der Annahme, dass das Axiom der Reduzierbarkeit logisch notwendig ist, was damit gemeint wäre, dass es in allen möglichen Welten wahr ist. Die Aufnahme dieses Axioms in ein System von Logik ist daher ein Defekt ... eine zweifelhafte Annahme. "

Nachfolgend finden Sie ein Beispiel für strukturierte Residuen aufgrund unvollständiger physikalischer Modellierung. Dies stellt Residuen von gewöhnlichen Anpassungen der kleinsten Quadrate einer skalierten Gammaverteilung, dh einer Gammavariate (GV), an Blutplasmaproben der Radioaktivität eines renalen glomerulär gefilterten Radiopharmazeutikums dar [ 1 ]. Beachten Sie, dass das Modell umso besser wird, je mehr Daten verworfen werden ( für jede Zeitstichprobe), sodass sich die Reduzierbarkeit mit zunehmendem Stichprobenbereich verschlechtert. $n=36$

Es ist bemerkenswert, dass sich die Physik verbessert, wenn man die erste Probe nach fünf Minuten fallen lässt, wie dies nacheinander der Fall ist, wenn man weiterhin frühe Proben auf 60 Minuten fallen lässt. Dies zeigt, dass, obwohl das GV letztendlich ein gutes Modell für die Plasmakonzentration des Arzneimittels darstellt, in frühen Zeiten etwas anderes vor sich geht.

In der Tat kann diese Art von Fehler, der physikalische Modellierungsfehler, auf weniger als reduziert werden, wenn man zwei Gammaverteilungen zusammenfasst, eine für die frühe Zeit, die zirkulierende Abgabe des Arzneimittels und eine für die Organclearance [ 2 ]. Als nächstes folgt eine Illustration dieser Faltung. $1\%$

Aus diesem letzteren Beispiel sind für eine Quadratwurzel von Zählungen gegen Zeitgraphen die Abweichungen der Achse standardisierte Abweichungen im Sinne des Poisson-Rauschfehlers. Ein solcher Graph ist ein Bild, für das Anpassungsfehler eine Fehlregistrierung des Bildes aufgrund von Verzerrung oder Verzerrung sind. In diesem Kontext und nur in diesem Kontext ist eine Fehlregistrierung eine Verzerrung plus Modellierungsfehler, und der Gesamtfehler ist eine Fehlregistrierung plus ein Rauschfehler. $y$

Carl
quelle

In der Tat geht es bei der obigen Zerlegung darum. Ihre Antwort sollte jedoch besser als Kommentar dienen, da sie die eigentliche Frage nicht anspricht. Oder doch?

Richard Hardy

Danke, aber die Antwort ist gerade weiter vom Thema entfernt. Es fällt mir schwer, einen Zusammenhang zwischen der eigentlichen Frage (wie nenne ich ) und all dem zu finden ...

{Bias}^{2} + Variance

$\text{Bias}^2+\text{Variance}$

Richard Hardy

Sie beantworten erneut eine andere Frage. Eine richtige Antwort auf eine falsche Frage ist leider eine falsche Antwort (ein Hinweis an mich selbst: Zufälligerweise habe ich dies gestern meinen Studenten erklärt). Ich frage nicht, wie aussagekräftig der Ausdruck ist (er ist für jemanden von Bedeutung, der das ESL-Lehrbuch gelesen und / oder im angewandten maschinellen Lernen gearbeitet hat), ich frage nach einem geeigneten Begriff dafür. Die Frage ist positiv, nicht normativ. Und es ist ziemlich einfach und sehr konkret.

Richard Hardy

@RichardHardy Ohne die Physik war die Frage für mich schwer zu verstehen. Meine Antwort wurde geändert, siehe Fehlregistrierung oben.

Carl

Sie können dies tun, um den Prozess abzuschätzen, ja, und das ist der reduzierbare Fehlerteil. Wenn Sie jedoch ein konkretes Ereignis vorhersagen, das den Münzwurf umfasst, können Sie den Fehler, der mit einer falschen Vorhersage des Ergebnisses des Münzwurfs verbunden ist, auf keinen Fall verringern. Darum geht es bei dem irreduziblen Fehler. Interessant: In einer rein deterministischen Welt würde es per Definition keine irreduziblen Fehler geben. Wenn Ihre Sicht der Welt also vollständig deterministisch ist, könnte ich verstehen, was Sie meinen. Die Welt ist jedoch in "Die Elemente des statistischen Lernens" und in der Statistik im Allgemeinen stochastisch.

Richard Hardy