Mathematische Intuition der Bias-Varianz-Gleichung

Ich habe kürzlich eine Frage gestellt, die nach einer mathematischen Interpretation / Intuition hinter der Elementargleichung für Stichprobenmittelwert und Varianz sucht: , geometrisch oder auf andere Weise.$E[X^2] = Var(X) +(E[X])^2$

Aber jetzt bin ich neugierig auf die oberflächlich ähnliche Bias-Varianz-Kompromissgleichung.

(Formeln ausWikipedia)

$$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$$

Für mich gibt es eine oberflächliche Ähnlichkeit mit der Bias-Varianz-Kompromissgleichung für die Regression: drei Terme mit Quadraten und zwei Additionen zum anderen. Sehr pythagoreisch aussehend. Gibt es eine ähnliche Vektorbeziehung einschließlich Orthogonalität für alle diese Elemente? Oder gibt es eine andere verwandte mathematische Interpretation, die gilt?

Ich suche eine mathematische Analogie mit einigen anderen mathematischen Objekten, die Licht ins Dunkel bringen könnten. Ich suche nicht nach der Genauigkeits-Präzisions-Analogie, die hier gut behandelt wird. Aber wenn es nicht-technische Analogien gibt, die Menschen zwischen dem Bias-Varianz-Kompromiss und der viel grundlegenderen Mittelwert-Varianz-Beziehung geben können, wäre das auch großartig.

Die Ähnlichkeit ist mehr als oberflächlich.

Der "Bias-Varianz-Kompromiss" kann als der Satz von Pythagoras interpretiert werden, der auf zwei senkrechte euklidische Vektoren angewendet wird: Die Länge des einen ist die Standardabweichung und die Länge des anderen ist die Bias. Die Länge der Hypotenuse ist der quadratische Mittelwertfehler.

Eine grundlegende Beziehung

Betrachten Sie als Ausgangspunkt diese aufschlussreiche Berechnung, die für jede Zufallsvariable mit einem endlichen zweiten Moment und einer reellen Zahl a gültig ist . Da das zweite Moment endlich ist, hat X einen endlichen Mittelwert μ = E$X$$a$$X$ für den E ( X - μ ) = 0 ist , woher$\mu=\mathbb{E}(X)$$\mathbb{E}(X-\mu)=0$

$$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$$

Dies zeigt, wie die mittlere quadratische Abweichung zwischen und einem beliebigen "Grundlinien" -Wert ist$X$ mit variiert a : eseine quadratische Funktion von ist ein mit einem Minimum an μ , wobei die mittlere quadratische Abweichung die Varianz von ist X .$a$$a$$a$$\mu$$X$

Die Verbindung mit Schätzern und Voreingenommenheit

Jeder Schätzer θ ist eine Zufallsvariable , weil (per Definition) es dich um eine (messbare) Funktion des Zufallsvariablen ist. Lass es die Rolle von X spielen$\hat \theta$$X$ in der vorhergehenden, und lassen Sie die estimand (das Ding θ zu schätzen soll) sein θ , haben wir$\hat\theta$$\theta$

$$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$$

Kehren wir nun zu , nachdem wir gesehen haben, wie die Aussage über Bias + Varianz für einen Schätzer buchstäblich ein Fall von ( 1 ) ist . Die Frage sucht nach "mathematischen Analogien mit mathematischen Objekten". Wir können mehr als das tun, indem wir zeigen, dass quadratintegrierbare Zufallsvariablen natürlich zu einem euklidischen Raum gemacht werden können.$(1)$$(1)$

Mathematischer Hintergrund

In einem sehr allgemeinen Sinne ist eine Zufallsvariable eine (messbare) reelle Funktion in einem Wahrscheinlichkeitsraum . Die Menge solcher Funktionen, die quadratisch integrierbar sind und oft L 2 ( Ω ) geschrieben werden (wobei die gegebene Wahrscheinlichkeitsstruktur verstanden wird), ist fast ein Hilbert-Raum. Um es zu einer zu machen, müssen wir zwei beliebige Zufallsvariablen X und Y zusammenführen, die sich in Bezug auf die Integration nicht wirklich unterscheiden: Das heißt, wir sagen, X und Y sind immer gleichwertig$(\Omega, \mathfrak{S}, \mathbb{P})$$\mathcal{L}^2(\Omega)$$X$$Y$$X$$Y$

$$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$$

Es ist einfach zu überprüfen , dass dies eine wahre Äquivalenzrelation: am wichtigsten ist , wenn äquivalent ist Y und Y entspricht Z , dann notwendigerweise X äquivalent sein Z . Wir können daher alle quadratintegrierbaren Zufallsvariablen in Äquivalenzklassen unterteilen. Diese Klassen bilden die Menge L 2 ( Ω ) . Außerdem,$X$$Y$$Y$$Z$$X$$Z$$L^2(\Omega)$erbt L 2 dieVektorraumstrukturvon L 2, die durch punktweise Addition von Werten und punktweise Skalarmultiplikation definiert ist. Auf diesem Vektorraum die Funktion$L^2$$\mathcal{L}^2$

$$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$$

ist eine Norm , oft geschrieben . Diese Norm macht L 2 ( Ω ) zu einem Hilbert-Raum. Stellen Sie sich einen Hilbert-Raum H als einen "unendlich dimensionalen euklidischen Raum" vor. Jeder endlich dimensionale Unterraum V ⊂ H erbt die Norm von H und V , wobei diese Norm ein euklidischer Raum ist: Wir können darin euklidische Geometrie machen.$||X||_2$$L^2(\Omega)$$\mathcal{H}$$V\subset \mathcal{H}$$\mathcal{H}$$V$

Schließlich brauchen wir eine Tatsache, die speziell für Wahrscheinlichkeitsräume ist (und nicht für allgemeine Maßräume): Da eine Wahrscheinlichkeit ist, ist sie (durch 1 ) begrenzt, woraus die konstanten Funktionen ω → a (für jede feste reelle Zahl a ) bestehen quadratisch integrierbare Zufallsvariablen mit endlichen Normen.$\mathbb{P}$$1$$\omega\to a$$a$

Eine geometrische Interpretation

Betrachten Sie jede quadratintegrierbare Zufallsvariable , die als Vertreter ihrer Äquivalenzklasse in L 2 ( Ω ) angesehen wird . Es hat einen Mittelwert μ = E ( X ), der (wie man überprüfen kann) nur von der Äquivalenzklasse von X abhängt . Sei 1 : ω → 1 die Klasse der konstanten Zufallsvariablen.$X$$L^2(\Omega)$$\mu=\mathbb{E}(X)$$X$$\mathbf{1}:\omega\to 1$

und 1 erzeugen einen euklidischen Unterraum V ⊂ L 2 ( Ω ), dessen Dimension höchstens 2 beträgt. In diesem Unterraum | | X | | 2 2 = E ( X 2 ) ist die quadratische Länge von X und | | $X$$\mathbf{1}$$V\subset L^2(\Omega)$$2$$||X||_2^2 = \mathbb{E}(X^2)$$X$$||a\,\mathbf{1}||_2^2 = a^2$ is the squared length of the constant random variable $\omega\to a$. It is fundamental that $X-\mu\mathbf{1}$ is perpendicular to $\mathbf{1}$. (One definition of $\mu$ is that it's the unique number for which this is the case.) Relation $(1)$ may be written

$$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$$

It indeed is precisely the Pythagorean Theorem, in essentially the same form known 2500 years ago. The object

$$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$$ is the hypotenuse of a right triangle with legs $X-\mu\mathbf{1}$ and $(a-\mu)\mathbf{1}$.

If you would like mathematical analogies, then, you may use anything that can be expressed in terms of the hypotenuse of a right triangle in a Euclidean space. The hypotenuse will represent the "error" and the legs will represent the bias and the deviations from the mean.

Dies ist eine Möglichkeit, visuell über die Genauigkeit und den Kompromiss zwischen Varianzverzerrung nachzudenken. Angenommen, Sie betrachten ein Ziel und machen viele Schüsse, die alle nahe der Mitte des Ziels so verstreut sind, dass keine Verzerrung vorliegt. Dann wird die Genauigkeit ausschließlich durch die Varianz bestimmt, und wenn die Varianz gering ist, ist der Schütze genau.

Betrachten wir nun einen Fall, in dem es eine große Präzision, aber eine große Verzerrung gibt. In diesem Fall werden die Aufnahmen um einen Punkt weit vom Zentrum verteilt. Etwas bringt den Zielpunkt durcheinander, aber um diesen Zielpunkt herum befindet sich jeder Schuss in der Nähe dieses neuen Zielpunkts. Der Schütze ist präzise, ​​aber aufgrund der Voreingenommenheit sehr ungenau.

There are other situations where the shots are accurate because of small bias and high precision. What we want is no bias and small variance or small variance with small bias. In some statistical problems you can't have both. So MSE becomes the measure of accuracy that you want to use that plays off the variance bias trade off and minimzing MSE should be the goal.