Effektive Freiheitsgrade

Können wir die Spur der Hutmatrix im Falle einer Kernelregression für die effektiven Freiheitsgrade verwenden? Wo wir die Hutmatrix erhalten, H als:

$H = \hat{y} * y^+$ wo $\hat{y}$ ist die vorhergesagten Antwortwerte, $y^+$ ist die Pseudo-Inverse von $y$.

Wenn $H$ ist so, dass $\hat y = H y$dann wäre es durchaus üblich, die effektiven Freiheitsgrade von zu erhalten $\text{tr}(H)$.

Siehe Hasties und Tibshiranis verallgemeinerte additive Modelle , und es gibt eine ähnliche Behandlung in Hastie et al. Elemente des statistischen Lernens (2. Ausgabe) in Kapitel 5 (im Abschnitt über Freiheitsgrade und glattere Matrizen ). Die Diskussion in diesem Abschnitt von ESL II befasst sich mit effektiven Freiheitsgraden beim Glätten von Splines, aber wie sie dort sagen (wo sie speziell eine solche Definition von verallgemeinerten Freiheitsgraden diskutieren, die in Gleichung 5.16 angegeben ist) " Diese sehr nützliche Definition erlaubt es uns Eine intuitivere Möglichkeit, den Glättungs-Spline und viele andere Glättungsgeräte auf konsistente Weise zu parametrisieren"; sie erwähnen dann, dass es viele mögliche Rechtfertigungen dafür gibt, und sie geben einige der möglichen Rechtfertigungen an. Siehe auch Gleichung 7.6 und den nahe gelegenen Text.

Betrachten Sie Ye (1998) "Über das Messen und Korrigieren der Auswirkungen von Data Mining und Modellauswahl", JASA 93 (441): 120-131, wo er die Verwendung vorschlägt $\sum_i \frac{\partial \hat{y}_i}{\partial y_i}$ als Freiheitsgrade für eine Vielzahl von Modellen, für die Sie einen Datensatz verwenden können $y$ und berechne a $\hat{y}$. Für ein Modell, das in Hutmatrixform geschrieben werden kann$\hat y = H y$, das ist die Spur von $H$.