"Glätte" einer Statistik für Bootstrapping?

$\newcommand{\OLS}{\operatorname{OLS}}$ Soweit ich das handelt es sich im Wesentlichen um eine Frage der mathematischen und nicht der statistischen Terminologie.

Auf jeden Fall ist der Punkt, dass die Statistiken keine differenzierbare Funktion der Stichprobe oder keine $n-$ mal kontinuierlich differenzierbare Funktion der Stichprobe sind.

Mit anderen Worten, es gibt möglicherweise Stellen, an denen die Reaktion der Statistik auf Änderungen in der Stichprobe nicht ideal oder unattraktiv abrupt ist (daher die Terminologie "glatt"), so dass beispielsweise lineare oder polynomielle Funktionen der Daten funktionieren, z. könnte nie haben.

Die Wikipedia-Seite über reibungslose Funktionen ist an einigen Stellen wahrscheinlich unnötig technisch, aber hoffentlich können einige der Bilder und die ausführliche Diskussion Ihnen eine Vorstellung davon geben, was unter dem Begriff "Glätte" hervorgerufen werden soll.

Wenn eine bestimmte Funktion eine "differenzierbare Funktion von Abtastmomenten" ist, kann sie eine glatte Funktion der Abtastmomente sein, abhängig davon, in welchem Sinne "glatt" in diesem Kontext verwendet wird. Ich sehe meistens "glatt", was unendlich oft kontinuierlich differenzierbar bedeutet (z. B. wie Polynome oder lineare Funktionen oder Sinus und Cosinus), aber manchmal kann der Begriff in einem weniger strengen Sinne verwendet werden, wie auf der Wikipedia-Seite erwähnt.

Auf jeden Fall haben Sie definitiv Recht, dass es um Differenzierbarkeit geht - das ist die Schlüsselidee.

Es ist auch erwähnenswert, dass es Funktionen gibt, die kontinuierlich, aber nicht "glatt" sind - die Idee ist, dass Kontinuität zwar im Allgemeinen eine nette Regelmäßigkeitseigenschaft ist, in vielen Fällen jedoch immer noch viele unerwünschte pathologische Verhaltensweisen zulässt, während solche pathologischen Verhaltensweisen dies nicht können treten für glatte Funktionen auf, weil sie noch schöner sind als kontinuierliche.

Beispiel: Betrachten Sie zum Beispiel den LASSO-Schätzer mit orthonormalen Kovariaten:

${\hat{β}}_{j} = S_{N λ} ({\hat{β}}_{j}^{OLS}) = {\hat{β}}_{j}^{OLS} max {0, 1 - \frac{N λ}{| {\hat{β}}_{j}^{OLS} |}},$ $\hat{\beta}_j = S_{N \lambda}(\hat{\beta}_j^{\OLS}) = \hat{\beta}_j^{\OLS} \max\left\{ 0, 1 - \frac{N \lambda}{\left|\hat{\beta}^{\OLS}_j \right|} \right\},$ wobei . $\hat{\beta}^{OLS} = (X^T X)^{-1}X^Ty = X^T y$

Zuerst stellen wir fest, dass in den Koordinaten von und linear ist, da in und linear ist , vorausgesetzt (unter der Annahme, dass oder stellt das Beispiel dar.) Alle sind vollständig glatte Funktionen und nicht die Ursache für die Nichtglätte. Stattdessen kommt jede Nichtglätte von der maximalen Funktion die in der Definition von , wie ich Sie weiter unten überzeugen werde. $\hat{\beta}_j^{\OLS}$ $X$ $y$ $\hat{\beta}^{\OLS}$ $X$ $y$ $X$ $y$ $\hat{\beta}_j^{\OLS}$ $\max$ $\hat{\beta}_j$

Wir verwenden die Identität (diskutiert und bewährte hier ) den obigen Ausdruck zu umschreiben wie folgt: $\max\{x, y \} = \frac{x+y +|x-y|}{2}$

\begin{array}{rcl} {\hat{β}}_{j} & = & \frac{{\hat{β}}_{j}^{OLS}}{2} [- (\frac{N λ}{| {\hat{β}}_{j}^{OLS} |} - 1) + | \frac{N λ}{| {\hat{β}}_{j}^{OLS} |} - 1 |] \\ = & {\begin{cases} 0, & when \frac{N λ}{| {\hat{β}}^{OLS} |} \geq 1 \\ {\hat{β}}_{j}^{OLS} (1 - \frac{N λ}{| {\hat{β}}_{j}^{OLS} |}), & when \frac{N λ}{| {\hat{β}}^{OLS} |} \leq 1 \end{cases} \end{array}

$\begin{array}{rcl} \hat{\beta}_j & = & \displaystyle\frac{\hat{\beta}_j^{\OLS}}{2}\left[ -\left( \frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} - 1 \right) + \left|\frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|}-1\right| \enspace \right] \\ & = & \begin{cases} 0, & \text{when } \displaystyle\frac{N \lambda}{\left|\hat{\beta}^{\OLS}\right|} \ge 1 \\ \hat{\beta}_j^{\OLS}\left(1 - \displaystyle\frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} \right), & \text{when } \displaystyle\frac{N \lambda}{\left|\hat{\beta}^{\OLS}\right|} \le 1 \end{cases} \end{array}$

In dieser Form ist es offensichtlich, dass wir mindestens zwei mögliche Quellen für nicht glattes Verhalten haben: (1) wenn , wodurch ein Nenner verschwindet, (2) und mögliche Höcker an den Punkten, an denen: da an diesen Punkten natürlich das "Zusammenkleben" zweier verschiedener Funktionen welche, obwohl sie an den Punkten, an denen den gleichen Wert haben $\hat{\beta}_j^{\OLS}=0$

\frac{N λ}{| {\hat{β}}_{j}^{OLS} |} = 1 ⟺ N λ = | {\hat{β}}_{j}^{OLS} |,

$\frac{N \lambda}{\left| \hat{\beta}^{\OLS}_j \right|} = 1 \iff N\lambda = \left| \hat{\beta}^{\OLS}_j \right|,$

{\hat{β}}_{j}

$\hat{\beta}_j$

(0 and {\hat{β}}_{j}^{OLS} (1 - \frac{N λ}{| {\hat{β}}_{j}^{OLS} |}))

$\left(0\text{ and }\hat{\beta}_j^{\OLS}\left(1 - \frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} \right) \right)$

N λ = | {\hat{β}}_{j}^{OLS} |

$N\lambda = \left| \hat{\beta}^{\OLS}_j \right|$ müssen nicht unbedingt so "gut zusammenspielen", dass die Ableitungen für die linke und die rechte Hand für alle übereinstimmen . Das grundlegendste Beispiel für eine Funktion, für die dies nicht der Fall ist, istbeim Wert : Die erste Ableitung für die linke Hand ist und die erste Ableitung für die rechte Hand ist , daher ist sie bei nicht glatt . Ich vermute, dass ein analoges Phänomen wahrscheinlich für die Funktion an den Punkten an denen dazu , dass keine reibungslose Funktion seiner Eingaben ist.

n

$n$

| x |

$|x|$

x = 0

$x=0$

- 1

$-1$

1

$1$

x = 0

$x=0$

{\hat{β}}_{j}

$\hat{\beta}_j$

N λ = | {\hat{β}}_{j}^{OLS} |

$N \lambda = \left| \hat{\beta}^{\OLS}_j \right|$

{\hat{β}}_{j}

$\hat{\beta}_j$

Die Funktion nur in Bezug auf ihre Eingabeargumente glatt sein, um als glatt betrachtet zu werden. Vermutlich sind seine Eingabeargumente das Sample selbst oder einige Funktionen des Sample. Wenn eine Funktion der Funktionen des Samples ist, kann man durch Komposition eine neue Funktion , die überspringt der Mittelsmann (dh er gibt die gleichen interessierenden Ergebnisse zurück und ist direkt eine Funktion der Stichprobe). Nach der Kettenregel ist diese zusammengesetzte Funktion genau dann glatt, wenn beide Funktionen und $\hat{\beta}_j$ $g$ $\hat{\beta}_j$ $g$ $\hat{\beta}_j \circ g$ $\tilde{\hat{\beta}}_j$ $\tilde{\hat{\beta}}_j = \hat{\beta}_j \circ g$ $\hat{\beta}_j$ $g$ sind glatt.

Chill2Macht
quelle

Vielen Dank für Ihre Antwort! Gibt es eine Chance, dass jemand ein Beispiel dafür gibt, wie Sie dies auf einfache Statistiken überprüfen? Ich fand den Teil darüber, wie sich die Statistik "Änderungen in der Stichprobe" ändert, ziemlich verwirrend. Ich bin mir nicht sicher, wie sich eine Statistik innerhalb einer Stichprobe jemals ändern würde. Ich bin mir nicht sicher, ob mir klar ist, welche Funktion in Bezug auf welche Variable differenziert werden würde.

Bee

@Bee Ich werde nichts versprechen, aber wenn Sie die Passage eingeben, auf die Sie sich beziehen (insbesondere die Definition der fraglichen Statistik), kann ich versuchen, sie mir anzusehen. Ein häufiger Grund dafür, dass Funktionen nicht glatt sind, sind isolierte Singularitäten, beispielsweise wenn die Funktion ein Bruch ist und der Nenner an einem Punkt Null ist. Ist das bei Ihrer Statistik der Fall? en.wikipedia.org/wiki/Singularity_(mathematics)

Chill2Macht

So könnte beispielsweise der LASSO-Schätzer mit orthonormalen Kovariaten, der auf Wikipedia angegeben ist, eindeutig den max () - Teil dieser Funktion einige Glättungsprobleme verursachen, aber welche Variable muss "glatt" sein, um ... Bols als sich ändernd zu betrachten ein seltsames Konzept

Bee

nur b / c Ich weiß nicht, wie man Beta-OLS wie im Beispiel schreibt und es richtig aussehen lässt

Bee

@ William +1 Schöne Antwort. Eine Schlussfolgerung fehlt etwas. Ich nehme an, etwas in der Art von 'Daher ist der Bootstrap, der angewendet wird, um die Varianz von zu schätzen, ungültig, weil die Statistik eine nicht glatte Funktion in und '.

{\hat{β}}_{j}

$\hat{\beta}_j$

X

$X$

y

$y$

Tomka

"Glätte" einer Statistik für Bootstrapping?

Antworten: