Warum brauchen wir Bootstrapping?

Ich lese gerade Larry Wassermans "All of Statistics" und wundere mich über etwas, das er in dem Kapitel über das Schätzen statistischer Funktionen nichtparametrischer Modelle geschrieben hat.

Er schrieb

"Manchmal können wir den geschätzten Standardfehler einer statistischen Funktion durch einige Berechnungen ermitteln. In anderen Fällen ist es jedoch nicht offensichtlich, wie der Standardfehler geschätzt werden kann."

Ich möchte darauf hinweisen, dass er im nächsten Kapitel über Bootstrap spricht, um dieses Problem zu beheben, aber da ich diese Aussage nicht wirklich verstehe, bekomme ich den Anreiz hinter Bootstrapping nicht vollständig?

Welches Beispiel gibt es, wenn nicht klar ist, wie der Standardfehler abgeschätzt werden soll?

Alle Beispiele , die ich bisher gesehen haben , war schon „offensichtlich“ wie , dann $X_1,...X_n ~Ber(p)$ $\hat{se}(\hat{p}_n )=\sqrt{\hat{p}\cdot(1-\hat{p})/n}$

self-study estimation bootstrap standard-error Shookie
quelle

Ich finde viele Beispiele in einer Site-Suche nach anderen Antworten, die einen Bootstrap vorschlagen . Dazu gehören stats.stackexchange.com/questions/14213 , stats.stackexchange.com/questions/63979 , stats.stackexchange.com/questions/25218 und vieles mehr.

whuber

Antworten:

Zwei Antworten.

Was ist der Standardfehler des Verhältnisses zweier Mittelwerte? Was ist der Standardfehler des Medians? Was ist der Standardfehler einer komplexen Statistik? Vielleicht gibt es eine geschlossene Formgleichung, aber es ist möglich, dass noch niemand darauf gekommen ist.
Um die Formel für den Standardfehler des Mittelwerts zu verwenden, müssen wir einige Annahmen treffen. Wenn diese Annahmen verletzt werden, können wir die Methode nicht unbedingt anwenden. Wie @Whuber in den Kommentaren ausführt, können wir durch Bootstrapping einige dieser Annahmen lockern und daher möglicherweise geeignetere Standardfehler liefern (obwohl dies möglicherweise auch zusätzliche Annahmen zur Folge hat).

Jeremy Miles
quelle

Antwort 1 ist in Ordnung, aber Antwort 2 scheint die Frage zu stellen, da Bootstrapping ebenfalls Annahmen macht. Ich nehme an, der Punkt könnte sein, dass normalerweise andere Annahmen getroffen werden als bei anderen gängigen Verfahren, aber das ist nur meine Vermutung darüber, was Sie sagen wollen, und ich könnte mich irren.

whuber

@Whuber - danke, ich habe ein bisschen Klarstellung hinzugefügt.

Jeremy Miles

Vielen Dank für die Änderungen. Aber ist es nicht so, dass Bootstrapping in der Regel andere Annahmen trifft , als einige tatsächlich zu lockern ? Die Annahmen, die zum Schätzen einer SE eines Stichprobenmittelwerts erforderlich sind, lauten beispielsweise, dass die Daten iid sind und die zugrunde liegende Verteilung eine endliche Varianz aufweist. Der Bootstrap muss in diesem Fall tatsächlich Annahmen hinzufügen : Er funktioniert nur, wenn die Stichprobengröße "ausreichend groß" ist. Auch wenn es so aussieht, als würde man über technische Aspekte streiten, ist das, was ich versuche, das große Ganze: Bootstrapping ist weder ein Allheilmittel noch immer anwendbar.

whuber

@JeremyMiles der bootstrap ist nicht frei von annahmen. Sie müssen sicherstellen, dass die Verteilung für die meisten Bootstrap-Fehlerberechnungen von entscheidender Bedeutung ist. Dies kann häufig komplizierter sein, als einen konsistenten Schätzer für einen Standardfehler zu erhalten. Zusätzlich hat das Verhältnis der Mittelwerte eine sehr einfache Fehlerannäherung, die mit der δ-Methode erhalten wird. Ich denke also nicht, dass dieses Beispiel dem Standpunkt des OP widerspricht.

AdamO

Ein Beispiel könnte zur Veranschaulichung beitragen. Angenommen, Sie möchten in einem kausalen Modellierungsrahmen bestimmen, ob die Beziehung zwischen (eine Exposition von Interesse) und (ein Ergebnis von Interesse) durch eine Variable vermittelt wird . Dies bedeutet, dass in den beiden Regressionsmodellen: $X$ $Y$ $W$

\begin{array}{rcl} E [Y | X] & = & β_{0} + β_{1} X \\ E [Y | X, W] & = & γ_{0} + γ_{1} X + γ_{2} W \end{array}

$\begin{eqnarray} E[Y|X] &=& \beta_0 + \beta_1 X \\ E[Y|X, W] &=& \gamma_0 + \gamma_1 X + \gamma_2 W \\ \end{eqnarray}$

Der Effekt unterscheidet sich von dem Effekt $\beta_1$ $\gamma_1$ .

$Y$ könnte ein binäres Ereignis (myokardialer oder neurologischer Infarkt) in einem logistischen Regressionsmodell oder eine kontinuierliche Variable wie die koronare arterielle Verkalkung (CAC), die linksventrikuläre Auswurffraktion (LVEF) oder die linksventrikuläre Masse (LVM) sein.

Wir würden zwei Modelle 1 anpassen: die Anpassung an das Rauchen und das Ergebnis zusammen mit anderen Störfaktoren wie Alter, Geschlecht, Einkommen und Familiengeschichte von Herzkrankheiten, dann 2: alle vorherigen Kovariaten sowie den Body-Mass-Index. Der Unterschied im Raucheffekt zwischen Modell 1 und 2 beruht auf unserer Schlussfolgerung.

Wir sind daran interessiert, die Hypothesen testen

\begin{array}{rcl} H & : & β_{1} = γ_{1} \\ K & : & β_{1} \neq γ_{1} \end{array}

$\begin{eqnarray} \mathcal{H} &:& \beta_1 = \gamma_1\\ \mathcal{K} &:& \beta_1 \ne \gamma_1\\ \end{eqnarray}$

$T = \beta_1 - \gamma_1$ $S = \beta_1 / \gamma_1$ $T$ $S$ $p$

AdamO
quelle

Ich denke, ich verstehe, wohin Sie mit dieser Antwort gehen, aber ich bin durch die Details verwirrt. Wollten Sie Hüte über die Parameter in Ihren Beschreibungen von setzen?

T

$T$ und

S

$S$ ? Der Text klingt so, als ob dies eher Eigenschaften eines Modells als Schätzer sein sollten. Welchen Sinn macht es, Eigenschaften von zwei verschiedenen Modellen wie diesem zu mischen ? Wenn du wirklich Hüte gemeint hast, dann

T

$T$ und

S

$S$ sind Statistiken, die anscheinend als Schätzer verwendet werden sollen, aber was sollen sie schätzen?

whuber

@whuber Ich denke du hast Recht, dass sie in konventioneller Notation keine Hüte benutzen. Ich werde die Bearbeitung vornehmen. Vielleicht war mir nicht klar genug ... es gibt zwei Parameter für dieselbe Variable, die in zwei verschiedene Modelle in demselben Datensatz passen. Es ist sehr schwierig, den Standardfehler der Statistik direkt zu berechnen

T

$T$ und

S

$S$ .

AdamO

Die einzige Möglichkeit, dies zu verstehen, besteht darin, das zweite Modell zu verstehen, das in das erste geschachtelt werden soll, sodass die von Ihnen getestete Hypothese lautet

γ_{2} = 0

$\gamma_2 = 0$ . Ich kenne nicht einmal eine gültige Definition von "Hypothese", die zwei getrennte Modelle beinhaltet.

whuber

@whuber Ah I see the confusion. Please see a recommended article from MacKinnon here.

AdamO

Thank you: that reference helps me understand your example much better. Although I have reservations about the many theoretical solecisms involved in that approach, they are irrelevant to the aptness of your example: it suffices that people have actually tried to understand data in this way and have seen a need to estimate standard errors for estimators of

T

$T$ or

S

$S$ . I notice, though, that your last paragraph still does not distinguish between

T

$T$ and its estimator:

T

$T$ is a model property and as such has no distribution and no SE. An estimator of

T

$T$ does have a distribution.

whuber

Having parametric solutions for each statistical measure would be desirable but, at the same time, quite unrealistic. Bootstrap comes in handy in those instances. The example that springs to my mind concerns the difference between two means of highly skewed cost distributions. In that case, the classic two-sample t-test fails to meet its theoretical requirements (the distributions from which the samples under investigation were drawn surely depart from normality, due to their long right-tail) and non-parametric tests lack to convey useful infromation to decision-makers (who are usually not interested in ranks). A possible solution to avoid being stalled on that issue is a two-sample bootstrap t-test.

Carlo Lazzaro
quelle