Was ist eine wichtige Stichprobe?

Antworten:

15

Die Stichprobe zur Ermittlung der Bedeutung ist eine Form der Stichprobe aus einer Verteilung, die sich von der Verteilung des Interesses unterscheidet , um leichter bessere Schätzungen eines Parameters aus der Verteilung des Interesses zu erhalten. In der Regel liefert dies Schätzungen des Parameters mit einer geringeren Varianz, als wenn die Stichprobe direkt aus der ursprünglichen Verteilung mit derselben Stichprobengröße entnommen würde.

Es wird in verschiedenen Zusammenhängen angewendet. Im Allgemeinen ermöglicht das Abtasten aus der unterschiedlichen Verteilung, dass mehr Proben in einem Teil der interessierenden Verteilung entnommen werden , der von der Anwendung vorgegeben wird (wichtiger Bereich).

Ein Beispiel könnte sein, dass Sie eine Stichprobe haben möchten, die mehr Stichproben aus den Endpunkten der Verteilung enthält, als reine Zufallsstichproben aus der Verteilung von Interesse liefern würden.

Der Wikipedia-Artikel , den ich zu diesem Thema gesehen habe, ist zu abstrakt. Es ist besser, sich verschiedene spezifische Beispiele anzuschauen. Es enthält jedoch Links zu interessanten Anwendungen wie Bayesian Networks.

Ein Beispiel für eine wichtige Stichprobe in den 1940er und 1950er Jahren ist eine Varianzreduktionstechnik (eine Form der Monte-Carlo-Methode). Siehe zum Beispiel das Buch Monte Carlo Methods von Hammersley und Handscomb, das 1964 als Methuen Monograph / Chapman and Hall veröffentlicht und 1966 und später von anderen Verlagen nachgedruckt wurde. Abschnitt 5.4 des Buches behandelt die Stichprobenerhebung.

Michael R. Chernick
quelle
2
Um dies hinzuzufügen: In RL wenden Sie im Allgemeinen eine Stichprobenerhebung zur Wichtigkeit der Richtlinie an: z. B. Stichprobenerfassung von Aktionen aus einer Explorationsrichtlinie anstelle der tatsächlichen Richtlinie, für die Sie eine Stichprobe
erstellen
3
Diese Antwort fängt gut damit an, zu erklären, welche Bedeutung die Stichprobenentnahme hat, aber ich war enttäuscht, dass sie niemals die Frage beantwortet, welche Bedeutung die Stichprobenentnahme hat : Wie funktioniert sie?
Whuber
@whuber Mein Ziel hier war es, einem verwirrten OP das Konzept zu erklären und ihn auf Literatur hinzuweisen. Es ist ein großes Thema und wird in scheinbar unterschiedlichen Anwendungen verwendet. Andere sind möglicherweise in der Lage, die Details in einfachen Worten besser zu erklären als ich. Ich weiß, dass Sie, wenn Sie sich dazu entschließen, eine Frage zu beantworten, alles daran setzen, schöne Grafiken zu erstellen und technische Details im Klartext durchzugehen. Diese Beiträge befriedigen die Community fast immer mit ihrer Klarheit und Vollständigkeit, und ich wage zu sagen, dass sie das OP zumindest teilweise befriedigen. Vielleicht würden ein paar Sätze mit Gleichungen ausreichen, wie Sie vorschlagen.
Michael R. Chernick
Vielleicht ist es besser für die Community, eine Antwort auf die Frage zu finden, als nur auf andere Quellen zu verweisen oder sogar Links bereitzustellen. Ich war einfach der Meinung, dass das, was ich getan habe, angemessen war und das OP, das zugibt, ein Statistik-Neuling zu sein, sich zuerst selbst anstrengen sollte.
Michael R. Chernick
5
Du hast einen Punkt. Ich frage mich jedoch, ob es möglich sein könnte, in nur einem oder zwei weiteren Sätzen - keine Mathematik, keine Grafiken, kaum zusätzliche Arbeit - eine Antwort auf die gestellte Frage zu geben. In diesem Fall müsste in der Beschreibung hervorgehoben werden, dass man die Erwartung schätzt (nicht irgendeinen "Parameter"), und dann vielleicht darauf hinweisen, dass man, da die Erwartung ein Produkt aus Werten und Wahrscheinlichkeiten summiert, dasselbe Ergebnis durch Ändern der Wahrscheinlichkeiten erhält ( zu denen einer Distribution, aus der man leicht Samples erstellen kann) und die Werte anpassen, um dies zu kompensieren.
Whuber
33

Die Wichtigkeitsabtastung ist eine Simulation oder Monte-Carlo-Methode zur Approximation von Integralen. Der Begriff "Stichprobe" ist insofern etwas verwirrend, als er keine Stichproben aus einer bestimmten Verteilung liefern soll.

Die Intuition hinter der Wichtigkeitsabtastung ist, dass ein genau definiertes Integral wie kann als Erwartung für einen weiten Bereich von Wahrscheinlichkeitsverteilungen ausgedrückt werden: I = E f [ H ( X ) ] = X H ( x ) f ( x )

I=Xh(x)dx
wobei f die Dichte einer Wahrscheinlichkeitsverteilung bezeichnet und H durch h und f bestimmt wird . (Beachten Sie, dass sich H ( ) normalerweise von h ( ) unterscheidet .)In der Tat ist die Wahl H ( x ) = h ( x )
I=Ef[H(X)]=XH(x)f(x)dx
fHhfH()h() führt zu den GleichungenH(x)f(x)=h(x)undI=Ef[H(X)]-unter gewissen Einschränkungen für die Unterstützung vonf, wasf(x)>0 bedeutet,wennh(x)0-
H(x)=h(x)f(x)
H(x)f(x)=h(x)I=Ef[H(X)]ff(x)>0h(x)0. Wie W. Huber in seinem Kommentar hervorhob, gibt es daher keine Einheitlichkeit in der Darstellung eines Integrals als Erwartung, sondern im Gegenteil eine unendliche Reihe solcher Darstellungen, von denen einige besser sind als andere, sobald sie ein Vergleichskriterium darstellen sie wird adoptiert. Zum Beispiel erwähnt Michael Chernick die Wahl von , um die Varianz des Schätzers zu verringern.f

Wenn diese elementare Eigenschaft erst einmal verstanden ist, besteht die Umsetzung der Idee darin, sich auf das Gesetz der großen Zahlen wie bei anderen Monte-Carlo-Methoden zu stützen, dh [über einen Pseudozufallsgenerator] eine iid-Stichprobe zu simulieren n ) von verteilten f und die Approximation zu verwenden I = 1(x1,,xn)fwelches

I^=1ni=1nH(xi)
  1. ist ein unvoreingenommener Schätzer von I
  2. konvergiert fast sicher zu I

Je nach Wahl der Verteilung , die oben Schätzer ich kann oder auch nicht eine endliche Varianz haben. Es gibt jedoch immer Optionen für f , die eine endliche Varianz und sogar eine willkürlich kleine Varianz zulassen (obwohl diese Optionen in der Praxis möglicherweise nicht verfügbar sind). Und gibt es auch Entscheidungen von f , die die Importance Sampling - Schätzer machen ich eine sehr schlechte Annäherung der ich . Dies schließt alle Möglichkeiten ein, bei denen die Varianz unendlich wird, obwohl ein kürzlich veröffentlichter Aufsatz von Chatterjee und Diaconis untersucht, wie man Wichtigkeitssampler mit der Varianz unendlich vergleicht. Das Bild unten stammt vonfI^ffI^Imein Blog Diskussion über das Papier und zeigt die schlechte Konvergenz unendlichen Varianz - Schätzer.

Wichtigkeitsstichprobe mit Wichtigkeitsverteilung und Exp (1) -Verteilung Zielverteilung und Exp (1/10) -Verteilung und interessierender Funktion $ h (x) = x $.  Der wahre Wert des Integrals ist $ 10 $.

Wichtigkeitsstichprobe mit Wichtigkeitsverteilung und Exp (1) -Verteilung Zielverteilung und Exp (1/10) -Verteilung und interessierender Funktion . Der wahre Wert des Integrals ist 10 .h(x)=x10

[Das Folgende ist aus unserem Buch Monte Carlo Statistical Methods wiedergegeben .]

f

Xh(x)f(x)dx

pC(0,1)2 Wenn p wird durch den empirischen Mittelwert ausgewertet p 1 = 1

p=2+1π(1+x2)dx.
p einer iid-Stichprobe X 1 ,, X m
p^1=1mj=1mIXj>2
X1,,Xm C(0,1)p(1p)/m0.127/mp=0.15

C(0,1)

p^2=12mj=1mI|Xj|>2
p(12p)/2m0.052/m

[2,+)pp

p=12-021π(1+x2)dx,
h(X)=2/π(1+X2)XU[0,2]p
p^3=12-1mj=1mh(Uj)
UjU[0,2]p^3(E[h2]-E[h]2)/m0,0285/mp
p=01/2y-2π(1+y-2)dy,
14h(Y)=1/2π(1+Y2)[0,1/2]p
p^4=14mj=1mh(Yj)
YjU[0,1/2]p^40.95104/m

p^1p^4103100032p^1

Xi'an
quelle
5
Vielen Dank an @Xi 'an, dass Sie sich die Mühe gemacht haben, wichtige Stichproben auf eine Art und Weise zu veranschaulichen, die jeder zu schätzen weiß, und ich denke, Bill Hubers Bitte wird mehr als gerecht. +1
Michael R. Chernick
2
Ich möchte darauf hinweisen, dass dieser Beitrag zunächst auf Eis gelegt wurde und dank der Beiträge mehrerer Personen. Wir haben uns einen informativen Thread ausgedacht.
Michael R. Chernick
5
Christian, ich möchte mich ganz herzlich bei dir bedanken und ein Gefühl des Privilegs ausdrücken, dass du so hervorragendes Material aktiv mit uns teilst.
whuber
4
Ich möchte mich nur bei Xi'an bedanken, der so freundlich war, einige Änderungen vorzunehmen, um meine Antwort zu verbessern, obwohl er eine seiner eigenen gab.
Michael R. Chernick
3
Dies muss einer der besten Beiträge auf stats.stackexchange sein. Danke für das Teilen!
Dohmatob