Ermitteln der Genauigkeit der Monte-Carlo-Simulationsschätzung

12

Hintergrund

Ich entwerfe eine Monte-Carlo-Simulation, die die Ergebnisse einer Reihe von Modellen kombiniert, und ich möchte sicher sein, dass die Simulation es mir ermöglicht, angemessene Aussagen über die Wahrscheinlichkeit des simulierten Ergebnisses und die Genauigkeit dieser Wahrscheinlichkeitsschätzung zu machen.

Die Simulation ermittelt die Wahrscheinlichkeit, dass eine Jury aus einer bestimmten Community einen bestimmten Angeklagten verurteilt. Dies sind die Schritte der Simulation:

  1. Erstellen Sie aus den vorhandenen Daten ein logistisches Wahrscheinlichkeitsmodell ( M ), indem Sie die "Juror First Ballot Vote" für demografische Prädiktoren zurückbilden.

  2. Verwenden Sie Monte-Carlo-Methoden, um 1.000 Versionen von zu simulieren M (dh 1.000 Versionen der Koeffizienten für die Modellparameter).

  3. Wählen Sie eine der 1.000 Versionen des Modells ( M i ).

  4. Empanel 1.000 Jurys durch zufällige Auswahl von 1.000 Sätzen von 12 "Juroren" aus einer "Community" ( C ) von Personen mit bestimmten demografischen Merkmalen .

  5. Berechnen Sie mit M deterministisch die Wahrscheinlichkeit einer ersten Stimmabgabe für jeden Geschworenen i.

  6. Übertragen Sie die wahrscheinliche Stimme jedes "Jurors" in eine bestimmte Stimme (basierend darauf, ob sie größer oder kleiner als ein zufällig ausgewählter Wert zwischen 0 und 1 ist).

  7. Bestimmen Sie die „Endabstimmung“ jeder „Jury“ anhand eines Modells (abgeleitet aus empirischen Daten) der Wahrscheinlichkeit, mit der eine Jury verurteilt wird, abhängig vom Anteil der Juroren, die bei der ersten Abstimmung für eine Verurteilung stimmen.

  8. Speichern Sie den Anteil der Schuldsprüche für die 1000 Jurys ( PG i ).

  9. Wiederholen Sie die Schritte 3-8 für jeden der 1.000 simulierten Versionen von M .

  10. Berechnen Sie den Mittelwert von PG und geben Sie dies als Punktschätzung der Wahrscheinlichkeit einer Verurteilung in  C an .

  11. Identifizieren Sie die 2,5- und 97,5-Perzentilwerte für PG und geben Sie dies als 0,95-Konfidenzintervall an.

Ich verwende derzeit 1.000 Juroren und 1.000 Jurys für die Theorie, dass 1.000 Zufallszahlen aus einer Wahrscheinlichkeitsverteilung - demografische Merkmale von C oder Versionen von M - diese Verteilung ergänzen.

Fragen

Kann ich damit die Genauigkeit meiner Schätzung genau bestimmen? Wenn ja, wie viele Jurys muss ich für jede PG i -Berechnung mit einbeziehen, um die Wahrscheinlichkeitsverteilung von C abzudecken (so vermeide ich Auswahlverzerrungen); Darf ich weniger als 1.000 verwenden?

Vielen Dank für jede Hilfe!

Maggie
quelle
Nur aus Neugier: Ist irgendetwas in diesem Modell davon abhängig, ob der Angeklagte tatsächlich schuldig ist ?
whuber
Das Modell basiert auf Umfrageantworten auf ein einzelnes Faktenmuster, sodass die tatsächliche Schuld nicht variiert. Ich sage voraus, wie unterschiedliche Jurys in einem einzigen Streitfall herauskommen würden.
Maggie
OK, Spaß beiseite, Sie melden drei Schätzungen: den Mittelwert und 2,5 und 97,5 Perzentile von PG. Für welche (n) benötigen Sie eine "genaue" Bestimmung und wie genau muss sie sein?
whuber
Auch Schritt (6) ist rätselhaft. Könnten Sie erklären, was es tun soll? Gibt es für jeden Juror (5), jede Jury (4), jedes Modell (3) oder eine Kombination davon einen anderen "zufällig ausgewählten Wert"?
whuber
1
(Siehe obigen Kommentar) Ich denke, ich kann (a) die Anzahl der Jurys reduzieren. Der Stichprobenfehler ist eine Funktion der Anzahl der Stichproben. Mit 1.000 Jurys pro Modell habe ich insgesamt eine Million Proben. Der mit 10 ^ 6 Proben verbundene Abtastfehler beträgt ~ 0,1%. Wenn ich nur 35 Jurys pro Modell verwende, hätte ich 3,5 * 10 ^ 4 Samples und ~ 0,5% Samplingfehler. Dieser Stichprobenfehler ist viel kleiner als mein Messfehler von ~ 5,0%. Daher sollte ich in der Lage sein, 35 Jurys pro Modell zu verwenden und nur den Messfehler zu verwenden, um mein Konfidenzintervall zu schätzen.
Maggie

Antworten:

4

Es gibt ein allgemeines und "universelles" Kriterium für die Güte von Monte Carlo - Konvergenz.

Halten Sie sich an ein M und überprüfen Sie, wie sich das PG mit der Anzahl der Jurys verhält - es sollte konvergieren, sodass eine Anzahl von Wiederholungen angezeigt wird, für die Sie (für Ihre Anwendung) eine vernünftige Anzahl von signifikanten Stellen haben. Wiederholen Sie diesen Benchmark für einige andere Ms, um sicherzustellen, dass Sie mit der M-Auswahl kein Glück hatten, und fahren Sie dann mit der gesamten Simulation fort.


quelle
1
Ich bin nicht sicher, ob jemand vollständig auf die Frage reagiert hat. Es besteht aus zwei Teilen: (1) Liefert die beschriebene Modellierungsstrategie eine vertretbare Lösung für das Problem, das sie lösen möchte - nämlich die Wahrscheinlichkeit, dass eine Jury, die zufällig aus einer Community C mit bestimmten demografischen Merkmalen ausgewählt wird, für die Suche abstimmt ein Angeklagter schuldig? Und (2) Wenn die Modellierungsstrategie vernünftig ist, wie viele "Jurys" muss sie auswählen und wie viele "Urteile" muss sie jeweils simulieren, um eine vertretbare Schätzung der Wahrscheinlichkeit einer Verurteilung & 0,95 CI zu melden? Sie will beim Rechnen sparen. Siehe ihren letzten Kommentar
dmk38
0

Hier scheint mir das Problem zu sein, ob das Modell zu komplex ist, um es ohne Monte-Carlo-Simulation zu untersuchen.

Wenn das Modell relativ einfach ist, sollte es möglich sein, es durch die Statistik von conventioanl zu betrachten und eine Lösung für die gestellte Frage abzuleiten, ohne das Modell mehrmals erneut auszuführen. Dies ist ein bisschen zu einfach, aber wenn Ihr Modell nur Punkte auf der Grundlage einer Normalverteilung erzeugt hat, können Sie die Art der Antworten, nach denen Sie suchen, leicht ableiten. Wenn das Modell so einfach ist, ist es natürlich unwahrscheinlich, dass Sie eine Monte-Carlo-Simulation durchführen müssen, um Ihre Antworten zu finden.

Wenn das Problem komplex ist und es nicht möglich ist, es auf elementarere Elemente herunterzubrechen, ist Monte-Carlo der richtige Modelltyp, aber ich glaube, es gibt keine Möglichkeit, Konfidenzgrenzen zu definieren, ohne das Modell auszuführen. Um die Art der beschriebenen Vertrauensgrenzen zu erhalten, müsste das Modell mehrmals ausgeführt werden, eine Wahrscheinlichkeitsverteilung müsste an die Ausgaben angepasst werden, und von dort aus könnten die Vertrauensgrenzen definiert werden. Eine der Herausforderungen bei der Monte-Carlo-Simulation besteht darin, dass Modelle gute und regelmäßige Antworten auf Verteilungen im mittleren Bereich geben, die Schwänze jedoch häufig viel variablere Ergebnisse liefern, was letztendlich bedeutet, dass mehr Durchläufe erforderlich sind, um die Form der Ausgaben bei 2,5% und zu definieren 97,5% Perzentile.

Ian Turner
quelle