ABC-Modellauswahl

11

Es hat sich gezeigt, dass die Auswahl des ABC-Modells unter Verwendung von Bayes-Faktoren nicht zu empfehlen ist, da ein Fehler bei der Verwendung von Zusammenfassungsstatistiken vorliegt. Die Schlussfolgerung in diesem Artikel basiert auf der Untersuchung des Verhaltens einer beliebten Methode zur Approximation des Bayes-Faktors (Algorithmus 2).

Es ist bekannt, dass Bayes-Faktoren nicht die einzige Möglichkeit sind, die Modellauswahl durchzuführen. Es gibt andere Funktionen, wie z. B. die prädiktive Leistung eines Modells, die von Interesse sein könnten (z . B. Bewertungsregeln ).

Meine Frage ist : Gibt es eine Methode analog zu Algorithmus 2 zur Approximation einiger Bewertungsregeln oder anderer Größen, die zur Durchführung der Modellauswahl hinsichtlich der Vorhersageleistung in Kontexten mit komplizierten Wahrscheinlichkeiten verwendet werden können?


quelle

Antworten:

7

Schöne Frage, die auf unserer Arbeit aufbaut! Kennen Sie das Folgepapier, in dem wir Bedingungen für die zusammenfassende Statistik ableiten, um eine Konsistenz des Bayes-Faktors zu erreichen? Dies mag zu theoretisch klingen, aber die Konsequenz der asymptotischen Ergebnisse ist recht einfach:

Bei einer zusammenfassenden Statistik ,T

  1. einen ABC - Algorithmus basierend auf ausgeführt für jedes Modell unter Auswertung ( i = 1 , . . , I ) und eine Schätzung der Parameter & theta; i diese Modelle von der ABC Schätzung θ i ( T ) ;Ti=1,..,Iθiθ^i(T)
  2. simulieren Sie die Verteilung der Statistik für jedes Modell und jeden geschätzten Parameter durch ein Monte-Carlo-Experiment;T
  3. prüfen , ob die Mittel sind alle verschieden von Schritt 2 mit einer ausreichend großen Anzahl von Iterationen unter Verwendung und beispielsweise ein t-Test.Eθ^i(T)[T(X)]

Dieses Verfahren ist nicht in der ersten Version des Dokuments enthalten, sollte jedoch bald in der überarbeiteten Version erscheinen

Xi'an
quelle
Danke für deine Antwort. Das zweite Papier war mir nicht bekannt. Es ist ein interessantes Ergebnis. Eine Frage, die mir in den Sinn kommt, ist die Annahme der Normalität beim t-Test (ich weiß, dass er robust ist, aber er kann auch fehlschlagen) zusammen mit dem erforderlichen Signifikanzniveau für eine gute Annäherung. Kennen Sie andere Modellvergleichstechniken mit ABC? Ich erinnere mich an ein Papier über DIC über Arxiv. (Ich werde das Kopfgeld in ein paar Tagen zuweisen, um zu sehen, ob jemand anderes Interesse an der Frage zeigt, ich bin nicht gemein :))
1
Angesichts der Tatsache, dass es sich um meine eigene Arbeit / Forschung handelt, verdiene ich nicht wirklich ein Kopfgeld, oder?!
Xi'an
Es ist eine schöne Antwort. Ich habe nur das Gefühl, dass Sie die Frage nach der Existenz anderer Techniken zur Messung der Vorhersageleistung eines Modells mit ABC zweimal übersprungen haben. Sogar ein "Ja, es gibt" oder ein "Nein, zumindest meines Wissens" würde den Job machen.
1
ABCμ