Die Prioritäten von Experten einholen

Wie kann ich bei der Anpassung eines Bayes'schen Modells frühere Verteilungen von Experten abrufen?

John Cook gibt einige interessante Empfehlungen. Holen Sie sich von den Experten grundsätzlich Perzentile / Quantile (keine Mittelwerte oder undeutliche Skalenparameter!) Und passen Sie diese mit der entsprechenden Verteilung an.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Ich erforsche derzeit die Trial-Roulette-Methode für meine Masterarbeit als Auslösetechnik. Dies ist eine grafische Methode, mit der eine Expertin ihre subjektive Wahrscheinlichkeitsverteilung für eine ungewisse Größe darstellen kann.

Experten erhalten Zähler (oder was man sich als Casino-Chips vorstellen kann), die gleiche Dichten darstellen, deren Summe 1 ergibt - zum Beispiel 20 Chips mit einer Wahrscheinlichkeit von jeweils 0,05. Sie werden dann angewiesen, sie auf einem vorgedruckten Raster anzuordnen, wobei die Fächer die Ergebnisintervalle darstellen. Jede Spalte würde ihren Glauben an die Wahrscheinlichkeit repräsentieren, das entsprechende Bin-Ergebnis zu erhalten.

Beispiel: Ein Schüler wird gebeten, die Note in einer zukünftigen Prüfung vorherzusagen. Die folgende Abbildung zeigt ein vollständiges Raster zur Ermittlung einer subjektiven Wahrscheinlichkeitsverteilung. Die horizontale Achse des Gitters zeigt die möglichen Klassen (oder Markierungsintervalle), die der Schüler berücksichtigen sollte. Die Zahlen in der oberen Reihe geben die Anzahl der Chips pro Behälter an. Das ausgefüllte Raster (mit insgesamt 20 Chips) zeigt, dass der Schüler der Ansicht ist, dass die Wahrscheinlichkeit, dass die Note zwischen 60 und 64,9 liegt, bei 30% liegt.

Einige Gründe für die Verwendung dieser Technik sind:

1. Viele Fragen zur Form der subjektiven Wahrscheinlichkeitsverteilung des Experten können beantwortet werden, ohne dass eine lange Reihe von Fragen an den Experten gestellt werden muss. Der Statistiker kann einfach die Dichte über oder unter einem bestimmten Punkt oder zwischen zwei beliebigen Punkten ablesen.

2. Während des Ermittlungsprozesses können sich die Experten auf den Chips bewegen, wenn sie mit der ursprünglichen Platzierung nicht zufrieden sind. So können sie sicher sein, dass das endgültige Ergebnis eingereicht wird.

3. Es zwingt den Experten, in der Menge der Wahrscheinlichkeiten, die bereitgestellt werden, kohärent zu sein. Wenn alle Chips verwendet werden, müssen die Wahrscheinlichkeiten eins ergeben.

4. Grafische Methoden scheinen genauere Ergebnisse zu liefern, insbesondere für Teilnehmer mit bescheidener statistischer Raffinesse.

Priors zu erbitten ist eine knifflige Angelegenheit.

Statistische Methoden zur Ermittlung von Wahrscheinlichkeitsverteilungen und zur Ermittlung von Wahrscheinlichkeitsverteilungen sind recht gute praktische Richtlinien für die vorherige Ermittlung. Der Prozess in beiden Papieren wird wie folgt umrissen:

1. Hintergrund und Vorbereitung;
2. Identifizierung und Rekrutierung des / der Experten;
3. Motivation und Schulung des / der Experten;
4. Strukturierung und Zerlegung (in der Regel genau entscheiden, welche Variablen ermittelt werden sollen und wie im multivariaten Fall gemeinsame Verteilungen hervorgerufen werden sollen);
5. die Auslösung selbst.

Natürlich überprüfen sie auch, wie die Erhebung zu Informationen führt, die möglicherweise zu Verteilungen passen oder diese anderweitig definieren (z. B. im Bayes'schen Kontext Beta-Verteilungen ), aber ganz wichtig ist auch, dass sie häufige Fallstricke bei der Modellierung von Expertenwissen (Verankerung, enge und kleinschwänzige Verteilungen usw.).

Ich würde empfehlen, den Fachexperten den Mittelwert oder den Modus des Prior angeben zu lassen , aber ich würde gerne anpassen, was sie als Skala angeben . Die meisten Menschen sind nicht sehr gut darin, die Varianz zu quantifizieren.

Und ich würde den Experten definitiv nicht die Verteilerfamilie bestimmen lassen, insbesondere die Schwanzdicke. Angenommen, Sie benötigen eine symmetrische Verteilung für einen Prior. Niemand kann seinen subjektiven Glauben so genau spezifizieren, dass er eine Normalverteilung von einer Student-t-Verteilung mit 5 Freiheitsgraden unterscheidet. In einigen Zusammenhängen ist der t (5) -Prior jedoch viel robuster als der normale Prior. Kurz gesagt, ich denke, die Wahl der Schwanzdicke ist eine technisch-statistische Angelegenheit, keine Frage der Quantifizierung der Expertenmeinung.

Diese interessante Frage ist Gegenstand einiger Forschungen in ACERA . Der leitende Forscher ist Andrew Speirs-Bridge, und seine Arbeit ist überaus google-fähig :)