Bayesianische Inferenz für die multinomiale Verteilung mit asymmetrischem Vorwissen?

Angenommen, ich werde einige Proben aus einer Binomialverteilung erhalten. Eine Möglichkeit, meine Vorkenntnisse zu modellieren, ist eine Beta-Distribution mit den Parametern und . Soweit ich weiß, ist dies gleichbedeutend damit, in Versuchen "Köpfe" mal gesehen zu haben . Daher ist es eine gute Abkürzung, um die vollständige Bayes'sche Folgerung durchzuführen, als meinen neuen Mittelwert für die Wahrscheinlichkeit von "Köpfen" zu verwenden, nachdem ich Köpfe in Versuchen gesehen habe . $\alpha$ $\beta$ $\alpha$ $\alpha + \beta$ $\frac{h+\alpha}{n+\alpha+\beta}$ $h$ $n$

Angenommen, ich habe mehr als zwei Zustände, sodass ich einige Stichproben aus einer multinomialen Verteilung erhalten werde. Angenommen, ich möchte eine Dirichlet-Verteilung mit dem Parameter als Prior verwenden. Wieder als Verknüpfung kann ich dies als Vorwissen der Veranstaltung behandeln ‚s Wahrscheinlichkeit als äquivalent zu sein , und wenn ich Zeuge Ereignis mal in Versuchen mein hintern für wird . $\alpha$ $i$ $\frac{\alpha_i}{\sum \alpha_j}$ $i$ $h$ $n$ $i$ $\frac{h + \alpha_i}{n + \sum \alpha_j}$

Im Binomialfall stellt sich heraus, dass das Vorwissen über "Köpfe", die in Versuchen mal auftreten, gleichbedeutend ist mit "Schwänzen", die in Versuchen Zeiten auftreten . Logischerweise glaube ich nicht, dass ich die Wahrscheinlichkeit von "Köpfen" besser kennen kann als von "Schwänzen". Dies wird jedoch mit mehr als zwei Ergebnissen interessanter. Wenn ich einen 6-seitigen Würfel gesagt habe, kann ich mir vorstellen, dass mein Vorwissen über Seite "1" 10 Einsen in 50 Versuchen und mein Vorwissen über Seite "2" 15 Zweien in 100 Versuchen entspricht. $\alpha$ $\alpha + \beta$ $\beta$ $\alpha + \beta$

Nach all dieser Einführung ist meine Frage, wie ich solch asymmetrisches Vorwissen im multinomialen Fall richtig modellieren kann. Es scheint, als ob ich, wenn ich nicht aufpasse, leicht unlogische Ergebnisse erzielen kann, da die Gesamtwahrscheinlichkeit / -wahrscheinlichkeit nicht auf 1 summiert. Gibt es eine Möglichkeit, die Dirichlet-Verknüpfung weiterhin zu verwenden, oder muss ich dies insgesamt opfern und einige verwenden? andere vorherige Verteilung vollständig?

Bitte verzeihen Sie jegliche Verwirrung, die durch mögliche Missbräuche in der obigen Notation oder Terminologie verursacht wird.

probability bayesian prior multinomial dirichlet-distribution Michael McGowan
quelle

If I have say a 6-sided die, I can imagine my prior knowledge of side "1" being equivalent to 10 ones in 50 trials and my prior knowledge of side "2" as being equivalent to 15 twos in 100 trials.

Gibt es einen besonderen Grund, warum Sie Ihre "äquivalenten Stichprobengrößen" für " " und " " (nämlich und ) nicht durch Verwendung des am wenigsten gemeinsamen Vielfachen vereinheitlichen möchten ? In diesem Fall ist und .

1

$1$

2

$2$

50

$50$

100

$100$

α_{1} = 20 / 100

$\alpha_1 = 20/100$

α_{2} = 15 / 100

$\alpha_2 = 15/100$

Zhubarb

Sie können asymmetrische Prioritäten darstellen und gleichzeitig sicherstellen, dass

\sum_{i = 1}^{i = 6} α_{i} = 1

$\sum_{i=1}^{i=6}\alpha_i = 1$

Zhubarb

Schließlich ist dieses Papier von Kemp et al. ist sehr relevant und macht Spaß zu lesen.

Zhubarb

@Berkan Ich habe die Zeitung noch nicht gelesen (danke!), Aber der Grund, warum ich die Stichprobengrößen nicht vereinheitlicht habe, ist, dass 20/100 nicht dasselbe ist wie 10/50, und diese Tatsache ist sehr wichtig für die Grund wurde diese Frage gestellt.

Michael McGowan

Weil Sie aufgrund eines höheren Äquiv. Stichprobengröße?

Zhubarb

Sie haben Ihre Frage sehr gut formuliert.

Ich denke, was Sie hier suchen, ist ein Fall von hierarchischer Modellierung. Möglicherweise möchten Sie mehrere Hierarchieebenen modellieren (im Moment sprechen Sie nur über Prioritäten). Mit einer weiteren Ebene von Hyperprioren für die Hyperparameter können Sie die zusätzlichen Variabilitäten in Hyperparametern modellieren (da Sie sich über die Variabilitätsprobleme von Hyperparametern Gedanken machen). Dies macht Ihre Modellierung auch flexibel und robust (möglicherweise langsamer).

Insbesondere in Ihrem Fall können Sie davon profitieren, wenn Sie Prioritäten für die Dirichlet-Verteilungsparameter haben (Beta ist ein Sonderfall). Dieser Beitrag von Gelman spricht darüber, wie man den Parametern der Dirichlet-Verteilung Prioritäten auferlegt. Er zitiert auch eine seiner Arbeiten in einer Zeitschrift für Toxikologie.

Suncoolsu
quelle

Ich kann modellspezifischer sein, aber ich möchte hier nicht raten. Wenn Sie Ihre Frage ändern möchten, werde ich weitere Details hinzufügen.

Suncoolsu

Bayesianische Inferenz für die multinomiale Verteilung mit asymmetrischem Vorwissen?

Antworten: