Wie wählt man bei der Bayes'schen Parameterschätzung vor

Ich kenne 3 Methoden zur Parameterschätzung, ML, MAP und Bayes Ansatz. Und für den MAP- und Bayes-Ansatz müssen wir Prioritäten für die Parameter festlegen, richtig?

Angenommen, ich habe dieses Modell , in dem Parameter sind. Um die Schätzung unter Verwendung von MAP oder Bayes durchzuführen, habe ich in dem Buch gelesen, dass wir besser ein Konjugat vor auswählen sollten , was ist eine gemeinsame Wahrscheinlichkeit von , richtig? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

Ich habe 2 Fragen:

Haben wir andere Möglichkeiten, den Prior auszuwählen als diesen konjugierten?
Können wir Prioren für und auswählen, wie und $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$ , außer sie zu einer gemeinsamen zusammenzufassen?

bayesian estimation prior Avocado
quelle

Je nachdem, welche Software Sie verwenden, müssen Priors nicht unbedingt mit der Likelihood-Funktion konjugiert sein. In erster Linie sollten Sie sicherstellen, dass Ihre Priors Ihre vorherigen Vorstellungen über die Verteilung der Parameter

widerspiegeln

Ich könnte also einfach die Prioritäten für die Parameter auswählen, oder? TATSäCHLICH Ich versuche einfach Baysian lineare Regression, keine spezifische Software betrachtet zu verstehen

Avocado

Sehen Sie vor elicitation , zB hier

Scortchi - wieder einzusetzen Monica

Antworten:

Wie im Kommentar angegeben, repräsentiert die vorherige Verteilung vorherige Annahmen über die Verteilung der Parameter.

Wenn frühere Überzeugungen tatsächlich verfügbar sind, können Sie:

$R^+$
Verwenden Sie Ihr intuitives Verständnis dieser Überzeugungen, um eine bestimmte vorherige Verteilung vorzuschlagen und zu überprüfen, ob sie wirklich zu Ihrem Zweck passt und ob sie nicht gegen willkürliche Entscheidungen empfindlich ist (Durchführung einer Robustheits- oder Sensibilitätsanalyse).

Wenn keine expliziten Vorurteile vorliegen, können Sie:

abzuleiten (oder einfach zu verwenden, falls bereits verfügbar), ist eine großartige Ressource http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) eines Jeffreys (z. B. Uniform für einen Standortparameter) oder einer Referenz vor (insbesondere in bei multivariaten Parametern).
$g$

$p(a,b)$ $p(a) \cdot p(b)$

Achten Sie darauf, dass Ihr posterior fast überall (oder korrekt) integrierbar ist. Dies gilt immer dann, wenn Sie einen integrierbaren Prior verwenden ( weitere Informationen finden Sie unter Muss der bayesianische posterior eine korrekte Verteilung sein? ).
Schränken Sie die Unterstützung Ihres Prior nur dann ein, wenn Sie sich in den Support-Grenzen sehr sicher sind (vermeiden Sie es also, dies zu tun).
und zu guter Letzt stellen Sie (meistens experimentell) sicher, dass Ihre Wahl des Priores das bedeutet, was Sie ausdrücken möchten. Diese Aufgabe ist meiner Meinung nach manchmal umso kritischer. Vergessen Sie nie, dass Sie bei der Schlussfolgerung, dass ein Prior für sich genommen nichts bedeutet, den Posterior berücksichtigen müssen (eine Kombination aus Prior und Wahrscheinlichkeit).

peuhp
quelle

Vielen Dank. Könnten Sie mir bitte ein paar Tutorials empfehlen, wie man diese Art von bayesianischer Folgerung macht?

Avocado

@loganecolss Gern geschehen, ich war vor ein paar Monaten ein bisschen verloren und dieser Beitrag ist einfach die Zusammenfassung meines Selbststudiums und ich freue mich, wenn es jemand anderem helfen kann. Was meinen Sie in Bezug auf Ihre Frage mit "dieser Art von Bayes'scher Folgerung"?

Peuhp

Ich lerne auch selbst maschinelles Lernen, ich kannte ML, aber dieser bayesianische Ansatz der Parameterschätzung ist neu für mich. Ich hoffe, Sie können mir etwas Material zeigen, um die bayesianische Schätzung und Folgerung zu lernen ;-)

Avocado

@loganecolss, Dies ist eine gute Zusammenfassung der MLE-, MAP- und Bayes-Folgerungen. Und dieser Link gibt eine gute Zusammenfassung darüber, wie eine vor-Bayesianische Folgerung für eine Binomialverteilung einbezogen werden kann.

Zhubarb

Eine kleine Ausarbeitung: Ein ordentlicher Prior repräsentiert einen konsistenten Satz von Überzeugungen über die Parameter. Sie müssen nicht Ihre Überzeugungen sein. In der Tat sind Modelle oft überzeugender, wenn sie von anderen stammen.

Conjugateprior

Es gibt auch empirische Bayes. Die Idee besteht darin, die Daten vorab abzustimmen:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Während dies zunächst unangenehm erscheinen mag, gibt es tatsächlich Beziehungen zur minimalen Beschreibungslänge. Dies ist auch der typische Weg, um die Kernelparameter von Gaußschen Prozessen abzuschätzen.

bayerj
quelle

Um die beiden obigen Fragen direkt zu beantworten:

Sie haben andere Möglichkeiten, nicht-konjugierte Priors als konjugierte Priors auszuwählen. Das Problem ist, dass Sie, wenn Sie nicht-konjugierte Priors wählen, keine exakte bayesianische Schlussfolgerung ziehen können (einfach ausgedrückt, Sie können keine enge posteriore Form ableiten). Vielmehr müssen Sie ungefähre Schlüsse ziehen oder Stichprobenverfahren wie Gibbs-Stichproben, Ablehnungsstichproben, MCMC usw. verwenden, um Ihren posterioren Befund abzuleiten. Das Problem bei Stichprobenverfahren ist, dass es sich intuitiv so anfühlt, als würde man ein Bild eines Elefanten in der Dunkelheit zeichnen, indem man es wiederholt berührt - - Sie könnten voreingenommen und unvollständig sein. Der Grund, warum sich die Leute für eine nicht konjugierte frühere Option entscheiden, ist, dass die konjugierte frühere Option mit gewisser Wahrscheinlichkeit ziemlich begrenzt ist oder zu sagen, dass die meisten nicht konjugiert sind.
Ja, das kannst du definitiv. Wenn α und β unabhängig sind, was die idealistische Bedingung ist, können Sie ihre gemeinsame Verteilung durch p (α) p (β) ableiten. Wenn sie nicht unabhängig sind, müssen Sie möglicherweise die bedingte Wahrscheinlichkeit ermitteln und das Integral ausführen, um die gemeinsame Verteilung abzuleiten.

talentcat
quelle