Wenn der Prior und die Wahrscheinlichkeit sehr unterschiedlich sind, tritt manchmal eine Situation auf, in der der Posterior keinem von beiden ähnlich ist. Siehe zum Beispiel dieses Bild, das Normalverteilungen verwendet. Obwohl dies mathematisch korrekt ist, scheint es nicht mit meiner...
Ich habe Log-Normalverteilungen als frühere Verteilungen für Skalenparameter verwendet (für Normalverteilungen, t-Verteilungen usw.), wenn ich eine ungefähre Vorstellung davon habe, wie die Skala aussehen soll, mich aber irren möchte, wenn ich sage, dass ich es nicht weiß viel darüber. Ich benutze...
Kann jemand erklären, was die natürliche Interpretation für LDA-Hyperparameter ist? ALPHAund BETAsind Parameter von Dirichlet-Verteilungen für (pro Dokument) Themen- bzw. (pro Thema) Wortverteilungen. Kann jemand erklären, was es bedeutet, größere Werte dieser Hyperparameter gegenüber kleineren...
Einige Distributionen haben konjugierte Prioritäten, andere nicht. Ist diese Unterscheidung nur ein Unfall? Das heißt, Sie rechnen nach, und es funktioniert auf die eine oder andere Weise, aber es sagt Ihnen nichts wirklich Wichtiges über die Verteilung aus, außer der Tatsache selbst? Oder...
Hintergrund Eine der am häufigsten verwendeten Schwachstellen vor der Varianz ist das inverse Gamma mit den Parametern (Gelman 2006) .α = 0,001 , β= 0,001α=0.001,β=0.001\alpha =0.001, \beta=0.001 Diese Verteilung hat jedoch einen 90% von ungefähr .[ 3 × 1019, ∞
Ich habe die Vorstellung gehört, dass Jaynes behauptet, Frequentisten würden mit einem "impliziten Prior" operieren. Was ist oder sind diese impliziten Prioritäten? Bedeutet dies, dass frequentistische Modelle alle Sonderfälle von Bayes'schen Modellen sind, die darauf warten, gefunden zu...
In der Literatur stolpere ich manchmal über die Bemerkung, dass die Auswahl von Prioren, die von den Daten selbst abhängen (zum Beispiel Zellners G-Prior), aus theoretischer Sicht kritisiert werden kann. Wo genau liegt das Problem, wenn der Prior nicht unabhängig von den Daten gewählt...
Es wird oft argumentiert, dass das Bayes'sche Gerüst einen großen Vorteil bei der Interpretation hat (gegenüber dem Frequentisten), weil es die Wahrscheinlichkeit eines Parameters berechnet, wenn die Daten gegeben sind - anstelle von wie in frequentistischer Rahmen. So weit, ist es gut.p ( x | θ )p...
Ich habe über die Jeffreys Prior auf Wikipedia gelesen: Jeffreys Prior und gesehen, dass nach jedem Beispiel beschrieben wird, wie eine Varianz-stabilisierende Transformation die Jeffreys Prior in einen einheitlichen Prior verwandelt. Für den Bernoulli-Fall heißt es beispielsweise, dass das...
Ich reposte eine "Antwort" auf eine Frage, die ich vor zwei Wochen hier gestellt hatte: Warum ist der Jeffreys Prior nützlich? Es war wirklich eine Frage (und ich hatte zu der Zeit auch nicht das Recht, Kommentare zu posten), also hoffe ich, dass es in Ordnung ist, dies zu tun: In der obigen...
Es ist allgemein bekannt, dass eine lineare Regression mit einer 1 Strafe gleichbedeutend ist mit dem Finden der MAP-Schätzung, wenn ein Gaußscher Wert vor den Koeffizienten angegeben wird. In ähnlicher Weise ist die Verwendung einer Strafe gleichbedeutend mit der Verwendung einer...
Wenn wir eine kleine Stichprobengröße haben, hat die vorherige Verteilung einen großen Einfluss auf die hintere
Robby McKilliam sagt in einem Kommentar zu diesem Beitrag: Es sollte darauf hingewiesen werden, dass es aus Sicht der Frequentisten keinen Grund gibt, das Vorwissen nicht in das Modell zu integrieren. In diesem Sinne ist die frequentistische Ansicht einfacher, Sie haben nur ein Modell und einige...
Wie berechnen wir einen Posterior mit einem vorherigen N ~ (a, b), nachdem wir n Datenpunkte beobachtet haben? Ich gehe davon aus, dass wir den Stichprobenmittelwert und die Varianz der Datenpunkte berechnen und eine Art Berechnung durchführen müssen, die den hinteren mit dem vorherigen kombiniert,...
In seiner viel zitierten Arbeit Prior-Verteilungen für Varianzparameter in hierarchischen Modellen (916 Zitate in Google Scholar) Gelman schlägt vor, dass gute, nicht informative Vorverteilungen für die Varianz in einem hierarchischen Bayes'schen Modell die Gleichverteilung und die...
Ich suche nach nicht informativen Prioritäten für die Betaverteilung, um mit einem Binomialprozess (Hit / Miss) arbeiten zu können. Zuerst dachte ich über die Verwendung von , die ein einheitliches PDF erzeugen, oder Jeffrey vor . Aber ich suche tatsächlich nach Priors, die die posterioren...
Diese Frage wurde durch zwei kürzlich von mir durchgeführte Interaktionen inspiriert, eine hier im Lebenslauf und die andere bei economics.se. Dort hatte ich eine Antwort auf das bekannte "Envelope Paradox" gepostet (wohlgemerkt nicht als die "richtige Antwort", sondern als die Antwort, die sich...
In der (unbeaufsichtigten) Textmodellierung ist Latent Dirichlet Allocation (LDA) eine Bayes-Version der probabilistischen latenten semantischen Analyse (PLSA). Im Wesentlichen hat LDA = PLSA + Dirichlet Vorrang vor seinen Parametern. Nach meinem Verständnis ist LDA jetzt der Referenzalgorithmus...
Ich kenne 3 Methoden zur Parameterschätzung, ML, MAP und Bayes Ansatz. Und für den MAP- und Bayes-Ansatz müssen wir Prioritäten für die Parameter festlegen, richtig? Angenommen, ich habe dieses Modell , in dem α , β Parameter sind. Um die Schätzung unter Verwendung von MAP oder Bayes...
Ich habe gehört, dass die Gratregression als Mittelwert einer posterioren Verteilung abgeleitet werden kann, wenn der Prior angemessen gewählt wird. Ist die Intuition, dass die Einschränkungen, die für die Regressionskoeffizienten durch den Prior festgelegt wurden (z. B. Standardnormalverteilungen...