Was genau ist ein Bayes'sches Modell?

34

Kann ich ein Modell, in dem der Bayes'sche Satz verwendet wird, als "Bayes'sches Modell" bezeichnen? Ich fürchte, eine solche Definition könnte zu weit gefasst sein.

machine-learning bayesian Spielende Geschwister
quelle

9

Ein Bayes'sches Modell ist ein statistisches Modell, das aus dem Paar vorhergehende x Wahrscheinlichkeit = hintere x marginale besteht. Der Satz von Bayes ist dem Konzept eines Prior etwas nachgeordnet.

Xi'an

18

Im Wesentlichen basiert eine Schlussfolgerung auf der Verwendung des Bayes-Theorems, um eine posteriore Verteilung für eine oder mehrere interessierende Größen zu erhalten, auf einem Modell (wie Parameterwerten), das auf einer vorherigen Verteilung für die relevanten unbekannten Parameter und der Wahrscheinlichkeit aus dem Modell basiert.

dh aus einem Verteilungsmodell irgendeiner Form, und einem vorherigen , könnte jemand versuchen, das hintere . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Ein einfaches Beispiel eines Bayes'schen Modells wird in dieser Frage und in den Kommentaren dieser Bayes'schen linearen Regression, die hier in Wikipedia ausführlicher beschrieben werden, diskutiert . Durchsuchungen lassen Diskussionen über eine Reihe von Bayes'schen Modellen aufkommen.

Aber es gibt noch andere Dinge, die man mit einer Bayes'schen Analyse versuchen könnte, als nur ein Modell anzupassen - siehe zum Beispiel die Bayes'sche Entscheidungstheorie.

Glen_b - Setzen Sie Monica wieder ein
quelle

In der linearen Regression ist

hier gleich den Vektor

? Wenn nicht, was ist das?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

BCLC

1

@BCLC Normalerweise würde es auch

.

σ

$\sigma$

Glen_b

1

@BCLC Sie scheinen häufigste und bayesianische Folgerungen in Einklang zu bringen. Die Bayes'sche Inferenz konzentriert sich auf alle Größen, an denen Sie interessiert sind. Wenn Sie an Parametern interessiert sind (z. B. Inferenz über bestimmte Koeffizienten), besteht die Idee darin, posteriore Verteilungen [Parameter | Daten] zu suchen. Wenn Sie sich für die mittlere Funktion (

) interessieren , dann würden Sie eine hintere Verteilung dafür suchen (die natürlich eine Funktion der (multivariaten) Verteilung von

). Sie könnten OLS in Ihrer Schätzung verwenden, aber die Parameter des Seitenzahns werden durch den vorherigen verschoben ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

Glen_b -Reinstate Monica

1

... siehe die Wikipedia-Seite über Bayesianische Regression und einige der Diskussionen hier auf CV

Glen_b -Reinstate Monica

1

Diese Berechnung taucht manchmal aus verschiedenen Gründen auf (unabhängig davon, ob Sie sie als

oder

). Mein früherer Kommentar steht in keiner Weise im Widerspruch zu dieser Berechnung.

(oder äquivalent

oder

) ist ein Parameter, mit dem Sie sich zusammen mit den anderen Parametern befassen müssen. Es ist jedoch selten, dass Sie

kennen . Wenn Sie beispielsweise Gibbs-Sampling durchführen, ist die Bedingung relevant. Wenn Sie nur auf

, würden Sie

integrieren

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$ (oder

usw.) aus

statt Bedingung auf

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$ .

Glen_b

11

Ein Bayes'sches Modell ist nur ein Modell, das seine Schlussfolgerungen aus der posterioren Verteilung zieht, dh eine vorherige Verteilung und eine Wahrscheinlichkeit verwendet, die durch den Bayes'schen Satz zusammenhängen.

Sycorax sagt Reinstate Monica
quelle

7

Kann ich ein Modell, in dem der Bayes'sche Satz verwendet wird, als "Bayes'sches Modell" bezeichnen?

Nein

Ich fürchte, eine solche Definition könnte zu weit gefasst sein.

Du hast recht. Der Satz von Bayes ist eine legitime Beziehung zwischen Randereigniswahrscheinlichkeiten und bedingten Wahrscheinlichkeiten. Es gilt unabhängig von Ihrer Interpretation der Wahrscheinlichkeit.

Was genau ist ein Bayes'sches Modell?

Wenn Sie vor verwenden und hinteren Konzepten überall in Ihrer Darstellung oder Interpretation, dann sind Sie wahrscheinlich Modell Bayesian zu verwenden, aber das ist nicht die absolute Regel, weil diese Konzepte auch in Nicht-Bayes verwendet werden , annähert.

Im weiteren Sinne müssen Sie sich jedoch der Bayes'schen Interpretation der Wahrscheinlichkeit als subjektiven Glauben anschließen. Dieses kleine Theorem von Bayes wurde von einigen Menschen auf diese gesamte Weltanschauung und sogar auf die Philosophie ausgedehnt . Wenn Sie zu diesem Lager gehören, dann sind Sie Bayesianer. Bayes hatte keine Ahnung, dass dies mit seinem Theorem passieren würde. Er wäre entsetzt, denkt ich.

Aksakal
quelle

4

Dies scheint die erste Antwort zu sein, um den in seiner ersten Zeile angesprochenen wichtigen Punkt einzuführen: Die bloße Verwendung des Bayes'schen Satzes macht etwas nicht zu einem Bayes'schen Modell. Ich möchte Sie ermutigen, diesen Gedanken weiter zu verfolgen. Sie scheinen zurückzudrängen, wo Sie sagen, dass "die Verwendung früherer und späterer Konzepte" ein Bayes'sches Modell macht. Bedeutet das nicht einfach, den Satz von Bayes erneut anzuwenden? Wenn nicht, könnten Sie in dieser Passage erklären, was Sie unter "Konzepten" verstehen? Schließlich werden in der klassischen (nicht-bayesianischen) Statistik Vor- und Nachunterseiten verwendet, um die Zulässigkeit vieler Verfahren zu beweisen.

whuber

@whuber, es war eher eine einfache Faustregel. Immer wenn ich in der Zeitung ein "Prior" sehe, wird es vom bayesianischen Standpunkt aus gesehen oder behauptet, es zu sein. Ich werde meinen Punkt jedoch klarstellen.

Aksakal

5

Ein statistisches Modell kann als eine Prozedur / Geschichte angesehen werden, die beschreibt, wie einige Daten entstanden sind. Ein Bayes'sches Modell ist ein statistisches Modell, bei dem Sie die Wahrscheinlichkeit verwenden , um alle Unsicherheiten innerhalb des Modells darzustellen , sowohl die Unsicherheit in Bezug auf die Ausgabe als auch die Unsicherheit in Bezug auf die Eingabe (auch als Parameter bezeichnet) in das Modell. Darauf folgt der ganze Satz von Prior / Posterior / Bayes, aber meiner Meinung nach macht es die Verwendung der Wahrscheinlichkeit für alles zum Bayesian (und in der Tat wäre ein besseres Wort vielleicht nur so etwas wie ein probabilistisches Modell) ).

Das bedeutet, dass die meisten anderen statistischen Modelle in ein Bayes'sches Modell "umgewandelt" werden können, indem sie so modifiziert werden, dass sie überall die Wahrscheinlichkeit verwenden. Dies gilt insbesondere für Modelle, die sich auf die maximale Wahrscheinlichkeit verlassen, da die Modellanpassung mit maximaler Wahrscheinlichkeit eine strikte Teilmenge der Bayes'schen Modellanpassung ist.

Rasmus Bååth
quelle

MLE wird außerhalb des Bayes'schen Modells verwendet und wurde entwickelt. Es ist daher nicht klar, was Sie damit meinen, dass es sich um eine "strikte Teilmenge der Bayes'schen Modellanpassung" handelt.

Aksakal

Aus Bayes-Sicht ist der MLE das, was Sie erhalten, wenn Sie flache Prioritäten annehmen, das Modell anpassen und die wahrscheinlichste Parameterkonfiguration als Punktschätzung verwenden. Ob dies ein Sonderfall der Bayes'schen "Philosophie der Statistik" ist, überlasse ich anderen, aber es ist sicherlich ein Sonderfall der Bayes'schen Modellanpassung.

Rasmus Bååth

Das Problem bei dieser Aussage ist, dass der Eindruck entsteht, dass Sie eine Art von Bayes'schem Denken abonnieren müssen, um MLE verwenden zu können.

Aksakal

1

Ich bin mir nicht sicher was du meinst. IMO müssen Sie beim Verwenden der Bayes'schen Statistik nicht mehr das Bayes'sche Denken abonnieren als beim Ausführen der linearen Algebra das Matrix-Denken oder beim Verwenden einer Normalverteilung das Gauß'sche Denken. Ich sage auch nicht , dass MLE hat als Teilmenge von Bayes - Modellanpassung interpretiert werden (auch wenn es mir ziemlich natürlich fällt).

Rasmus Bååth

3

Ihre Frage ist eher semantisch: Wann kann ich ein Modell "Bayesian" nennen?

Schlussfolgerungen aus diesem ausgezeichneten Papier ziehen:

Fienberg, SE (2006). Wann wurde die bayesianische Folgerung "bayesianisch"? Bayesian Analysis, 1 (1): 1-40.

es gibt 2 antworten:

Ihr Modell ist das erste Bayes'sche Modell, wenn es die Bayes'sche Regel verwendet (das ist der "Algorithmus").
Wenn Sie (verborgene) Ursachen aus einem generativen Modell Ihres Systems ableiten, sind Sie im weiteren Sinne Bayesianer (das ist die "Funktion").

Überraschenderweise hat sich die im gesamten Gebiet verbreitete Terminologie der "Bayes'schen Modelle" erst um die 60er Jahre herum etabliert. Es gibt viele Dinge, die man über maschinelles Lernen lernen kann, wenn man sich nur die Geschichte ansieht!

meduz
quelle

Sie scheinen nur eine der "zwei Antworten" zu erwähnen. Vielleicht etwas über beides schreiben?

Tim

Vielen Dank für den Hinweis, ich habe meine Antwort bearbeitet, um die 2 Teile meines Satzes zu trennen.

Meduz

Was genau ist ein Bayes'sches Modell?

Antworten: