Vergleich der Maximum-Likelihood-Schätzung (MLE) und des Bayes-Theorems

Im Bayes'schen Theorem ist

$$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$$ , und aus dem Buch, das ich lese, heißt$p(x|y)$dieWahrscheinlichkeit, aber ich nehme an, es ist nur diebedingte Wahrscheinlichkeitvon$x$bei$y$, oder?

Die Maximum-Likelihood-Schätzung versucht, zu maximieren $p(x|y)$, oder? Wenn ja, bin ich sehr verwirrt, weil $x,y$ beide Zufallsvariablen sind, oder? Zur Maximierung der $p(x|y)$ ist, um herauszufinden , die y ? Ein weiteres Problem: Wenn diese beiden Zufallsvariablen unabhängig sind, ist p ( x | y ) nur p ( x ) , oder? Dann maximiere p ( x | y$\hat y$$p(x|y)$$p(x)$$p(x|y)$ soll maximieren$p(x)$.

Oder vielleicht ist $p(x|y)$ eine Funktion einiger Parameter $\theta$ , dh $p(x|y; \theta)$ , und MLE versucht, das zu finden, das p ( x | y $\theta$ maximieren kann ? Oder sogar das y$p(x|y)$$y$ tatsächlich die Parameter des Modells ist, nicht Zufallsvariable, um die Wahrscheinlichkeit zu maximieren ist es, die finden y ?$\hat y$

AKTUALISIEREN

Ich bin ein Anfänger im maschinellen Lernen, und dieses Problem ist eine Verwirrung von dem, was ich aus einem Tutorial zum maschinellen Lernen gelesen habe. Hier ist es gegeben, ein beobachteter Datensatz sind die Zielwerte { y 1 , y 2 , . . . , y n } , und ich versuche, ein Modell über diesen Datensatz anzupassen, also gehe ich davon aus, dass bei gegebenem $\{x_1,x_2,...,x_n\}$$\{y_1,y_2,...,y_n\}$$x$ , eine Form der Verteilung hat genannt W durch parametrisiert θ , das heißt$y$$W$$\theta$ , und ich nehme an, dass dies diehintere Wahrscheinlichkeit ist, richtig?$p(y|x; \theta)$

Um nun den Wert von zu schätzen , verwende ich MLE. OK, hier kommt mein Problem, ich denke die Wahrscheinlichkeit ist p ( x | y ; θ ) , oder? Das Maximieren der Wahrscheinlichkeit bedeutet, dass ich das richtige θ und y auswählen sollte ?$\theta$$p(x|y;\theta)$$\theta$$y$

Wenn mein Verständnis der Wahrscheinlichkeit falsch ist, zeigen Sie mir bitte den richtigen Weg.

Ich denke, das Kernmissverständnis beruht auf Fragen, die Sie in der ersten Hälfte Ihrer Frage gestellt haben. Ich betrachte diese Antwort als kontrastierende MLE- und Bayes'sche Inferenzparadigmen. Eine sehr ansprechbare Diskussion über MLE findet sich in Kapitel 1 von Gary King, Unifying Political Methodology.Gelmans Bayes'sche Datenanalyse kann Details auf der Bayes'schen Seite liefern.

Im Bayes'schen Theorem ist und aus dem Buch, das ich lese, wirdp(x|y)die Wahrscheinlichkeit genannt, aber ich nehme an, es ist nur die bedingte Wahrscheinlichkeit vonx beigegebenem

$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$ $p(x|y)$$x$$y$ , oder?

Die Wahrscheinlichkeit ist eine bedingte Wahrscheinlichkeit. Für einen Bayesianer beschreibt diese Formel die Verteilung des Parameters gegebenen Daten x und vor p ( y ) . Da diese Notation jedoch nicht Ihre Absicht widerspiegelt, werde ich fortan ( θ , y ) für Parameter und x verwenden$y$$x$$p(y)$$\theta$$y$$x$ für Ihre Daten verwenden.

Ihr Update zeigt jedoch an, dass von einer Verteilung p ( x | θ , y ) aus beobachtet wird . Wenn wir unsere Daten und Parameter an den entsprechenden Stellen in der Bayes-Regel platzieren, stellen wir fest, dass diese zusätzlichen Parameter für Bayesianer keine Probleme darstellen: p ( θ | x , y ) = p ( x , y | θ ) p ( θ $x$$p(x|\theta,y)$

$$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$$

Ich glaube, dieser Ausdruck ist das, wonach Sie in Ihrem Update suchen.

Die Maximum-Likelihood-Schätzung versucht, zu maximieren , oder?$p(x,y|\theta)$

Ja. MLE setzt voraus, dass Das heißt, es behandelt den Term p ( θ , y

$$p(x,y|\theta) \propto p(\theta|x,y)$$ als unbekannte (und nicht erkennbare) Konstante. Im Gegensatz dazu behandelt die Bayes'sche Inferenzp(x)als Normalisierungskonstante (so dass sich die Wahrscheinlichkeiten zu einer Einheit summieren / integrieren) undp(θ,y)als Schlüsselinformation: den Prior. Wir können unsp(θ,y)als einen Weg vorstellen, eine Strafe für das Optimierungsverfahren für "zu weit weg von der Region zu wandern" zu verhängen, die wir für am plausibelsten halten.$\frac{p(\theta,y)}{p(x)}$$p(x)$$p(\theta,y)$$p(\theta,y)$

Wenn ja, bin ich sehr verwirrt, weil Zufallsvariablen sind, oder? Zur Maximierung der p ( x , y | θ ) ist, um herauszufinden , die θ ?$x,y,\theta$$p(x,y|\theta)$$\hat{\theta}$

In wird angenommen , dass eine zu feste Menge , die unbekannt aber in der Lage ist zu entnehmen, nicht eine Zufallsvariable. Die Bayes'sche Inferenz behandelt θ als Zufallsvariable. Die Bayes'sche Inferenz setzt Wahrscheinlichkeitsdichtefunktionen ein und gibt Wahrscheinlichkeitsdichtefunktionen heraus , anstatt Punktzusammenfassungen des Modells wie in MLE. Das heißt, die Bayes'sche Inferenz betrachtet den gesamten Bereich der Parameterwerte und die Wahrscheinlichkeit von jedem. MLE postuliert , dass θ eine adäquate Zusammenfassung der Daten ist das Modell gegeben.$\hat{\theta}$$\theta$$\hat{\theta}$

Normalerweise ist eine Funktion des Parameters y . Betrachten Sie die folgende Neuformulierung des Bayes-Theorems:$p(x|y)$$y$

$$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$$

Oder noch expliziter (in Bezug auf den Begriff der Wahrscheinlichkeit):

$$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$$

For a concrete example, consider the model

$$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$$

• "...$p(x|y)$ is called the likelihood..."

$p(x|y)$ is the likelihood of y given x. Saying what it is the likelihood of is important. And yes, it is just the conditional probability of $x$ given $y$.

• "...if these 2 random variables are independent, then $p(x|y)$ is just $p(x)$, right? Then maximizing $p(x|y)$ is to maximize $p(x)$..."

If they are independent, i.e. $p(x|y) = p(x)$, the $p(x)$ is constant with respect to $y$. Be careful here, as you don't specify what you are maximising with respect to - from what you wrote earlier, I would assume you are maximising with respect to $y$.

• ...Or maybe, $p(x|y)$ is a function of some parameters $\theta$, that is $p(x|y;\theta)$, and MLE tries to find the $\theta$ which can maximize $p(x|y)$? Or even that y is actually the parameters of the model, not random variable, maximizing the likelihood is to find the $\hat{y}$?...

Introducing $\theta$ makes this an entirely new problem. In general, the answer to most of this question here seems to be 'it depends'. We could denote parameters as $y$ if we wanted, and maximise with respect to them. Equally, we could have a situation where we maximise $p(x|y;\theta)$ with respect to parameters $\theta$ if that was a sensible way of approaching the problem at hand.

From STAN reference manual:

If the prior is uniform, the posterior mode corresponds to the maximum likelihood estimate (MLE) of the parameters. If the prior is not uniform, the posterior mode is sometimes called the maximum a posterior (MAP) estimate.