Welches ist die bessere maximale oder marginale Wahrscheinlichkeit und warum?

Bei der Durchführung der Regression gehen wir von der Definition aus: Was ist der Unterschied zwischen einer Teilwahrscheinlichkeit, einer Profilwahrscheinlichkeit und einer Grenzwahrscheinlichkeit?

dass, Maximum Likelihood
Findet β und θ, die L (β, θ | data) maximieren.

Während, Grenzwahrscheinlichkeit
Wir integrieren θ aus der Wahrscheinlichkeitsgleichung, indem wir die Tatsache ausnutzen, dass wir die von β abhängige Wahrscheinlichkeitsverteilung von θ identifizieren können.

Welches ist die bessere Methode zur Maximierung und warum?

regression maximum-likelihood Ankit Chiplunkar
quelle

Antworten:

Jedes von diesen ergibt unterschiedliche Ergebnisse mit einer unterschiedlichen Interpretation. Der erste findet das Paar , das am wahrscheinlichsten ist, während der zweite das findet, das (geringfügig) am wahrscheinlichsten ist. Stellen Sie sich vor, Ihre Distribution sieht folgendermaßen aus: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Dann Antwort der Maximum - Likelihood ist ( ), während die maximale marginale Likelihood - Antwort ist , (da, den Rand zu drängen über , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Ich würde sagen, dass im Allgemeinen die marginale Wahrscheinlichkeit oft genau das ist, was Sie wollen. Wenn Sie sich wirklich nicht für die Werte der Parameter interessieren , sollten Sie sie einfach kollabieren lassen. In der Praxis führen diese Methoden jedoch wahrscheinlich nicht zu sehr unterschiedlichen Ergebnissen. Andernfalls kann dies auf eine gewisse zugrunde liegende Instabilität in Ihrer Lösung hinweisen, z. B. mehrere Modi mit unterschiedlichen Kombinationen von , , die alle ähnliche Vorhersagen liefern. $\theta$ $\beta$ $\theta$

Chris
quelle

Ich habe unterschiedliche Ergebnisse für Maximum / Marginal Likelihood Methoden gefunden und daher die Frage. Ich würde sagen, dass die beiden Ergebnisse in meinem Fall unterschiedliche Interpretationen ergeben, aber mögliche Ergebnisse.

Ankit Chiplunkar

Mit dieser Frage beschäftige ich mich gerade. Hier ist ein Ergebnis, das hilfreich sein kann. Betrachten Sie das lineare Modell

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

wobei und und sind die Parameter von Interesse. Die gemeinsame Wahrscheinlichkeit ist $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Optimierung der Gelenkwahrscheinlichkeitserträge

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

wobei die Pseudoinverse ist und ist die Passform Residuenvektor. Man beachte , dass in haben wir anstelle der bekannten Grad-of-freedom korrigierten Verhältnis . Es ist bekannt, dass dieser Schätzer im Fall der endlichen Stichprobe vorgespannt ist. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Angenommen, statt über und optimieren , integrieren wir out und schätzen aus der resultierenden integrierten Wahrscheinlichkeit: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Mit der linearen Elementaralgebra und der Gaußschen Integralformel können Sie das zeigen

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Dies hat die Freiheitsgradkorrektur, die es unvoreingenommen und im Allgemeinen gegenüber der gemeinsamen ML-Schätzung favorisiert.

Aus diesem Ergebnis könnte man sich fragen, ob die integrierte Wahrscheinlichkeit von Natur aus etwas Vorteilhaftes hat, aber ich kenne keine allgemeinen Ergebnisse, die diese Frage beantworten. Der Konsens scheint zu sein, dass integrierte ML Unsicherheiten bei den meisten Schätzungsproblemen besser berücksichtigt. Insbesondere wenn Sie eine Menge schätzen, die von anderen Parameterschätzungen abhängt (auch implizit), kann die Integration über die anderen Parameter deren Unsicherheiten besser berücksichtigen.

Paul
quelle

Das ist interessant. Ich bin jedoch ein wenig beunruhigt über die Tatsache, dass "

" eine ungültige Randverteilung verwendet, sowie über das Fehlen einer offensichtlichen Rechtfertigung für die Verwendung dieser (unangemessenen) Randverteilung im Vergleich zu anderen. Welche Gedanken haben Sie zu diesen Themen?

β

$\beta$

whuber

@whuber Ich teile Ihre Bedenken und habe keine fertige Antwort, aber beachten Sie, dass die Wahrscheinlichkeit, an den Rand gedrängt zu werden, nur ein posteriorer Faktor mit einer einheitlichen falschen Vorbedingung für

ist. Ich denke, dies hängt mit dem "objektiven Bayes'schen" Ansatz zusammen. Da ist es einem egal, wenn ein Parameter wie

eine falsche Vorverteilung hat, solange der posterior integrierbar ist.

β

$\beta$

β

$\beta$

Paul

Ausgehend von diesem Beitrag und den darin enthaltenen Kommentaren denke ich, dass integrierte ML und nicht marginale ML der richtige Begriff für das ist, was wir hier tun. Entsprechend bearbeitet.

Paul

+1 Ich weiß, ich bin ziemlich spät zu dieser Party, integriere aber keine festen Effekte, indem ich ihnen eine falsche Uniform vorsetze, genau was REML macht. Sie haben also gerade die REML-Schätzung erhalten und diese df-Korrektur ist genau die Grund hier, dass REML für kleinere Stichproben besser ist?

16.

@Chaconne ja, dieser Beitrag wurde durch den Versuch motiviert, REML zu verstehen! Ich habe (fast) keine formale Statistikausbildung, daher war es für mich alles neu, dies abzuleiten.

Paul

Dies ist normalerweise keine Frage der Wahl. Wenn wir an der Schätzung von interessiert sind (z. B. wenn ein Modellhyperparameter und eine latente Variable ist) und es keinen einzigen Wert für und stattdessen die Verteilung von bekannt ist, müssen wir integrieren . Sie können sich die marginale Wahrscheinlichkeit als den gewichteten Durchschnitt der Wahrscheinlichkeit für verschiedene Werte von vorstellen, die mit ihrer Wahrscheinlichkeitsdichte gewichtet sind . Nun, da verschwunden ist, werden Trainingsproben als $\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ , you can optimize the marginal likelihood w.r.t. $\beta$ .

Seeda
quelle