Was ist der Unterschied zwischen einer Teilwahrscheinlichkeit, einer Profilwahrscheinlichkeit und einer Grenzwahrscheinlichkeit?

Ich sehe, dass diese Begriffe verwendet werden, und ich verwechsle sie immer wieder. Gibt es eine einfache Erklärung für die Unterschiede zwischen ihnen?

Die Wahrscheinlichkeitsfunktion hängt normalerweise von vielen Parametern ab. Abhängig von der Anwendung sind wir normalerweise nur an einer Teilmenge dieser Parameter interessiert. Beispielsweise liegt bei der linearen Regression das Interesse typischerweise in den Steigungskoeffizienten und nicht in der Fehlervarianz.

Bezeichnen Sie die Parameter, an denen wir interessiert sind, als $\beta$ und die Parameter, die nicht von primärem Interesse sind, als $\theta$ . Der Standardweg, um sich dem Schätzproblem zu nähern, besteht darin, die Wahrscheinlichkeitsfunktion zu maximieren, so dass wir Schätzungen von $\beta$ und $\theta$ . Da das Hauptinteresse jedoch auf $\beta$ Partial liegt, bieten Profil und marginale Wahrscheinlichkeit alternative Möglichkeiten zur Schätzung von $\beta$ ohne Schätzung von $\theta$ .

Um den Unterschied zu sehen, bezeichne die Standardwahrscheinlichkeit mit $L(\beta, \theta|\mathrm{data})$ .

Maximale Wahrscheinlichkeit

Finden Sie $\beta$ und $\theta$ , die $L(\beta, \theta|\mathrm{data})$ maximieren .

Teilweise Wahrscheinlichkeit

Wenn wir die Wahrscheinlichkeitsfunktion schreiben können als:

$$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$$

$L_1(\beta|\mathrm{data})$

Profil Wahrscheinlichkeit

$\theta$$\beta$$\theta$

$\theta = g(\beta)$

$$L(\beta, g(\beta)|\mathrm{data})$$

Grenzwahrscheinlichkeit

$\theta$$\theta$$\beta$

Alle drei werden verwendet, wenn mit Störparametern in der vollständig spezifizierten Wahrscheinlichkeitsfunktion umgegangen wird.

Die marginale Wahrscheinlichkeit ist die primäre Methode, um Störparameter theoretisch zu eliminieren. Dies ist eine echte Wahrscheinlichkeitsfunktion (dh sie ist proportional zur (Grenz-) Wahrscheinlichkeit der beobachteten Daten).

Die Teilwahrscheinlichkeit ist im Allgemeinen keine echte Wahrscheinlichkeit. In einigen Fällen kann dies jedoch als Wahrscheinlichkeit einer asymptotischen Inferenz angesehen werden. In Cox-Proportional-Hazards-Modellen, in denen es seinen Ursprung hat, interessieren uns die beobachteten Rangfolgen in den Daten (T1> T2> ..), ohne die Grundgefahr anzugeben. Efron zeigte, dass die partielle Wahrscheinlichkeit für eine Vielzahl von Gefahrenfunktionen nur wenig bis gar keine Informationen verliert.

Die Profilwahrscheinlichkeit ist praktisch, wenn wir eine mehrdimensionale Wahrscheinlichkeitsfunktion und einen einzelnen interessierenden Parameter haben. Es wird spezifiziert, indem die Störung S durch ihre MLE bei jedem festen T (dem interessierenden Parameter) ersetzt wird, dh L (T) = L (T, S (T)). Dies kann in der Praxis gut funktionieren, obwohl die auf diese Weise erhaltene MLE eine potenzielle Verzerrung aufweist. Die marginale Wahrscheinlichkeit korrigiert diese Verzerrung.