Fragen zum Wahrscheinlichkeitsprinzip

17

Ich versuche derzeit, das Likelihood-Prinzip zu verstehen und verstehe es ehrlich gesagt überhaupt nicht. Also werde ich alle meine Fragen als Liste schreiben, auch wenn dies ziemlich grundlegende Fragen sein mögen.

  • Was genau bedeutet "alle Informationen" im Kontext dieses Prinzips? (Wie bei allen Informationen in einer Stichprobe ist die Wahrscheinlichkeitsfunktion enthalten.)
  • Ist das Prinzip irgendwie mit der sehr beweisbaren Tatsache verbunden, dass ? Ist die "Wahrscheinlichkeit" im Prinzip dasselbe wie oder nicht?p ( y | x )p(x|y)p(y|x)p(x)p(y|x)
  • Wie kann ein mathematischer Satz "kontrovers" sein? Mein (schwaches) Verständnis von Mathematik ist, dass ein Theorem entweder bewiesen oder nicht bewiesen ist. Zu welcher Kategorie gehört das Wahrscheinlichkeitsprinzip?
  • Wie wichtig ist das Likelihood-Prinzip für die Bayes'sche Inferenz, die auf der Formel basiert ?p(x|y)p(y|x)p(x)
Karel Bílek
quelle
Karel, bitte schauen Sie mal: ime.usp.br/~pmarques/papers/redux.pdf
Zen
Siehe auch Greg Gandenbergers Website: gandenberger.org
Michael Lew

Antworten:

10

Das Wahrscheinlichkeitsprinzip wurde auf viele verschiedene Arten angegeben, mit variabler Bedeutung und Verständlichkeit. Das Buch Likelihood von AWF Edwards ist sowohl eine hervorragende Einführung in viele Aspekte der Wahrscheinlichkeit als auch noch in gedruckter Form. So definiert Edwards das Wahrscheinlichkeitsprinzip:

"Im Rahmen eines statistischen Modells sind alle Informationen, die die Daten über die relativen Vorzüge zweier Hypothesen liefern, im Wahrscheinlichkeitsverhältnis dieser Hypothesen enthalten." (Edwards 1972, 1992, S. 30)

Also nun zu den Antworten.

  1. "Alle Informationen in der Stichprobe" sind, wie Sie zitieren, einfach ein unzureichender Ausdruck des relevanten Teils des Wahrscheinlichkeitsprinzips. Edwards sagt es viel besser: Das Modell ist wichtig und die relevanten Informationen beziehen sich auf die relativen Vorzüge von Hypothesen. Es ist zu beachten, dass die Wahrscheinlichkeitsquote nur dann sinnvoll ist, wenn die fraglichen Hypothesen aus demselben statistischen Modell stammen und sich gegenseitig ausschließen. Tatsächlich müssen sie Punkte derselben Wahrscheinlichkeitsfunktion sein, damit das Verhältnis nützlich ist.

  2. Das Wahrscheinlichkeitsprinzip ist, wie Sie sehen, mit dem Bayes-Theorem verwandt, aber ohne Bezugnahme auf den Bayes-Theorem nachweisbar. Ja, p (x | y) ist (proportional zu) einer Wahrscheinlichkeit, solange x Daten und y eine Hypothese ist (die möglicherweise nur ein hypothetischer Parameterwert ist).

  3. Das Wahrscheinlichkeitsprinzip ist umstritten, weil sein Beweis angefochten wurde. Meiner Meinung nach sind die Beweise fehlerhaft, aber es ist dennoch umstritten. (Auf einer anderen Ebene kann gesagt werden, dass das Wahrscheinlichkeitsprinzip umstritten ist, weil es impliziert, dass die häufig verwendeten Inferenzmethoden in gewisser Weise fehlerhaft sind. Manche Leute mögen das nicht.) Das Wahrscheinlichkeitsprinzip wurde bewiesen, aber sein Anwendungsbereich Die Relevanz kann stärker eingeschränkt sein, als es die Kritiker vermuten.

  4. Das Wahrscheinlichkeitsprinzip ist für Bayes'sche Methoden wichtig, da die Daten über die Wahrscheinlichkeiten in die Bayes'sche Gleichung eingehen. Die meisten Bayes'schen Methoden entsprechen dem Wahrscheinlichkeitsprinzip, jedoch nicht alle. Einige Leute, wie Edwards und Royall, behaupten, dass Schlussfolgerungen auf der Basis von Wahrscheinlichkeitsfunktionen ohne Verwendung des Bayes-Theorems, "pure Likelihood Inference", gemacht werden können. Das ist auch umstritten. Tatsächlich ist es wahrscheinlich kontroverser als das Wahrscheinlichkeitsprinzip, da Bayesianer eher mit Frequentisten übereinstimmen, dass reine Wahrscheinlichkeitsmethoden ungeeignet sind. (Feind meines Feindes ...)

Michael Lew
quelle
"Es ist zu beachten, dass die Wahrscheinlichkeitsquote nur dann sinnvoll ist, wenn die fraglichen Hypothesen aus demselben statistischen Modell stammen" - was bedeutet das genau? Es hört sich so an, als ob Sie sagen, dass Sie keine Modelle aus verschiedenen Distributionsfamilien vergleichen können, was nicht so ist.
Scortchi
Da die Wahrscheinlichkeiten nur proportional zu * p * (x | y) sind, gibt es immer eine unbekannte Proportionalitätskonstante. Unterschiedliche statistische Modelle ermöglichen unterschiedliche Proportionalitätskonstanten und daher sind die Wahrscheinlichkeiten möglicherweise nicht messbar.
Michael Lew
Manchmal können verschiedene Modelle angeordnet werden, um eine einzelne Wahrscheinlichkeitsfunktion (oft mehrdimensional) zu ergeben, so dass die Wahrscheinlichkeiten sinnvoll verglichen werden können, aber das ist nicht immer möglich.
Michael Lew
1
xfGθϕ
f(x;θ^)G(x;ϕ^)
1
χ2