Ein Beispiel, bei dem das Wahrscheinlichkeitsprinzip * wirklich * wichtig ist?

Gibt es ein Beispiel, bei dem zwei verschiedene verteidigungsfähige Tests mit proportionalen Wahrscheinlichkeiten zu deutlich unterschiedlichen (und gleichermaßen verteidigungsfähigen) Schlussfolgerungen führen würden, beispielsweise wenn die p-Werte um Größenordnungen voneinander entfernt sind, die Potenz zu Alternativen jedoch ähnlich ist?

Alle Beispiele, die ich sehe, sind sehr dumm und vergleichen ein Binom mit einem negativen Binom, wobei der p-Wert des ersten 7% und des zweiten 3% beträgt, die nur insofern "unterschiedlich" sind, als man binäre Entscheidungen über beliebige Schwellenwerte trifft von Bedeutung wie 5% (was übrigens ein ziemlich niedriger Standard für Inferenz ist) und sich nicht einmal die Mühe machen, die Macht zu betrachten. Wenn ich zum Beispiel die Schwelle um 1% ändere, kommen beide zu dem gleichen Ergebnis.

Ich habe noch nie ein Beispiel gesehen, bei dem es zu deutlich unterschiedlichen und vertretbaren Schlussfolgerungen kommen würde. Gibt es so ein Beispiel?

Ich frage, weil ich so viel Tinte gesehen habe, die für dieses Thema ausgegeben wurde, als ob das Likelihood-Prinzip für die Grundlagen der statistischen Inferenz von grundlegender Bedeutung ist. Aber wenn das beste Beispiel dumme Beispiele wie das oben genannte sind, scheint das Prinzip völlig ohne Belang zu sein.

Daher suche ich ein sehr überzeugendes Beispiel, bei dem, wenn man der LP nicht folgt, die Beweislast bei einem Test überwiegend in eine Richtung zeigt, bei einem anderen Test mit proportionaler Wahrscheinlichkeit jedoch die Beweislast überwältigend in die entgegengesetzte Richtung zeigen, und beide Schlussfolgerungen erscheinen vernünftig.

Im Idealfall könnte man zeigen, dass wir willkürlich weit auseinander liegende, aber vernünftige Antworten haben können, z. B. Tests mit $p =0.1$ versus $p= 10^{-10}$ mit proportionalen Wahrscheinlichkeiten und äquivalenter Leistung, um dieselbe Alternative zu erkennen.

PS: Die Antwort von Bruce geht überhaupt nicht auf die Frage ein.

Stellen Sie sich eine hypothetische Situation vor, in der eine Punkt - Null - Hypothese zutrifft, die Stichprobe jedoch bis $p<0.05$ (dies wird immer der Fall sein) geschieht früher oder später, dh mit Wahrscheinlichkeit 1), und entscheiden Sie sich dann, den Versuch abzubrechen und die Null abzulehnen. Dies ist eine zugegebenermaßen extreme Stopp-Regel, die Sie jedoch im Interesse des Arguments berücksichtigen sollten.

Dieses schwachsinnige Verfahren wird eine Fehlerrate von 100% Typ I haben, aber es ist nichts falsch daran gemäß dem Likelihood-Prinzip.

Ich würde sagen, das ist "wirklich" wichtig. Sie können in diesem Argument natürlich ein beliebiges $\alpha$ wählen . Bayesianer können einen festen Grenzwert für den Bayes-Faktor verwenden, wenn sie möchten. Die gleiche Logik gilt. Die wichtigste Lehre hier ist, dass Sie LP nicht einhalten können und eine Fehlerratengarantie haben. Es gibt kein freies Mittagessen.

Ausschlussklausel: Ich glaube, diese Antwort ist der Kern des gesamten Arguments. Daher ist es eine Diskussion wert, aber ich habe das Problem nicht vollständig untersucht. Daher begrüße ich Korrekturen, Verfeinerungen und Kommentare.

Der wichtigste Aspekt betrifft die sequentiell gesammelten Daten. Angenommen, Sie haben binäre Ergebnisse beobachtet und 10 Erfolge und 5 Fehler festgestellt. Das Likelihood-Prinzip besagt, dass Sie zu derselben Schlussfolgerung über die Erfolgswahrscheinlichkeit kommen sollten, unabhängig davon, ob Sie Daten gesammelt haben, bis Sie 10 Erfolge (negatives Binomial) oder 15 Versuche durchgeführt haben, von denen 10 Erfolge (Binomial) waren .

Warum ist das wichtig?

Denn nach dem Wahrscheinlichkeitsprinzip (oder zumindest nach einer bestimmten Interpretation) ist es völlig in Ordnung, die Daten zu beeinflussen, wenn Sie die Datenerfassung beenden, ohne Ihre Inferenz-Tools ändern zu müssen.

Konflikt mit sequentiellen Methoden

Die Idee, anhand Ihrer Daten zu entscheiden, wann die Datenerfassung eingestellt werden soll, ohne dass die Inferenz-Tools geändert werden, steht im Widerspruch zu herkömmlichen sequentiellen Analysemethoden. Das klassische Beispiel hierfür sind Methoden, die in klinischen Studien eingesetzt werden. Um die potenzielle Exposition gegenüber schädlichen Behandlungen zu verringern, werden Daten häufig zu Zwischenzeiten analysiert, bevor die Analyse durchgeführt wird. Wenn die Studie noch nicht abgeschlossen ist, die Forscher jedoch bereits über genügend Daten verfügen, um zu dem Schluss zu gelangen, dass die Behandlung funktioniert oder schädlich ist, sollten wir die Studie aus medizinischen Gründen abbrechen. Wenn die Behandlung funktioniert, ist es ethisch vertretbar, die Studie abzubrechen und die Behandlung für Patienten außerhalb der Studie bereitzustellen. Wenn es schädlich ist, ist es ethischer, aufzuhören, damit wir keine Versuchspatienten mehr einer schädlichen Behandlung aussetzen.

Das Problem ist nun, dass wir begonnen haben, mehrere Vergleiche durchzuführen. Daher haben wir die Fehlerrate von Typ I erhöht, wenn wir unsere Methoden nicht anpassen, um die mehreren Vergleiche zu berücksichtigen. Dies ist nicht ganz dasselbe wie bei herkömmlichen Mehrfachvergleichsproblemen, da es sich tatsächlich um mehrere Teilvergleiche handelt (dh wenn wir die Daten einmal mit 50% der gesammelten Daten und einmal mit 100% analysieren, sind diese beiden Stichproben eindeutig nicht unabhängig!). Je mehr Vergleiche wir durchführen, desto mehr müssen wir im Allgemeinen unsere Kriterien für die Ablehnung der Nullhypothese ändern, um die Fehlerrate des Typs I zu erhalten. Weitere Vergleiche sind geplant und erfordern mehr Nachweise für die Ablehnung der Null.

Dies stellt klinische Forscher in ein Dilemma; Wollen Sie Ihre Daten häufig überprüfen, dann aber die erforderlichen Nachweise zur Ablehnung der Null erhöhen, oder wollen Sie Ihre Daten selten überprüfen, um Ihre Leistungsfähigkeit zu erhöhen, aber möglicherweise nicht in der medizinisch-ethischen Hinsicht optimal zu handeln (z. B. möglicherweise)? Verzögerung der Markteinführung oder unnötig lange Exposition der Patienten gegenüber schädlicher Behandlung).

Es ist mein (vielleicht falsches) Verständnis, dass das Wahrscheinlichkeitsprinzip uns zu sagen scheint, dass es egal ist, wie oft wir die Daten überprüfen, wir sollten den gleichen Schluss ziehen. Dies besagt im Grunde, dass alle Ansätze für das sequentielle Studiendesign völlig unnötig sind; Verwenden Sie einfach das Wahrscheinlichkeitsprinzip und hören Sie auf, sobald Sie genügend Daten gesammelt haben, um eine Schlussfolgerung zu ziehen. Da Sie Ihre Inferenzmethoden nicht ändern müssen, um sich an die Anzahl der von Ihnen erstellten Analysen anzupassen, gibt es kein Kompromissdilemma zwischen der Anzahl der Überprüfungen und der Leistung. Bam, das ganze Feld der sequentiellen Analyse ist gelöst (nach dieser Interpretation).

Was mich persönlich sehr verwirrt, ist die Tatsache, dass die Wahrscheinlichkeit der endgültigen Teststatistik durch die Abbruchregel weitgehend geändert wird. Grundsätzlich erhöhen die Stoppregeln die Wahrscheinlichkeit diskontinuierlich an den Stoppunkten. Hier ist eine Handlung einer solchen Verzerrung; Die gestrichelte Linie ist die PDF-Datei der endgültigen Teststatistik unter der Null, wenn die Daten erst analysiert werden, nachdem alle Daten erfasst wurden, während die durchgezogene Linie die Verteilung unter der Null der Teststatistik angibt, wenn Sie die Daten viermal mit einer bestimmten Zahl überprüfen Regel.

Nach meinem Verständnis scheint das Wahrscheinlichkeitsprinzip zu implizieren, dass wir alles, was wir über das sequentielle Design von Frequentists wissen, verwerfen und vergessen können, wie oft wir unsere Daten analysieren. Dies hat natürlich enorme Konsequenzen, insbesondere für das klinische Design. Ich habe mir jedoch nicht überlegt, wie sie es rechtfertigen, zu ignorieren, wie Stoppregeln die Wahrscheinlichkeit der endgültigen Statistik verändern.

Einige leichte Diskussionen finden Sie hier , meistens auf den letzten Folien.

Übersicht über LR-Tests für Exponentialdaten.

Let $X_1, X_2, \dots, X_n$ be a random sample from $\mathsf{Exp}(\text{rate} =\lambda),$ so that $E(X_i) = \mu = 1/\lambda.$ For $x > 0,$ the density function is $f(x) = \lambda e^{-\lambda x}$ and the CDF is $F(x) = 1 - e^{-\lambda x}.$

1. Test statistic is sample minimum.

$V = X_{(1)} = \min_n (X_i).$$V \sim \mathsf{Exp}(n\lambda).$

To test $H_9:\mu \le \mu_0$ against $H_a: \mu > \mu_0,$ at level $\alpha = 5\%,$ we regard $V$ as a single observation from its exponential distribution. We find that the log likelihood ratio indicates rejection when $V > c,$ where $P(V > c\, |\, \mu = \mu_0) = 0.05.$

For the specific case in which $n = 100$ and $\mu_0 =10,\, \lambda_0 = 0.1,$ we have exponential rate $10 = n/\mu_0 = 100/10 = 10,$ so that $c = 0.2295$ from R, where the exponential distribution is parameterized by the rate.

 qexp(.95, 10)
 [1] 0.2995732
 1 - pexp(0.2996, 10)
 [1] 0.04998662

Accordingly, the power against the alternative $\mu_a = 100$ (rate $n/\mu_a = 1)$ is about 74%.

1 - pexp(0.2996, 1)
[1] 0.7411146

2. Test statistic is the sample mean.

Oxford U. class notes (second page) show that the likelihood ratio test of $H_0: \mu \le \mu_0$ against $H_0: \mu > \mu_0$ at the 5% level of significance rejects for $\bar X > c,$ where $P(\bar X > c\, |\, \mu = \mu_0) = 0.5.$ Furthermore, one can show using moment generating functions that $\bar X \sim \mathsf{Gamma}(n, n\lambda).$

For the specific case in which $n = 100$ and $\mu_0 =10,\, \lambda_0 = 0.1,$ we have $\bar X \sim \mathsf{Gamma}(100, 10),$ so that $c = 11.7.$

qgamma(.95, 100, 10)
[1] 11.69971
1 - pgamma(11.7, 100, 10)
[1] 0.04997338

Accordingly, power against the alternative $\mu_a = 14$ is about 95.6%.

1 - pgamma(11.7, 100, 100/14)
[1] 0.9562513

Clearly, for purposes of testing hypotheses about the exponential mean $\mu,$ the information in the sufficient statistic $\bar X$ is much greater than the information in the sample minimum.

Violation by different pdf functions $f(x,\theta)$ and $g(x,\theta)$

This case will be an example of 'violation' because the probability distribution functions $f(x,\theta)$ $g(x,\theta)$ are intrinsically different. Even when $f$ and $g$, differ, they may relate to the likelihood principle because at fixed measurement $x$ they give the same functions of $\theta$ up to scaling. The difference, opens up a possibility for "violations".

The coin flip with or without optional stopping rule

The coin flip with or without optional stopping rule is a typical example, the pdf is binomial or negative binomial which are different pdf functions and lead to different calculation of p-values, and confidence intervals, but they lead to the same likelihood functions for fixed sample/measurement (up to scaling).

More extreme example

Consider some measurement of $X$ which is distributed as

where $a$ is some known parameter that depends on the type of experiment, and $\theta$ is some parameter that may be unknown and could be inferred from the measurement $x$.

For any given $x$ and $a$ the likelihood function is proportional to the same function that is independent from $a$:

• If $x<1$ then $\mathcal{L}(\theta | x) \propto 1$
• If $x\geq 1$ then $\mathcal{L}(\theta | x) \propto \theta \exp(-\theta (x-1))$

But, albeit the same likelihood function, the p-value can vary widely depending on the experiment (ie the value of $a$). For instance when you measure $x=2$ and test $H_0:\theta = 1$ against $H_0:\theta < 1$ then the p-value is

Intuition: The reason for violation in these cases is that p-values and hypothesis tests are not solely based on the likelihood function for the particular observed value $x$.

The p-value is not calculated from the likelihood $f(θ|x)$ with $x$ fixed, but with the pdf $f(x|θ)$ with $θ$ fixed which is a different slice. Confidence intervals, p-value, and hypothesis tests, are different things than the information from likelihood ratios.

p-values are not really evidence: The p-value relates to type I error which is a measure that relates to an ensemble of measurements rather than to a single measurement. This type I error or p-value is not the same as 'evidential meaning' from Birnbaums 'foundations of statistical evidence'. This relates a lot to the problems with p-values and scientist searching for outcomes solely with statistical significance rather than important effects.

Do we need examples where inferences are markedly different? The extreme case is a contrived example. Such a case, or anything with a similar extreme difference, is of course not occurring easily in practice. It is more often the case that the difference will be small such as in the cases that you refer to as silly.

To ask for examples where the likelihood principle 'really matters', or where two different inferences lead to extremely different results, is a bit of a loaded question. At least when the intention for this question relates to some philosophical argument. It is a loaded question because it presupposes that principles that matter should lead to extremely varying results. In many practical cases the results are however small (in terms of different p-values less than an order). I believe that this is not a strange for two different, but both plausible, methods to result in more or less similar results. I would consider the likelihood principle not to be 'less violated' when the differences are only small.

Here is an example adapted from Statistical decision theory and Bayesian analysis by James O. Berger (Second edition page 29).

Say that two species of wasps can be distinguished by the number of notches on the wings (call this $x$) and by the number of black rings around the abdomen (call this $y$). The distribution of the characters in the two species (labelled $H_0$ and $H_1$) are as follows:

Say that we find a specimen with 1 notch on the wings and 1 ring around the abdomen. The weight of evidence if 100 times bigger in favor of $H_1$ against $H_0$ for both characters.

Now if someone wanted to set up a test for $H_0$ at 5% level, the decision rule would be for the first character “accept $H_0$ if there is 1 notch on the wing, otherwise reject it”, and for the second character “accept $H_0$ if there are 3 rings around the abdomen, otherwise reject it”. There are many other possibilities, but these ones are most powerful tests at this level. Yet, they lead to different conclusions for both characters.

Note: one could of course set up a test with the rule “accept $H_0$ if there are 1 or 3 rings around the abdomen, otherwise reject it”. The question is whether we prefer a test at 5% level with type II risk 0, or a test at 4.9% level with type II risk 0.00001. The difference is so small that we would probably not care, but as I understand it, this is the core of the argument for the likelihood principle: it is not a good idea to make the result depend on something that seems irrelevant.

The likelihood functions are proportional, and yet the p-value of $x = 1$ is 0.95, and that of $y = 1$ is 0.001 (assuming that we reject $H_0$ with events of the form $y \leq \alpha$). It is obvious from the structure of the table that I could have chosen any number smaller than 0.001. Also, the type II risk of the rejection is 0, so it looks like there is nothing “wrong” here.

Still, I admit that this example is somewhat contrived and not completely honest because it plays with the difficulty of arranging tests with discrete data. One could find equivalent examples with continuous data but they would be even more contrived. I agree with the OP that the likelihood principle has almost no practical value; I interpret it as a principle to guarantee some consistency within the theory.