Sind Konfidenzintervalle nützlich?

In der Frequentist-Statistik ist ein 95% -Konfidenzintervall ein Intervall erzeugendes Verfahren, das, wenn es unendlich oft wiederholt wird, in 95% der Fälle den wahren Parameter enthält. Warum ist das nützlich?

Konfidenzintervalle werden oft missverstanden. Sie sind kein Intervall, in dem wir zu 95% sicher sein können, dass sich der Parameter befindet (es sei denn, Sie verwenden das ähnliche Bayes'sche Glaubwürdigkeitsintervall). Konfidenzintervalle fühlen sich für mich wie ein Köder an.

Der einzige Anwendungsfall, den ich mir vorstellen kann, besteht darin, den Wertebereich anzugeben, für den wir die Nullhypothese, dass der Parameter dieser Wert ist, nicht ablehnen konnten. Würden p-Werte diese Informationen nicht liefern, aber besser? Ohne so irreführend zu sein?

Kurzum: Warum brauchen wir Konfidenzintervalle? Wie sind sie bei richtiger Interpretation nützlich?

Solange das Konfidenzintervall als zufällig behandelt wird (dh aus der Perspektive betrachtet wird, die Daten als eine Menge von Zufallsvariablen zu behandeln, die wir noch nicht gesehen haben), können wir tatsächlich nützliche Wahrscheinlichkeitsaussagen darüber machen. Angenommen, Sie haben ein Konfidenzintervall auf Ebene $1-\alpha$ für den Parameter $\theta$ und das Intervall hat Grenzen $L(\mathbf{x}) \leqslant U(\mathbf{x})$ . Dann können wir das sagen:

Wenn Sie sich außerhalb des frequentistischen Paradigmas bewegen und für eine vorherige Verteilung über $\theta$ marginalisieren, erhalten Sie das entsprechende (schwächere) marginale Wahrscheinlichkeitsergebnis:

Sobald wir die Grenzen des Konfidenzintervalls festgelegt haben, indem wir die Daten auf $\mathbf{X} = \mathbb{x}$ , appellieren wir nicht mehr an diese Wahrscheinlichkeitsangabe, da wir die Daten jetzt festgelegt haben. Doch wenn das Konfidenzintervall als Zufallsintervall behandelt wird , dann können wir in der Tat diese Wahrscheinlichkeitsaussage machen --- dh mit Wahrscheinlichkeit $1-\alpha$ der Parameter $\theta$ innerhalb des (random) Intervall fallen.

In der frequentistischen Statistik sind Wahrscheinlichkeitsaussagen Aussagen über relative Häufigkeiten in unendlich wiederholten Versuchen. Dies gilt jedoch für jede Wahrscheinlichkeitsaussage im frequentistischen Paradigma. Wenn Sie also Einwände gegen relative Häufigkeitsaussagen erheben, handelt es sich nicht um einen Einwand, der für Konfidenzintervalle spezifisch ist. Wenn wir uns außerhalb des frequentistischen Paradigmas bewegen, können wir zu Recht sagen, dass ein Konfidenzintervall seinen Zielparameter mit der gewünschten Wahrscheinlichkeit enthält, solange wir diese Wahrscheinlichkeitsangabe nur geringfügig (dh nicht von den Daten abhängig) treffen und somit das Konfidenzintervall behandeln in seinem zufälligen Sinne.

Ich weiß nichts über andere, aber das scheint mir ein ziemlich starkes Wahrscheinlichkeitsergebnis und eine vernünftige Rechtfertigung für diese Form des Intervalls zu sein. Ich bin selbst eher an Bayes'schen Methoden interessiert, aber die Wahrscheinlichkeitsergebnisse, die Konfidenzintervalle (in ihrem zufälligen Sinne) unterstützen, sind starke Ergebnisse, an denen man nicht riechen darf.

Ich stimme @Ben oben zu und dachte, ich würde ein einfaches Beispiel dafür liefern, wo ein Bayes'sches gegenüber einem Frequentist-Intervall unter den gleichen Umständen von Wert wäre.

Stellen Sie sich eine Fabrik mit parallelen Montagelinien vor. Es ist teuer, eine Linie anzuhalten, und gleichzeitig wollen sie Qualitätsprodukte produzieren. Sie sind besorgt über sowohl falsch positive als auch falsch negative Ergebnisse im Laufe der Zeit. Für die Fabrik ist es ein Mittelungsprozess: Sowohl die Leistung als auch der garantierte Schutz vor falsch positiven Ergebnissen sind wichtig. Konfidenzintervalle sowie Toleranzintervalle sind für das Werk von Bedeutung. Dennoch werden Maschinen der Ausrichtung gehen, das heißt $\theta\ne\Theta$ und Detektionszahnrad unechte Ereignisse beobachten wird. Das durchschnittliche Ergebnis ist wichtig, während das spezifische Ergebnis ein operatives Detail ist.

Auf der anderen Seite steht ein einzelner Kunde, der ein einzelnes Produkt oder eine einzelne Menge von Produkten kauft. Sie kümmern sich nicht um die Wiederholungseigenschaften der Montagelinie. Sie kümmern sich um das eine Produkt, das sie gekauft haben. Stellen wir uns vor, der Kunde ist die NASA und benötigt das Produkt, um eine Spezifikation zu erfüllen, z. B. $\gamma\le\Gamma.$ Sie kümmern sich nicht um die Qualität der Teile, die sie nicht gekauft haben. Sie brauchen ein Bayes'sches Intervall in irgendeiner Form. Darüber hinaus könnte ein einziger Fehler viele Astronauten töten und Milliarden von Dollar kosten. Sie müssen wissen, dass jedes gekaufte Teil den Spezifikationen entspricht. Mittelwertbildung wäre tödlich. Für eine Saturn V-Rakete hätte eine Fehlerrate von einem Prozent 10.000 fehlerhafte Teile während der Apollo-Flüge impliziert. Sie erforderten 0% Fehler bei allen Missionen.

Sie sorgen sich um ein Konfidenzintervall, wenn Sie wie in einer Fabrik im Probenraum arbeiten. Es wird der Probenraum erstellt. Sie sorgen sich um glaubwürdige Intervalle, wenn Sie im Parameterraum arbeiten, wie es ein Kunde tun würde. Wenn Sie sich nicht für die Beobachtungen außerhalb Ihrer interessieren, dann sind Sie Bayesianer. Wenn Sie sich für die Proben interessieren, die nicht gesehen wurden, aber gesehen werden könnten, dann sind Sie ein Frequentist.

Sind Sie mit der langfristigen Mittelwertbildung oder dem spezifischen Ereignis befasst?

Es ist zu beachten, dass durch die strikte Definition des Konfidenzintervalls es möglich ist , dass sie völlig bedeutungslos sind, dh nicht über den interessierenden Parameter informativ sind. In der Praxis sind sie jedoch im Allgemeinen sehr aussagekräftig.

$[0,1]$$U_{min}$$U_{max}$$U_{min}, U_{max}$$U_{min} < U_{max}$ Wahrscheinlichkeit mindestens 95% der Zeit beträgt, also technisch ein gültiges Konfidenzintervall für jede Wahrscheinlichkeit ist. Wenn ich jedoch sagte, dass das durch dieses Verfahren erzeugte Intervall betrug$[0.01, 0.011]$$p$$p$

Andererseits sind die meisten Konfidenzintervalle nützlicher aufgebaut. Wenn ich Ihnen zum Beispiel sagte, dass es mit einem Wald-Intervall-Verfahren erstellt wurde, wissen wir das

$\hat p \text{ } \dot\sim \text{ } N(p, s_e)$

$s_e$$\hat p$$p$

Konfidenzintervalle sind nicht nur nützlich, sondern in einigen Bereichen wie der Physik von wesentlicher Bedeutung. Leider kommt der größte Lärm in Bezug auf CIs von Bayesianern, die in falsche Debatten mit Frequentisten verwickelt sind, normalerweise im Kontext sozialer "Wissenschaften" und anderer wissenschaftsähnlicher Disziplinen.

Angenommen, ich messe eine Größe in der Physik, z. B. die Stromladung. Ich würde es immer mit dem Maß für die Unsicherheit des Wertes liefern, was normalerweise eine Standardabweichung ist. Da in der Physik Fehler häufig Gauß'sch sind, wird dies direkt in CI übersetzt. Wenn die Fehler jedoch nicht Gaußsch sind, wird es etwas kompliziert, einige Integrale müssen ausgewertet werden usw. Normalerweise ist es jedoch nicht zu esoterisch.

Hier ist eine kurze Präsentation über das CI in der Teilchenphysik und die Definition:

quantitative Aussage über den Bruchteil der Zeiten, in denen ein solches Intervall in einer großen Anzahl wiederholter Experimente den wahren Wert des Parameters enthalten würde

Beachten Sie, dass in der Physik "wiederholte Experimente" oft eine wörtliche Bedeutung haben: Es wird angenommen, dass Sie Experimente in der Arbeit tatsächlich wiederholen können und tatsächlich beobachten würden diesen Bruch . Das CI hat für Sie also fast eine wörtliche Bedeutung und ist nur eine Möglichkeit, die Informationen über die Unsicherheit der Messung auszudrücken. Es ist kein Gedankenexperiment, keine subjektive Meinung, nicht Ihre oder meine Gefühle zu Wahrscheinlichkeiten usw. Es ist das, was Sie aus Experimenten entwickeln konnten und was ich bei der Reproduktion Ihres Experiments beobachten sollte.

Dieser Thread hat sich schnell in die Debatte zwischen Frequentist und Bayes entwickelt, und das ist nicht leicht zu lösen. Die Mathematik in beiden Ansätzen ist solide, daher kommt es immer auf philosophische Vorlieben an. Die häufigere Interpretation der Wahrscheinlichkeit als Grenze der relativen Häufigkeit eines Ereignisses wird durch das starke Gesetz der großen Zahlen gerechtfertigt. Unabhängig von Ihrer bevorzugten Interpretation der Wahrscheinlichkeit konvergiert die relative Häufigkeit eines Ereignisses mit Wahrscheinlichkeit 1 gegen seine Wahrscheinlichkeit.

Frequentistische Konfidenzintervalle sind in der Tat schwieriger zu interpretieren als Bayes'sche glaubwürdige Intervalle. Indem Bayesianer eine unbekannte Größe als Zufallsvariable behandeln, können sie behaupten, dass ein Intervall diese Größe mit einiger Wahrscheinlichkeit enthält. Frequentisten lehnen es ab, einige Größen als Zufallsvariablen zu behandeln, und Gleichungen, die nur Konstanten enthalten, können nur wahr oder falsch sein. Wenn also eine unbekannte Konstante geschätzt wird, müssen Frequentisten sie an ein RANDOM-Intervall binden, um überhaupt eine Wahrscheinlichkeit zu berücksichtigen. Anstelle eines Intervalls, das mit einiger Wahrscheinlichkeit eine Zufallsvariable enthält, generiert eine frequentistische Methode viele verschiedene mögliche Intervalle, von denen einige die unbekannte Konstante enthalten. Wenn die Abdeckungswahrscheinlichkeit angemessen hoch ist, ist es ein vernünftiger Vertrauenssprung, zu behaupten, dass ein bestimmtes Intervall die unbekannte Konstante enthält (Anmerkung, nicht "

Ein Bayesianer würde sich einem solchen Glaubenssprung ebenso widersetzen wie ein Frequentist, wenn er eine unbekannte Größe als Zufallsvariable behandelt. Die häufig vorkommende Neyman-Bauweise enthüllte tatsächlich ein peinliches Problem mit solchen Glaubenssprüngen. Ohne dies aktiv zu verhindern (siehe Feldman und Cousins, 1997 für einen Ansatz), können seltene Ergebnisse leere Konfidenzintervalle für einen Verteilungsparameter erzeugen. Ein solcher Glaubenssprung wäre sehr unvernünftig! Ich habe einige Bayesianer gesehen, die dieses Beispiel verwendeten, um sich über häufig auftretende Methoden lustig zu machen, während Frequentisten normalerweise mit "Nun, ich bekomme die meiste Zeit immer noch ein korrektes Intervall und ohne falsche Annahmen" antworten. Ich werde darauf hinweisen, dass die Bayes'sche / frequentistische Sackgasse für die meisten, die ihre Methoden anwenden, nicht wichtig ist.