Es scheint, dass aufgrund verschiedener verwandter Fragen hier Konsens besteht, dass der "95%" -Teil des von uns als "95% -Konfidenzintervall" bezeichneten Teils darauf verweist, dass wir unsere Stichproben- und CI-Berechnungsverfahren viele Male exakt replizieren müssten 95% der so berechneten CIs würden den Populationsmittelwert enthalten. Es scheint auch der Konsens zu sein, dass diese Definition nicht stimmtLassen Sie aus einem einzigen 95% -KI den Schluss zu, dass die Wahrscheinlichkeit, dass der Mittelwert irgendwo im KI liegt, bei 95% liegt. Ich verstehe jedoch nicht, wie Ersteres Letzteres nicht impliziert, da, nachdem ich mir viele CIs vorgestellt habe, von denen 95% die Bevölkerung enthalten, dies nicht unsere Unsicherheit sein sollte (im Hinblick darauf, ob unser tatsächlich berechnetes CI die Bevölkerung enthält) bedeuten oder nicht) uns zwingen, die Basisrate der imaginären Fälle (95%) als unsere Schätzung der Wahrscheinlichkeit zu verwenden, dass unser tatsächlicher Fall das CI enthält?

Ich habe gesehen, wie Posts in Anlehnung an "das tatsächlich berechnete CI enthält entweder den Populationsmittelwert oder nicht, also ist seine Wahrscheinlichkeit entweder 1 oder 0" argumentiert haben, aber dies scheint eine seltsame Definition der Wahrscheinlichkeit zu implizieren, die abhängig ist bei unbekannten Zuständen (dh ein Freund wirft eine faire Münze um, verbirgt das Ergebnis, und ich kann nicht sagen, dass die Wahrscheinlichkeit, dass es sich um Köpfe handelt, bei 50% liegt).

Sicher irre ich mich, aber ich sehe nicht, wo meine Logik schief gelaufen ist ...

Ein Teil des Problems besteht darin, dass die häufig verwendete Definition einer Wahrscheinlichkeit keine nicht-triviale Wahrscheinlichkeit für das Ergebnis eines bestimmten Experiments zulässt, sondern nur für eine fiktive Population von Experimenten, aus denen dieses bestimmte Experiment als Stichprobe betrachtet werden kann. Die Definition eines CI ist verwirrend, da es sich eher um eine Aussage zu dieser (normalerweise) fiktiven Population von Experimenten handelt als um die speziellen Daten, die in der vorliegenden Instanz gesammelt wurden. Teil des Problems ist also die Definition einer Wahrscheinlichkeit: Die Vorstellung, dass der wahre Wert innerhalb eines bestimmten Intervalls mit einer Wahrscheinlichkeit von 95% liegt, widerspricht einem frequentistischen Rahmen.

Ein weiterer Aspekt des Problems ist, dass bei der Berechnung des Frequentist Confidence nicht alle in der jeweiligen Stichprobe enthaltenen Informationen verwendet werden, die für die Begrenzung des wahren Werts der Statistik relevant sind. Meine Frage "Gibt es Beispiele, bei denen Bayes'sche glaubwürdige Intervalle offensichtlich häufigen Konfidenzintervallen unterlegen sind?"diskutiert ein Papier von Edwin Jaynes, das einige wirklich gute Beispiele enthält, die den Unterschied zwischen Konfidenzintervallen und glaubwürdigen Intervallen deutlich machen. Besonders relevant für diese Diskussion ist Beispiel 5, in dem der Unterschied zwischen einem glaubwürdigen und einem Konfidenzintervall für die Schätzung des Parameters einer abgeschnittenen Exponentialverteilung (für ein Problem bei der industriellen Qualitätskontrolle) erörtert wird. In dem von ihm angegebenen Beispiel gibt es genügend Informationen in der Stichprobe, um sicherzustellen, dass der wahre Wert des Parameters nirgendwo in einem richtig konstruierten 90% -Konfidenzintervall liegt!

Für manche mag dies schockierend erscheinen, aber der Grund für dieses Ergebnis ist, dass Konfidenzintervalle und glaubwürdige Intervalle Antworten auf zwei verschiedene Fragen sind, aus zwei unterschiedlichen Interpretationen der Wahrscheinlichkeit.

Das Konfidenzintervall ist die Antwort auf die Anfrage: "Geben Sie mir ein Intervall, das den wahren Wert des Parameters in % der Instanzen eines Experiments enthält, das häufig wiederholt wird." Das glaubwürdige Intervall ist eine Antwort auf die Anfrage: "Geben Sie mir ein Intervall, das den wahren Wert mit der Wahrscheinlichkeit eine Klammer setzt, die für die bestimmte Probe gilt, die ich tatsächlich beobachtet habe. " Um die letztere Anfrage beantworten zu können, müssen wir entweder (a ) ein neues Konzept des Datenerzeugungsprozesses oder (b) ein anderes Konzept der Definition der Wahrscheinlichkeit selbst. $100p$$p$

Der Hauptgrund dafür, dass ein bestimmtes 95-Prozent-Konfidenzintervall keine 95-Prozent-Wahrscheinlichkeit für die Eindämmung des Mittelwerts impliziert, liegt darin, dass das Konfidenzintervall eine Antwort auf eine andere Frage ist. Es ist also nur die richtige Antwort, wenn die Antwort auf die beiden Fragen zutrifft haben die gleiche numerische Lösung.

Kurz, glaubwürdige und vertrauenswürdige Intervalle beantworten unterschiedliche Fragen aus unterschiedlichen Perspektiven. beide sind nützlich, aber Sie müssen das richtige Intervall für die Frage auswählen, die Sie tatsächlich stellen möchten. Wenn Sie ein Intervall wünschen, das eine Interpretation einer 95% igen (hinteren) Wahrscheinlichkeit des Enthaltens des wahren Werts zulässt, wählen Sie ein glaubwürdiges Intervall (und damit die damit verbundene Konzeptualisierung der Wahrscheinlichkeit) und kein Konfidenzintervall. Das, was Sie nicht tun sollten, ist, in der Interpretation eine andere Definition der Wahrscheinlichkeit als die in der Analyse verwendete zu verwenden.

Vielen Dank an @cardinal für seine Verfeinerungen!

Hier ist ein konkretes Beispiel aus David MaKays ausgezeichnetem Buch "Informationstheorie, Inferenz und Lernalgorithmen " (Seite 464):

Der interessierende Parameter sei und die Daten , ein Paar von Punkten und die unabhängig von der folgenden Verteilung gezogen werden:D x 1 x $\theta$$D$$x_1$$x_2$

$p(x|\theta) = \left\{\begin{array}{cl} 1/2 & x = \theta,\\1/2 & x = \theta + 1, \\ 0 & \mathrm{otherwise}\end{array}\right.$

Wenn ist , dann würden wir erwarten , die Datensätze zu sehen , , und alle mit gleicher Wahrscheinlichkeit . Betrachten Sie das Konfidenzintervall$\theta$( 39 , 39 ) ( 39 , 40 ) ( 40 , 39 ) ( 40 , 40 ) 1 /$39$$(39,39)$$(39,40)$$(40,39)$$(40,40)$$1/4$

$[\theta_\mathrm{min}(D),\theta_\mathrm{max}(D)] = [\mathrm{min}(x_1,x_2), \mathrm{max}(x_1,x_2)]$ .

Dies ist eindeutig ein gültiges 75% -Konfidenzintervall, denn wenn Sie die Daten viele Male neu abgetastet haben , würde das auf diese Weise konstruierte Konfidenzintervall in 75% der Fälle den wahren Wert enthalten.$D = (x_1,x_2)$

Betrachten Sie nun die Daten . In diesem Fall wäre das häufigste 75% -Konfidenzintervall . Unter der Annahme, dass das Modell des Erzeugungsprozesses korrekt ist, könnte in diesem Fall 28 oder 29 sein, und wir haben keinen Grund anzunehmen, dass 29 wahrscheinlicher als 28 ist, so dass die hintere Wahrscheinlichkeit . Also in diesem Fall das frequentistischen Konfidenzintervall ist eindeutig kein 75% glaubhaftes Intervall , da es nur eine 50% ige Wahrscheinlichkeit, dass sie den wahren Wert enthalten , gegeben , was wir ableiten können aus dieser speziellen Probe .[ 29 , 29 ] θ p ( θ = 28 | D ) = p ( θ = 29 | D ) = 1 / 2 θ θ$D = (29,29)$$[29, 29]$$\theta$$p(\theta=28|D) = p(\theta=29|D) = 1/2$$\theta$$\theta$

Ja, dies ist ein erfundenes Beispiel, aber wenn Konfidenzintervalle und glaubwürdige Intervalle nicht unterschiedlich wären, wären sie in erfundenen Beispielen immer noch identisch.

Beachten Sie, dass der Hauptunterschied darin besteht, dass das Konfidenzintervall eine Aussage darüber ist, was passieren würde, wenn Sie das Experiment viele Male wiederholen. Das glaubwürdige Intervall ist eine Aussage darüber, was aus dieser bestimmten Stichprobe abgeleitet werden kann.

In der frequentistischen Statistik handelt es sich bei Wahrscheinlichkeiten um Ereignisse auf lange Sicht. Sie gelten nur nicht für ein einzelnes Ereignis, nachdem es abgeschlossen ist. Ein solches Ereignis ist die Durchführung eines Experiments und die Berechnung des CI.

Du wolltest es mit der Wahrscheinlichkeit vergleichen, dass eine versteckte Münze Köpfe sind, aber das kannst du nicht. Sie können es auf etwas sehr Nahes beziehen. Wenn es in Ihrem Spiel eine Regel gab, nach der Sie nach dem Flip "Heads" angeben müssen, dann ist die Wahrscheinlichkeit, dass Sie auf lange Sicht richtig liegen, 50% und das ist analog.

Wenn Sie Ihr Experiment ausführen und Ihre Daten sammeln, haben Sie etwas Ähnliches wie den tatsächlichen Münzwurf. Der Prozess des Experiments ähnelt dem Prozess des Münzwurfs, indem er erzeugt$\mu$oder es mag nicht nur die Münze ist Köpfe oder es ist nicht. Sobald Sie die Münze geworfen haben, ist es unwahrscheinlich, dass es sich um Köpfe handelt, entweder um Köpfe oder nicht. Angenommen, Sie rufen Köpfe an. Genau das ist die Berechnung des CI. Weil Sie die Münze niemals aufdecken können (Ihre Analogie zu einem Experiment würde verschwinden). Entweder du hast recht oder du liegst falsch, das war's. Hat der aktuelle Zustand etwas mit der Wahrscheinlichkeit zu tun, dass es beim nächsten Schlag auftaucht, oder hätte ich vorhersagen können, was es ist? Nein. Der Prozess, nach dem der Kopf hergestellt wird, hat eine Wahrscheinlichkeit von 0,5, aber das bedeutet nicht, dass ein bereits vorhandener Kopf eine Wahrscheinlichkeit von 0,5 hat. Sobald Sie Ihren CI berechnet haben, ist es unwahrscheinlich, dass er erfasst$\mu$Entweder funktioniert es oder nicht - Sie haben die Münze bereits geworfen.

OK, ich denke ich habe das genug gefoltert. Der entscheidende Punkt ist wirklich, dass Ihre Analogie falsch ist. Sie können die Münze niemals preisgeben. Sie können nur Heads oder Tails aufrufen, die auf Annahmen zu Münzen basieren (Experimente). Vielleicht möchten Sie eine Wette darauf abschließen, dass Ihre Kopf- oder Zahlwerte korrekt sind, aber Sie können niemals darauf sammeln. Außerdem ist es eine wichtige Komponente der CI-Prozedur, dass Sie angeben, dass der Wert des Imports im Intervall liegt. Wenn Sie dies nicht tun, haben Sie kein CI (oder zumindest kein CI bei den angegebenen%).

Wahrscheinlich ist es der Name, der das CI verwirrt. Es ist ein Wertebereich, der entweder enthält oder nicht . Wir denken, sie enthalten aber die Wahrscheinlichkeit dafür ist nicht die gleiche wie der Prozess, der in die Entwicklung gegangen ist. Der 95% -Teil des 95% -CI-Namens ist nur ein Teil des Prozesses. Sie können einen Bereich berechnen, von dem Sie glauben, dass er später mit einer gewissen Wahrscheinlichkeit enthält , dies ist jedoch eine andere Berechnung und kein CI.μ $\mu$$\mu$$\mu$

Es ist besser , den Namen 95% CI zu denken , als Bezeichnung einer Art von Messung einer Reihe von Werten , die Sie denken , plausibel enthalten und trennen Sie die 95% von dieser Plausibilität. Wir könnten es das Jennifer CI nennen, während das 99% CI das Wendy CI ist. Das könnte tatsächlich besser sein. Danach können wir sagen, dass wir glauben, dass wahrscheinlich im Wertebereich liegt, und niemand würde stecken bleiben und sagen, dass es eine Wendy-Wahrscheinlichkeit gibt, dass wir gefangen haben . Wenn Sie eine andere Bezeichnung wünschen, sollten Sie sich wahrscheinlich frei fühlen, auch den "Vertrauen" -Teil von CI loszuwerden (aber es ist ein Intervall).μ $\mu$$\mu$$\mu$

Formale, explizite Vorstellungen über Argumente, Folgerungen und Logik entsprangen in der westlichen Tradition Aristoteles. Aristoteles schrieb über diese Themen in mehreren verschiedenen Werken (darunter eines, das sich Topics nennt ;-)). Das grundlegendste Prinzip ist jedoch das Gesetz der Widerspruchsfreiheit , das an verschiedenen Orten, einschließlich der Metaphysik, zu finden istBuch IV, Kapitel 3 & 4. Eine typische Formulierung lautet: "... es ist unmöglich, dass etwas zur gleichen Zeit [im gleichen Sinne] ist und nicht" (1006 a 1). Seine Bedeutung wird etwas früher festgestellt: "... das ist natürlich der Ausgangspunkt auch für alle anderen Axiome" (1005 b 30). Verzeihen Sie mir, dass ich philosophisch geworden bin, aber diese Frage hat naturgemäß einen philosophischen Inhalt, der aus Bequemlichkeitsgründen nicht einfach beiseite geschoben werden kann.

Denken Sie an dieses Gedankenexperiment: Alex wirft eine Münze um, fängt sie auf und legt sie mit der Hand nach oben auf den Unterarm. Bob stand genau in der richtigen Position; er sah kurz die Münze in Alex 'Hand und kann so ableiten, welche Seite jetzt nach oben zeigt. Carlos sah die Münze jedoch nicht - er war nicht an der richtigen Stelle. An diesem Punkt fragt Alex sie, wie hoch die Wahrscheinlichkeit ist, dass die Münze Köpfe zeigt. Carlos schlägt vor, dass die Wahrscheinlichkeit 0,5 ist, da dies die langfristige Häufigkeit von Köpfen ist. Bob ist anderer Meinung, er gibt zuversichtlich an, dass die Wahrscheinlichkeit nichts anderes als genau 0 ist .

Nun, wer hat Recht? Es ist natürlich möglich, dass Bob falsch gesehen hat (nehmen wir an, dass er nicht falsch gesehen hat). Trotzdem können Sie nicht beides für richtig halten und sich an das Gesetz der Widerspruchsfreiheit halten. (Ich nehme an, wenn Sie nicht an das Gesetz der Widerspruchsfreiheit glauben, könnten Sie beide für richtig halten oder eine andere solche Formulierung.) Stellen Sie sich jetzt einen ähnlichen Fall vor, aber ohne Bob könnte es Carlos Vorschlag sein mehr richtig (wie?) ohne bob rum, da keiner die münze gesehen hat? Die Anwendung des Gesetzes der Widerspruchsfreiheit ist in diesem Fall nicht ganz so klar, aber ich denke, es ist offensichtlich, dass die Teile der Situation, die wichtig erscheinen, von Ersterem zu Letzterem konstant gehalten werden. Es wurden viele Versuche unternommen, die Wahrscheinlichkeit zu definieren, und in Zukunft wird es möglicherweise noch viele weitere geben. Aber eine Definition der Wahrscheinlichkeit als Funktion dessen, wer gerade herumsteht und wo sie gerade positioniert sind, hat wenig Anziehungskraft. Auf jeden Fall (Vermutung durch die Verwendung der Phrase "Konfidenzintervall "), arbeiten wir im Rahmen des Frequentist-Ansatzes und dabei spielt es keine Rolle, ob jemand den wahren Zustand der Münze kennt. Es handelt sich nicht um eine Zufallsvariable - es handelt sich um einen realisierten Wert, der entweder Kopf oder Zahl anzeigt .

Wie @John bemerkt, scheint der Zustand einer Münze auf den ersten Blick nicht mit der Frage vergleichbar zu sein, ob ein Konfidenzintervall den wahren Mittelwert abdeckt. Anstelle einer Münze können wir dies jedoch abstrakt als einen realisierten Wert verstehen, der aus einer Bernoulli-Verteilung mit dem Parameter . In der Münzsituation ist , wohingegen für einen 95% -KI . Bei der Herstellung der Verbindung ist es wichtig zu erkennen, dass der wichtige Teil der Metapher nicht das , das die Situation regelt, sondern dass die umgedrehte Münze oder der berechnete CI ein realisierter Wert und keine Zufallsvariable ist. p = 0,5 p = 0,95 $p$$p=.5$$p=.95$$p$

Mir ist an dieser Stelle wichtig anzumerken, dass dies alles im Rahmen einer frequentistischen Wahrscheinlichkeitsauffassung der Fall ist. Die Bayes'sche Perspektive verstößt nicht gegen das Gesetz der Widerspruchsfreiheit, sondern geht einfach von unterschiedlichen metaphysischen Annahmen über die Natur der Realität (genauer gesagt über die Wahrscheinlichkeit) aus. Andere auf CV sind viel besser in der Bayes - Perspektive versiert , als ich bin, und vielleicht können sie erklären , warum die Annahmen hinter Ihrer Frage innerhalb des Bayes - Ansatzes nicht anwendbar ist , und dass in der Tat, es kann gut sein , eine 95% ige Wahrscheinlichkeit , dass der Mittelwert innerhalb von 95% glaubwürdig liegenIntervall, unter bestimmten Bedingungen einschließlich (unter anderem), dass der zuvor verwendete genau war (siehe den Kommentar von @DikranMarsupial unten). Ich bin jedoch der Meinung, dass alle einverstanden sind, dass, wenn Sie einmal angeben, dass Sie im Frequentist-Ansatz arbeiten, die Wahrscheinlichkeit, dass der wahre Mittelwert in einem bestimmten 95% -KI liegt, nicht 0,95 beträgt.

Warum impliziert ein 95% CI keine 95% ige Chance, den Mittelwert zu enthalten?

In dieser Frage und in den meisten Antworten sind viele Fragen zu klären. Ich werde mich nur auf zwei von ihnen beschränken.

ein. Was bedeutet eine Bevölkerung? Existiert eine wahre Bevölkerung?

Das Konzept des Populationsmittelwerts ist modellabhängig. Da alle Modelle falsch sind, einige jedoch nützlich sind, handelt es sich bei diesem Populationsmittel um eine Fiktion, die nur definiert wird, um nützliche Interpretationen bereitzustellen. Die Fiktion beginnt mit einem Wahrscheinlichkeitsmodell.

Das Wahrscheinlichkeitsmodell wird durch das Triplet wobei der Probenraum (eine nicht leere Menge) ist, eine Familie ist von Teilmengen von und ist ein genau definiertes Wahrscheinlichkeitsmaß, das über (es regelt das Datenverhalten). Betrachten Sie ohne Einschränkung der Allgemeinheit nur den Einzelfall. Der Populationsmittelwert ist definiert durch er stellt die zentrale Tendenz unter und kann auch als Massenschwerpunkt von interpretiert werden alle Punkte in , wo das Gewicht von jedem

$$(\mathcal{X}, \mathcal{F}, P),$$ $\mathcal{X}$$\mathcal{F}$$\mathcal{X}$$P$$\mathcal{F}$ $$\mu = \sum_{x \in \mathcal{X}} xP(X=x),$$ $P$$\mathcal{X}$$x \in \mathcal{X}$ ist gegeben durch .$P(X=x)$

In der Wahrscheinlichkeitstheorie wird das Maß als bekannt angesehen, daher ist der Populationsmittelwert durch die obige einfache Operation zugänglich. In der Praxis ist die Wahrscheinlichkeit jedoch kaum bekannt. Ohne eine Wahrscheinlichkeit kann man das probabilistische Verhalten der Daten nicht beschreiben. Da wir keine genaue Wahrscheinlichkeit zur Erklärung des Datenverhaltens festlegen können, setzen wir eine Familie die Wahrscheinlichkeitsmaße enthält, die möglicherweise das Datenverhalten bestimmen (oder erklären). Dann entsteht das klassische statistische Modell Das obige Modell soll ein parametrisches Modell sein, wenn es mit gibt$P$$P$$P$$P$$\mathcal{M}$

$$(\mathcal{X}, \mathcal{F}, \mathcal{M}).$$ $\Theta \subseteq \mathbb{R}^p$$p< \infty$ so, dass . Betrachten wir in diesem Beitrag nur das parametrische Modell.$\mathcal{M} \equiv \{P_\theta: \ \theta \in \Theta\}$

Beachten Sie, dass es für jedes Wahrscheinlichkeitsmaß eine entsprechende mittlere Definition Das heißt, es gibt eine Familie von Bevölkerungsmitteln , die stark von der Definition von abhängt . Die Familie wird von begrenzten Menschen definiert und enthält daher möglicherweise nicht das wahre Wahrscheinlichkeitsmaß, das das Datenverhalten bestimmt. Tatsächlich wird die gewählte Familie kaum das wahre Maß enthalten, außerdem kann dieses wahre Maß nicht einmal existieren. Da das Konzept eines Populationsmittels von den Wahrscheinlichkeitsmaßen in abhängt , ist das Populationsmittel modellabhängig.$P_\theta \in \mathcal{M}$

$$\mu_\theta = \sum_{x \in \mathcal{X}} x P_\theta(X=x).$$ $\{\mu_\theta: \ \theta \in \Theta\}$$\mathcal{M}$$\mathcal{M}$$\mathcal{M}$

Der Bayes'sche Ansatz betrachtet eine vorherige Wahrscheinlichkeit über die Teilmengen von (oder äquivalent ), aber in diesem Beitrag werde ich mich nur auf die klassische Version konzentrieren.$\mathcal{M}$$\Theta$

b. Was ist die Definition und der Zweck eines Konfidenzintervalls?

Wie bereits erwähnt, ist der Populationsmittelwert modellabhängig und liefert nützliche Interpretationen. Wir haben jedoch eine Familie von Populationsmitteln, da das statistische Modell durch eine Familie von Wahrscheinlichkeitsmaßen definiert ist (jedes Wahrscheinlichkeitsmaß erzeugt ein Populationsmittel). Basierend auf einem Experiment sollten daher Inferenzverfahren angewendet werden, um eine kleine Menge (Intervall) mit guten Kandidaten für Populationsmittelwerte zu schätzen. Eine wohlbekannte Prozedur ist der ( ) - Vertrauensbereich, der durch eine Menge ; definiert ist, so dass für alles ; woC α θ ∈ & THgr; P $1-\alpha$$C_\alpha$$\theta \in \Theta$

$$P_\theta(C_\alpha(X) \ni \mu_\theta) \geq 1-\alpha \ \ \ \mbox{and} \ \ \ \inf_{\theta\in \Theta} P_\theta(C_\alpha(X) \ni \mu_\theta) = 1-\alpha,$$ $P_\theta(C_\alpha(X) = \varnothing) = 0$P_θ (C_α (siehe Schervish, 1995). Dies ist eine sehr allgemeine Definition und umfasst praktisch jede Art von Konfidenzintervallen. Hier ist die Wahrscheinlichkeit , dass enthält unter der Maßnahme . Diese Wahrscheinlichkeit sollte immer größer als (oder gleich) , die Gleichheit tritt im ungünstigsten Fall auf.$P_\theta(C_\alpha(X) \ni \mu_\theta)$$C_\alpha(X)$$\mu_\theta$$P_\theta$$1-\alpha$

Anmerkung: Die Leser sollten beachten, dass es nicht notwendig ist, Annahmen über den Zustand der Realität zu treffen. Der Vertrauensbereich wird für ein genau definiertes statistisches Modell definiert, ohne dass auf einen "wahren" Mittelwert Bezug genommen wird. Selbst wenn das "wahre" Wahrscheinlichkeitsmaß nicht existiert oder nicht in , funktioniert die Vertrauensbereichsdefinition, da sich die Annahmen eher auf die statistische Modellierung als auf die Zustände der Realität beziehen.$\mathcal{M}$

Einerseits ist vor der Beobachtung der Daten eine Zufallsmenge (oder ein Zufallsintervall), und die Wahrscheinlichkeit, dass " den Mittelwert " enthält, ist mindestens für alles . Dies ist eine sehr wünschenswerte Eigenschaft für das frequentistische Paradigma.$C_\alpha(X)$$C_\alpha(X)$$\mu_\theta$$(1-\alpha)$$\theta \in \Theta$

Auf der anderen Seite, nachdem die Daten beobachteten , nur ein fester Satz , und die Wahrscheinlichkeit , dass „ enthält die Mittel “ in sein sollte {0,1} für Alles .$x$$C_\alpha(x)$$C_\alpha(x)$$\mu_\theta$$\theta \in \Theta$

Das heißt, nachdem wir die Daten , können wir die probabilistische Argumentation nicht mehr anwenden. Soweit ich weiß, gibt es keine Theorie zur Behandlung von Konfidenzsätzen für eine beobachtete Stichprobe (ich arbeite daran und erhalte einige gute Ergebnisse). Für eine Weile muss der Frequentist glauben, dass die beobachtete Menge (oder das beobachtete Intervall) eine der -Sätzen ist, die für alles .C α ( x ) ( 1 - α ) 100 % μ θ θ ∈ $x$$C_\alpha(x)$$(1-\alpha)100\%$$\mu_\theta$$\theta\in \Theta$

PS: Ich lade Kommentare, Rezensionen, Kritiken oder sogar Einwände zu meinem Beitrag ein. Lassen Sie es uns ausführlich besprechen. Da ich kein englischer Muttersprachler bin, enthält mein Beitrag sicherlich Tippfehler und Grammatikfehler.

Referenz:

Schervish, M. (1995), Theory of Statistics, 2. Aufl., Springer.

Ich bin überrascht, dass niemand das Beispiel von Berger für ein im Wesentlichen nutzloses 75% -Konfidenzintervall angesprochen hat, das im zweiten Kapitel des "Likelihood-Prinzips" beschrieben ist. Die Details finden Sie im Originaltext (der kostenlos in Project Euclid zur Verfügung steht ): Das Wesentliche an dem Beispiel ist, dass es eindeutig eine Situation beschreibt, in der Sie den Wert eines scheinbar unbekannten Parameters mit absoluter Sicherheit kennen Beobachten von Daten, aber Sie würden behaupten, dass Sie nur zu 75% sicher sind, dass Ihr Intervall den wahren Wert enthält. Das Durcharbeiten der Details dieses Beispiels ermöglichte es mir, die gesamte Logik der Erstellung von Konfidenzintervallen zu verstehen.

Ich weiß nicht, ob dies als neue Frage gestellt werden soll, aber es geht um die gleiche Frage, die oben gestellt wurde, indem ein Gedankenexperiment vorgeschlagen wird.

Erstens gehe ich davon aus, dass die Wahrscheinlichkeit, dass ich einen Verein ausgewählt habe (ohne ihn anzusehen), 13/52 = 25% beträgt, wenn ich zufällig eine Spielkarte aus einem Standardstapel auswähle.

Und zweitens wurde vielfach festgestellt, dass ein 95% -Konfidenzintervall dahingehend interpretiert werden sollte, dass ein Experiment mehrmals wiederholt wird und das berechnete Intervall den wahren Mittelwert von 95% der Zeit enthält - ich denke, dies wurde von James Waters einigermaßen überzeugend demonstriert Simulation. Die meisten Menschen scheinen diese Interpretation eines 95% -KI zu akzeptieren.

Nun zum Gedankenexperiment. Nehmen wir an, wir haben eine normalverteilte Variable in einer großen Population - vielleicht die Höhe erwachsener Männer oder Frauen. Ich habe einen willigen und unermüdlichen Assistenten, den ich damit beauftrage, mehrere Stichprobenverfahren einer bestimmten Stichprobengröße aus der Grundgesamtheit durchzuführen und den Stichprobenmittelwert und das 95% -Konfidenzintervall für jede Stichprobe zu berechnen. Mein Assistent ist sehr interessiert und schafft es, alle möglichen Proben aus der Bevölkerung zu messen. Dann zeichnet mein Assistent für jede Probe entweder das resultierende Konfidenzintervall als grün (wenn das CI den wahren Mittelwert enthält) oder rot (wenn das CI den wahren Mittelwert nicht enthält) auf. Leider zeigt mir mein Assistent die Ergebnisse seiner Experimente nicht an. Ich brauche einige Informationen über die Größe der Erwachsenen in der Bevölkerung, aber ich habe nur Zeit, Ressourcen und Geduld, um das Experiment einmal durchzuführen. Ich mache eine einzelne Zufallsstichprobe (mit der gleichen Stichprobengröße, die mein Assistent verwendet) und berechne das Konfidenzintervall (mit der gleichen Gleichung).

Ich habe keine Möglichkeit, die Ergebnisse meiner Assistentin zu sehen. Wie groß ist die Wahrscheinlichkeit, dass die von mir ausgewählte Zufallsstichprobe einen grünen CI ergibt (dh das Intervall enthält den wahren Mittelwert)?

In meinen Augen entspricht dies der oben beschriebenen Kartenspielsituation und kann mit einer Wahrscheinlichkeit von 95% interpretiert werden, dass das berechnete Intervall den wahren Mittelwert enthält (dh grün ist). Die Übereinstimmung scheint jedoch zu sein, dass ein 95% -Konfidenzintervall NICHT als eine 95% -Wahrscheinlichkeit interpretiert werden kann, dass das Intervall den wahren Mittelwert enthält. Warum (und wo) fällt meine Argumentation im obigen Gedankenexperiment auseinander?

Obwohl die zahlreichen tollen Antworten ausführlich diskutiert wurden, möchte ich eine einfachere Perspektive hinzufügen. (obwohl dies in anderen Antworten angedeutet wurde - aber nicht explizit). Für einige Parameter ; und bei gegebener Stichprobe ist ein eine Wahrscheinlichkeitsangabe des Formulars$\theta$$(X_1,X_2,\cdots,X_n)$$100p\%$

$$P\left(g(X_1,X_2,\cdots,X_n)<\theta<f(X_1,X_2,\cdots,X_n)\right)=p$$

Wenn wir als Konstante betrachten, dann handelt es sich bei der obigen Aussage um die Zufallsvariablen und oder genauer gesagt um das zufällige Intervall .g ( X 1 , X 2 , ⋯ , X n ) f ( X 1 , X 2 , ⋯ , X n ) ( g ( X 1 , X 2 , ⋯ , X n ) , f ( X 1 , X 2 , ⋯ , X n ) $\theta$$g(X_1,X_2,\cdots,X_n)$$f(X_1,X_2,\cdots,X_n)$$\left(g(X_1,X_2,\cdots,X_n),f(X_1,X_2,\cdots,X_n)\right)$

Anstatt also Informationen über die Wahrscheinlichkeit zu geben, dass der Parameter im Intervall enthalten ist, gibt es Informationen über die Wahrscheinlichkeit, dass das Intervall den Parameter enthält - da das Intervall aus Zufallsvariablen besteht.

Aus praktischen Gründen können Sie nicht mehr falsch wetten, dass Ihr 95% -CI den wahren Mittelwert bei einer Quote von 95: 5 enthält, als auf den Münzwurf Ihres Freundes bei einer Quote von 50:50 zu wetten.

Wenn Ihr Freund die Münze bereits geworfen hat und Sie glauben, dass die Wahrscheinlichkeit, dass es sich um Köpfe handelt, bei 50% liegt, verwenden Sie einfach eine andere Definition des Wortes Wahrscheinlichkeit. Wie andere gesagt haben, können Sie für Frequentisten einem aufgetretenen Ereignis keine Wahrscheinlichkeit zuweisen, sondern Sie können die Wahrscheinlichkeit eines zukünftigen Ereignisses anhand eines bestimmten Prozesses beschreiben.

Aus einem anderen Blog: Der Frequentist wird sagen: "Ein bestimmtes Ereignis kann keine Wahrscheinlichkeit haben. Die Münze zeigt entweder Kopf oder Zahl, und wenn Sie es nicht zeigen, kann ich einfach nicht sagen, was die Tatsache ist. Nur wenn Sie den Wurf wiederholen würden Viele, viele Male, wenn Sie die Anfangsbedingungen der Würfe stark genug variieren, würde ich erwarten, dass sich die relative Häufigkeit der Köpfe in all diesen vielen Würfen 0,5 "nähert. http://www.researchgate.net/post/Was_ist_der_Unterschied_zwischen_frequentist_und_bayesianischer_Wahrscheinlichkeit?

Angenommen, das CI, das Sie aus dem jeweiligen Datensatz berechnet haben, ist eines der 5% der möglichen CIs, die den Mittelwert nicht enthalten. Wie nah ist es an dem glaubwürdigen 95% -Intervall, das Sie sich vorstellen möchten? (Das heißt, wie nahe ist es, den Mittelwert mit einer Wahrscheinlichkeit von 95% zu enthalten?) Sie können nicht sicher sein, dass er überhaupt nahe ist. Tatsächlich überschneidet sich Ihr CI möglicherweise nicht mit einem der 95% der 95% CIs, die tatsächlich den Mittelwert enthalten. Ganz zu schweigen davon, dass es nicht den Mittelwert selbst enthält, was auch darauf hindeutet, dass es kein zu 95% glaubwürdiges Intervall ist.

Vielleicht möchten Sie dies ignorieren und optimistisch annehmen, dass Ihr CI einer der 95% ist, die den Mittelwert enthalten. OK, was wissen wir über Ihr CI, da es zu 95% besteht? Dass es den Mittelwert enthält, aber vielleicht nur einen Ausweg im Extremfall, alles andere auf der anderen Seite des Mittelwerts ausschließt. Enthält wahrscheinlich nicht 95% der Distribution.

Auf jeden Fall gibt es keine Garantie, vielleicht auch nicht die vernünftige Hoffnung, dass Ihr 95% CI ein zu 95% glaubwürdiges Intervall ist.

(dh ein Freund wirft eine faire Münze um, verbirgt das Ergebnis und ich kann nicht sagen, dass die Wahrscheinlichkeit, dass es sich um Köpfe handelt, bei 50% liegt.)

Wenn Sie nur raten, dass Ihre Freunde mit 50% Kopf / Zahl Münzwürfe machen, dann machen Sie es nicht richtig.

• Sie sollten versuchen, die Münze nach / nach der Landung und bevor das Ergebnis ausgeblendet wird, schnell zu betrachten.
• Sie sollten auch versuchen, im Voraus eine Vorausschätzung der Fairness der Münze zu erstellen.

Sicherlich hängt die Glaubwürdigkeit Ihrer Vermutung über den Münzwurf von diesen Bedingungen ab und ist nicht immer gleich 50% (manchmal funktioniert Ihre Methode des "Betrügens" besser).

Ihre allgemeine Vermutung könnte sein, wenn Sie betrügen, x> 50% der Zeit richtig, aber das bedeutet nicht unbedingt, dass die Wahrscheinlichkeit für jeden bestimmten Wurf konstant x% Köpfe betrug. Es wäre also etwas seltsam, Ihre Gesamtwahrscheinlichkeit auf die Wahrscheinlichkeit für einen bestimmten Wurf zu projizieren. Es ist eine andere Art von Wahrscheinlichkeit.

---

Es geht ein bisschen darum, auf welcher Ebene oder Tiefe Sie 'Wahrscheinlichkeit' angeben / definieren .

• Das Vertrauen ist unabhängig von der "spezifischen Wahrscheinlichkeit in dem bestimmten Experiment / Flip" und unabhängig von den "a priori Wahrscheinlichkeiten" .

• Das Vertrauen geht es um das Ensemble von Experimenten . Es ist so konstruiert, dass Sie keine A-priori-Wahrscheinlichkeiten oder -Verteilungen in der Population kennen müssen.

• Das Vertrauen bezieht sich auf die Gesamtversagensrate der Schätzung, aber in bestimmten Fällen kann man möglicherweise Abweichungen in der Wahrscheinlichkeit genauer angeben .

  ( Diese Variationen der Wahrscheinlichkeit existieren zumindest implizit in der Theorie, und wir brauchen sie nicht zu kennen, damit sie existieren. Wir können diese Wahrscheinlichkeiten jedoch explizit mit einem Bayes'schen Ansatz ausdrücken.)

---

Beispiel 1:

Angenommen, Sie suchen nach einer sehr seltenen Krankheit. Sie führen einen Test durch, der als Bernoulli-Studie (positiv oder negativ) angesehen werden kann und einen hohen für ein positives Ergebnis bei Krankheit oder einen niedrigen bei Nichtkrankheit aufweist.$p=0.99$$p=0.01$

Nun wird dies normalerweise nicht (in der klinischen Praxis) durchgeführt, um ein CI-Intervall für zu schätzen, aber Sie können dies (als Beispiel) tun, wenn Sie möchten. Wenn der Test positiv ist, schätzen Sie und wenn der Test negativ ist, schätzen Sie .$p$$0.05 \leq p \leq 1$$0 \leq p \leq 0.95$

Wenn Sie 1% der Bevölkerung krank haben, erhalten Sie im Durchschnitt 1,98% der positiven Testergebnisse (1% der 99% der gesunden Personen sind positiv und 99% der 1% der kranken Personen sind positiv). Dies macht Ihr 95% CI-Intervall (bedingt), wenn Sie auf einen positiven Test stoßen , nur in 50% der Fälle korrekt.

Wenn Sie dagegen auf einen negativen Test stoßen, sind Sie zu mehr als 95% der Zeit korrekt, sodass Ihre CI-Intervallschätzung insgesamt (mindestens) zu 95% der Zeit korrekt ist, jedoch von Fall zu Fall (für bestimmte Fälle) ) kann man nicht wirklich sagen, dass die Wahrscheinlichkeit für innerhalb des Intervalls 95% beträgt. Es gibt wahrscheinlich einige Variationen.$p$

Beispiel 2:

Angenommen, Sie lassen 300 IQ-Fragen ausführen. Von der naiven Konfidenzintervall und frequentistischen Sicht könnte man davon ausgehen , dass jede Person eine theoretische persönliche hat Verteilung für die Prüfung Leistung und auf Grund der beobachteten Test Leistung könnten Sie einige Schätzung für ein Intervall erstellen so dass Sie in 95% der Fälle das in dem Intervall richtig enthalten werden.$i$$N(\mu_i,\sigma_i^2)$$\mu_i$

Dies ignoriert, dass es eine Auswirkung der Regression auf den Mittelwert gibt und dass die A-priori-Wahrscheinlichkeit für den IQ einer Person als . In extremen Fällen, niedrig oder hoch, ist das Ergebnis der Ergebnisse, die Wahrscheinlichkeit des IQ einer Person in den 95% -Konfidenzintervallen basierend auf den Messungen / Tests niedriger als die 95%.$\mu_i$$N(100,15)$

(Das Gegenteil gilt für Personen mit Ergebnissen nahe 100. Ihr IQ liegt wahrscheinlich über 95% innerhalb des 95% -CI, und dies sollte die Fehler ausgleichen, die Sie im Extremfall begangen haben, sodass Sie am Ende Recht haben in 95% der Fälle)

Definieren wir zunächst das Konfidenzintervall oder in Räumen mit einer Dimension größer als eins den Konfidenzbereich. Die Definition ist eine prägnante Version derjenigen, die Jerzy Neyman 1937 in seiner Abhandlung an die Royal Society gegeben hat.

Sei der Parameter und die Statistik . Jeder mögliche Parameterwert ist einem Akzeptanzbereich für den , wobei der Konfidenzkoeffizient oder das Konfidenzniveau (normalerweise 0,95) ist und die Hintergrundinformationen sind, die wir zur Definition unserer Wahrscheinlichkeiten benötigen . Der Vertrauensbereich für ist dann , wenn ist .$\mathfrak{p}$$\mathfrak{s}$$p$$\mathcal{A}(p,\alpha)$$\mathrm{prob}(\mathfrak{s} \in \mathcal{A}(p,\alpha) | \mathfrak{p} = p, \mathcal{I}) = \alpha$$\alpha$$\mathcal{I}$$\mathfrak{p}$$\mathfrak{s} = s$$\mathcal{C}(s,\alpha) = \{p | s \in \mathcal{A}(p,\alpha)\}$

Mit anderen Worten, die Parameterwerte, die den Konfidenzbereich bilden, sind nur diejenigen, deren entsprechender agr; -Wahrscheinlichkeitsbereich des Probenraums die Statistik enthält.$\alpha$

Betrachten Sie nun für jeden möglichen Parameterwert :$p$

$$\begin{align} \int{[p \in \mathcal{C}(s,\alpha)]\:\mathrm{prob}(\mathfrak{s} = s | \mathfrak{p} = p, \mathcal{I})}\:ds &= \int{[s \in \mathcal{A}(p,\alpha)]\:\mathrm{prob}(\mathfrak{s} = s | \mathfrak{p} = p, \mathcal{I})}\:ds \\ &= \alpha \end{align}$$

wobei die eckigen Klammern Iverson-Klammern sind. Dies ist das Schlüsselergebnis für ein Konfidenzintervall oder eine Region. Es besagt , dass die Erwartung , unter der Stichprobenverteilung abhängig wird . Dieses Ergebnis wird durch die Konstruktion der Akzeptanzbereiche garantiert und gilt außerdem für , da ein möglicher Parameterwert ist. Es ist jedoch keine Wahrscheinlichkeitsangabe über , da Erwartungen keine Wahrscheinlichkeiten sind!$[p \in \mathcal{C}(s,\alpha)]$$p$$\alpha$$\mathfrak{p}$$\mathfrak{p}$$\mathfrak{p}$

Die Wahrscheinlichkeit, für die diese Erwartung häufig falsch ist, ist die Wahrscheinlichkeit , dass der Parameter unter der Bedingung im Vertrauensbereich liegt:$\mathfrak{s} = s$

$$\mathrm{prob}(\mathfrak{p} \in \mathcal{C}(s,\alpha) | \mathfrak{s} = s, \mathcal{I}) = \frac{\int_{\mathcal{C}(s,\alpha)} \mathrm{prob}(\mathfrak{s} = s | \mathfrak{p} = p, \mathcal{I}) \:\mathrm{prob}(\mathfrak{p} = p | \mathcal{I}) \: dp}{\int \mathrm{prob}(\mathfrak{s} = s | \mathfrak{p} = p, \mathcal{I}) \:\mathrm{prob}(\mathfrak{p} = p | \mathcal{I}) \: dp}$$

Diese Wahrscheinlichkeit reduziert sich auf nur für bestimmte Kombinationen von Informationen und Abnahmeregionen . Wenn beispielsweise der Prior gleich ist und die Stichprobenverteilung in und symmetrisch ist (z. B. ein Gaußscher Wert mit als Mittelwert), gilt Folgendes:$\alpha$$\mathcal{I}$$\mathcal{A}(p,\alpha)$$s$$p$$p$

$$\begin{align} \mathrm{prob}(\mathfrak{p} \in \mathcal{C}(s,\alpha) | \mathfrak{s} = s, \mathcal{I}) &= \frac{\int_{\mathcal{C}(s,\alpha)} \mathrm{prob}(\mathfrak{s} = p | \mathfrak{p} = s, \mathcal{I}) \: dp}{\int \mathrm{prob}(\mathfrak{s} = p | \mathfrak{p} = s, \mathcal{I}) \: dp} \\ &= \mathrm{prob}(\mathfrak{s} \in \mathcal{C}(s,\alpha) | \mathfrak{p} = s, \mathcal{I}) \\ &= \mathrm{prob}(s \in \mathcal{A}(\mathfrak{s},\alpha) | \mathfrak{p} = s, \mathcal{I}) \end{align}$$

Wenn zusätzlich die Akzeptanzbereiche so sind, dass , dann:$s \in \mathcal{A} (\mathfrak{s},\alpha) \iff \mathfrak{s} \in \mathcal{A}(s,\alpha)$

$$\begin{align} \mathrm{prob}(\mathfrak{p} \in \mathcal{C}(s,\alpha) | \mathfrak{s} = s, \mathcal{I}) &= \mathrm{prob}(\mathfrak{s} \in \mathcal{A}(s,\alpha) | \mathfrak{p} = s, \mathcal{I}) \\ &= \alpha \end{align}$$

Das Lehrbuchbeispiel für die Schätzung eines Populationsmittelwerts mit einem Standard-Konfidenzintervall, das anhand einer normalen Statistik erstellt wurde, ist ein Sonderfall der vorhergehenden Annahmen. Deshalb ist das Standard - 95% Konfidenzintervall tut enthält den Mittelwert mit Wahrscheinlichkeit 0,95; aber diese Entsprechung gilt im Allgemeinen nicht.

Es gibt hier einige interessante Antworten, aber ich dachte, ich würde eine kleine praktische Demonstration mit R hinzufügen. Wir haben diesen Code kürzlich in einem Statistikkurs verwendet, um die Funktionsweise von Konfidenzintervallen hervorzuheben. Der Code bewirkt Folgendes:

1 - Stichproben aus einer bekannten Verteilung (n = 1000)

2 - Es wird der 95% CI für den Mittelwert jeder Probe berechnet

3 - Es wird gefragt, ob der CI jeder Stichprobe den wahren Mittelwert enthält oder nicht.

4 - In der Konsole wird der Bruchteil der CIs angezeigt, die den wahren Mittelwert enthielten.

Ich habe das Skript nur ein paar Mal ausgeführt, und es ist eigentlich nicht ungewöhnlich, dass weniger als 94% der CIs den wahren Mittelwert enthielten. Dies hilft mir zumindest dabei, die Vorstellung zu zerstreuen, dass ein Konfidenzintervall mit einer Wahrscheinlichkeit von 95% den wahren Parameter enthält.

#   In the following code, we simulate the process of
#   sampling from a distribution and calculating
#   a confidence interval for the mean of that 
#   distribution.  How often do the confidence
#   intervals actually include the mean? Let's see!
#
#   You can change the number of replicates in the
#   first line to change the number of times the 
#   loop is run (and the number of confidence intervals
#   that you simulate).
#
#   The results from each simulation are saved to a
#   data frame.  In the data frame, each row represents
#   the results from one simulation or replicate of the 
#   loop.  There are three columns in the data frame, 
#   one which lists the lower confidence limits, one with
#   the higher confidence limits, and a third column, which
#   I called "Valid" which is either TRUE or FALSE
#   depending on whether or not that simulated confidence
#   interval includes the true mean of the distribution.
#
#   To see the results of the simulation, run the whole
#   code at once, from "start" to "finish" and look in the
#   console to find the answer to the question.    

#   "start"

replicates <- 1000

conf.int.low <- rep(NA, replicates)
conf.int.high <- rep(NA, replicates)
conf.int.check <- rep(NA, replicates)

for (i in 1:replicates) {

        n <- 10
        mu <- 70
        variance <- 25
        sigma <- sqrt(variance)
        sample <- rnorm(n, mu, sigma)
        se.mean <- sigma/sqrt(n)
        sample.avg <- mean(sample)
        prob <- 0.95
        alpha <- 1-prob
        q.alpha <- qnorm(1-alpha/2)
        low.95 <- sample.avg - q.alpha*se.mean
        high.95 <- sample.avg + q.alpha*se.mean

        conf.int.low[i] <- low.95
        conf.int.high[i] <- high.95
        conf.int.check[i] <- low.95 < mu & mu < high.95
 }    

# Collect the intervals in a data frame
ci.dataframe <- data.frame(
        LowerCI=conf.int.low,
        UpperCI=conf.int.high, 
        Valid=conf.int.check
        )

# Take a peak at the top of the data frame
head(ci.dataframe)

# What fraction of the intervals included the true mean?
ci.fraction <- length(which(conf.int.check, useNames=TRUE))/replicates
ci.fraction

    #   "finish"

Hoffe das hilft!