Wann sind Konfidenzintervalle sinnvoll?

Wenn ich richtig verstehe, ist ein Konfidenzintervall eines Parameters ein Intervall, das mit einer Methode erstellt wurde, die Intervalle liefert, die den wahren Wert für einen bestimmten Anteil von Stichproben enthalten. Das "Vertrauen" bezieht sich also eher auf die Methode als auf das Intervall, das ich aus einer bestimmten Stichprobe berechne.

Als Benutzer von Statistiken habe ich mich immer betrogen gefühlt, da der Raum aller Stichproben hypothetisch ist. Ich habe nur ein Beispiel und möchte wissen, was dieses Beispiel über einen Parameter aussagt.

Ist dieses Urteil falsch? Gibt es, zumindest unter bestimmten Umständen, Betrachtungsweisen für Konfidenzintervalle, die für Benutzer von Statistiken von Bedeutung wären?

[Diese Frage ergibt sich aus Überlegungen nach dem Auflösen von Konfidenzintervallen in einer math.se-Antwort: https://math.stackexchange.com/questions/7564/calculating-a-sample-size-based-on-a-confidence-level/7572 # 7572 ]

Ich stelle mir CIs gerne als eine Möglichkeit vor, dem Hypothesentest (HT) -Framework zu entkommen, zumindest dem Framework für binäre Entscheidungen, das Neymans Ansatz folgt , und in gewisser Weise mit der Messtheorie Schritt zu halten. Genauer gesagt, ich betrachte sie als zuverlässiger (zum Beispiel als Mittelwertdifferenz) und umgekehrt als hypothetisch-deduktives Denken mit seinen Fallstricken (wir können die Null nicht akzeptieren, die Alternative ist) oft stochastisch usw.). Sowohl bei der Intervallschätzung als auch bei der HT müssen wir uns die meiste Zeit auf Verteilungsannahmen stützen (z. B. eine Stichprobenverteilung unter ), die Rückschlüsse auf die allgemeine Bevölkerung oder auf eine repräsentative Stichprobe (zumindest beim Frequentisten) zulässt Ansatz).$H_0$

In vielen Zusammenhängen sind CIs komplementär zu normalen HT und ich betrachte sie wie im folgenden Bild (es steht unter ):$H_0$

Das heißt, unter dem HT-Framework (links) sehen Sie, wie weit Ihre Statistik vom Nullpunkt entfernt ist, während Sie bei CIs (rechts) den Null-Effekt "von Ihrer Statistik" in gewissem Sinne betrachten.

Beachten Sie auch, dass für bestimmte Arten von Statistiken, wie Odds-Ratio, HT oft bedeutungslos sind und es besser ist, das zugehörige CI zu betrachten, das asymmetrisch ist, und gegebenenfalls relevantere Informationen zur Richtung und Genauigkeit der Zuordnung bereitzustellen.

Ein alternativer Ansatz, der für Ihr zweites F relevant ist: "Gibt es Möglichkeiten, Konfidenzintervalle zumindest unter bestimmten Umständen zu betrachten, die für Benutzer von Statistiken von Bedeutung sind?":

Sie sollten sich die Bayesianische Folgerung und die daraus resultierenden glaubwürdigen Intervalle ansehen . Ein zu 95% glaubwürdiges Intervall kann als Intervall interpretiert werden, von dem Sie glauben, dass es mit einer Wahrscheinlichkeit von 95% den wahren Parameterwert enthält. Der Preis, den Sie zahlen, besteht darin, dass Sie eine vorherige Wahrscheinlichkeitsverteilung für die Werte vornehmen müssen, von denen Sie glauben, dass sie für den wahren Parameter wahrscheinlich sind, bevor Sie die Daten erfassen. Und Ihre Prioritäten können sich von denen anderer unterscheiden, sodass sich auch dann glaubwürdige Intervalle ergeben können, wenn Sie dieselben Daten verwenden.

Dies ist nur mein kurzer und grober Versuch, zusammenzufassen! Ein gutes aktuelles Lehrbuch mit praktischem Schwerpunkt ist:

Andrew Gelman, John B. Carlin, Hal S. Stern und Donald B. Rubin. "Bayesian Data Analysis" (2. Auflage). Chapman & Hall / CRC, 2003. ISBN 978-1584883883

Ich denke, die Prämisse dieser Frage ist fehlerhaft, weil sie die Unterscheidung zwischen dem Ungewissen und dem Bekannten leugnet .

Die Beschreibung eines Münzwurfs liefert eine gute Analogie. Bevor die Münze geworfen wird, ist das Ergebnis ungewiss. danach ist es nicht mehr "hypothetisch". Die Verwechslung dieser vollendeten Tatsachen mit der tatsächlichen Situation, die wir verstehen möchten (das Verhalten der Münze oder Entscheidungen, die aufgrund ihres Ergebnisses zu treffen sind), leugnet im Wesentlichen die Rolle der Wahrscheinlichkeit für das Verständnis der Welt.

Dieser Kontrast wird in einem experimentellen oder regulatorischen Bereich deutlich hervorgehoben. In solchen Fällen wissen der Wissenschaftler oder die Aufsichtsbehörde, dass sie mit Situationen konfrontiert werden, deren Ergebnisse zu einem beliebigen Zeitpunkt im Voraus nicht bekannt sind. Sie müssen jedoch wichtige Bestimmungen treffen, z (für Drogentests, Arbeitssicherheit, Umweltstandards usw.). Diese Personen und die Institutionen, für die sie arbeiten, benötigen Methoden und Kenntnisse der wahrscheinlichkeitstheoretischen Eigenschaften dieser Methoden , um optimale und vertretbare Strategien zu entwickeln, z. B. gute Versuchspläne und faire Entscheidungsverfahren, bei denen so wenig wie möglich Fehler auftreten.

Konfidenzintervalle passen trotz ihrer klassisch schlechten Rechtfertigung in diesen entscheidungswissenschaftlichen Rahmen. Wenn eine Methode zum Erstellen eines zufälligen Intervalls eine Kombination guter Eigenschaften aufweist, z. B. Sicherstellen einer minimalen erwarteten Abdeckung des Intervalls und Minimieren der erwarteten Länge des Intervalls - beide Eigenschaften von vornherein und nicht von hinten -, dann ist sie vorbei In einer langen Karriere bei der Anwendung dieser Methode können wir die mit den von dieser Methode angezeigten Aktionen verbundenen Kosten minimieren.

Sie haben Recht, wenn Sie sagen, dass die 95% -Konfidenzintervalle Dinge sind, die sich aus der Verwendung einer Methode ergeben , die in 95% der Fälle funktioniert, und nicht aus jedem einzelnen Intervall mit einer Wahrscheinlichkeit von 95%, den erwarteten Wert zu enthalten.

"Die logische Grundlage und Interpretation von Vertrauensgrenzen ist schon jetzt umstritten." {David Colquhoun, 1971, Vorlesungen über Biostatistik}

Dieses Zitat stammt aus einem statistischen Lehrbuch, das 1971 veröffentlicht wurde, aber ich würde behaupten, dass es 2010 immer noch zutrifft. Die Kontroverse ist wahrscheinlich am heftigsten im Fall von Konfidenzintervallen für binomiale Verhältnisse. Es gibt viele konkurrierende Methoden zur Berechnung dieser Konfidenzintervalle, aber alle sind in einer oder mehreren Richtungen ungenau, und selbst die Methode mit der schlechtesten Leistung hat Befürworter unter den Lehrbuchautoren. Selbst so genannte "genaue" Intervalle liefern nicht die Eigenschaften, die von Konfidenzintervallen erwartet werden.

In einem Artikel für Chirurgen (allgemein bekannt für ihr Interesse an Statistik!) Haben John Ludbrook und ich die routinemäßige Verwendung von Konfidenzintervallen unter Verwendung eines einheitlichen Bayesianischen Prioritätswerts argumentiert, da solche Intervalle so häufig sind wie jede andere Methode (im Durchschnitt) genau 95% Deckung über alle wahren Anteile), aber vor allem viel bessere Deckung über alle beobachteten Anteile (genau 95% Deckung). Das Papier ist aufgrund seiner Zielgruppe nicht sehr detailliert und kann daher nicht alle Statistiker überzeugen, aber ich arbeite an einem Folgedokument mit allen Ergebnissen und Begründungen.

Dies ist ein Fall, in dem der Bayes'sche Ansatz sowohl frequentistische Eigenschaften als auch den frequentistischen Ansatz aufweist, was ziemlich häufig vorkommt. Die Annahme eines einheitlichen Prior ist unproblematisch, da in jede Berechnung der Frequenzdeckung, auf die ich gestoßen bin, eine einheitliche Verteilung der Bevölkerungsanteile eingebaut ist.

Sie fragen: "Gibt es Möglichkeiten, Konfidenzintervalle zumindest unter bestimmten Umständen zu betrachten, die für Benutzer von Statistiken von Bedeutung sind?" Meine Antwort lautet also, dass man für binomiale Konfidenzintervalle Intervalle erhalten kann, die den Populationsanteil für alle beobachteten Anteile genau 95% der Zeit enthalten. Das ist ein Ja. Die konventionelle Verwendung von Konfidenzintervallen erwartet jedoch eine Abdeckung für alle Bevölkerungsanteile, und dafür lautet die Antwort "Nein!".

Die Länge der Antworten auf Ihre Frage und die verschiedenen Antworten darauf lassen darauf schließen, dass Vertrauensintervalle häufig missverstanden werden. Wenn wir unser Ziel von der Erfassung aller wahren Parameterwerte zur Erfassung der wahren Parameterwerte für alle Stichprobenwerte ändern, wird dies möglicherweise einfacher, da die Intervalle dann so gestaltet werden, dass sie direkt für die beobachteten Werte relevant sind und nicht für die Leistung der Methode an sich.

Dies ist eine großartige Diskussion. Ich bin der Meinung, dass Bayes'sche glaubwürdige Intervalle und Likelihood-Support-Intervalle der richtige Weg sind, ebenso wie Bayes'sche hintere Wahrscheinlichkeiten von Ereignissen von Interesse (z. B. ein Medikament ist wirksam). Die Substitution von P-Werten durch Konfidenzintervalle ist jedoch ein großer Vorteil. Praktisch jede Ausgabe der besten medizinischen Fachzeitschriften wie NEJM und JAMA hat ein Papier mit dem Problem "Fehlen von Beweisen ist kein Beweis für Abwesenheit" in ihren Abstracts. Die Verwendung von Konfidenzintervallen wird solche Fehler weitgehend verhindern. Ein großartiger kleiner Text ist http://www.amazon.com/Statistics-Confidence-Intervals-Statistical-Guidelines/dp/0727913751

Um Ihre Frage direkt zu beantworten: Angenommen, Sie möchten mit einer Maschine eine Müslischachtel mit einer bestimmten Menge Müsli füllen. Natürlich möchten Sie die Box nicht über- oder unterfüllen. Sie möchten die Zuverlässigkeit der Maschine beurteilen. Sie führen eine Reihe von Tests wie folgt durch: (a) Befüllen Sie die Schachtel mit der Maschine und (b) Messen Sie die in die Schachtel eingefüllte Getreidemenge.

Mit den gesammelten Daten erstellen Sie ein Konfidenzintervall für die Getreidemenge, die die Maschine wahrscheinlich in das Feld einfüllt. Aus diesem Konfidenzintervall geht hervor, dass das erhaltene Intervall mit einer Wahrscheinlichkeit von 95% die tatsächliche Getreidemenge enthält, die von der Maschine in die Schachtel gegeben wird. Wie Sie sagen, hängt die Interpretation des Konfidenzintervalls von hypothetischen, unsichtbaren Stichproben ab, die von der betrachteten Methode generiert werden. Aber genau das wollen wir in unserem Kontext. In dem obigen Zusammenhang wir werden das Gerät verwenden wiederholt das Feld zu füllen und so kümmern wir uns um hypothetische, ungesehen Realisierungen der Menge an Getreide die Maschine in der Box füllt.

Um vom obigen Kontext abzuweichen: Ein Konfidenzintervall gibt uns die Garantie, dass bei wiederholter Verwendung der untersuchten Methode (im obigen Beispiel method = machine) eine Wahrscheinlichkeit von 95% besteht, dass das Konfidenzintervall den wahren Parameter aufweist .