Die grundlegende Logik zum Erstellen eines Konfidenzintervalls

7

Betrachten Sie ein Modell mit einem interessierenden Parameter. θund sein Punktschätzer, θ^. Nehmen Sie der Einfachheit halber an θ^N(θ,σ2/n)(In zahlreichen Fällen könnte dies asymptotisch gerechtfertigt sein). Es gibt zwei Möglichkeiten, ein Intervall zu erstellen, das so kurz wie möglich ist(1α) Level-Konfidenzintervall.

  1. Für jeden wahren Wert θIch möchte das kürzestmögliche Intervall (θ^lower,θ^upper) das hat (1α) Wahrscheinlichkeit der Erfassung θ. Ich wähle den Bereich mit der höchsten Dichte in der Verteilung vonθ^ gegeben θ, f(θ^;θ), so dass die kumulative Wahrscheinlichkeit für diese Region ist (1α). Ich definiere den Intervallschätzer so, dass für jede Punktschätzungθ^ in der Region würde die entsprechende Intervallschätzung abdecken θ.
    Seit der Verteilung vonθ^ ist für jeden wahren Wert gleich θ Mit Ausnahme einer Ortsverschiebung ist der Mechanismus (die Regel) zum Erstellen des Intervalls unabhängig von der tatsächlichen θist. Daher wird es alle wahren abdeckenθ mit (1α) Wahrscheinlichkeit.

  2. Gegeben eine Punktschätzung θ^Ich überlege, unter welchem ​​wahren Wert θes ist wahrscheinlich generiert worden. Kenntnis der Verteilung vonθ^ für jeden gegebenen wahr θ, f(θ^;θ)Ich wähle diese aus θs, die die höchsten Dichtewerte ergeben. Ich beschränke die Auswahl auf nur Werte θ das hat die kumulative Wahrscheinlichkeit α für Werte mindestens so extrem wie θ;; mit anderen Worten, die Werte θ für die die entsprechenden p-Wert verbunden mit θ^ ist mindestens α.

Der erste Ansatz konzentriert sich direkt darauf, sicherzustellen, dass alles wahr ist θist es enthalten in (1α)Anteil der Stichprobeninstanzen. Der zweite Ansatz sucht den besten Kandidatenθs, die die Realisierung machen θ^ wahrscheinlich beim Verwerfen θs unter denen θ^ist unwahrscheinlich. Die Linie zwischen den beiden (wahrscheinlich vs. unwahrscheinlich) wird aus der Perspektive des ursprünglichen Ziels etwas willkürlich gezogen, aber es ist zufällig die richtige Linie.

Die beiden Regeln zum Erstellen eines Intervalls geben in diesem vereinfachten Beispiel dieselbe Antwort.
Welches (wenn eines der beiden) ist die richtige Motivation oder die richtige Art, über die Konstruktion eines Konfidenzintervalls nachzudenken?
(Vielleicht entfernen Sie die Verteilungsannahme fürθ^ oben würde einen der Ansätze ungültig machen und klarstellen, dass er im Allgemeinen unangemessen ist und in diesem Beispiel nur zufällig die richtige Antwort gibt?)

Richard Hardy
quelle
Was (wenn überhaupt) ist Ihre Motivation hier? In den allermeisten Fällen scheint dies ein sehr subtiler Unterschied zu sein.
Xiaomi
@ Xiaomi, danke für dein Interesse! Das Ergebnis der beiden Ansätze ist das gleiche, aber die Art und Weise, wie man dazu kommt, ist anscheinend sehr unterschiedlich (zumindest ist das meine Wahrnehmung). Ich frage mich, wie man vorgehen soll, um der Logik (und wahrscheinlich der Geschichte) der Konfidenzintervallschätzung treu zu bleiben. Vielleicht würde einer der Wege nur gelegentlich die richtige Antwort geben. Ich bin ziemlich besorgt, auch wenn der Unterschied für manche subtil erscheint. Würdest du zufällig die Antwort wissen?
Richard Hardy
Nach der Antwort von Martijn Weterings beginne ich zu denken, dass der zweite Ansatz ein Sonderfall sein könnte, ein glaubwürdiges Intervall zu konstruieren (mit einem flachen Vorgänger)θ).
Richard Hardy
Verwandte Frage zum Unterschied zwischen Konfidenzintervall und glaubwürdigem Intervall mit flachen vorherigen stats.stackexchange.com/questions/355109/… (sie sind nicht gleich, und besonders bemerkenswert ist, dass sich ein Konfidenzintervall bei einer Änderung von Variablen nicht ändert, während a glaubwürdiges Intervall, in dem der Prior geändert werden muss, wenn Sie ihn "flach" halten möchten, bleibt nicht gleich)
Sextus Empiricus
Der letzte Satz des Absatzes erklärt die zweite Methode "Ich beschränke die Auswahl darauf, nur ... die Werte einzuschließenθ für die der entsprechende p-Wert zugeordnet ist θ ist mindestens α" ist eigentlich sehr ähnlich wie die erste Methode.
Sextus Empiricus

Antworten:

5

Beispiel mit 100 Bernoulli-Versuchen

Die Konstruktion von Konfidenzintervallen könnte in einem Diagramm von platziert werden θ gegen θ^ wie hier:

Können wir eine Nullhypothese mit Konfidenzintervallen ablehnen, die durch Stichproben anstelle der Nullhypothese erstellt wurden?

In meiner Antwort auf diese Frage verwende ich die folgende Grafik:

Vertrauensintervalle

Beachten Sie, dass dieses Bild ein Klassiker und eine Adaption von The Use of Confidence oder Fiducial Limits ist, die im Fall des Binomial CJ Clopper und ES Pearson Biometrika Vol. 2 dargestellt sind. 26, Nr. 4 (Dezember 1934), S. 404-413

Sie könnten eine definieren α-% Vertrauensbereich auf zwei Arten:

  • in vertikaler Richtung L(θ)<X<U(θ) die Wahrscheinlichkeit für die Daten X, abhängig davon, ob der Parameter wirklich ist θ, innerhalb dieser Grenzen zu fallen ist α .

  • in horizontaler Richtung L(X)<θ<U(X) Die Wahrscheinlichkeit, dass ein Experiment den wahren Parameter innerhalb des Konfidenzintervalls hat, ist α%.


Korrespondenz zwischen zwei Richtungen

Der entscheidende Punkt ist also, dass zwischen den Intervallen eine Entsprechung bestehtL(X),U(X) und die Intervalle L(θ),U(θ). Hierher kommen die beiden Methoden.

Wann du willst L(X) und U(X)so nah wie möglich sein ( "so schnell wie möglich (1α) Level Confidence Intervall " ) Dann versuchen Sie, den Bereich der gesamten Region so klein wie möglich zu machen, und dies ähnelt dem AbrufenL(θ) und U(θ)so nah wie möglich. (Mehr oder weniger gibt es keine eindeutige Möglichkeit, das kürzestmögliche Intervall zu erhalten, z. B. können Sie das Intervall für eine Art von Beobachtung verkürzenθ^ auf Kosten einer anderen Art der Beobachtung θ^)


Beispiel mitθ^N(μ=θ,σ2=1+θ2/3)

Um die Differenz zwischen dem ersten und dem zweiten Verfahren veranschaulichen wir justieren Sie das Beispiel ein wenig , so dass wir einen Fall, wo die beiden Methoden nicht unterscheiden.

Das nicht konstant, sondern habe eine Beziehung zuσμ=θ

θ^N(μ=θ,σ2=1+θ2/3)

die Wahrscheinlichkeitsdichtefunktion für die dann , abhängig heißtθ^θ

f(θ^,θ)=12π(1+θ2/3)exp[(θθ^)22(1+θ2/3)]

Stellen Sie sich diese Wahrscheinlichkeitsdichtefunktion die als Funktion von und aufgetragen ist .f(θ^,θ)θθ^

Beispiel

Legende: Die rote Linie ist die obere Grenze für das Konfidenzintervall und die grüne Linie ist die untere Grenze für das Konfidenzintervall. Das Konfidenzintervall wird für (ungefähr 68,3%) gezeichnet . Die dicken schwarzen Linien sind die PDF- (2-fache) und Wahrscheinlichkeitsfunktion, die sich in den Punkten und kreuzen. .±1σ(θ,θ^)=(3,1)(θ,θ^)=(0,1)

PDF In der Richtung von links nach rechts (konstant ) haben wir die pdf für die Beobachtung gegeben . Sie sehen zwei davon projiziert (in der Ebene ). Beachten Sie, dass die Werte-Grenzen ( als Bereich mit der höchsten Dichte ausgewählt) für ein einzelnes PDF auf derselben Höhe liegen, für verschiedene PDF-Dateien jedoch nicht auf derselben Höhe (nach Höhe bedeutet dies den Wert) von )θθ^θθ=7pp<1αf(θ^,θ)

Likelihood - Funktion in der Richtung von oben nach unten (constant ) haben wir die Likelihood - Funktion für angesichts der Beobachtung . Sie sehen eine davon rechts projiziert.θ^θθ^

Wenn Sie in diesem speziellen Fall die 68% -Masse mit der höchsten Dichte für konstantes auswählen, erhalten Sie nicht das Gleiche wie die Auswahl der 68% -Masse mit der höchsten Wahrscheinlichkeit für konstantes .θθ^

Für andere Prozentsätze des Konfidenzintervalls haben Sie eine oder beide Grenzen bei und das Intervall kann auch aus zwei disjunkten Teilen bestehen. Hier liegt also offensichtlich nicht die höchste Dichte der Wahrscheinlichkeitsfunktion (Methode 2). Dies ist ein eher künstliches Beispiel (obwohl es einfach und schön ist, wie es zu diesen vielen Details führt), aber auch für häufigere Fälle kann man leicht feststellen, dass die beiden Methoden nicht zusammenfallen (siehe das Beispiel hier, in dem das Konfidenzintervall und das glaubwürdige Intervall vorliegen mit einem flachen Prior werden für den Ratenparameter einer Exponentialverteilung verglichen).±

Wann sind die beiden Methoden gleich?

Diese Horizontale gegen Vertikale ergibt das gleiche Ergebnis, wenn die Grenzen und , die die Intervalle in der Darstellung vs Isolinien für . Wenn sich die Grenzen überall auf derselben Höhe befinden wie in keiner der beiden Richtungen, können Sie eine Verbesserung vornehmen.ULθθ^f(θ^;θ)

(im Gegensatz dazu: Im Beispiel mit die Konfidenzintervallgrenzen nicht den gleichen Wert für verschiedene , weil die Wahrscheinlichkeitsmasse für größere stärker verteilt wird, also eine geringere Dichte . Dies führt dazu, dass und nicht an der liegen gleicher Wert , zumindest für einige . Dies widerspricht Methode 2, die versucht, die höchsten Dichten für ein gegebenes auszuwählenθ^N(θ,1+θ2/3)f(θ^,θ)θ|θ|θlowθhighf(θ^;θ)θ^f(θ^;θ)θ^. Im obigen Bild habe ich versucht, dies zu betonen, indem ich die beiden PDF-Funktionen, die sich auf die Konfidenzintervallgrenzen beziehen, auf den Wert . Sie können sehen, dass sie an diesen Grenzen unterschiedliche Werte des PDF haben.) θ^=1

Tatsächlich scheint die zweite Methode nicht ganz richtig zu sein (es ist eher eine Art Variante eines Wahrscheinlichkeitsintervalls oder eines glaubwürdigen Intervalls als eines Konfidenzintervalls) und wenn Sie % Dichte in horizontaler Richtung auswählen (Begrenzung % der Masse der Wahrscheinlichkeitsfunktion), dann können Sie von den vorherigen Wahrscheinlichkeiten abhängig sein .αα

Im Beispiel mit der Normalverteilung ist dies kein Problem und die beiden Methoden stimmen überein. Zur Veranschaulichung siehe auch diese Antwort von Christoph Hanck . Dort sind die Grenzen Isolinien. Wenn Sie das ändern, verschiebt sich die Funktion nur und ändert nicht die 'Form'.θf(θ^,θ)

Bezugswahrscheinlichkeit

Das Konfidenzintervall, wenn die Grenzen in vertikaler Richtung erstellt werden, ist unabhängig von den vorherigen Wahrscheinlichkeiten. Dies ist bei der 2. Methode nicht der Fall.

Dieser Unterschied zwischen der ersten und der zweiten Methode kann ein gutes Beispiel für den subtilen Unterschied zwischen Bezugswahrscheinlichkeit und Konfidenzintervallen sein.

Sextus Empiricus
quelle
Gute Argumente. Ich hatte den Verdacht, dass einige frühere Wahrscheinlichkeiten versuchen könnten, sich in den zweiten Ansatz
Richard Hardy
Ich werde versuchen zu sehen, ob ich eine bessere visuelle Darstellung finden kann. Wenn Sie das als Oberfläche zeichnen, erhalten Sie eine Gratform, aber im Fall der Bernouilli-Versuche ist diese Form an den Rändern kleiner und höher. Bei der Normalverteilung ist sie symmetrischer. f(θ^;θ)
Sextus Empiricus
Das (eine neue visuelle Darstellung) könnte viel helfen! Außerdem könnte man auf erarbeiten die Wahrscheinlichkeitsdichtefunktion Stellen Sie sich vor für der Bedingung geplotteten in 2D gegenf(θ^;θ)θ^θθθ^ ? Könnten Sie es irgendwie umformulieren? Ich habe Probleme, dies zu verstehen und folglich, was im Rest mit horizontal oder vertikal gemeint ist. Vielleicht könnten Sie Namen wie "die Richtung" für horizontal und "die Richtung" für vertikal (oder auf andere Weise, je nachdem, was richtig ist) angeben. θθ^
Richard Hardy
Ich möchte ein Bild davon hinzufügen. Es ähnelt dem aktuellen Bild. Normalerweise sehen wir als eine Funktion mit fest, aber wir könnten es in eine Funktion mit nicht fest ändern . Wenn wir dann ein Konfidenzintervall erstellen, erstellen wir Grenzen und , die in vertikaler Richtung ( ) % der Masse begrenzen . Da wir dies für jedes tun, haben wir im 2D-Bild Grenzen, die enthaltenf(θ^;θ)θf(θ^,θ)θ L(θ)U(θ)θ^αθα% der Masse. Wir könnten uns vorstellen, dasselbe in die andere Richtung zu tun (aber es wird anders sein).
Sextus Empiricus
1
@Wenn das Bild ziemlich alt ist, habe ich das Bild von hier verwendet. jstor.org/stable/2331986 Die Verwendung von Vertrauen oder Bezugsgrenzen im Fall des Binomial CJ ​​Clopper und von ES Pearson Biometrika Vol. 26, No. 4 (Dez. 1934), S. 404-413 (und ich stimme zu, dass die Idee, ein Gebiet so zu wählen, dass Sie 95% der Masse erhalten, nicht richtig ist, nur eine dieser Regionen wird zu Vertrauen führen Intervalle, könnte das Problem in der Aussage der Frage "Ich möchte das kürzestmögliche Intervall" sein, die mehrdeutig ist. Es gibt keinen einzigen eindeutigen Weg, um dies zu bekommen.)
Sextus Empiricus