Konfidenzintervall für Varianz bei einer Beobachtung

Dies ist ein Problem der "7. Kolmogorov-Studentenolympiade in der Wahrscheinlichkeitstheorie":

Geben Sie bei einer Beobachtung $X$ aus einer $\operatorname{Normal}(\mu,\sigma^2)$ mit beiden unbekannten Parametern ein Konfidenzintervall für $\sigma^2$ mit einem Konfidenzniveau von mindestens 99% an.

Es scheint mir, dass dies unmöglich sein sollte. Ich habe die Lösung, aber noch nicht gelesen. Irgendwelche Gedanken?

Ich werde die Lösung in ein paar Tagen veröffentlichen.

[Nachbearbeitung: Offizielle Lösung siehe unten. Die Lösung von Cardinal ist länger, bietet jedoch ein besseres Konfidenzintervall. Danke auch an Max und Glen_b für ihren Input.]

probability normal-distribution confidence-interval variance Jonathan Christensen
quelle

Scheint mir auch unmöglich; Ich warte auf die Antwort

Peter Flom - Monica wieder einsetzen

Schauen Sie sich diese Seite an .

Angenommen,

Hier ist ein Papier mit einer besseren Formatierung: Papier .

Angenommen,

Heh. Ich erinnere mich, vor vielen Jahren eine Zeitung über dieses Zeug gelesen zu haben (ein Beobachtungsintervall). Könnte dieser gewesen sein .

Glen_b

@Max, danke für den Link! Ich hatte noch keine Zeit, es mir genauer anzusehen, aber ich werde es tun. Ich habe die "offizielle" Antwort unten gepostet.

Jonathan Christensen

Antworten:

Unter Berücksichtigung von Wahrscheinlichkeitsungleichheiten und Zusammenhängen mit dem Mehrfachbeobachtungsfall erscheint dieses Ergebnis möglicherweise nicht so unmöglich oder zumindest plausibler.

Lassen Sie mit und unbekannt. Wir können für schreiben . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Hauptanspruch : ist ein -Konfidenzintervall für wobei das Quantil einer Chi-Quadrat-Verteilung mit einem Grad von ist Freiheit. Da darüber hinaus dieses Intervall hat genau Abdeckung , wenn , ist es möglich , der schmalste Abstand von der Form für einig . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Grund zum Optimismus

Recall , dass in dem Fall mit , der typischen Konfidenzintervall für ist wobei ist das Level-Quantil eines Chi-Quadrats mit Freiheitsgraden. Dies gilt natürlich für alle . Dies ist zwar das beliebteste Intervall ( aus offensichtlichen Gründen als gleichschenkliges Intervall bezeichnet), es ist jedoch weder das einzige noch dasjenige mit der geringsten Breite! Es sollte offensichtlich sein, dass eine andere gültige Auswahl ist $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Da , dann auch eine Abdeckung von mindestens . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Vor diesem Hintergrund könnten wir dann optimistisch sein, dass das Intervall im Hauptanspruch für . Der Hauptunterschied besteht darin, dass es für den Fall einer einzelnen Beobachtung keine Chi-Quadrat-Verteilung mit null Freiheitsgraden gibt. Wir müssen also hoffen, dass die Verwendung eines Quantils mit einem Freiheitsgrad funktioniert. $n = 1$

Ein halber Schritt in Richtung Ziel ( Den rechten Schwanz ausnutzen )

Bevor wir uns mit einem Beweis der Hauptbehauptung befassen, schauen wir uns zunächst eine vorläufige Behauptung an, die bei weitem nicht so stark oder statistisch befriedigend ist, aber vielleicht einen zusätzlichen Einblick in das gibt, was vor sich geht. Sie können zum Nachweis der Hauptforderung weiter unten springen, ohne große (wenn überhaupt) Verluste zu erleiden. In diesem und im nächsten Abschnitt basieren die Beweise - obwohl sie etwas subtil sind - nur auf elementaren Fakten: Monotonie der Wahrscheinlichkeiten sowie Symmetrie und Unimodalität der Normalverteilung.

Zusätzliche Behauptung : ist ein Konfidenzintervall für , solange . Hier ist das Level-Quantil einer Standardnormalen. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Beweis . undNach Symmetrie können wir also im Folgenden ohne Verlust der Allgemeinheit nehmen. Für und ist nun und so sehen wir mit , dass Dies funktioniert nur für , da dies für erforderlich ist . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Dies beweist den Hilfsanspruch. Obwohl illustrativ, ist es aus statistischer Sicht unbefriedigend, da es ein absurd großes erfordert, um zu funktionieren. $\alpha$

Den Hauptanspruch beweisen

Eine Verfeinerung des obigen Arguments führt zu einem Ergebnis, das für ein beliebiges Konfidenzniveau geeignet ist. Beachten Sie zunächst, dass Setze und . Dann ist Wenn wir zeigen können, dass die rechte Seite in für jedes feste zunimmt , können wir ein ähnliches Argument wie im vorherigen Argument verwenden. Dies ist zumindest plausibel, da wir glauben möchten, dass es wahrscheinlicher wird, dass wir einen Wert mit einem Modul sehen, der über , wenn sich der Mittelwert erhöht

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (Wir müssen jedoch aufpassen, wie schnell die Masse im linken Schwanz abnimmt!)

Setze . Dann ist Man beachte , dass und für die positive , in abnimmt . Nun ist für leicht zu erkennen, dass . Diese Tatsachen zusammengenommen implizieren leicht, dass für alle und alle festen . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Daher haben wir gezeigt , dass für und , $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Wenn wir all dies auflösen und , erhalten wir was den Hauptanspruch begründet. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Schlussbemerkung : Eine sorgfältige Lektüre des obigen Arguments zeigt, dass nur die symmetrischen und unimodalen Eigenschaften der Normalverteilung verwendet werden. Daher funktioniert der Ansatz analog zum Erhalten von Konfidenzintervallen aus einer einzelnen Beobachtung aus einer beliebigen symmetrischen unimodalen Ortsskalenfamilie, z. B. Cauchy- oder Laplace-Verteilungen.

Kardinal
quelle

Wow! und von den Schülern wird erwartet, dass sie diese Art von Argumenten in der kurzen Zeit einer Olympiadeprüfung vorbringen?

Dilip Sarwate

@ Dilip: Ich habe keine Ahnung! Ich bin mit dem Format dieser Olympiade oder den erwarteten Lösungen nicht vertraut. Nach einer wörtlichen Lesart würde ich Scortchis Antwort für akzeptabel halten. Ich war mehr daran interessiert, herauszufinden, wie weit man mit einer "nicht trivialen" Lösung kommen könnte. Meine eigene (ziemlich minimale) Erforschung folgte dem gleichen Gedankengang, der in der Antwort beschrieben wurde (mit einem Umweg). Es ist sehr wahrscheinlich, dass es eine bessere Lösung gibt. :-)

Kardinal

Dies ist erheblich länger als die "offizielle" Lösung, aber es gibt eine bessere Grenze für die Varianz, also markiere ich es als die "richtige" Antwort. Ich habe die "offizielle" Antwort unten gepostet sowie einige Simulationsergebnisse und Diskussionen. Danke, Kardinal!

Jonathan Christensen

@ Jonathan: Danke. Ja, ich hätte den Beweis etwas knapper machen können. Aufgrund des breiten Spektrums an Hintergründen der Teilnehmer neige ich oft dazu, mich zusätzlichen (oder vielleicht übermäßigen) Details hinzugeben. :-)

Kardinal

Zeit zum Nachfassen! Hier ist die Lösung, die mir gegeben wurde:

Wir werden ein Konfidenzintervall der Form konstruieren , wobei eine Statistik ist. Per Definition ist dies ein Konfidenzintervall mit einem Konfidenzniveau von mindestens 99%, wenn Wir stellen fest, dass die Dichte der -Verteilung nicht überschreitet . Daher ist für jedes . Daraus folgt, dass Einstecken von $[0,T(X))$ $T(\cdot)$
$(\forall μ \in R) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0.01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ Wir erhalten, dass die entsprechende Statistik $T(X) = 10000X^2.$

Das Konfidenzintervall (das sehr breit ist) ist in der Simulation etwas konservativ, und es liegt keine empirische Abdeckung (in 100.000 Simulationen) unter 99,15%, da ich den CV über viele Größenordnungen variierte.

Zum Vergleich habe ich auch das Konfidenzintervall des Kardinals simuliert. Ich möchte darauf hinweisen, dass das Intervall von Kardinal etwas kürzer ist - im Falle von 99% beträgt es bis zu , im Gegensatz zu in der bereitgestellten Lösung. Die empirische Abdeckung liegt genau auf dem nominalen Niveau, wiederum über viele Größenordnungen des Lebenslaufs. Seine Pause gewinnt also definitiv. $6300X^2$ $10000X^2$

Ich hatte keine Zeit, mir die Zeitung, die Max gepostet hat, genau anzuschauen, aber ich habe vor, mir das anzuschauen und möglicherweise später (dh nicht früher als eine Woche) einige Kommentare dazu hinzuzufügen. In diesem Papier wird ein Konfidenzintervall von 99% von , das eine empirische Abdeckung aufweist, die geringfügig niedriger ist (etwa 98,85%) als die nominelle Abdeckung für große Lebensläufe in meinen kurzen Simulationen. $(0,4900X^2)$

Jonathan Christensen
quelle

(+1) Das ist eine schöne Lösung. Sollten Sie anstelle von in der Anzeigegleichung haben?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

Kardinal

Noch ein paar Punkte: Ihre Lösung kann ohne Änderung des Arguments so gestaltet werden, dass sie meiner sehr nahe kommt. Beachten Sie, dass Sie behaupten können, dass . Dann wird das Intervall für any . Die Verwendung von ergibt Vergleich zu in meiner Antwort. Je höher das Konfidenzniveau (dh je kleiner das ), desto näher ist Ihre Methode an meiner (obwohl Ihr Intervall immer breiter sein wird).

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

Kardinal

Zweitens habe ich mir dieses Papier nicht angesehen, aber ich habe starke Zweifel, dass ein gültiges Konfidenzintervall von 99% sein kann. Betrachten Sie in der Tat alle Konfidenzintervalle der Form für einige . Wenn dann , haben wir, dass genau mit einem Freiheitsgrad Chi-Quadrat ist, und so ist das kleinste wir in diesem Fall auswählen könnten, . Mit anderen Worten, das in meiner Antwort angegebene Intervall ist das engstmögliche der angegebenen Form.

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

Kardinal

Ich habe die (vermutete) Tippfehlerbehebung vorgenommen. Auch pchisq(1/4900,1,lower.tail=F)in Rkehrt 0.9886, ganz in der Nähe Ihrer Simulationsergebnisse für das Intervall.

(0, 4900 X^{2})

$(0,4900X^2)$

Kardinal

Vielen Dank für alle Kommentare, @ Cardinal. Ich denke, Ihre Änderung ist korrekt, obwohl ich sie so getippt habe, wie sie in den ursprünglichen Lösungen war - Tippfehler, denke ich.

Jonathan Christensen

Die CIs vermutlich. $(0,\infty)$

Scortchi - Wiedereinsetzung von Monica
quelle

Ich denke, es wäre hilfreich für Sie zu sagen, warum Sie kein Konfidenzintervall mit endlicher Länge erhalten können.

Angenommen,

@Max Ich bin nicht schlau genug - aber die Frage hat nicht nach einer gefragt.

Scortchi

+1 dafür. Die Frage besagte kein CI mit minimaler Abdeckung und impliziert in der Tat, dass dies durch seine merkwürdige Formulierung akzeptabel sein könnte, "ein Konfidenzintervall mit einem Konfidenzniveau von mindestens 99%".

Ari B. Friedman