Was können Sie einem Kunden sagen, der der Meinung ist, dass die Vertrauensbereiche zu groß sind, um nützlich zu sein?

22

Angenommen, ich bin ein Berater und möchte meinem Kunden die Nützlichkeit des Konfidenzintervalls erläutern. Der Kunde sagt mir, dass meine Intervalle zu breit sind, um nützlich zu sein, und er würde es vorziehen, solche zu verwenden, die halb so breit sind.

Wie soll ich antworten?

confidence-interval interpretation student_diversified
quelle
15
Rechnen Sie sie ab, um mehr Daten zu sammeln.
Shabbychef
2
Dies erinnert mich an ein Muss-Artikel über Arten von Kunden in der statistischen Beratung.
@Procrastinator Würde es Ihnen etwas ausmachen, einen Link zu einer PDF-Version des Papiers zu veröffentlichen?
Angenommen, normal
1
@Max, es scheint nur offensichtlich über JSTOR verfügbar zu sein; Das Posten eines PDF-Dokuments würde gegen die (durchaus angemessenen) Nutzungsbedingungen von JSTOR verstoßen ...
Ben Bolker
@shabbychef - oft ist dies ein ineffizienter Weg, um die Genauigkeit zu erhöhen, insbesondere wenn das Sample bereits groß ist. Um beispielsweise die Breite des ci von einem normalen mittleren ci zu halbieren, müssen Sie die Stichprobengröße vervierfachen. Es ist besser, einige Zeit damit zu verbringen, das Modell zu verbessern, bevor Sie loslegen, und die höchsten Kosten zu vervierfachen!
Wahrscheinlichkeitslogik

Antworten:

16

Es kommt darauf an, was der Kunde unter "nützlich" versteht. Der Vorschlag Ihres Kunden, die Intervalle willkürlich einzugrenzen, scheint das Missverständnis zu widerspiegeln, dass Sie durch die Einengung der Intervalle die Fehlerquote auf magische Weise verringert haben. Angenommen, der Datensatz wurde bereits gesammelt und ist repariert (wenn dies nicht der Fall ist, gibt @ shabbychefs Witz in den Kommentaren Ihre Antwort), sollte jede Antwort auf Ihren Kunden hervorheben und beschreiben, warum es kein "kostenloses Mittagessen" gibt Sie sind zu opfern etwas durch die Intervalle verengt.

Da der Datensatz fest ist, können Sie die Breite des Konfidenzintervalls nur durch Verringern des Konfidenzniveaus verringern. Daher haben Sie die Wahl zwischen einem größeren Intervall, bei dem Sie sicherer sind, dass es sich um den wahren Parameterwert handelt, oder einem engeren Intervall, bei dem Sie weniger sicher sind. Das heißt, breitere Konfidenzintervalle sind konservativer. Natürlich können Sie weder die Breite noch das Konfidenzniveau ohne Bedenken optimieren, da Sie ein -Konfidenzintervall vakuumgenerieren können, indem Sie es über den gesamten Parameterraum verteilen und ein unendlich enges Konfidenzintervall erhalten, obwohl es eine Abdeckung von 0 % aufweist . 100%0%

Ob ein weniger konservatives Intervall nützlicher ist oder nicht, hängt sowohl vom Kontext als auch davon ab, wie sich die Breite des Intervalls als Funktion des Konfidenzniveaus ändert. Ich habe jedoch Probleme, mir eine Anwendung vorzustellen, für die ein viel niedrigeres Konfidenzniveau verwendet wird engere Intervalle wären vorzuziehen. Es ist auch erwähnenswert, dass das -Konfidenzintervall so allgegenwärtig geworden ist, dass es schwer zu rechtfertigen ist, warum Sie beispielsweise ein 60 % -Konfidenzintervall verwenden. 95%60%

Makro
quelle
6
Sie können das Konfidenzintervall nicht einfach verkleinern, ohne etwas aufzugeben, aber es gibt eine gewisse Flexibilität, die dem Unterschied zwischen einem einseitigen Test und einem zweiseitigen Test entspricht. Darüber hinaus ist es möglich, dass ein besseres Modell der gleichen Daten unterschiedliche (und möglicherweise kleinere) Konfidenzintervalle erzeugt.
Douglas Zare
3
Ich denke, Sie verkaufen den letzten Teil nur ein bisschen knapp. Die Allgegenwart des 95 % -KI ist ein kulturelles Phänomen. In einigen Kontexten sind andere Werte üblich, z. B. beim Zeichnen. Fehlerbalken sind häufig Standardfehler (dh 68% der CIs), wie Sie sicher wissen. (+1, übrigens)
gung - Reinstate Monica
2
Im Geiste ist diese Antwort gut, aber ich denke, der zweite Absatz ist zu einschränkend. Ein großer Vorteil, den der Statistiker dieser Partei bringt, ist das Wissen über alternative Verfahren, die die Bedürfnisse des Kunden besser erfüllen können. In vielen Fällen kann die Breite eines CI durch Auswahl eines anderen CI-Verfahrens verringert werden. Dies erfordert weder das Sammeln weiterer Daten (-1 bis @shabbychef) noch das Verringern des Konfidenzniveaus. Der wirklich schwierige Teil ist die Interpretation eines CI, bei dem das Verfahren post hoc ausgewählt wurde . Deshalb möchten wir dieses Gespräch führen, bevor wir die Daten analysieren (oder sogar sammeln)!
Whuber
7
Ich reagiere darauf, Macro, weil es in der Praxis nicht gut funktioniert, so unflexibel zu sein. Das Risiko besteht darin, dass der Kunde Ihren Rat ignoriert und sich an jemanden wendet, der es nicht besser weiß (der jedoch über ausreichende statistische Kenntnisse verfügt). Das Szenario des OP ist bekannt und gebräuchlich: Es wird am besten als Gelegenheit gesehen, den Kunden zu informieren und aufzuklären sowie ihm Alternativen anzubieten (zusammen mit einer offenen Diskussion seiner Vor- und Nachteile). Wir müssen sagen: "Ja, das CI kann verkleinert werden, aber hier sind einige der Konsequenzen, die sich daraus ergeben."
Whuber
2
Das ist ein guter Punkt @whuber (+1) in Situationen, in denen effizientere Alternativen verfügbar sind - ein weiterer Grund, sich vor dem Sammeln / Analysieren der Daten an einen Statistiker zu wenden .
Makro
2

Ich würde vorschlagen , es hängt ganz davon ab , was Ihr Kunde will verwenden für die Konfidenzintervalle.

  1. Eine Art Bericht / Publikation / etc. wo 95% CIs normalerweise gemeldet werden. Ich könnte ihm sehr gut sagen, dass dies statistisch nicht gerechtfertigt ist, und es dort belassen, je nachdem, ob der Kunde dazu neigt, sich auf Ihr Fachwissen zu verlassen oder nicht. Wenn dies nicht der Fall ist, müssen Sie beurteilen, inwieweit Sie sich beruflich wohl fühlen.
  2. Eine Art internes Dokument - ich würde klarstellen, dass Sie nicht einverstanden sind, und klarstellen, welche Art von Konfidenzintervall der Leser derzeit betrachtet, da es nicht 95% beträgt.
  3. Sagen wir als Maß für die Schätzungsunsicherheit, um zu bestimmen, wie viel Sensitivitätsanalyse erforderlich ist? Ich würde ihnen eine Zahl geben, die die vollständige Verteilung sowohl mit 95% CI als auch mit 68% CI anzeigt, und sie darauf hinweisen.

Ich wäre ziemlich stolz auf mich selbst, wenn es mir gelingen würde, zu verhindern, dass "So leiten Sie eine größere Studie" als erstes aus meinem Mund kommt.

Fomite
quelle
1
+1. Ich denke, die Kommentare, die Sie unter (2) gemacht haben, wären wahrscheinlich auch in der unter (1) beschriebenen Situation relevant.
Makro
0

Verwenden Sie wie die meisten Menschen die Standardabweichung. 95% CI können beängstigend sein, wenn Menschen an 68% CI gewöhnt sind.

Geoph Twombly
quelle
4
Es scheint mir, dass wir in diesem Fall lediglich die Genauigkeit des Stichprobenmittelwerts und nicht die Variabilität einzelner Werte zeigen möchten. Warum empfehlen Sie speziell die Standardabweichung ?
Chl
Fisher schlug ursprünglich 95% CIs als Annäherung an 2 Standardabweichungen vor.
Patrick Caldon
1
@Patrick, es klingt wie Sie entweder chl der Punkt verpasst (sowie Fehl vertreten Fisher, der keinen solchen Fehler gemacht) oder auch schrieben Sie „Standardabweichung“ , wo Sie „Standard bestimmt Fehler “. Die meisten CIs basieren natürlich auf Standardfehlern und nicht auf Standardabweichungen. 2 SDs approximieren weder ein CI noch umgekehrt.
Whuber
Natürlich ist der Standardfehler nur die Standardabweichung des Mittelwerts, also nur die Terminologie. Das heißt, dass CIs nicht auf Standardabweichungen basieren, ist nicht wirklich wahr. Sie basieren nicht auf der Standardabweichung der Stichprobe, sondern auf der Standardabweichung des Mittelwerts.
Aaron - Reinstate Monica
2
Nicht alle Schätzungen sind Mittelwerte. Es gibt Standardfehler für andere Schätzungen als Mittelwerte, und es ist der Standardfehler der Schätzung, der verwendet wird, um Konfidenzintervalle für einen Parameter basierend auf der Variabilität einer Schätzung zu generieren, wie dies von Whuber vorgeschlagen wird.
Michael R. Chernick
0

Sie geben ein Konfidenzintervall auf einem bestimmten Standardniveau an, z. B. 90% oder 95%. Der Kunde kann beurteilen, ob das Intervall zu breit ist, um nützlich zu sein. Aber das bedeutet natürlich nicht, dass Sie es kürzen können, um es nützlich zu machen. Sie können vorschlagen, dass durch Erhöhen der Stichprobengröße die Breite eines Intervalls bei einem bestimmten Konfidenzniveau verringert wird, da sie sich ungefähr um einen Faktor der Quadratwurzel der Stichprobengröße verringert.

Michael R. Chernick
quelle