Was zu glauben: Kolmogorov-Smirnov-Test oder QQ-Plot?

16

Ich versuche festzustellen, ob mein Datensatz mit kontinuierlichen Daten einer Gammaverteilung mit den Parametern shape 1.7 und rate 0.000063 folgt.==

Das Problem ist, wenn ich mit R ein QQ-Diagramm meines Datensatzes gegen die theoretische Verteilung Gamma (1,7, 0,000063) erstelle, bekomme ich ein Diagramm, das zeigt, dass die empirischen Daten in etwa mit der Gamma-Verteilung übereinstimmen. Dasselbe passiert mit dem ECDF-Plot.x

Wenn ich jedoch einen Kolmogorov-Smirnov-Test durchführe, erhalte ich einen unangemessen kleinen Wert von .p<1%

Welchen soll ich wählen, um zu glauben? Die grafische Ausgabe oder das Ergebnis von KS-Test?

QQplot und ECDF-Plot

user22119
quelle
Können Sie auch die Dichteverteilungsdiagramme bereitstellen, die Sie erhalten?
Scratch
13
Der Test und das Diagnose-Diagramm sind nicht inkonsistent. Die Verteilung ist ähnlich der theoretischen, wie das QQ-Diagramm zeigt. Die Stichprobengröße ist groß genug, um auch kleine Abweichungen von der theoretischen zu erkennen.
Glen_b

Antworten:

18

Ich sehe keinen Sinn darin, dem QQ-Plot nicht zu "glauben" (wenn Sie es richtig produziert haben); Es ist nur eine grafische Darstellung der Realität Ihrer Daten, die der definierten Verteilung gegenübergestellt wird. Natürlich passt es nicht perfekt zusammen, aber wenn es für Ihre Zwecke gut genug ist, kann das mehr oder weniger das Ende der Geschichte sein. Vielleicht möchten Sie diese verwandte Frage prüfen: Ist das Testen der Normalität im Wesentlichen nutzlos?

Der Wert aus dem KS-Test zeigt Ihnen im Grunde genommen, dass Ihre Stichprobengröße groß genug ist, um die Nullhypothese zu widerlegen, dass Ihre Daten genau der gleichen Verteilung wie Ihre Referenzverteilung angehören (ich nehme an, Sie haben auf die Gamma-Verteilung verwiesen; Sie) Vielleicht möchten Sie dies noch einmal überprüfen. Das scheint auch aus dem QQ-Plot klar genug zu sein (dh es gibt einige kleine, aber scheinbar systematische Abweichungsmuster), so dass ich glaube, dass es hier keine wirklich widersprüchlichen Informationen gibt.p

Ob sich Ihre Daten für Ihre beabsichtigten Zwecke zu stark von einer Gammaverteilung unterscheiden, ist eine andere Frage. Der KS-Test allein kann dies nicht beantworten (da das Ergebnis unter anderem von Ihrer Stichprobengröße abhängt), aber der QQ-Plot kann Ihnen bei der Entscheidung helfen. Vielleicht möchten Sie auch nach Alternativen zu anderen Analysen suchen, die Sie durchführen möchten, und wenn Sie die Empfindlichkeit nachfolgender Analysen für Abweichungen von der Gammaverteilung besonders ernst nehmen, sollten Sie auch einige Simulationstests in Betracht ziehen .

Nick Stauner
quelle
15

Was Sie tun können, ist, mehrere Stichproben aus Ihrer theoretischen Verteilung zu erstellen und diese auf dem Hintergrund Ihres QQ-Plots zu zeichnen. Dadurch erhalten Sie eine Vorstellung davon, welche Art von Variabilität Sie vernünftigerweise nur von der Probenahme erwarten können.

Sie können diese Idee erweitern, um einen Umschlag um die theoretische Linie zu erstellen. Verwenden Sie dazu das Beispiel ab Seite 86-89 von:

Venables, WN und Ripley, BD 2002. Moderne angewandte Statistik mit S. New York: Springer.

Dies wird ein punktueller Umschlag sein. Sie können diese Idee noch weiter ausdehnen, um eine Gesamthülle zu erstellen. Verwenden Sie dazu die Ideen auf den Seiten 151-154 von:

Davison, AC und Hinkley, DV 1997. Bootstrap-Methoden und ihre Anwendung. Cambridge: Cambridge University Press.

Für eine grundlegende Untersuchung ist es jedoch mehr als ausreichend, nur ein paar Referenzproben im Hintergrund Ihres QQ-Diagramms zu zeichnen.

Maarten Buis
quelle
Gute Idee! Erinnern Sie mich daran, dies in 11 Stunden zu verbessern (alle meine Stimmen für Cartoons aufgebraucht) ... Ich mag es besonders, das ECDF zu bootstrappen, um diese Art von Handlung zu bereichern.
Nick Stauner
1
Schauen Sie sich auch das CRAN-Paket sfsmisc an, dessen Funktion ecdf.ksCI ein Konfidenzband für den ecdf-Plot zeichnet.
Dieselbe
2

Der KS-Test setzt bestimmte Parameter Ihrer Distribution voraus. Es testet die Hypothese "die Daten werden gemäß dieser bestimmten Verteilung verteilt". Sie haben diese Parameter möglicherweise irgendwo angegeben. Andernfalls wurden möglicherweise einige nicht übereinstimmende Standardeinstellungen verwendet. Beachten Sie, dass der KS-Test konservativ wird, wenn die geschätzten Parameter in die Hypothese aufgenommen werden.

Die meisten Anpassungstests werden jedoch falsch herum durchgeführt. Wenn der KS-Test keine Signifikanz gezeigt hätte, bedeutet dies nicht, dass das Modell, das Sie nachweisen wollten, geeignet ist. Das hat @Nick Stauner über zu kleine Stichproben gesagt. Dieses Problem ähnelt Punkthypothesentests und Äquivalenztests.

Also am Ende: Betrachte nur die QQ-Diagramme.

Horst Grünbusch
quelle
-1

QQ-Plot ist eine explorative Datenanalysetechnik und sollte wie alle anderen EDA-Plots behandelt werden. Sie sollen Ihnen nur vorläufige Einblicke in die vorliegenden Daten geben. Sie sollten Ihre Analyse niemals auf der Grundlage von EDA-Plots wie QQ-Plots entscheiden oder stoppen. Es ist ein falscher Rat, nur QQ-Diagramme zu berücksichtigen. Sie sollten auf jeden Fall quantitative Techniken wie den KS-Test anwenden. Angenommen, Sie haben einen anderen QQ-Plot für einen ähnlichen Datensatz. Wie würden Sie die beiden ohne ein quantitatives Tool vergleichen? Der nächste Schritt ist für Sie, nach dem EDA- und KS-Test herauszufinden, warum der KS-Test einen niedrigen p-Wert liefert (in Ihrem Fall könnte dies sogar auf einen Fehler zurückzuführen sein).

EDA-Techniken sind NICHT als Entscheidungshilfen gedacht. Ich würde sogar sagen, dass Inferenzstatistiken nur als Anhaltspunkt dienen. Sie geben Ihnen Hinweise, in welche Richtung Ihre statistische Analyse gehen soll. Zum Beispiel würde ein T-Test an einer Stichprobe nur ein Konfidenzniveau ergeben, das besagt, dass die Stichprobe zur Grundgesamtheit gehören kann (oder nicht). Basierend auf dieser Einsicht, zu welcher Verteilung Ihre Daten gehören und zu welcher sind seine Parameter usw. In der Tat, wenn einige behaupten, dass sogar Techniken, die als Teil der maschinellen Lernbibliotheken implementiert wurden, explorativen Charakter haben !!! Ich hoffe sie meinen es in diesem Sinne ...!

Statistische Entscheidungen auf der Grundlage von Plots oder Visualisierungstechniken zu treffen, spottet über Fortschritte in der statistischen Wissenschaft. Wenn Sie mich fragen, sollten Sie diese Diagramme als Hilfsmittel verwenden, um die endgültigen Schlussfolgerungen auf der Grundlage Ihrer quantitativen statistischen Analyse zu kommunizieren.

Murugesan Narayanaswamy
quelle
Dies verbietet mir, etwas zu tun, was ich oft tue und für sinnvoll halte, eine Entscheidung zu treffen, wenn eine Sondierungshandlung vorliegt, und vor einem formaleren Signifikanztest zu stehen zu kommen. Es wird kein Spott gefordert. Dies ist ein sich wiederholender und dogmatischer Kommentar, der den vorhandenen hervorragenden und viel differenzierteren Antworten nichts Nützliches hinzufügt. Es ist sehr einfach, QQ-Diagramme zu vergleichen ...
Nick Cox
Ich habe keine anderen Antworten gelesen, aber wenn sie auch quantitative Methoden fördern, geht es mir gut. Auf die gestellte Frage hatte ich meine Antwort gegeben. Aber ich bin gespannt, dass es nicht viel Zeit kostet, formale Quantentests (nur noch ein paar Minuten, um KS-Tests durchzuführen) mit jetzt verfügbaren Paketen wie R durchzuführen. Warum sollte also jemand bei EDA-Plots anhalten? Unmittelbar nach der Validierung der KS-Testergebnisse von R mit Bootstrapping stellte ich an mehreren Stellen fest, dass die Verwendung von R als nicht empfehlenswert eingestuft wurde. Besteht ein allgemeiner Verdacht auf herkömmliche statistische Methoden? Dies ist die Begründung für meine starken Kommentare
.. nicht
Sie sollten vor dem Posten unbedingt andere Antworten lesen. Das Posten impliziert, dass Sie etwas anderes (und auch vertretbares) zu sagen haben. Ihr Kommentar ist verwirrend, da er impliziert, dass QQ-Diagramme keine "quantitativen Methoden" sind. Ein QQ-Diagramm zeigt im Prinzip alle quantitativen Informationen, die für die Beurteilung der Verteilungsübereinstimmung relevant sind. Im Gegensatz dazu ergibt ein Test wie Kolmogorov-Smirnov eine eindimensionale Reduktion und gibt wenig Hilfestellung, was als nächstes zu tun ist.
Nick Cox
Der QQ-Plot vergleicht die theoretische Verteilung mit den angegebenen Testdaten und bietet eine visuelle Darstellung. Der KS-Test verwendet jedoch statistische Konzepte und liefert schließlich einen Wahrscheinlichkeitswert. Sie können zwei QQ-Diagramme nicht vergleichen, aber Sie erhalten einen quantitativen Unterschied, wenn Sie den KS-Test verwenden. Es ist eine falsche Bezeichnung, dass der p-Wert des KS-Tests falsch ist. Es ist auch falsch, dass der empirische Datensatz nicht zum Extrahieren von Verteilungsparametern verwendet werden kann. Ich habe persönlich Bootstrapping durchgeführt und mit p-Werten mit beiden Tabellen und der manuell berechneten Kolomogrov-Verteilung verifiziert.
Murugesan Narayanaswamy
Ihr Kommentar enthält viel Schattenboxen. Wer argumentiert, dass Sie empirische Daten nicht verwenden können, um Parameterschätzungen zu erhalten? Darin sollten wir uns alle einig sein, dass hier gehandelt wird. Sie müssen mir verzeihen, dass ich keine Diskussion führen möchte. Ich stehe zu meiner Reaktion auf Ihre Antwort.
Nick Cox