Kann ich Kolmogorov-Smirnov-Test verwenden und Verteilungsparameter schätzen?

14

Ich habe gelesen, dass der Kolmogorov-Smirnov-Test nicht zum Testen der Anpassungsgüte einer Verteilung verwendet werden sollte, deren Parameter anhand der Stichprobe geschätzt wurden.

Ist es sinnvoll, meine Stichprobe in zwei Teile zu teilen und die erste Hälfte für die Parameterschätzung und die zweite für den KS-Test zu verwenden?

Danke im Voraus

sortega
quelle
1
Gegen welche Distribution möchten Sie testen und warum?
gung - Wiedereinsetzung von Monica
Ich vermute, dass die Daten einer Exponentialverteilung folgen.
Sortega

Antworten:

13

Der bessere Ansatz besteht darin, Ihren kritischen Wert des p-Werts durch Simulation zu berechnen. Das Problem ist, dass die Verteilung der KS-Statistik nicht der Nullverteilung folgt, wenn Sie die Parameter anhand der Daten schätzen, anstatt hypothetische Werte zu verwenden.

Sie können stattdessen die p-Werte aus dem KS-Test ignorieren und stattdessen eine Reihe von Datensätzen aus der Kandidatenverteilung (mit einem aussagekräftigen Satz von Parametern) simulieren, die dieselbe Größe haben wie Ihre realen Daten. Schätzen Sie dann für jeden Satz die Parameter und führen Sie den KS-Test mit den geschätzten Parametern durch. Ihr p-Wert ist der Anteil der Teststatistiken aus den simulierten Sätzen, der extremer ist als für Ihre Originaldaten.

Greg Snow
quelle
2
Ich finde die Lösung etwas verwirrend (zumindest für mich); Was verstehen Sie unter "einem aussagekräftigen Parametersatz" für die Kandidatenverteilung? Sie kennen die Parameter der Kandidatenverteilung zunächst nicht. Woher wissen Sie, was ein "sinnvoller Parametersatz" ist?
Néstor
Sie können verschiedene Parametersätze ausprobieren, um festzustellen, ob dies einen Unterschied macht oder nicht (im Normalfall ist dies nicht der Fall, bei einigen Distributionen ist dies jedoch möglich). Denken Sie dann über die Wissenschaft nach, die hinter Ihren Daten steckt, oder sprechen Sie mit einem Experten auf dem Gebiet. Sie sollten in der Lage sein, eine allgemeine Vorstellung davon zu bekommen, wo Sie anfangen sollen. Ich weiß beispielsweise, wie hoch die durchschnittliche Größe erwachsener Männer in Nigeria ist, aber ich bin es ziemlich sicher, dass es positiv ist und weniger als 3 Meter.
Greg Snow
@GregSnow Ich bin auf diesen Beitrag gestoßen, da er für meine aktuelle Arbeit relevant ist. Ich habe mich gefragt, ob es eine theoretische Rechtfertigung für die von Ihnen vorgeschlagene Methode gibt. Das heißt, woher wissen wir, dass der vorgeschlagene "p-Wert" tatsächlich gleichmäßig von 0 auf 1 verteilt ist? Der vorgeschlagene p-Wert scheint nicht der herkömmliche p-Wert zu sein, da die Nullhypothese nun eine Reihe von Verteilungen ist
renrenthehamster
@renrenthehamster, Sie haben einen guten Punkt, deshalb habe ich vorgeschlagen, unter verschiedenen Bedingungen zu simulieren. Für einige Distributionen (ich würde das normale erwarten) wird es nicht viel ausmachen, aber andere erfordern möglicherweise unterschiedliche Grenzwerte für unterschiedliche wahre Parameterwerte. Wenn dies der Fall ist, muss der Benutzer (Sie) eine aussagekräftige Null zum Testen finden, die sowohl die Form der Verteilung als auch eine Menge oder einen Bereich von Parametern umfasst, mit denen Sie vertraut sind.
Greg Snow
1
@ LilyLong, Simulationen waren früher viel schwieriger und zeitaufwändiger, daher wurden die Tests so entwickelt, dass sie schneller und einfacher als Simulationen sind. Einige der frühen Tabellen wurden durch Simulationen erstellt. Viele Tests können jetzt problemlos durch Simulationen ersetzt werden, werden aber aufgrund von Tradition und Einfachheit wahrscheinlich noch eine Weile bei uns bleiben.
Greg Snow
7

Das Aufteilen von Stichproben kann möglicherweise das Problem mit der Verteilung der Statistik verringern, entfernt es jedoch nicht.

Ihre Idee vermeidet das Problem, dass die Schätzungen im Verhältnis zu den Bevölkerungswerten zu eng sind, da sie auf derselben Stichprobe basieren.

Sie vermeiden nicht das Problem, dass es sich immer noch um Schätzungen handelt. Die Verteilung der Teststatistik ist nicht tabellarisch.

In diesem Fall wird die Ablehnungsrate unter Null erhöht, anstatt sie dramatisch zu reduzieren.

Eine bessere Wahl ist ein Test, bei dem die Parameter nicht als bekannt vorausgesetzt werden, z. B. ein Shapiro Wilk.

Wenn Sie mit einem Kolmogorov-Smirnov-Test verheiratet sind, können Sie den Ansatz des Lilliefors-Tests wählen.

Das heißt, wenn Sie die KS-Statistik verwenden, aber die Verteilung der Teststatistik die Auswirkung der Parameterschätzung widerspiegeln soll, simulieren Sie die Verteilung der Teststatistik unter Parameterschätzung. (Es ist nicht mehr verteilungsfrei, daher benötigen Sie für jede Verteilung neue Tabellen.)

http://en.wikipedia.org/wiki/Lilliefors_test

Liliefors verwendete die Simulation für den Normalfall und den Exponentialfall, aber Sie können dies problemlos für jede bestimmte Verteilung tun. In so etwas wie R ist es nur eine Frage des Augenblicks, 10.000 oder 100.000 Stichproben zu simulieren und eine Verteilung der Teststatistik unter der Null zu erhalten.

[Eine Alternative könnte sein, den Anderson-Liebling in Betracht zu ziehen, der zwar das gleiche Problem hat, der aber nach dem Buch von D'Agostino und Stephens ( Goodness-of-Fit-Techniken ) weniger empfindlich dafür zu sein scheint. Sie könnten die Lilliefors-Idee anpassen, aber sie schlagen eine relativ einfache Anpassung vor, die ziemlich gut zu funktionieren scheint.]

Es gibt aber noch andere Ansätze; Es gibt zum Beispiel Familien von glatten Tests der Anpassungsgüte (siehe z. B. das Buch von Rayner und Best), die sich in einer Reihe spezifischer Fälle mit der Parameterschätzung befassen können.

* Der Effekt kann immer noch ziemlich groß sein - vielleicht größer, als normalerweise als akzeptabel angesehen würde. Momo ist zu Recht besorgt darüber. Wenn eine höhere Fehlerrate Typ I (und eine flachere Leistungskurve) ein Problem darstellt, ist dies möglicherweise keine Verbesserung!

Glen_b - Setzen Sie Monica wieder ein
quelle
1
Können Sie erklären, wie "die Aufteilung der Stichproben das Problem mit der Verteilung der Statistik lösen würde"? Meiner Meinung nach würden die Parameter aus einer Teilstichprobe geschätzt und dann für den KS-Test der zweiten Teilstichprobe eingesteckt, aber die Parameter würden immer noch mit Stichprobenfehlern in Verbindung gebracht, die in der Nullverteilung nicht berücksichtigt werden. Das klingt für mich so, als könnte man mit einer ähnlichen Idee eine Stichprobe von einer Normalverteilung trennen, Standardabweichungen in einer Teilstichprobe abschätzen und einen Mittelwertvergleich mit der Standardnormalen und nicht mit der t-Distanz in der zweiten Teilstichprobe durchführen.
Momo
1
@Momo "lösen" ist zu stark; "Reduzieren" ist besser. Wenn die Parameter anhand derselben Beobachtungen geschätzt werden, die Sie testen, sind - sofern Sie diesen Effekt nicht berücksichtigen - die Abweichungen der Stichprobe von der Verteilung zu gering - die Ablehnungsrate steigt waay nach unten. Die Verwendung eines anderen Samples entfernt diesen Effekt. Die aus der Schätzung einer zweiten Stichprobe resultierenden Parameterwerte leiden immer noch unter Stichprobenfehlern. Dies hat einige Auswirkungen auf den Test (erhöht die Fehlerrate von Typ I), hat jedoch nicht den dramatischen Verzerrungseffekt, den die Verwendung der gleichen Daten für beide hat.
Glen_b
@Momo Ich habe meinen Kommentar bearbeitet, um "lösen" zu entfernen und durch eine Erklärung zu ersetzen
Glen_b - Monica
5

Ich fürchte, das würde das Problem nicht lösen. Ich glaube, das Problem ist nicht, dass die Parameter aus derselben Stichprobe, sondern aus einer beliebigen Stichprobe geschätzt werden . Die Herleitung der üblichen Nullverteilung des KS-Tests berücksichtigt keine Schätzfehler in den Parametern der Referenzverteilung, sondern sieht diese als gegeben an. Siehe auch Durbin 1973, der diese Probleme ausführlich diskutiert und Lösungen anbietet.

Momo
quelle
1
Dies sind eigentlich zwei getrennte Probleme. Wenn Sie dieselben Daten verwenden, um die Parameter zu schätzen und den KS-Test durchzuführen, werden im Allgemeinen überhöhte p-Werte angezeigt, da Sie die Verteilung vor dem Testen im Wesentlichen an die Daten anpassen . Wenn Sie zwei unabhängige Sätze von Stichproben verwenden, ist dies jedoch nicht der Fall. Ungenaue Parameterschätzungen können jedoch die p-Werte verringern, die Sie in diesem Fall erhalten, da Sie jetzt im Wesentlichen gegen eine (leicht) falsche Verteilung testen .
fgp