Ist der Shapiro Wilk Test W eine Effektgröße?

8

Ich möchte vermeiden, Normalitätstests zu missbrauchen, bei denen eine ausreichend große Stichprobe eine leichte Nichtnormalität hervorhebt. Ich möchte sagen können, dass eine Verteilung "normal genug" ist.

Wenn die Population nicht normal ist, tendiert der p-Wert für den Shapiro-Wilk-Test mit zunehmender Stichprobengröße gegen 0. Der p-Wert ist nicht hilfreich bei der Entscheidung, ob eine Verteilung "normal genug" ist.

Ich denke, eine Lösung wäre, die Effektgröße der Nichtnormalität zu messen und alles abzulehnen, was nicht normaler als ein Schwellenwert ist.

Der Shapiro Wilk Test erzeugt eine Teststatistik . Ist dies eine Möglichkeit, die Effektgröße der Nichtnormalität zu messen?W

Ich habe dies in R getestet, indem ich einen Shapiro-Wilk-Test an Proben durchgeführt habe, die aus einer gleichmäßigen Verteilung entnommen wurden. Die Anzahl der Proben lag im Bereich von 10 bis 5000, die Ergebnisse sind unten aufgetragen. Der Wert von W konvergiert gegen eine Konstante, er tendiert nicht gegen . Ich bin mir nicht sicher, ob für kleine Stichproben voreingenommen ist, es scheint für kleine Stichprobengrößen niedrig zu sein. Wenn eine voreingenommene Schätzung der Effektgröße ist, könnte dies ein Problem sein, wenn ich etwas unter als "normal genug" akzeptieren möchte .1WWW=0.1

Meine zwei Fragen sind:

  1. Ist ein Maß für die Effektgröße der Nichtnormalität?W

  2. Ist für kleine Stichprobengrößen voreingenommen?W

Handlung

hypothesis-testing normality-assumption effect-size Hugh
quelle

Antworten:

2

Wie Sie wissen, ist eine Teststatistik. In den meisten Fällen (alle konsistenten Tests) ist eine Teststatistik kein geeigneter Effektschätzer, da die Statistik die Stichprobengröße widerspiegelt, während der Effektschätzer davon unabhängig sein muss. Stellen Sie sich einen asymptotischen Test vor, um den Mittelwert Null unter dem zentralen Grenzwertsatz zu testen: Die ungefähre Verteilung ist für alle , sodass die Teststatistik sogar alle Informationen über die Stichprobengröße enthält. Das macht die Teststatistik als Effektschätzer ungeeignet.Wn

Für ist es ähnlich (obwohl die ungefähre Verteilung auch von der Stichprobengröße abhängt). Die Untergrenze für ist , wobei von der Erwartung für die Statistik kleinster Ordnung abhängt.WWa12n(n−1)a1

Also nein, es ist überhaupt kein geeigneter Effektschätzer.

Ich glaube, Sie sind sich noch nicht sicher, wonach Sie suchen, da der Begriff "Effekt" etwas schwieriger ist als in der üblichen parametrischen Welt eindimensionaler Parameter. Hier ist der rohe Effekt, nicht normal verteilt zu sein, unendlich dimensional: Jede messbare Teilmenge von kann eine andere Wahrscheinlichkeit haben als das Normalverteilungsmodell. Für einen eindimensionalen Effekt müssen Sie ihn irgendwie gewichten und sich der Konsequenzen verschiedener Gewichte für Ihre beabsichtigte Anwendung bewusst sein. Auf diese Weise würden Sie entscheiden, ob z. B. eine bestimmte bimodale Verteilung mit Gaußschen Schwänzen normaler ist als eine bestimmte unimodale Verteilung mit schweren Schwänzen. Tatsächlich könnte der Handel des Schwanzverhaltens gegen das Nicht-Schwanzverhalten die relevanteste Frage sein, um einen geeigneten Effekt zu erfinden.R

Dann ist es viel einfacher, einen Schätzer für diesen bestimmten Effekt zu finden.

Horst Grünbusch
quelle
2
Ich glaube nicht, dass der Shapiro-Wilk-Test Schiefe und Kurtosis als solche "betrachtet"; Es basiert auch nicht auf und kann gerne nicht normale Fälle ablehnen, die zufällig die gleiche Schiefe und Kurtosis wie die normale aufweisen (für die ein Test, der nur auf Schiefe und Kurtosis basiert, unempfindlich wäre).
Glen_b -Reinstate Monica
Richtig, danke, ich habe in meinem Gedächtnis verwirrt, was Shapiro und Wilk auf Seite 593 geschrieben haben. Nicht normale Schiefe und Kurtosis werden erkannt. Es wird nicht gesagt, dass Nichtnormalität nicht erkannt wird, wenn Schiefe und Kurtosis normal sind. Der Effekt ist noch "nichtparametrischer".
Horst Grünbusch
Ich bin mir nicht sicher über deine Argumentation. Zum Testen von für eine Normalverteilung ist die Effektgröße , die Schätzung der Effektgröße konvergiert mit zunehmender Stichprobengröße. Die Teststatistik lautet und unterscheidet sich hinsichtlich der Stichprobengröße. Wir könnten die Teststatistik neu definieren als und dann die Stichprobengröße bei der Berechnung des p-Werts berücksichtigen. Das war mein Verständnis vonμ=0μσx¯nsx¯sW , es konvergiert zu einem einzigen Wert für große Stichprobengrößen, was darauf hindeutet, dass es unabhängig von der Stichprobengröße ist, aber die Berechnung vonpberücksichtigt die Stichprobengröße.
Hugh
1
Vielleicht muss man zuerst definieren, was ein Effekt ist. W ist ein konsistenter Schätzer für seine asymptotischen Erwartungswerte (was ihn für einen konsistenten Test geeignet macht), aber die Erwartung selbst scheint davon abzuhängen n(Lemma 4). Also entwederWist kein Effektschätzer oder voreingenommen. Ich gehe davon aus, dass ein Effekt auf die Verteilungen definiert werden muss, nicht auf die Stichprobengröße, und ja, die unendliche Stichprobengröße ist auch eine Stichprobengröße.
Horst Grünbusch