Robuster T-Test für den Mittelwert

17

Ich versuche, die Null gegen die lokale Alternative für eine Zufallsvariable zu testen, die einem leichten bis mittleren Versatz und einer Kurtosis der Zufallsvariablen unterliegt. Gemäß den Vorschlägen von Wilcox in "Einführung in die robuste Schätzung und das Testen von Hypothesen" habe ich Tests untersucht, die auf dem getrimmten Mittelwert, dem Median sowie dem M-Schätzer der Position basieren (Wilcox '"One-Step" -Verfahren). Diese robusten Tests übertreffen den Standard-T-Test in Bezug auf die Leistung, wenn sie mit einer Verteilung getestet werden, die nicht verzerrt, aber leptokurtotisch ist. $E[X] = 0$ $E[X] > 0$ $X$

Wenn jedoch mit einer Verteilung getestet wird, die schief ist, sind diese einseitigen Tests unter der Nullhypothese entweder viel zu liberal oder viel zu konservativ, je nachdem, ob die Verteilung links- oder rechtsversetzt ist. Beispiel: Bei 1000 Beobachtungen wird der auf dem Median basierende Test in etwa 40% der Fälle bei einem nominalen Wert von 5% zurückgewiesen. Der Grund dafür liegt auf der Hand: Bei verzerrten Verteilungen sind der Median und der Mittelwert ziemlich unterschiedlich. In meiner Anwendung muss ich jedoch unbedingt den Mittelwert testen, nicht den Median, nicht den getrimmten Mittelwert.

Gibt es eine robustere Version des T-Tests, die tatsächlich den Mittelwert ermittelt, aber unempfindlich gegen Schräglauf und Kurtosis ist?

Im Idealfall würde das Verfahren auch im Fall von No-Skew-Hochkurtose gut funktionieren. Der Ein-Schritt-Test ist fast ausreichend, wobei der Biegeparameter relativ hoch eingestellt ist. Er ist jedoch weniger leistungsfähig als der getrimmte Durchschnittstest, wenn kein Versatz vorliegt, und es treten einige Probleme auf, die nominelle Ausschussmenge unter dem Versatz beizubehalten .

Hintergrund: Der Grund, warum mir der Mittelwert und nicht der Median wirklich am Herzen liegt, ist, dass der Test in einer Finanzanwendung verwendet wird. Wenn Sie beispielsweise testen möchten, ob ein Portfolio positive erwartete Protokollrenditen aufweist, ist der Mittelwert tatsächlich angemessen, da Sie bei einer Investition in das Portfolio alle Renditen (dh das Mittel multipliziert mit der Anzahl der Stichproben) anstelle von erzielen Duplikate des Medians. Das heißt, mir ist die Summe von Zügen aus dem RV wichtig . $n$ $n$ $X$

hypothesis-testing t-test finance robust shabbychef
quelle

Gibt es einen Grund, der die Verwendung des Welch-T-Tests verbietet? Schauen Sie sich meine Antwort auf diese Frage an ( stats.stackexchange.com/questions/305/… ), in der ich mich auf ein Papier beziehe, das die Verwendung von Welch im Falle von Nichtnormalität und Heteroskedastizität befürwortet.

Henrik

1

Nun, das Problem ist, dass ich einen 1-Stichproben-Test möchte, keinen 2-Stichproben-Test! Ich teste die Null

und nicht

. Ich werde den Kubinger et. al., paper (Ich kann schlecht Deutsche).

E [X] = μ

$E[X] = \mu$

E [X_{1}] = E [X_{2}]

$E[X_1] = E[X_2]$

Shabbychef

Danke fürs klarstellen. In diesem Fall ist das Kubinger-Papier für Sie nicht sehr hilfreich. Tut mir leid.

Henrik

5

Warum betrachten Sie nichtparametrische Tests? Werden die Annahmen des T-Tests verletzt? Nämlich ordinale oder nicht normale Daten und inkonstante Abweichungen? Wenn Ihre Stichprobe groß genug ist, können Sie natürlich den parametrischen t-Test mit seiner größeren Leistung trotz des Mangels an Normalität in der Stichprobe rechtfertigen. Ebenso gibt es bei ungleichen Varianzen Korrekturen am Parametertest, die genaue p-Werte ergeben (die Welch-Korrektur).

Andernfalls ist der Vergleich Ihrer Ergebnisse mit dem T-Test keine gute Methode, da die T-Testergebnisse verzerrt sind, wenn die Annahmen nicht erfüllt werden. Das Mann-Whitney U ist eine geeignete nicht-parametrische Alternative, wenn Sie das wirklich brauchen. Sie verlieren nur dann an Leistung, wenn Sie den nicht parametrischen Test verwenden, wenn Sie den t-Test zu Recht verwenden können (da die Annahmen erfüllt sind).

Und nur für ein paar Hintergrundinformationen, gehen Sie hier ...

http://www.jerrydallal.com/LHSP/STUDENT.HTM

Brett
quelle

Die Daten sind definitiv nicht normal. Die überschüssige Kurtosis liegt in der Größenordnung von 10 bis 20, die Abweichung in der Größenordnung von -0,2 bis 0,2. Ich mache einen 1-Stichproben-T-Test, daher bin ich mir nicht sicher, ob ich Ihnen in Bezug auf "ungleiche Varianzen" oder den U-Test folge.

Shabbychef

Ich akzeptiere den Hinweis "Verwenden Sie einen parametrischen Test". es löst meine Frage nicht genau, aber meine Frage war wahrscheinlich zu offen.

Shabbychef

12

Ich stimme zu, dass Sie keinen nichtparametrischen Test verwenden möchten, der eine andere Hypothese testet, wenn Sie tatsächlich testen möchten, ob die Gruppenmittelwerte unterschiedlich sind (im Gegensatz zum Testen von Unterschieden zwischen Gruppenmedianen oder getrimmten Mittelwerten usw.).

Im Allgemeinen sind p-Werte aus einem t-Test bei moderaten Abweichungen von der Annahme der Normalität von Residuen eher genau. Schauen Sie sich dieses Applet an, um eine Vorstellung von dieser Robustheit zu erhalten: http://onlinestatbook.com/stat_sim/robustness/index.html
Wenn Sie immer noch über die Verletzung der Normalitätsannahme besorgt sind, möchten Sie möglicherweise einen Bootstrap durchführen . Beispiel: http://biostat.mc.vanderbilt.edu/wiki/pub/Main/JenniferThompson/ms_mtg_18oct07.pdf
Sie können auch die verzerrte abhängige Variable transformieren , um Probleme mit Abweichungen von der Normalität zu beheben.

Jeromy Anglim
quelle

2

+1 schöne und klare Antwort. Jeromy, kann ich eine Frage zu Punkt 3 stellen? Ich verstehe die Gründe für die Umwandlung der Daten, aber es hat mich immer gestört, dies zu tun. Welche Gültigkeit hat es, die Ergebnisse des T-Tests für die transformierten Daten an die nicht transformierten Daten weiterzugeben (wenn Sie keinen T-Test "durchführen" dürfen)? Mit anderen Worten, wenn zwei Gruppen unterschiedlich sind, wenn Daten zum Beispiel log-transformiert werden, auf welcher Grundlage können Sie dann auch sagen, dass die Rohdaten unterschiedlich sind? Ich bin kein Statistiker, also habe ich vielleicht nur etwas absolut Dummes gesagt :)

nico

2

@nico Ich bin mir nicht sicher, wie ich die Ergebnisse melden oder darüber nachdenken soll, aber wenn Sie nur zeigen möchten, dass für einige X und Y mu_X! = mu_Y gilt, dass für alle X_i <X_j, log ( X_i) <log (X_j) und für alle X_i> X_j, log (X_i)> log (X_j). Aus diesem Grund haben Transformationen der Daten bei nicht parametrischen Tests, die mit Rängen arbeiten, keinen Einfluss auf das Ergebnis. Ich denke aus diesem Grund kann man annehmen, dass wenn ein Test zeigt, dass mu_log (X)! = Mu_log (Y), dann mu_X! = Mu_Y.

JoFrhwld

Danke für die Antwort (en). in der Tat scheint der t-Test die nominelle Typ I-Rate unter leicht verzerrten / kurtotischen Eingaben beizubehalten. Ich hatte jedoch auf etwas mit mehr Kraft gehofft. Betreff: 2, ich habe Wilcox implementiert trimpbund trimcibt, aber sie sind etwas zu langsam, um meine Leistungstests durchzuführen, zumindest für meinen Geschmack. Betreff: 3, ich hatte über diese Methode nachgedacht, aber ich interessiere mich für den Mittelwert der nicht transformierten Daten (dh ich vergleiche nicht 2 RVs mit einem t-Test, in welchem Fall eine monotone Transformation in Ordnung wäre ein rangbasierter Vergleich, wie von @JoFrhwld notiert.)

shabbychef

2

@nico Wenn die Bevölkerungsverteilung der Residuen in zwei Gruppen gleich ist, dann stelle ich mir vor, dass es zu jeder Zeit einen Unterschied in der rohen Bevölkerungsgruppe gibt, was bedeutet, dass es auch Unterschiede in den Gruppenmitteln einer ordnungserhaltenden Transformation geben würde. Die p-Werte und Konfidenzintervalle ändern sich jedoch in der Regel geringfügig, je nachdem, ob Sie Rohdaten oder transformierte Daten verwenden. Im Allgemeinen bevorzuge ich Transformationen, wenn sie als aussagekräftige Metrik für das Verständnis der Variablen erscheinen (z. B. Richterskala, Dezibel, Zählprotokolle usw.).

Jeromy Anglim

3

Johnson (1978) gibt eine Modifikation für die $t$ -Statistik- und Konfidenzintervalle, die ein guter Ausgangspunkt für mein Problem sind. Die Korrektur basiert auf einer Cornish-Fisher-Erweiterung und verwendet einen Stichprobenversatz.

Das 'Neueste und Größte' geht auf Ogaswara zurück , mit Hinweisen auf Hall und andere.

shabbychef
quelle

0

Ich habe nicht genug Reputation für einen Kommentar, also als Antwort: Schauen Sie sich diese Berechnung an. Ich denke, das ist eine hervorragende Antwort. In Kürze:

Die asymptotische Leistung ist viel empfindlicher für Abweichungen von der Normalität in Form von Schiefe als in Form von Kurtosis. Daher ist der Student-T-Test empfindlich gegen Schiefe, aber relativ robust gegen schwere Schwänze, und es ist vernünftig, einen Test für zu verwenden Normalität, die auf Versatzalternativen abzielt, bevor der t-Test angewendet wird.

Christoph
quelle

Robuster T-Test für den Mittelwert

Antworten: