Äquivalenztests für nicht normale Daten?

Ich habe einige Daten, von denen ich nicht unbedingt annehmen kann, dass sie aus Normalverteilungen stammen, und ich möchte Äquivalenztests zwischen Gruppen durchführen. Für normale Daten gibt es Techniken wie TOST (zwei einseitige T-Tests). Gibt es etwas Analoges zu TOST für nicht normale Daten?

Die Logik der TOST eingesetzt für Wald-Typ t und z Teststatistiken (dh $\theta / s_{\theta}$ und $\theta / \sigma_{\theta}$ bezeichnet) kann auf die aufgetragen werden z für nicht - parametrische Tests wie das Zeichen, Zeichen Rang und Rangsummentests Annäherungen. Der Einfachheit halber gehe ich davon aus, dass die Äquivalenz symmetrisch mit einem einzelnen Term ausgedrückt wird, aber die Erweiterung meiner Antwort auf asymmetrische Äquivalenzterme ist unkompliziert.

Ein Problem, das dabei auftritt, ist, dass, wenn man es gewohnt ist, den Äquivalenzterm (z. B. $\Delta$ ) in denselben Einheiten wie $\theta$ auszudrücken, der Äquivalenzterm in Einheiten des jeweiligen Vorzeichens, des vorzeichenbehafteten Ranges oder Ranges ausgedrückt werden muss Summenstatistik, die sowohl abstrus als auch von N abhängig ist .

Man kann jedoch auch TOST-Äquivalenzterme in Einheiten der Teststatistik selbst ausdrücken. Man bedenke , dass in TOST, wenn $z = \theta/\sigma_{\theta}$ , dann $z_{1} = (\Delta - \theta)/\sigma_{\theta}$ und $z_{2} = (\theta + \Delta)/\sigma_{\theta}$ . Wenn wir $\varepsilon = \Delta / \sigma_{\theta}$ , dann ist $z_{1} = \varepsilon - z$ und $z_{2} = z + \varepsilon$ . (Die hier ausgedrückten Statistiken werden beide imrechtenSchwanzausgewertet:$p_{1} = \text{P}(Z > z_{1})$ und$p_{2} = \text{P}(Z > z_{2})$ .) Die Verwendung von Einheiten derz-Verteilung zur Definition der Äquivalenz- / Relevanzschwelle kann für nichtparametrische Tests vorzuziehen sein, da die Alternative den Schwellenwert in Einheiten von vorzeichenbehafteten Rängen oder Rangsummen definiert, was für Forscher im Wesentlichen bedeutungslos und schwer zu interpretieren sein kann.

Wenn wir erkennen, dass es (für symmetrische Äquivalenzintervalle) nicht möglich ist, eine TOST-Nullhypothese abzulehnen, wenn $\varepsilon \le z_{1-\alpha}$ , können wir entsprechend Entscheidungen über die geeignete Größe des Äquivalenzterms treffen. Zum Beispiel ist $\varepsilon = z_{1-\alpha} + 0.5$ .

Dieser Ansatz wurde mit Optionen zur Kontinuitätskorrektur usw. im Paket tost für Stata implementiert (das jetzt spezifische TOST-Implementierungen für die Shapiro-Wilk- und Shapiro-Francia-Tests enthält), auf die Sie zugreifen können, indem Sie Stata eingeben:

Bearbeiten: Warum die Logik von TOST solide ist und Äquivalenztestformationen auf Sammeltests angewendet wurden, hat mich überzeugt, dass meine Lösung auf einem tiefen Missverständnis der ungefähren Statistiken für die Shapiro-Wilk- und Shapiro-Francia-Tests beruhte

Es ist kein TOST an sich, aber der Komolgorov-Smirnov-Test ermöglicht es, die Signifikanz des Unterschieds zwischen einer Stichprobenverteilung und einer zweiten Referenzverteilung, die Sie angeben können, zu testen. Sie können diesen Test verwenden, um eine bestimmte Art unterschiedlicher Verteilung auszuschließen, jedoch nicht unterschiedliche Verteilung im Allgemeinen (zumindest nicht ohne Kontrolle der Fehlerinflation über Tests aller möglichen Alternativen hinweg ... wenn dies selbst irgendwie möglich ist). Die alternative Hypothese für einen Test bleibt wie üblich die weniger spezifische "Catch-All" -Hypothese.

Wenn Sie sich mit einem Test der Verteilungsunterschiede zwischen zwei Gruppen zufrieden geben können, bei dem die Nullhypothese lautet, dass die beiden Gruppen gleich verteilt sind, können Sie den Komolgorov-Smirnov-Test verwenden, um die Verteilung einer Gruppe mit der der anderen Gruppe zu vergleichen. Dies ist wahrscheinlich der herkömmliche Ansatz: Ignorieren Sie die Unterschiede, wenn sie statistisch nicht signifikant sind, und begründen Sie diese Entscheidung mit einer Teststatistik.

In jedem Fall möchten Sie möglicherweise einige tiefere Aspekte berücksichtigen, die sich aus dem "Alles-oder-Nichts" -Ansatz zur Ablehnung einer Nullhypothese ergeben. Ein solches Problem ist hier bei Cross Validated sehr beliebt: " Ist Normalitätstest 'im Wesentlichen nutzlos'? " Die Leute beantworten Fragen zum Normalitätstest gerne mit der Frage: "Warum möchten Sie dies testen?" Ich gehe davon aus, dass die Absicht im Allgemeinen darin besteht, den Grund für das Testen ungültig zu machen, was letztendlich in die richtige Richtung führen kann. Der Kern nützlicher Antworten auf die Frage, die ich hier verlinkt habe, scheint wie folgt zu sein:

1. Wenn Sie über Verstöße gegen parametrische Testannahmen besorgt sind, sollten Sie nur einen nichtparametrischen Test finden, der stattdessen keine Verteilungsannahmen trifft. Testen Sie nicht, ob Sie den nichtparametrischen Test verwenden müssen. benutze es einfach!
2. Sie sollten die Frage "Ist meine Verteilung signifikant nicht normal?" Ersetzen. mit: "Wie ungewöhnlich ist meine Verteilung und wie wirkt sich dies wahrscheinlich auf meine interessierenden Analysen aus?" Zum Beispiel können Tests bezüglich der zentralen Tendenz (insbesondere mit Mitteln) empfindlicher gegenüber Schiefe als gegenüber Kurtosis sein und umgekehrt für Tests bezüglich (Co-) Varianz. Dennoch gibt es robuste Alternativen für die meisten Analysezwecke, die für beide Arten von Nichtnormalität nicht sehr empfindlich sind.

Wenn Sie dennoch einen Äquivalenztest durchführen möchten, finden Sie hier eine weitere beliebte Diskussion zu Cross Validated , die Äquivalenztests umfasst.

Äquivalenz können wir niemals testen . Denken Sie an die Hypothese: $\mathcal{H}_0: f_x \ne f_y$$\mathcal{H}_1: f_x = f_y$$\mathcal{H}_0$$f_x \sim \mathcal{N}(0, 1)$$\hat{f}_x$$\hat{f}_y$$X=Y$$f_y \approx f_x$

$\mathcal{H}_0$$\mathcal{H}_1$

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

gibt

> mean(p)
[1] 0.034

$p$

Auf der anderen Seite, wenn wir nehmen:

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  x <- x + 0.4*g
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

Gibt:

> mean(p)
[1] 0.437

Wie bei NHST gibt es subtile Probleme in Bezug auf Leistung und falsch positive Fehlerraten, die mit der Simulation untersucht werden sollten, bevor endgültige Schlussfolgerungen gezogen werden.

Ich denke, eine ähnliche (vielleicht allgemeinere) Methode verwendet Bayes'sche Statistiken, um den nach beiden Wahrscheinlichkeitsmodellen geschätzten posterioren Wert zu vergleichen.