Wie teste ich die Hypothese, dass es keine Gruppenunterschiede gibt?

Stellen Sie sich vor, Sie haben eine Studie mit zwei Gruppen (z. B. Männer und Frauen), die sich mit einer numerisch abhängigen Variablen (z. B. Intelligenztestergebnisse) befassen, und Sie haben die Hypothese, dass es keine Gruppenunterschiede gibt.

Frage:

• Was ist ein guter Weg, um zu testen, ob es keine Gruppenunterschiede gibt?
• Wie würden Sie die Stichprobengröße bestimmen, die für einen angemessenen Test auf keine Gruppenunterschiede erforderlich ist?

Erste Gedanken:

• Es würde nicht ausreichen, einen Standard-t-Test durchzuführen, da ein Versagen, die Nullhypothese abzulehnen, nicht bedeutet, dass der interessierende Parameter gleich oder nahe Null ist. Dies ist insbesondere bei kleinen Proben der Fall.
• Ich könnte das 95% -Konfidenzintervall betrachten und prüfen, ob alle Werte in einem ausreichend kleinen Bereich liegen. vielleicht plus oder minus 0,3 Standardabweichungen.

Ich denke, Sie fragen nach einer Prüfung auf Gleichwertigkeit . Im Wesentlichen müssen Sie entscheiden, wie groß der Unterschied sein darf, um zu dem Schluss zu gelangen, dass die beiden Gruppen tatsächlich gleichwertig sind. Diese Entscheidung definiert die 95% (oder andere) Konfidenzintervallgrenzen, und auf dieser Grundlage werden Stichprobengrößenberechnungen durchgeführt.

Es gibt ein ganzes Buch zum Thema.

Ein weit verbreitetes klinisches "Äquivalent" von Äquivalenztests ist ein Nicht-Minderwertigkeitstest / -versuch . In diesem Fall "bevorzugen" Sie eine Gruppe gegenüber der anderen (eine etablierte Behandlung) und entwerfen Ihren Test, um zu zeigen, dass die neue Behandlung der etablierten Behandlung auf einer bestimmten Ebene der statistischen Evidenz nicht unterlegen ist.

Ich glaube, ich muss Harvey Motulsky die GraphPad.com- Site (unter "Bibliothek" ) gutschreiben .

Neben der bereits erwähnten Möglichkeit einer Art Äquivalenzprüfung , von der die meisten nach meiner Kenntnis in der guten alten frequentistischen Tradition durchgeführt werden, besteht die Möglichkeit, Prüfungen durchzuführen, die tatsächlich eine Quantifizierung der Evidenz liefern zugunsten eines null-hyptheses, nämlich bayesianische tests .

Eine Implementierung eines Bayes'schen T-Tests finden Sie hier: Wetzels, R., Raaijmakers, JGW, Jakab, E. & Wagenmakers, E.-J. (2009). Quantifizierung der Unterstützung für und gegen die Nullhypothese: Eine flexible WinBUGS-Implementierung eines Standard-Bayes-T-Tests. Psychonomic Bulletin & Review, 16, 752-760.

Es gibt auch ein Tutorial, wie man das alles in R macht:

http://www.ruudwetzels.com/index.php?src=SDtest

Eine Alternative (vielleicht modernere Herangehensweise) eines Bayes'schen T-Tests (mit Code) wird in diesem Artikel von Kruschke bereitgestellt:

Kruschke, JK (2013). Die Bayes'sche Schätzung ersetzt den t-Test . Journal of Experimental Psychology: General , 142 (2), 573–603. doi: 10.1037 / a0029146

Alle Requisiten für diese Antwort (vor der Hinzufügung von Kruschke) sollten an meinen Kollegen David Kellen gehen. Ich habe seine Antwort von dieser Frage gestohlen .

Nach Thylacoleos Antwort habe ich ein wenig recherchiert.

Das Äquivalenzpaket in R hat die tost()Funktion.

Siehe Robinson und Frose (2004) " Modellvalidierung unter Verwendung von Äquivalenztests " für weitere Informationen.

Es gibt ein paar Papiere, von denen ich weiß, dass sie für Sie hilfreich sein könnten:

Tryon, WW (2001). Bewertung der statistischen Differenz, Äquivalenz und Unbestimmtheit unter Verwendung von Konfidenzintervallen: Eine integrierte alternative Methode zur Durchführung statistischer Nullhypothesentests. Psychological Methods, 6, 371 & ndash; 386. ( KOSTENLOSES PDF )

Und eine Korrektur:
Tryon, WW & Lewis, C. (2008). Eine Inferenz-Konfidenzintervall-Methode zur Ermittlung der statistischen Äquivalenz zur Korrektur des Tryon-Reduktionsfaktors (2001). Psychological Methods, 13, 272 & ndash; 278. ( KOSTENLOSES PDF )

Außerdem:

Seaman, MA & amp; Serlin, RC (1998). E Quivalenz-Konfidenzintervalle für Mittelwertvergleiche in zwei Gruppen . Psychological Methods, Band 3 (4), 403 & ndash; 411.

Ich habe kürzlich über einen alternativen Weg des "Äquivalenztests" nachgedacht, der auf einem Abstand zwischen den beiden Verteilungen und nicht zwischen ihren Mitteln basiert .

Es gibt einige Methoden, die Konfidenzintervalle für die Überlappung von zwei Gaußschen Verteilungen bereitstellen :

Die Überlappung von (zwischen?) Zwei Verteilungen und hat eine schöne probabilistische Interpretation: wobeiist der Gesamtabstand zwischen und .$O(P_1,P_2)$$P_1$$P_2$

Das heißt, wenn beispielsweise dann unterscheiden sich die Wahrscheinlichkeiten, die durch und eines Ereignisses gegeben sind, nicht mehr als . Grob gesagt ergeben die beiden Verteilungen die gleichen Vorhersagen von bis zu .$O(P_1,P_2)>0.9$$P_1$$P_2$$0.1$$10\%$

Anstatt also ein Akzeptanzkriterium zu verwenden, das auf einem kritischen Wert für die Differenz zwischen den Mittelwerten und basiert , wie bei der klassischen Äquivalenzprüfung, könnten wir es auf einen kritischen Wert für die Differenz zwischen den Wahrscheinlichkeiten der Vorhersagen von stützen die zwei Distributionen.$\mu_1$$\mu_2$

Ich denke, es gibt einen Vorteil in Bezug auf die "Objektivität" des Kriteriums. Der kritische Wert vonsollte von einem Experten für das eigentliche Problem angegeben werden: Dies sollte ein Wert sein, ab dem der Unterschied eine praktische Bedeutung hat. Aber manchmal hat niemand ein solides Wissen über das eigentliche Problem und es gibt keinen Experten, der einen kritischen Wert liefern kann. Das Annehmen eines herkömmlichen kritischen Wertes für das könnte ein Weg zu einem Kriterium sein, das nicht von dem betrachteten physikalischen Problem abhängt.$|\mu_1 - \mu_2|$$TV(P_1,P_2)$

Im Gaußschen Fall mit gleichen Varianzen ist die Überlappung eins zu eins bezogen auf die standardisierte mittlere Differenz .$\frac{|\mu_1-\mu_2|}{\sigma}$

In den medizinischen Wissenschaften ist es vorzuziehen, einen Konfidenzintervallansatz zu verwenden, im Gegensatz zu zwei einseitigen Tests (tost). Ich empfehle auch, die Punktschätzungen, die CIs und die vorher festgelegten Äquivalenzspannen grafisch darzustellen, um die Dinge sehr klar zu machen.

Ihre Frage würde wahrscheinlich von einem solchen Ansatz behandelt werden.

Die CONSORT-Richtlinien für Nichtunterlegenheits- / Äquivalenzstudien sind in dieser Hinsicht sehr nützlich.

Siehe Piaggio G, Elbourne DR, Altman DG, Pocock SJ, Evans SJ und CONSORT Group. Berichterstattung über randomisierte Studien mit Nichtunterlegenheit und Äquivalenz: eine Erweiterung der CONSORT-Erklärung. JAMA. 2006, 8. März; 295 (10): 1152 & ndash; 60. (Link zum Volltext.)

Ja. Dies ist eine Äquivalenzprüfung. Grundsätzlich kehren Sie die Null- und Alternativhypothese um und stützen die Stichprobengröße auf die Potenz, um zu zeigen, dass die Differenz der Mittelwerte innerhalb des Äquivalenzfensters liegt. Blackwelder nannte es "Beweisen der Nullhypothese". Dies wird üblicherweise in pharmazeutischen klinischen Studien durchgeführt, in denen die Gleichwertigkeit eines Generikums mit dem vermarkteten Medikament getestet oder ein zugelassenes Medikament mit einer neuen Formulierung verglichen wird (häufig als Bioäquivalenz bezeichnet). Die einseitige Version heißt Nicht-Minderwertigkeit. Manchmal kann ein Medikament genehmigt werden, indem nur gezeigt wird, dass das neue Medikament dem vermarkteten Wettbewerber nicht unterlegen ist. Shao und Pigeot haben einen konsistenten Bootstrap-Ansatz für die Bioäquivalenz unter Verwendung von Crossover-Designs entwickelt.

Bootstrap-Unterschiede (z. B. die Differenz zwischen den Mittelwerten) zwischen den beiden Stichprobengruppen und Überprüfung auf statistische Signifikanz. Eine detailliertere Beschreibung dieses Ansatzes, wenn auch in einem anderen Kontext, finden Sie hier: http://www.automated-trading-system.com/a-different-application-of-the-bootstrap/