In welchem ​​Artikel oder Buch heißt es eindeutig, dass geschützte T-Tests innerhalb der ANOVA-Probanden nicht verwendet werden können?

Ich wurde gebeten, bei einer Analyse T-Tests mit geschützten gepaarten Proben zu verwenden. Der Antragsteller gibt an, dass es keinen wirklichen Schutz vor der ANOVA gibt, wenn ich bei der Durchführung meiner T-Tests mit gepaarten Proben nicht die gesamte MSe aus meiner (1 Faktor mit vier Stufen) ANOVA innerhalb der Probanden verwende.

Soweit ich mich erinnere, ist dieses Verfahren in einer ANOVA zwischen Probanden nur dann vertretbar, wenn die Homogenität der Varianzannahme erfüllt ist. Es scheint eine wahrscheinliche Erweiterung der ANOVA innerhalb der Subjekte zu sein, dass dies nur zulässig ist, wenn keine Verletzung der Sphärizität vorliegt. Da dieser Datensatz Verstöße enthält, habe ich mich für die Huynh-Feldt-Korrektur für die Sphärizität entschieden. Unabhängig davon, ob ein solcher Ansatz antikonservativ erscheint, da er mehr Freiheitsgrade im Nenner bietet. Darüber hinaus heißt es in der Hilfedatei in R für pairwise.t.test, dass "Pooling nicht auf gepaarte Tests verallgemeinert wird".

Der Zweck meiner geplanten Vergleichstests besteht lediglich darin, die Unterschiede zwischen den Bedingungen zu identifizieren, die zu einer signifikanten ANOVA geführt haben. Ich möchte meine Gründe für die Ablehnung der Bündelung von Fehlervarianzen begründen können, kann jedoch kein Zitat finden, das eindeutig besagt, dass ein solcher Ansatz unangemessen ist. Kennt jemand einen? Oder warum ist mein Denken zu diesem Thema falsch?

Ich kenne kein Papier, das diese explizite Aussage macht, wahrscheinlich weil es an sich nicht ganz wahr ist.

Sie haben Recht, dass die Sphärizität erfüllt sein sollte. Aber Sie haben das Thema Sphärizität in Ihrer Frage vage gelassen, weil "erfüllt" schlecht definiert und etwas subjektiv ist. Mit nur 4 Levels haben Sie wahrscheinlich keine sehr großen Verstöße gegen die Sphärizität. Masson & Loftus (2003; Loftus & Masson, 1994) haben erwähnt, dass Sie sich an die Sphärizität halten sollten, bevor Sie gepoolte Maßnahmen in ähnlichen Situationen anwenden, wie Sie sie beschrieben und Richtlinien gegeben haben. aber es gibt keine feste Regel. Die Art der Vergleiche, die sie in diesen Papieren durchführen, entspricht T-Tests mit wiederholten Messungen in Bezug auf Leistung und Fehlerraten, daher sollten Sie sie sich ansehen.

Dann gibt es die ganze Frage, ob es in "geschützten" Tests Schutz vor einer signifikanten ANOVA gibt. Was angefordert wird, entspricht ziemlich genau dem geschützten niedrigstwertigen Unterschied (PLSD) von Fisher. Es wurde gezeigt, dass diese geschützten Tests im Allgemeinen nicht gegen Alpha-Inflation geschützt sind. Eine einfache Simulation einer 3-Level-ANOVA mit A1<A2und A2=A3zeigt eine höhere Wahrscheinlichkeit, A2-, A3-Unterschiede zu finden, als von Alpha unter Verwendung von PLSD erwartet. (Referenz entgeht mir ... aber nicht die Antwort, die Sie sowieso wollen)

Ihr Argument zu einzelnen Varianzen ist jedoch problematisch, da Sie häufig eine genauere Schätzung aus dem gepoolten Wert erhalten, auch wenn Homogenität oder Sphärizität nicht perfekt sind. Daher sollten Sie wahrscheinlich die gepoolte Varianz verwenden, obwohl die gesamte Idee des signifikanten F, das das Alpha schützt, fraglich ist. Sie haben kein Argument dafür vorgebracht, dass Sie durch Einzeltests mehr Schutz vor Alpha-Inflation erhalten.

Und mit all dem, was gesagt wurde ...

Ich bin mir nicht sicher, was Sie verteidigen wollen, einen Unterschied, den Sie gefunden haben oder einen, den Sie nicht gefunden haben. Egal, nicht. Wenn durch das Zusammenfassen der Varianz ein neuer Unterschied auftritt oder etwas verschwindet, melden Sie dies. Berichten Sie über Ihre Effektgrößen, Ihre Überzeugungen darüber, dass die Sphärizität nicht erreicht wird ... erzählen Sie einfach die ganze Geschichte. Sie sollten auch eine Aussage über die Macht machen, die Sie haben. In dem, was Sie vorgestellt haben, gibt es hier keinen festen Grund zu argumentieren, dass der Prüfer im allgemeinen Fall falsch liegt.