Sollte ich ein Argument angeben, um Quadratsummen vom Typ III in ezANOVA anzufordern?

16

Ich habe das ez-Paket für R entwickelt, um den Leuten den Übergang von Statistikpaketen wie SPSS zu R zu erleichtern. Dies wird (hoffentlich) dadurch erreicht, dass die Spezifikation verschiedener ANOVA-Aromen vereinfacht wird und eine SPSS-ähnliche Ausgabe (einschließlich Effektgrößen und -annahmen) bereitgestellt wird Tests), unter anderem. Die ezANOVA()Funktion dient hauptsächlich als Wrapper für car::Anova(), die aktuelle Version ezANOVA()implementiert jedoch nur Quadratsummen car::Anova()vom Typ II , während die Angabe von Quadratsummen vom Typ II oder -III zulässig ist. Wie ich möglicherweise hätte erwarten sollen, haben mehrere Benutzer darum gebeten, dass ich ein Argument vorbringeezANOVA()Damit kann der Benutzer Typ II oder Typ III anfordern. Ich habe mich zurückgehalten, dies zu tun und meine Argumentation im Folgenden zu skizzieren, aber ich würde es begrüßen, wenn die Community sich zu meiner oder einer anderen Argumentation äußern würde, die sich auf das Thema bezieht.

Gründe für die nicht ein „SS_type“ Argument einschließlich ezANOVA():

  1. Der Unterschied zwischen den Summenquadraten Typ I, II und III tritt nur auf, wenn die Daten nicht ausgeglichen sind. In diesem Fall würde ich sagen, dass die Verbesserung des Ungleichgewichts durch weitere Datenerfassung mehr Vorteile bringt als das Herumspielen mit der ANOVA-Berechnung.
  2. Der Unterschied zwischen Typ II und III gilt für Effekte niedrigerer Ordnung, die durch Effekte höherer Ordnung qualifiziert sind. In diesem Fall halte ich die Effekte niedrigerer Ordnung für wissenschaftlich uninteressant. (Siehe unten für mögliche Komplikationen des Arguments.)
  3. Für die seltenen Fälle, in denen (1) und (2) nicht zutreffen (wenn eine weitere Datenerfassung unmöglich ist und der Forscher ein berechtigtes wissenschaftliches Interesse an einem qualifizierten Haupteffekt hat, den ich mir derzeit nicht vorstellen kann), kann man relativ leicht Änderungen vornehmen die ezANOVA()Quelle oder beschäftigen car::Anova()sich, um Typ-III-Tests zu erreichen. Auf diese Weise sehe ich den zusätzlichen Aufwand, der erforderlich ist, um Typ-III-Tests zu erhalten, als ein Mittel, mit dem ich sicherstellen kann, dass nur diejenigen diesen Weg gehen, die wirklich wissen, was sie tun.

Der jüngste Antragsteller vom Typ III wies darauf hin, dass Argument (2) durch die Berücksichtigung der Umstände untergraben wird, unter denen vorhandene, aber "nicht signifikante" Effekte höherer Ordnung die Berechnung von Quadratsummen für Effekte niedrigerer Ordnung beeinflussen können. In solchen Fällen ist es vorstellbar, dass ein Forscher auf den Effekt höherer Ordnung blickt und erkennt, dass er "nicht signifikant" ist, und versucht, die Effekte niedrigerer Ordnung zu interpretieren, die, ohne dass der Forscher es weiß, beeinträchtigt wurden. Meine erste Reaktion ist, dass dies kein Problem mit Quadratsummen ist, sondern mit p-Werten und der Tradition des Nullhypothesentests. Ich vermute, dass ein expliziteres Maß für die Evidenz, wie das Wahrscheinlichkeitsverhältnis, mit größerer Wahrscheinlichkeit ein weniger zweideutiges Bild der unterstützten Modelle ergibt, das mit den Daten übereinstimmt. Ich habe jedoch keine

Mike Lawrence
quelle
2
In Kürze - ja. Einfach, um die Konsistenz mit anderen Paketen zu gewährleisten (auch wenn das Ergebnis in irgendeiner Weise "falsch" war - in diesem Fall wäre eine Warnmassage in Ordnung). Und danke für dein tolles Paket!
Tal Galili
Als ich "Pakete" schrieb, meinte ich andere statistische Pakete (wie SPSS und SAS) - ich bin froh, dass andere den Punkt weiter nach Hause gebracht haben als ich :)
Tal Galili
2
Wie viele bereits wissen, hat das aktuelle ez-Paket (Version 3) ezANOVA aktualisiert, das Argumente für SS Type und das Rückgabemodell aov enthält.
Jiggysoo

Antworten:

9

Nur zur Verdeutlichung - ich glaube, ich bin der jüngste Antragsteller.

Spezifischer Kommentar zu Mikes Punkten:

  1. Es ist klar, dass der I / II / III-Unterschied nur für korrelierte Prädiktoren gilt (von denen unausgeglichene Konstruktionen das häufigste Beispiel sind, sicherlich in der faktoriellen ANOVA) - aber dies scheint mir ein Argument zu sein, das die Analyse der unausgeglichenen Situation zunichte macht (und damit jede Debatte vom Typ I / II / III). Es mag unvollkommen sein, aber so geschehen die Dinge (und in vielen Zusammenhängen überwiegen die Kosten für die weitere Datenerfassung trotz aller Einschränkungen das statistische Problem).

  2. Dies ist völlig fair und repräsentiert das Fleisch der meisten Argumente für "II versus III", denen ich begegnet bin. Die beste Zusammenfassung, auf die ich gestoßen bin, ist Langsrud (2003) "ANOVA für unausgeglichene Daten: Verwenden Sie Typ II anstelle von Typ III-Quadratsummen", Statistics and Computing 13: 163-167 (Ich habe ein PDF, wenn das Original schwer zu finden ist ). Er argumentiert (am Beispiel des Zweifaktor-Falls), dass es bei einer Wechselwirkung eine Wechselwirkung gibt, sodass die Berücksichtigung von Haupteffekten normalerweise bedeutungslos ist (ein offensichtlich fairer Punkt) - und wenn es keine Wechselwirkung gibt, die Typ-II-Analyse von Die Haupteffekte sind (zweifellos) leistungsstärker als beim Typ III, daher sollten Sie sich immer für Typ II entscheiden. Ich habe andere Argumente gesehen (zB Venables,

  3. Und ich stimme dem zu: Wenn Sie eine Interaktion haben, aber auch eine Frage zum Haupteffekt haben, dann sind Sie wahrscheinlich auf dem Gebiet der Heimwerker.

Es ist klar, dass es diejenigen gibt, die nur Typ III wollen, weil SPSS dies tut, oder einen anderen Verweis auf die statistische Höhere Behörde. Ich bin nicht ganz gegen diese Ansicht, wenn es darauf ankommt, dass eine Menge Leute an SPSS festhalten (gegen die ich einige Dinge habe, nämlich Zeit, Geld und Lizenzablaufbedingungen) und Typ III SS oder eine Menge Leute, die zu R und Typ III SS wechseln. Allerdings ist dieses Argument statistisch eindeutig lahm.

Das Argument, das ich für Typ III als wesentlich aussagekräftiger empfand, stammt jedoch von Myers & Well (2003, "Research Design and Statistical Analysis", S. 323, 626-629) und Maxwell & Delaney (2004, " Experimente entwerfen und Daten analysieren: Eine Modellvergleichsperspektive ", S. 324-328, 332-335). Das ist wie folgt:

  • Wenn es eine Interaktion gibt, geben alle Methoden dasselbe Ergebnis für die Interaktionssumme der Quadrate
  • Typ II geht davon aus, dass es keine Wechselwirkung für den Test der Haupteffekte gibt. Typ III nicht
  • Einige (z. B. Langsrud) argumentieren, dass Sie, wenn die Wechselwirkung nicht signifikant ist, zu Recht davon ausgehen, dass es keine gibt, und die (stärkeren) Haupteffekte des Typs II betrachten
  • Wenn der Test der Wechselwirkung jedoch nicht ausreichend ist und dennoch eine Wechselwirkung vorliegt, kann die Wechselwirkung "nicht signifikant" ausfallen und dennoch zu einem Verstoß gegen die Annahmen des Hauptwirkungstests Typ II führen, wodurch diese Tests als zu liberal eingestuft werden .
  • Myers & Well zitieren Appelbaum / Cramer als die wichtigsten Befürworter des Typ-II-Ansatzes und fahren fort [S. 323]: "... Es könnten konservativere Kriterien für die Nicht-Signifikanz der Wechselwirkung verwendet werden, zum Beispiel die Forderung, dass die Wechselwirkung bei nicht signifikant ist Die Konsequenzen dieses Ansatzes sind jedoch nur unzureichend bekannt. In der Regel sollten die Quadratsummen des Typs II nur berechnet werden, wenn ein zwingender Grund vorliegt, von vornherein keine Wechselwirkungseffekte und eine eindeutig nicht signifikante Wechselwirkung anzunehmen Quadratsumme." Sie zitieren [S. 629] Lee & Hornick 1981 als einen Beweis dafür, dass Wechselwirkungen, die sich keiner Signifikanz nähern, Tests der Haupteffekte beeinflussen können. Maxwell & Delaney [p334] befürworten den Typ-II-Ansatz, wenn die Populationswechselwirkung null ist, für Macht, und der Typ-III-Ansatz, wenn dies nicht der Fall ist [für die Interpretierbarkeit von aus diesem Ansatz abgeleiteten Mitteln]. Auch sie befürworten die Verwendung von Typ III in der realen Situation (wenn Sie Rückschlüsse auf das Vorhandensein der Interaktion aus den Daten ziehen), da das Problem besteht, dass im Interaktionstest ein Fehler vom Typ 2 [unterfordert] und damit versehentlich verletzt wird die Annahmen des SS-Ansatzes Typ II; sie machen dann ähnliche weitere Punkte zu Myers & Well und nehmen die lange Debatte zu diesem Thema zur Kenntnis! Rückschlüsse auf das Vorhandensein der Interaktion aus den Daten ziehen), da beim Interaktionstest ein Fehler vom Typ 2 [unterfordert] aufgetreten ist und damit versehentlich die Annahmen des SS-Ansatzes vom Typ II verletzt wurden; sie machen dann ähnliche weitere Punkte zu Myers & Well und nehmen die lange Debatte zu diesem Thema zur Kenntnis! Rückschlüsse auf das Vorhandensein der Interaktion aus den Daten ziehen), da beim Interaktionstest ein Fehler vom Typ 2 [unterfordert] aufgetreten ist und damit versehentlich die Annahmen des SS-Ansatzes vom Typ II verletzt wurden; sie machen dann ähnliche weitere Punkte zu Myers & Well und nehmen die lange Debatte zu diesem Thema zur Kenntnis!

Meine Interpretation (und ich bin kein Experte!) Ist, dass es auf beiden Seiten des Arguments eine Menge höherer statistischer Stellen gibt. Die üblichen Argumente beziehen sich nicht auf die übliche Situation, die zu Problemen führen würde (diese Situation ist die häufigste bei der Interpretation von Haupteffekten mit einer nicht signifikanten Wechselwirkung). und dass es in dieser Situation gute Gründe gibt, über den Typ-II-Ansatz besorgt zu sein (und es kommt auf eine Sache an, bei der Macht gegen potentiellen Überliberalismus ankommt).

Für mich ist das genug, um mir sowohl die Option Typ III in ezANOVA als auch Typ II zu wünschen, da dies (für mein Geld) eine hervorragende Schnittstelle zu den ANOVA-Systemen von R ist. R ist meiner Ansicht nach nicht einfach für Anfänger zu verwenden, und das "ez" -Paket mit ezANOVA und den hübschen Effekt-Plot-Funktionen trägt wesentlich dazu bei, R einem allgemeineren Forschungspublikum zugänglich zu machen. Einige meiner Gedanken (und ein böser Hack für ezANOVA) sind unter http://www.psychol.cam.ac.uk/statistics/R/anova.html zu finden .

Würde mich interessieren, alle Gedanken zu hören!

Rudolf Cardinal
quelle
Ah, ich hatte nicht bemerkt, dass die Typ II / III-Unterscheidung immer dann auftritt, wenn Prädiktoren korreliert sind, wofür ein unausgeglichenes Design nur ein Beispiel ist. Dies untergräbt sicherlich mein erstes Argument "nur mehr Daten sammeln".
Mike Lawrence
2
Ich bin ziemlich überzeugt von Ihrem Argument, dass R mehr SPSS-Konvertierungen erhalten wird, wenn sie mit einfachen Mitteln zur Erzielung vertrauter Analysen bereitgestellt werden, selbst wenn diese Analysen differenziertere Überlegungen erfordern, als sie normalerweise angewendet werden. Sobald wir sie mit R verbunden haben, können wir versuchen, sie davon zu überzeugen, dass der vertraute Ansatz nicht immer der richtige ist. Ich denke, ich werde immer noch den Standardwert als Typ = 2 mit einer großen Warnung in der Dokumentation angeben, dass dieser Standardwert zu Ergebnissen führen kann, die von SPSS abweichen, und Links führen Dokumentation zur Typ II / III-Unterscheidung durch.
Mike Lawrence
Andere Variationen von korrelierten Prädiktoren betreffen normalerweise kontinuierliche Prädiktoren, aber ja, das ist das allgemeine Problem. // Das hört sich für mich sehr gut an! Manchmal sind diese Verschiebungen langsam; Die Verwendung von Sphärizitätskorrekturen (anstatt das Problem zu ignorieren) ist meines Erachtens ein Fortschritt in den Neurowissenschaften. Es gab Zeiten, in denen eine Erwähnung (insbesondere, wenn Sie den korrigierten, nicht ganzzahligen df meldeten) die Schiedsrichter zum Bellen brachte.
Rudolf Kardinal
Ich möchte hinzufügen, dass es bei den Argumenten des Typs III nur um konservative oder liberale Hypothesentests geht, nicht aber um die Bedeutung der Komponenten. Ein Haupteffekt in Typ III ist einfach nicht sinnvoll, da er die Interaktion mit fehlenden Haupteffekten einschließt. Unabhängig von den konservativen oder liberalen Testfragen erfordert die grundlegende Modellkohärenz Typ II, da ein Typ II-Haupteffekt sinnvoll ist. Allerdings sollte ezANOVA aus anderen Gründen Typ III haben.
John
7

Vorsichtsmaßnahme: eine rein nicht statistische Antwort. Ich bevorzuge es, mit einer Funktion (oder mindestens einem Paket) zu arbeiten, wenn ich dieselbe Art von Analyse durchführe (z. B. ANOVA). Bisher verwende ich konsequent, Anova()da ich die Syntax für die Angabe von Modellen mit wiederholten Kennzahlen bevorzuge - aov()und bei nicht wiederholten Kennzahlen wenig (SS-Typ I) verliere. ezANOVA()ist gut für den zusätzlichen Nutzen von Effektgrößen. Was ich aber nicht besonders mag, ist, dass ich mich mit 3 verschiedenen Funktionen befassen muss, um im Wesentlichen dieselbe Art von Analyse durchzuführen, nur weil eine von ihnen das Merkmal X (aber nicht Y) und die andere das Merkmal Y (aber nicht X) implementiert.

Für ANOVA, kann ich wählen zwischen oneway(), lm(), aov(), Anova(), ezANOVA(), und wahrscheinlich noch andere. Wenn man R unterrichtet, ist es schon schwierig, die verschiedenen Optionen zu erklären, wie sie sich zueinander verhalten ( aov()ist ein Wrapper für lm()) und welche Funktion was tut:

  • oneway()Nur für Einzelfaktorausführungen, jedoch mit Option var.equal=FALSE. Keine solche Option in aov()und andere, aber diese Funktionen auch für multifaktorielle Designs.
  • Syntax für wiederholte Messungen etwas kompliziert in aov(), besser inAnova()
  • bequeme SS Typ I nur in aov(), nicht inAnova()
  • bequeme SS Typ II und III nur in Anova(), nicht inaov()
  • Die Größe des praktischen Effekts entspricht der Größe in ezANOVA(), nicht in anderen

Es wäre ordentlich, nur eine Funktion mit einer konsistenten Syntax zu unterrichten, die alles macht. Ohne die praktische SS Typ III ezANOVA()kann diese Funktion für mich nicht funktionieren, da ich weiß, dass die Schüler gebeten werden, sie irgendwann zu verwenden ("überprüfen Sie einfach die Ergebnisse, die John Doe mit SPSS erhalten hat"). Ich denke, es ist besser, die Option zu haben, die Wahl selbst zu treffen, ohne noch eine andere Syntax für die Spezifikation von Modellen lernen zu müssen. Die Einstellung "Ich weiß, was am besten für Sie ist" mag ihre Vorzüge haben, kann aber übermäßig beschützend sein.

caracal
quelle
1
Um eine weitere Anforderung hinzuzufügen: Es wäre großartig, wenn die Funktion auch alle Arten von Kontrasten von dieser ANOVA ausführen könnte, zum Beispiel unter Verwendung des multcompPakets (das, soweit ich mich erinnere, aovObjekte erfordert ). Ansonsten stimme ich voll und ganz zu und nutze es normalerweise ezfür meinen täglichen Dienst, weil es so einfach ist ...
Henrik
1
Hinzufügen eines "method" -Arguments (mit möglichen Werten wie "oneway", "aov" und "Anova" und mit einem "..." -Argument, um var.eq = FALSE an oneway zu übergeben, und Typ = 2 an Anova) ist eine faszinierende Idee, und es scheint sicher, dass es leicht genug wäre, sie zu integrieren. Danke für den Vorschlag.
Mike Lawrence
@ Henrik: Ich muss ehrlich sein, dass mein Verständnis von Kontrasten sehr begrenzt ist und ich sie nie in meiner Forschung verwende, deshalb habe ich die Einbeziehung von Kontrasten in ez nicht priorisiert.
Mike Lawrence
@Mike Wenn Sie das Argument method hinzufügen und Ihre Funktion in der Lage wäre, ein aovElement zurückzugeben, das großartig wäre. Bisher bin ich in der Regel zu faul, um mein eigenes aovElement zu machen und Sie ezANOVAstattdessen mit t.tests zu verwenden ...
Henrik
@ Mike Ich hatte es nicht gewagt, so etwas vorzuschlagen, da es deine Arbeit ist, die du einsetzt. Danke dafür! Das ezPaket hat ein großes Potenzial: In der Psychologie wird es bereits sehr oft empfohlen (vgl. Buch "R für Einsteiger" von Luhmann). Eine noch flexiblere Gestaltung wäre sicherlich wünschenswert.
Karakal
2

Die R-Welt mag Typ 3 SS nicht zu sehr.

Eine der meist zitierten Literaturstellen sind die "Exegeses on Linear Models" von Bill Venables (2000) .

Ich hoffe, dass ich ihn nicht verarsche, aber ich denke, sein Hauptargument ist, dass Typ 3 SS das Marginalitätsprinzip linearer Modelle verletzt und daher nicht vernünftig ist.

Henrik
quelle
0

Dies war für mich eine aufschlussreiche Debatte zum Thema Typ II / III. Vielen Dank für die Mühe, die Diskussion zu führen. Ich kam zu der Ansicht, Typ II konsequent gegenüber Typ III zu befördern, hatte aber ein schwaches Verständnis für das Argument - ich habe mich nur auf die Ratschläge in John Fox 'Regressionsbuch (Auto) verlassen, denen zufolge Typ III-Tests selten sind interpretierbar (naja, ich denke er hat das gesagt ...).

Wie auch immer, ezANOVA ist wirklich nützlich, um den Zugriff auf R-Funktionen zu ermöglichen, die ansonsten für Studenten, die ich in Psychologie unterrichte, unmöglich wären. Ich biete Online-R-Module an, von denen eines mit ezANOVA ausgestattet ist, um gemischte ANOVA-Designs zu demonstrieren.

Probieren Sie es hier aus:

http://www.wessa.net/rwasp_Mixed%20Model%20ANOVA.wasp

Nachdem das Modul geladen wurde (~ 10s), finden Sie die Berechnungsschaltfläche (auf halber Seite) und es wird ezANOVA und die zugehörigen Tabellen und Diagramme ausgeführt.

Ian


quelle
Wenn Sie sagen, dass ez für gemischte ANOVA-Designs fehlerhaft war, basieren Sie dies auf meiner kürzlichen Ankündigung von Version 3.0, in der ich feststelle, dass es einen Fehler im ezMixed () -Code gab? Wenn ja, haben Sie diese Notiz falsch interpretiert. ezMixed () ist nicht mit ezANOVA () verwandt. ezMixed () dient dazu, den Einfluss fester Effekte in einem gemischten Effektmodellierungskontext zu bewerten.
Mike Lawrence
Hallo Mike, du hast vollkommen recht, es war dein Hinweis auf ezMixed (), den ich für ezANOVA () gelesen und falsch interpretiert habe.