Entfernen von Faktoren aus einer 3-Wege-ANOVA-Tabelle

14

In einem kürzlich erschienenen Artikel habe ich ein Drei-Wege-Modell mit festen Effekten angepasst. Da einer der Faktoren nicht signifikant war (p> 0,1), entfernte ich ihn und rüstete das Modell mit zwei festen Effekten und einer Interaktion neu aus.

Ich habe gerade Kommentare von Schiedsrichtern erhalten, um zu zitieren:

Diese Zeit war kein signifikanter Faktor in der 3-Wege-ANOVA ist an sich kein ausreichendes Kriterium für die Zusammenfassung des Zeitfaktors: Der Standardtext zu diesem Thema, Underwood 1997, argumentiert, dass der p-Wert für einen nicht signifikanten Effekt sein muss größer als 0,25, bevor die Behandlungsniveaus eines Faktors zusammengefasst werden können. Die Autoren sollten hier den relevanten p-Wert angeben und ihre Bündelung unter Bezugnahme auf Underwood 1997 begründen.

Meine Fragen sind:

  1. Ich habe noch nie von der 0.25-Regel gehört. Hat sonst noch jemand? Ich kann verstehen, den Faktor nicht zu entfernen, wenn der p-Wert nahe am Cut-Off liegt, aber eine "Regel" zu haben, scheint ein bisschen extrem.
  2. Dieser Schiedsrichter erklärt, dass Underwood 1997 der Standardtext ist. Ist das wirklich? Davon habe ich noch nie gehört. Was wäre der Standardtext (gibt es so etwas)? Leider habe ich keinen Zugang zu diesem Underwood, 1997.
  3. Irgendwelche Ratschläge bei der Beantwortung der Schiedsrichter.

Hintergrund: Dieses Papier wurde in einer nicht statistischen Zeitschrift eingereicht. Bei der Anpassung des Drei-Wege-Modells habe ich nach Interaktionseffekten gesucht.

anova fixed-effects-model csgillespie
quelle
Ich habe noch nie von Underwoods Lehrbuch gehört, aber dieser Artikel scheint die Vor- und Nachteile des Poolens zu diskutieren: Pragmatik des Poolens in ANOVA-Tabellen (Hines, Am. Stat. 1996). Nun scheint mir in Erinnerung zu bleiben, dass Sokal & Rohlf (1995) ebenfalls empfehlen, sehr konservative Werte zu berücksichtigen ( ); Ich muss das überprüfen, bevor ich eine Antwort poste, es sei denn, es kommen bessere Referenzen. p≥.25
Chl
2
Nur ein Kommentar. Eine auf basierende Richtlinie riecht nach einem Missbrauch eines p- Werts, da ein nicht signifikanter p- Wert kein Maß für Nichtbeweis ist. Da p- Werte unter der Nullhypothese gleichmäßig verteilt sind, warum nicht einfach eine (voreingenommene) Münze werfen? Das Endergebnis ist dasselbe und es ist zumindest ehrlich, dumm zu sein. (Okay, Blödmann ist ein bisschen stark, aber du kommst auf die Idee.)p≥sÖmethichnGppp
5
Das wäre eine interessante Antwort für einen Schiedsrichter: "Wir danken dem Schiedsrichter für seine Kommentare, denken aber, dass sie etwas blöd sind";) Ein guter Kommentar.
Csgillespie

Antworten:

15

Ich vermute, das fragliche Underwood ist Experiments in Ecology (Cambridge Press 1991). Es ist eine mehr oder weniger Standardreferenz in den Ökowissenschaften, vielleicht der dritte hinter Zar und Sohkol und Rohlf (und meiner Meinung nach der "lesbarste" der drei).

Wenn Sie eine Kopie finden, finden Sie den entsprechenden Abschnitt, den Ihr Schiedsrichter zitiert, in 9.7 auf S.273. Dort schlägt Underwood ein empfohlenes Pooling-Verfahren (also keine "Regel" an sich ) für nicht signifikante Faktoren vor. Es ist ein zweistufiges Verfahren, das ich ehrlich gesagt nicht ganz verstehe, aber das Ergebnis ist, dass p = 0,25 vorgeschlagen wird, um die Wahrscheinlichkeit eines Fehlers vom Typ I zu verringern, wenn der nicht signifikante Faktor zusammengefasst wird (also nichts mit "Zeit" zu tun) In Ihrem Beispiel kann es sich um einen beliebigen Nicht-Sig-Faktor handeln.

Das Verfahren scheint eigentlich nicht Underwoods zu sein, er selbst zitiert Winer et al. 1991 ( Statistical Procedures in Experimental Design McGraw-Hill). Sie könnten es dort versuchen, wenn Sie keine Kopie von Underwood finden können.

Chris
quelle
4
+1 Schöne Antwort: klar, auf den Punkt, aufschlussreich und maßgebend.
whuber
@ Chris, meinst du oben "Reduziere die Wahrscheinlichkeit von Typ-II-Fehlern" (nicht Typ I)? Die Motivation, Faktoren nicht aus dem Modell zu entfernen, besteht darin, Studien mit geringer Leistung zu verhindern, die die Beseitigung echter Ursachen ermöglichen (dh, der Typ II des Abschlusses der Variablen hat keine Auswirkung), während gleichzeitig die offensichtliche Auswirkung der im Modell verbliebenen Parameter erhöht wird, wenn sie auftreten werden mit der jetzt entfernten Variablen korreliert. Da die Nebenwirkung zu Fehlern vom Typ I führt, schlägt Underwood möglicherweise vor, die Auswirkungen zu belassen, um sowohl Fehler vom Typ 1 als auch vom Typ II zu kontrollieren, dh die Gültigkeit des Modells zu maximieren.
tim
10

Ich hasse diese Art von Cut-off-basierten Regeln. Ich denke, es hängt vom Design ab und davon, was Ihre a priori Hypothesen und Erwartungen waren. Wenn Sie erwarten, dass sich das Ergebnis mit der Zeit ändert, sollten Sie die Zeit wie bei jedem anderen „Sperrfaktor“ einhalten. Auf der anderen Seite, wenn Sie dieselben Experimente zu unterschiedlichen Zeiten replizierten und keinen Grund zu der Annahme hatten, dass sich das Ergebnis mit der Zeit ändern würde, dies aber überprüfen wollten, dann haben Sie dies getan und nur wenige oder keine Beweise dafür gefunden, dass es sich mit dem Ergebnis ändert Zeit, ich würde sagen, es ist völlig vernünftig, die Zeit dann fallen zu lassen.

Ich habe noch nie von Underwood gehört. Es kann ein Standard - Text für ‚Experimente in Ecology‘ (der Titel des Buches), aber es gibt keinen offensichtlichen Grund , dass Experimente in den Bereichen Ökologie sollte von allen anderen Experimenten in dieser Hinsicht anders behandelt werden, so dass es als "zu betrachten , den Standardtext auf dieses Problem "scheint ungerechtfertigt.

ein Stop
quelle
1
Vor dem Experiment wurde angenommen, dass der Faktor signifikant sein würde. Es wurde jedoch von den beiden anderen Effekten überschwemmt. Ich habe den Faktor entfernt, weil er die Schlussfolgerungen nicht veränderte und die Erklärung nur erschwerte.
Csgillespie
2
Hmm, in diesem Fall denke ich, dass ich es behalten würde. Ich kann nicht verstehen, warum es die Erklärung schwieriger macht, und wie Sie festgestellt haben, ist es möglicherweise schwieriger zu erklären, warum Sie es fallen gelassen haben, als warum Sie es behalten haben!
Am
Ich nehme Ihren Standpunkt an, obwohl ich nicht zu 100% damit einverstanden bin. Ich konnte leicht sehen, wie ein anderer Schiedsrichter vorschlug, den Faktor zu streichen (das ist, was die Bio-Statistiker empfehlen, dass ich auch gesprochen habe). Wie Sie bereits erwähnt haben, ist eine willkürliche Regel nicht der richtige Weg, wenn es sich um eine Grauzone handelt. Wenn wir irreführen wollten, würden wir niemals erwähnen, dass der andere Faktor jemals involviert war! Völlig unethisch, aber ich vermute, dass es passiert.
Csgillespie
1

Bitte lesen Sie den Text von Underwood und die darin enthaltenen Verweise, es ist keine Regel, bitte lesen Sie. Tatsächlich besteht dieser Ansatz darin, den Typ-II-Fehler zu kontrollieren, wenn ein "nicht signifikanter" Term im Modell entfernt (oder zusammengefasst) wird. Was passiert, wenn der Begriff, den Sie entfernen, eine Signifikanzstufe von 0,06 hat? Sind Sie wirklich sicher, dass die erwartete MS aufgrund des Faktors keinen zusätzlichen Effekt enthält? Wenn Sie diesen Begriff entfernen, gehen Sie davon aus, dass die erwartete MS den zusätzlichen Effekt aufgrund dieser Behandlung nicht enthält, ABER SIE MÜSSEN einigermaßen gegen Typ-II-Fehler geschützt sein! Bitte entschuldigen Sie meine Armen und Eile Englisch !.

AnastD
quelle