Sollte ich zufällige Effekte von einem Modell ausschließen, wenn sie statistisch nicht signifikant sind?

Sollte ich zufällige Effekte in ein Modell aufnehmen, auch wenn sie statistisch nicht signifikant sind? Ich habe ein experimentelles Design mit wiederholten Messungen, bei dem jeder Einzelne drei verschiedene Behandlungen in zufälliger Reihenfolge erfährt. Ich möchte die Auswirkungen von Individuum und Ordnung kontrollieren, aber keines scheint in meinen Modellen statistisch signifikant zu sein. Ist es dann in Ordnung, sie auszuschließen, oder sollte ich sie trotzdem einschließen?

Meine Empfehlung ist, die zufälligen Effekte in das Modell aufzunehmen, auch wenn sie statistisch nicht signifikant sind, da die statistische Analyse dann das tatsächliche Studiendesign genauer wiedergibt.

Auf diese Weise können Sie in Ihrem Abschnitt "Statistische Methoden" Folgendes schreiben:

Zufällige Effekte wurden für das Individuum und die Reihenfolge zur Kontrolle einer möglichen Abhängigkeit aufgrund wiederholter Messungen oder Ordnungswirkungen berücksichtigt.

Dies wird wahrscheinlich den Kommentaren der Prüfer zu Abhängigkeitsannahmen oder Pseudoreplikation vorbeugen. Es ist einfach einfacher, dies zu tun, als zu "erklären", warum es in Ordnung ist, diese Begriffe zu streichen, selbst wenn sie im Wesentlichen nutzlos erscheinen.

Außerdem kostet es Sie wahrscheinlich nichts, diese Begriffe im Modell zu haben. Ich wäre überrascht und misstrauisch, wenn sich die Ergebnisse beim Entfernen dramatisch ändern würden.

Hier einige Überlegungen:

Pragmatisch:

Manchmal erlaubt die Verteilung der Daten keine Anpassung des Modells an die Daten. Dies kann passieren, wenn aufgrund von Kosten, Zeit oder Aufwand nur sehr wenige Versuche absichtlich erfasst werden, wenn die Daten in irgendeiner Weise zu spärlich sind oder wenn sich die Verteilung der Daten als entartet oder zu flach herausstellt.

In diesem Fall haben Sie möglicherweise keine andere Möglichkeit, als das Modell zu vereinfachen, möglicherweise dramatisch. Normalerweise versuche ich, zuerst die Effekte zu entfernen, die die feinste Granularität aufweisen, da normalerweise mehr davon zu schätzen sind.

Im schlimmsten Fall möchten Sie möglicherweise so vorgehen, als ob die Daten unabhängig voneinander erfasst würden. Das mag besser sein als nichts, aber Signifikanztests müssen mit einem großen Salzkorn durchgeführt werden. Die Interpretation der Ergebnisse sollte ziemlich abgesichert werden.

Praktisch:

In einigen Situationen kann es sinnvoll sein, Begriffe zu bündeln, um Informationen zu erhalten und fortzufahren. Hier denke ich mehr an experimentelles Design in der laufenden Forschung und Entwicklung als an die Veröffentlichung.

Lorenzen und Anderson (1993) geben "manchmal Pooling" -Regeln für den Fall an, dass es hilfreich wäre, genauere Tests anderer Faktoren im Modell zu erhalten.

• $\alpha=0.25$
• $0.25$

Wiederum ist diese Art von Regel meiner Meinung nach eher für den praktischen Gebrauch und nicht für die Veröffentlichung gedacht.

Theoretisch:

Nun könnte es sein, dass Sie tatsächlich im Wesentlichen "identische" Ergebnisse erhalten, wenn Sie diese zufälligen Effekte fallen lassen. Das ist schön, aber Sie sollten sich bewusst sein, dass Sie jetzt zwei verschiedene Modelle anpassen und die Begriffe möglicherweise unterschiedlich interpretiert werden müssen, obwohl sie möglicherweise "gleich" sind.

Was ich daraus ziehen würde, ist, dass die Ergebnisse unter verschiedenen Annahmen robust sind. Das ist immer gut so.

$p$

Abhängig davon, wie Sie die Ergebnisse Ihres Modells interpretieren möchten, möchten Sie es möglicherweise nicht "vereinfachen". Littell et al. (2006) haben eine kleine Diskussion (S. 211) über enge versus breite Inferenz und bevölkerungsweite versus fachspezifische Inferenz in einer einfachen Umgebung. In Ihrem Fall sind Sie wahrscheinlich an einer breiten Schlussfolgerung interessiert und ziehen Schlussfolgerungen, die sich auf die gesamte Bevölkerung und nicht nur auf die Personen in Ihrer Studie beziehen.

Wie auch immer, in Ihrem Fall wurde Ihre Studie so durchgeführt, dass ein Abhängigkeitspotential aufgrund der Ordnung und des Einzelnen entsteht. Wenn Sie die Struktur Ihrer Studie genau modellieren können, sollten Sie dies tun.

Verweise:

Littell, Milliken, Stroup, Wolfinger und Schabenberger (2006) SAS für gemischte Modelle. SAS.

Lorenzen und Anderson (1993) Versuchsplanung: Ein No-Name-Ansatz. Marcel Dekker, Inc.