Grundlinienunterschiede in der RCT: Welche Variablen (falls vorhanden) sollten als Kovariaten aufgenommen werden?

8

Ich habe kürzlich eine Studie abgeschlossen, in der ich die Teilnehmer zufällig einer von zwei Behandlungsgruppen zugeordnet habe. Ich habe die Teilnehmer zu Studienbeginn, unmittelbar nach der Intervention, 1 Monat und 4 Monate an einer ziemlich großen Anzahl von Ergebnisvariablen getestet. Ich hatte vor, mehrere gemischte ANOVAs durchzuführen, um die Interaktionen zwischen Gruppe und Zeit zu untersuchen. Einige der Vergleiche sind 2 (Gruppe) x 2 (Zeit: Basislinie und nach der Intervention) Vergleiche und einige sind 2 (Gruppe) x 3 (Zeit: Basislinie, 1 Monat, 4 Monate) Vergleiche.

Bevor ich mit meinen Analysen begann, verglich ich die beiden Behandlungsgruppen mit allen Basisvariablen. Ich habe festgestellt, dass sich die Gruppen bei 4 Basisvariablen unterscheiden, wenn ich eine Alpha-Ebene von 0,05 oder 2 Basisvariablen verwende, wenn ich eine Alpha-Ebene von 0,01 verwende, um die Gruppen zu vergleichen.

Ich habe zwei Fragen dazu:

  1. Welches Alpha-Level sollte ich verwenden, um die Gruppen zu Studienbeginn zu vergleichen? Ich dachte an ein Alpha-Niveau von 0,01, weil ich die beiden Gruppen anhand von 24 Grundlinienmerkmalen vergleiche, und ich dachte, ich sollte ein strengeres Alpha-Niveau als 0,05 wählen, um die familienbezogene Fehlerrate zu reduzieren, da eine große Anzahl von Tests durchgeführt wird durchgeführt, aber aus meinen Lesungen scheint es, dass die meisten Leute .05 verwenden. Was empfehlen Sie?

  2. Was mache ich gegen diese Unterschiede? Ich könnte diese Variablen als Kovariaten einschließen, aber meine Stichprobengröße ist recht klein und die Verwendung von 4 Kovariaten erscheint nicht angemessen (was teilweise auch der Grund ist, warum ich es vorziehe, Unterschiede nur zu akzeptieren, wenn sie auf der Ebene von 0,05 signifikant sind).

Jede Hilfe hierzu wäre sehr dankbar!

Rachel
quelle

Antworten:

8

Wie Stephen Senn geschrieben hat, ist es nicht angebracht, die Basisverteilungen in einer randomisierten Studie zu vergleichen. Ich spreche gerne darüber, indem ich die Frage stelle: "Wo hörst du auf?", Dh wie viele andere Basiskovariaten solltest du zurückgehen und versuchen, sie abzurufen? Sie werden ausgleichende Kovariaten finden, wenn Sie genau hinsehen.

Die Grundlage für die Auswahl eines Modells sind nicht post-hoc-Unterschiede, sondern das a priori-Fachwissen darüber, welche Variablen wahrscheinlich wichtige Prädiktoren für die Antwortvariable sind. Die Basisversion der Antwortvariablen ist sicherlich ein dominierender Prädiktor, aber es gibt andere, die wahrscheinlich wichtig sind. Ziel ist es, erklärbare Heterogenitäten im Ergebnis zu erklären, um Präzision und Leistung zu maximieren. Statistische Signifikanztests spielen bei der Modellformulierung kaum eine Rolle.

Ein vorgegebenes Modell berücksichtigt zufällige Unterschiede bei den Variablen, die wichtig sind - denjenigen, die das Ergebnis vorhersagen.

Frank Harrell
quelle
Vielen Dank für Ihre Antworten. Die Basisvariablen, die sich basierend auf den mehreren t-Tests voneinander unterscheiden, sind die Basislinienwerte einiger der Ergebnisvariablen (z. B. unterschieden sich die Basiswerte für Depressionen und Depressionen nach 1 und 4 Monaten sind eine der Ergebnismaße).
Rachel
3

Normalerweise sollten Sie beim Vergleich der beiden Gruppen zu Studienbeginn weniger statistische Signifikanz der Unterschiede als vielmehr die Größe der Unterschiede berücksichtigen: Ist einer dieser Unterschiede groß genug, um für die Studie von Bedeutung zu sein? Groß genug, um die Gruppenvergleiche und variablen Beziehungen zu beeinflussen, die im Mittelpunkt der Forschung stehen? Groß genug, dass eine Anpassung (durch Verwendung als Kovariate) erforderlich ist?

Ihr Fall ist insofern ein wenig interessant, als Sie selbst bei zufälliger Zuordnung 4 von 24 Variablen haben, die signifikante Unterschiede auf der Ebene von 0,05 aufweisen (17% anstelle der erwarteten 5%). Dies scheint für Ihren Randomisierungsprozess oder einen anderen Aspekt der Studie von Belang zu sein. Wenn die Randomisierung jedoch fehlerfrei durchgeführt wurde und danach in keiner der Gruppen Abrieb auftrat, sollte in 2,4% der Fälle ein Ergebnis dieses oder mehrerer Extreme auftreten, basierend auf 24! / (4! (24-4)!) ( 0,05 ^ 4) (0,95 ^ (24-4)). Das ist doch nicht wirklich so selten. Was Sie haben, könnte eine Reihe von zufälligen Unterschieden sein. Ich würde mich daran halten, anhand der Größe der Unterschiede zu urteilen.

rolando2
quelle
2
Hervorragender Punkt zur Vielfalt. In Bezug auf die Beurteilung von Unterschieden denke ich, dass die Suche nach großen Unterschieden sehr stark mit der Suche nach kleinen P-Werten korreliert. Ich empfehle es auch nicht.
Frank Harrell
Woher weiß ich, ob einer dieser Unterschiede groß genug ist, um für die Studie von Bedeutung zu sein, und groß genug, dass eine Anpassung (durch Verwendung als Kovariate) erforderlich ist? Die Effektgröße für jeden der vier Unterschiede zu Beginn (unter Verwendung von Cohens d) beträgt 0,78, 0,64, 1,06 bzw. 0,89.
Rachel
2
Sie nicht und können nicht. Denken Sie daran, das richtige Modell im Voraus zu formulieren, anstatt Post-hoc-Anpassungen vorzunehmen.
Frank Harrell
Okay, das macht Sinn. Sollte ich meine Ergebnisse dann anders analysieren als mit einem gemischten Modelldesign? Oder reicht es aus, die Unterschiede zu erwähnen, aber nicht anzupassen?
Rachel
3
Mein einziger Gedanke ist, einen Fachexperten zu fragen, welche wichtigen Prädiktoren für die Antwortvariable wahrscheinlich sind, ohne den Experten über die gefundenen Unterschiede zu informieren, und diese Prädiktoren dann anzupassen.
Frank Harrell
2

+1 bis @FrankHarrell. Ich könnte einen kleinen Punkt hinzufügen. Wenn Sie Ihre Teilnehmer zufällig den Gruppen zugeordnet haben, sind alle "signifikanten" Unterschiede in den kovariaten Werten vor der Intervention notwendigerweise Fehler vom Typ I.

gung - Monica wieder einsetzen
quelle
1
Schön ausgedrückt, und Ihr Kommentar weist auf die Schwierigkeit hin, genau zu spezifizieren, auf welche Populationsinferenz-Basisdifferenztests abgezielt wird.
Frank Harrell
2
@gung -hello! Was ist mit dieser Sichtweise: In einem RCT sind die 2 Gruppen alles, was wir haben. Natürlich stammen sie aus derselben Population: Es gibt nicht zwei Populationen, bei denen Fehler gemacht werden könnten, Typ I oder andere. Die statistische Signifikanz ist daher irrelevant, aber große Unterschiede könnten durchaus von Bedeutung sein und eine Anpassung durch die Verwendung von Kovariaten erfordern.
Rolando2
2
Ich mag den ersten Teil, aber der letzte Teil ist komplexer, als es scheint, und Post-hoc-Anpassungen können zu Verzerrungen führen, ohne die Erklärungen für die Heterogenität großer Antworten zu berücksichtigen. Darüber hinaus können die Daten nicht sagen, für welche Kovariaten wir uns anpassen müssen.
Frank Harrell
@ rolando2, so denke ich darüber: Deine Population ist die Population, aus der deine Stichprobe gezogen wurde; Die 'Behandlung' ist Ihr zufälliges Zuweisungsverfahren. & Die Antwortvariable ist die Kovariate, die Sie überprüfen. Der t-Test prüft, ob das zufällige Zuweisungsverfahren mit dem Mittelwert der Kovariate verknüpft ist. Wenn Ihr Zuweisungsverfahren fehlerhaft ist, ist es durchaus vernünftig, dass es mit resultierenden kovariaten Werten verknüpft ist, aber wenn es wirklich zufällig ist, kann es per Definition nicht sein und daher ist jeder 'signifikante' Befund ein Fehler vom Typ I. .
Gung - Reinstate Monica
2
Sie passen Ihre Ergebnisvariable ohnehin zu Beginn an. das ist Standard. Sie vertrauen dann darauf, dass Ihr Randomisierungsverfahren gültig ist und daher gültige Schlussfolgerungen liefert. Wenn Sie der Meinung sind, dass Ihr Zuweisungsverfahren fehlerhaft war und Ihre daraus resultierenden Schlussfolgerungen ungültig sind, müssen Sie zunächst eine neue Stichprobe entnehmen und Ihre Teilnehmer über ein wirklich zufälliges Verfahren Behandlungsgruppen zuordnen, damit Sie auf Ihre Schlussfolgerungen vertrauen können. Wiederholung der Studie.
Gung - Reinstate Monica