Unterschiedliche Ergebnisse nach Neigungsbewertung in R.

8

Ich habe Prospensity Score Matching durchgeführt (in R mit dem R-Paket "Matchit"). Ich habe die Matching-Methode "nächster Nachbar" verwendet. Nach dem Matching verglich ich die Behandlung und die Kontrollgruppe hinsichtlich ihrer Ergebnisvariablen. Für diesen Vergleich habe ich t-Test verwendet. Ich entdeckte, dass sich nach jedem Matching-Verfahren die Ergebnisse des T-Tests änderten. Um meine Annahme zu testen, dass diese Änderung der Ergebnisse auf eine zufällige Auswahl der Neigungsbewertungen zurückzuführen ist (die für das Matching des nächsten Nachbarn verwendet werden), habe ich den Zufallszahlengenerator auf einen bestimmten Startwert eingestellt und das Matching-Verfahren mehrmals durchgeführt. Durch das Einstellen des RNG unterschieden sich die Ergebnisse nicht mehr.

  1. Konfrontiert mit unterschiedlichen Ergebnissen nach jedem Matching-Verfahren: Wie entscheide ich, welche Matching-Lösung ich für die weitere Analyse verwende? Ist es eine gültige Methode, das Matching-Verfahren mehrmals durchzuführen (z. B. 10'000) und den Median der p- und t-Werte der Ergebnisse anzugeben, die ich aus den verschiedenen t-Tests erhalte?
Brise
quelle
2
Ich bin mir nicht sicher, warum dies als nicht thematisch eingestuft wird, da es hier eine statistische Frage zu geben scheint, die völlig unabhängig davon ist, welche Software verwendet wird.
Mdewey
1
Es scheint, dass diese Frage ein Duplikat zu stats.stackexchange.com/questions/118636/… ist
Viktor

Antworten:

1

Dies geschieht, wenn Sie (mindestens) zwei Personen haben, die den gleichen Neigungswert haben. MatchIt wählt zufällig eine aus, die in den übereinstimmenden Satz aufgenommen werden soll. Meine Empfehlung wäre, einen passenden Satz auszuwählen und Ihre Analyse damit durchzuführen. Ich bin damit einverstanden, dass es eine gute Idee wäre, andere Konditionierungsmethoden wie Full Matching und IPW auszuprobieren. Sie können die Ergebnisse verschiedener Analysen in einem Abschnitt zur Sensitivitätsanalyse melden.

Bearbeiten : Dies ist wahrscheinlich die falsche Antwort. Siehe Viktors Antwort für die wahrscheinliche eigentliche Ursache.

Noah
quelle
Danke Noah für deine Antwort. Ihre Erklärung ist sehr hilfreich. Ich entschied mich für ein Matching des nächsten Nachbarn (zufällige Reihenfolge), wie von Austin (2014) vorgeschlagen. Wie Sie empfohlen haben, habe ich einen passenden Satz ausgewählt und meine Analyse damit durchgeführt.
Brise
Ich denke, dass es eine falsche Erklärung ist. Beobachtungen mit übereinstimmenden Neigungswerten liegen sehr, sehr weit hinten. Die Sache ist, dass MatchIt zufällig die Reihenfolge der behandelten Beobachtungen für den Abgleich auswählt. Sie können den Abgleich beheben, indem Sie set.seed()vor dem Abgleich anrufen .
Viktor
Ich stimme dir zu @Viktor. Ich werde meine Antwort bearbeiten.
Noah
1

Dies ist ein Standardverhalten des MatchIt-Pakets. Es mischt die Beobachtungen vor dem Abgleich, dh es wählt zufällig die Reihenfolge des Abgleichs für die behandelten Beobachtungen aus. Sie können die set.seed()Funktion verwenden, um die Ergebnisse zu korrigieren. set.seed(100)Rufen Sie z matchit(). B. an, bevor Sie anrufen . Unterschiedliche set.seed()Willensargumente entsprechen unterschiedlichen Übereinstimmungen.

Viktor
quelle
0

Dies ist eine sehr interessante Frage. Die erste Erklärung, die ich vorschlagen kann, ist, dass Ihre Studie recht klein ist und daher nur wenige übereinstimmende Unterschiede von Bedeutung sind. Im Allgemeinen ist die Übereinstimmung mit dem nächsten Nachbarn nicht sehr genau. Die Berechnung der Messschieber ist zuverlässiger, und möglicherweise würden die von Ihnen gemeldeten Unterschiede bei Verwendung verringert oder verschwinden (wie bei der Verwendung der inversen Wahrscheinlichkeitsbehandlungsgewichtung). Schließlich bin ich mir nicht sicher, ob Sie den t-Test zum Vergleichen von Basislinienunterschieden (was unangemessen ist, da dies zur Berechnung standardisierter Unterschiede erfolgen sollte) oder zum Testen von Hypothesen (in diesem Fall sollte ein gepaarter Test verwendet werden) verwendet haben. In jedem Fall besteht der typische Berichtsansatz einfach darin, die Ergebnisse eines einzelnen Matching-Verfahrens zu melden, sofern dies korrekt durchgeführt wird (z. B. mit Caliper Matching).

Joe_74
quelle
1
Vielen Dank! Die Basisprobengrößen betrugen 1096 (Kontrolle) und 328 (Behandlungsgruppe). Nach dem Matching wurden beide Gruppengrößen auf 324 reduziert. Ich führte tatsächlich einen Matching mit dem nächsten Nachbarn mit einem Messschieber von 0,25 Standard der Neigungsbewertung durch. Ich habe auch den nächsten Nachbarn verglichen, der mit und ohne Bremssattel übereinstimmt - was dazu führte, dass 4 zusätzliche Einheiten in jeder Gruppe verworfen wurden. Ich habe die standardisierten Unterschiede der Mittelwerte der Kovariaten vor und nach dem Matching berechnet. Diese Werte haben sich nach jedem Abgleich nicht geändert, die Werte in der Ergebnisvariablen jedoch.
Brise
@Breeze verstehe ich. Haben Sie 1: 2 Matching oder IPTW ausprobiert?
Joe_74
1
Hallo Joe_74, danke für deine Antwort. Ich habe versucht, eine genaue Übereinstimmung innerhalb des nächsten Nachbarn zu finden. Leider hat sich meine Stichprobengröße in beiden Gruppen auf 294 Einheiten reduziert. Wenn möglich, möchte ich Stichprobengrößen beibehalten, die über 300 liegen. Ich bin jedoch nicht auf die Gewichtung der Behandlung mit umgekehrter Wahrscheinlichkeit gestoßen. Würdest du es weiterempfehlen?
Brise
@Breeze Auf jeden Fall. IPTW ist der Schlüssel zur Anpassung an verbleibende Unterschiede in PS. Wenn Sie es verwenden, können Sie auch alle Ihre Fälle behalten, nicht nur die übereinstimmenden.
Joe_74
1
das klingt interessant, danke. Ich könnte es später versuchen. Wenn ich mein Matching wie oben beschrieben durchführe (nächster Nachbar mit Bremssattel), würden Sie mir raten, die Ergebnisse eines einzelnen zufälligen Matching-Verfahrens zu melden? Da ich jedes Mal andere Ergebnisse erhalte, erscheint es mir einfach zu zufällig, nur die Ergebnisse eines Verfahrens auszuwählen ... wie ist Ihre Meinung dazu?
Brise