T-Test für teilweise gepaarte und teilweise ungepaarte Daten

28

Ein Ermittler möchte eine kombinierte Analyse mehrerer Datensätze erstellen. In einigen Datensätzen gibt es paarweise Beobachtungen für die Behandlung A und B. In anderen Datensätzen gibt es ungepaarte A- und / oder B-Daten. Ich suche eine Referenz für eine Anpassung des t-Tests oder für einen Likelihood-Ratio-Test für solche teilweise gepaarten Daten. Ich bin (vorerst) bereit, eine Normalität mit gleicher Varianz anzunehmen, und dass die Populationsmittelwerte für A für jede Studie (und auch für B) gleich sind.

Frank Harrell
quelle
2
Hallo Frank. Vielleicht wäre es hilfreich, die Modellannahmen expliziter zu machen. Wenn ich an gepaarte Designs denke, denke ich normalerweise an einen der folgenden Punkte: (i) Versuch, festgelegte nicht beobachtbare Effekte auf Einheitenebene zu entfernen, (ii) Verringerung der Variabilität eines zufälligen Effekts über experimentelle Einheiten hinweg oder (iii) Anpassung an die Nichtnormalität der Antwort, indem Differenzen zwischen den Paaren genommen werden, wodurch eine bessere Annäherung erhalten wird. Insbesondere sehe ich bei übereinstimmenden Paaren keinen sofortigen Nutzen, wenn die Annahme unter der Null ist, dass die Beobachtungen alle normal sind.
Kardinal
4
Kardinal, ich habe tatsächlich eine Menge Daten, die auch so aussehen. Wir haben versucht, vollständig gekoppelte Daten zu sammeln, aber aufgrund technischer Probleme oder Pech sind einige Stichprobenmessungen unter A oder B manchmal fehlerhaft. Die zwei offensichtlichen - aber unbefriedigenden - Lösungen bestehen darin, 1) alle unvollständigen Paare auszuschließen und einen gepaarten T-Test durchzuführen, oder 2) die Paarung zu ignorieren und einen ungepaarten T-Test für alle Daten durchzuführen. Ich denke, das Poster fragt nach einer Möglichkeit, die Kopplung dort zu nutzen, wo sie vorhanden ist (aus Ihrem Grund Nr. 1 und Nr. 2), und dabei von den anderen ungepaarten Datenpunkten alles zu retten, was er kann.
Matt Krause
2
Ich freue mich über alle Kommentare. Für die übereinstimmenden Paare wurden die Probanden sowohl unter A als auch unter B getestet. Eine Möglichkeit, die Paarung zu nutzen, besteht darin, das nichtparametrische Perzentil-Konfidenzintervall des Bootstraps für die Differenz zwischen den Mittelwerten in A und B zu verwenden Fächer. Bei einem Probanden, bei dem keine Daten gepaart wurden, würde eine Beobachtung in einer Stichprobe aufbewahrt oder gelöscht, und bei gepaarten Daten würden zwei Datensätze aufbewahrt oder gelöscht. Dies scheint die Paarung zu respektieren, aber ein Schätzer muss definiert werden und wir wissen nichts über die Optimalität.
Frank Harrell
1
Der Bayes'sche Ansatz ist einfach umzusetzen.
Stéphane Laurent
2
Hani M. Samawi und Robert Vogel, Journal of Applied Statistics (2013): Anmerkungen zu zwei Stichprobentests für teilweise korrelierte (gepaarte) Daten, dx.doi.org/10.1080/02664763.2013.830285
Suresh,

Antworten:

8

Nun, wenn Sie die Varianzen in der ungepaarten und in der gepaarten (die im Allgemeinen viel kleiner wären) kannten, bestünden die optimalen Gewichte für die beiden Schätzungen der Differenz in Gruppen darin, Gewichte zu haben, die umgekehrt proportional zur Varianz des Individuums sind Schätzungen der Mittelwertdifferenz.

[Bearbeiten: Es stellt sich heraus, dass die geschätzten Abweichungen als Graybill-Deal-Schätzer bezeichnet werden. Es gab ziemlich viele Zeitungen darüber. Hier ist einer]

Die Notwendigkeit, die Varianz zu schätzen, verursacht einige Schwierigkeiten (das resultierende Verhältnis der Varianzschätzungen ist F, und ich denke, die resultierenden Gewichte haben eine Beta-Verteilung, und eine resultierende Statistik ist etwas kompliziert), aber da Sie über ein Bootstrapping nachdenken, kann dies sein weniger besorgniserregend.

Eine alternative Möglichkeit, die in gewissem Sinne netter sein könnte (oder zumindest ein wenig robuster gegenüber Nicht-Normalität ist, da wir mit Varianzverhältnissen spielen) und im Normalfall nur einen sehr geringen Effizienzverlust aufweist, besteht darin, eine kombinierte Schätzung der Verschiebung zugrunde zu legen gepaarte und ungepaarte Rangprüfungen - jeweils eine Art Hodges-Lehmann-Schätzung, im ungepaarten Fall auf Basis von Medianen paarweiser Stichprobendifferenzen und im gepaarten Fall aus Medianen paarweiser Mittelwerte von Paardifferenzen. Wiederum würde die minimale varianzgewichtete lineare Kombination der beiden mit Gewichten proportional zu Inversen von Varianzen sein. In diesem Fall würde ich mich wahrscheinlich eher auf eine Permutation (/ Randomisierung) als auf einen Bootstrap stützen - aber je nachdem, wie Sie Ihren Bootstrap implementieren, können sie am selben Ort enden.

In beiden Fällen möchten Sie möglicherweise Ihre Varianzen stabilisieren / Ihr Varianzverhältnis verringern. Für das Gewicht in den richtigen Ballpark zu kommen, ist gut, aber Sie verlieren im Normalfall nur sehr wenig Effizienz, wenn Sie es leicht robust machen. ---

Einige zusätzliche Gedanken, die ich vorher nicht klar genug im Kopf hatte:

Dieses Problem hat deutliche Ähnlichkeiten mit dem Behrens-Fisher-Problem, ist jedoch noch schwieriger.

Wenn wir die Gewichte festlegten , konnten wir einfach eine Welch-Satterthwaite-Typ-Annäherung treffen; Die Struktur des Problems ist die gleiche.

Unser Problem ist, dass wir die Gewichte optimieren möchten, was effektiv bedeutet, dass die Gewichtung nicht festgelegt ist - und in der Tat dazu tendiert, die Statistik zu maximieren (zumindest näherungsweise und näherungsweise bei großen Stichproben, da jeder Satz von Gewichten eine zufällige Größe ist, die dieselbe schätzt Zähler, und wir versuchen, den Nenner zu minimieren (die beiden sind nicht unabhängig).

Dies würde, wie ich vermute, die Chi-Quadrat-Approximation verschlechtern und würde die df einer Approximation mit ziemlicher Sicherheit noch weiter beeinflussen.

[Wenn dieses Problem machbar ist, da gerade auch könnte sein , eine gute Faustregel gilt : entpuppen , die Sie auch fast sagen würden‘tun können , wenn Sie nur die gepaarten Daten unter diesen Sätzen von Umständen verwendet wird , nur das ungepaarte unter diesen anderen Gruppen von Bedingungen und im Übrigen ist dieses feste Gewichtsschema normalerweise sehr nahe am Optimum - aber ich werde nicht den Atem anhalten und auf diese Chance warten. Eine solche Entscheidungsregel hätte in jedem Fall zweifellos einen gewissen Einfluss auf die wahre Bedeutung, aber wenn dieser Effekt nicht so groß wäre, würde eine solche Faustregel den Menschen eine einfache Möglichkeit bieten, vorhandene Legacy-Software zu verwenden, so dass dies wünschenswert sein könnte Versuchen Sie, eine solche Regel für Benutzer in einer solchen Situation zu identifizieren.]

---

Bearbeiten: Hinweis für sich selbst - Sie müssen zurückkehren und Details der Arbeit an 'überlappenden Stichproben'-Tests eingeben, insbesondere an T-Tests mit überlappenden Stichproben

---

Mir fällt ein, dass ein Randomisierungstest in Ordnung sein sollte -

  • Wo die Daten gepaart werden, verteilen Sie die Gruppenbezeichnungen zufällig in Paaren

  • Wenn die Daten ungepaart sind, aber eine gemeinsame Verteilung haben (unter der Null), lassen Sie die Gruppenzuweisungen zu

  • Sie können nun die beiden Verschiebungsschätzungen anhand der relativen Varianzschätzungen ( ) gewichten, die gewichtete Verschiebungsschätzung jeder randomisierten Stichprobe berechnen und sehen, wo die Stichprobe in die passt Randomisierungsverteilung.w1=1/(1+v1v2)


(Viel später hinzugefügt)

Möglicherweise relevantes Papier:

Derrick, B., Russ B., Toher, D. und White, P. (2017),
"Test Statistics for the Comparison of Means für zwei Proben, die sowohl gepaarte als auch unabhängige Beobachtungen enthalten"
Journal of Modern Applied Statistical Methods , May Vol. 16, Nr. 1, 137-157.
doi: 10.22237 / jmasm / 1493597280
http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=2251&context=jmasm

Glen_b - Setzen Sie Monica wieder ein
quelle
1
+1. Ich habe eine Frage zum letzten Teil Ihrer Antwort. Welche Varianzschätzungen (dh welche Gewichte) würden Sie für den Permutationstest verwenden - die tatsächlichen, die für die tatsächliche Stichprobe berechnet wurden, oder würden Sie die Gewichte für jede Permutation basierend auf den Daten dieser Permutation berechnen?
Amöbe sagt Reinstate Monica
@amoeba, um die stichprobenbasierte Art der Berechnung zu berücksichtigen, die Sie auf dieser bestimmten Permutation basieren würden.
Glen_b
@amoeba Ich sollte das mit einigen anderen Ansätzen zum Problem vergleichen.
Glen_b
1
Ich bin übrigens auf diesen Thread gestoßen, weil mich jemand mit folgenden Daten angesprochen hat: zwei Probanden mit gepaarten Daten plus zwei Probanden mit ungepaarten Daten (dh 3 Messungen in Gruppe A, 3 Messungen in Gruppe B, aus diesen 6 Werten 2+) 2 sind gepaart und der Rest ist ungepaart). In diesem Fall reichen die Daten nicht aus, um die Varianz der ungepaarten Verschiebungsschätzung abzuschätzen. Daher kann ich nichts anderes vorschlagen, als das Pairing zu ignorieren und einen ungepaarten Test durchzuführen ... Aber dies ist natürlich eine ziemlich extreme Situation.
Amöbe sagt Reinstate Monica
6

Hier sind einige Gedanken. Ich komme im Grunde genommen zu dem Schluss von Greg Snow, dass dieses Problem deutliche Ähnlichkeiten mit dem Behrens-Fisher-Problem aufweist . Um Handbewegungen zu vermeiden, führe ich zunächst einige Notationen ein und formalisiere die Hypothesen.

  • wir haben Beobachtungen gepaart und ( );nxipAxipBi=1,,n
  • wir haben und ungepaarte Beobachtungen ( ) und ( );nAnBxiAi=1,,nAxiBi=1,,nB
  • Jede Beobachtung ist die Summe aus einem Patienten- und einem Behandlungseffekt. Die entsprechenden Zufallsvariablen sind

    • XipA=Pi+TiA , ,XipB=Pi+TiB
    • XiA=Qi+UiAXiB=Ri+ViB

    Pi,Qi,RiN(0,σP2)Tiτ,Uiτ,ViτN(μτ,σ2)τ=A,B

    • μA=μB

Xi=XipAXipBXiN(μAμB,2σ2)

XinXiAnAXiBnB

  • XN(μAμB,2nσ2)
  • XAN(μA,1nA(σP2+σ2))
  • XBN(μB,1nB(σP2+σ2))

Der nächste natürliche Schritt ist zu überlegen

  • Y=X+XAXBN(2(μAμB),2nσ2+(1nA+1nB)(σP2+σ2))

σ2n1σP2+σ2nA1nB1(1nA+1nB)(σP2+σ2)nA+nB2Y

An dieser Stelle, denke ich, kann man eine beliebige Lösung für das Behrens-Fisher-Problem einbinden, um eine Lösung für Ihr Problem zu erhalten.

Elvis
quelle
1
Ich habe ein paar Tippfehler in Formeln behoben. Bitte prüfen!
kjetil b halvorsen
5

Mein erster Gedanke war ein Modell mit gemischten Effekten, aber das wurde bereits besprochen, deshalb werde ich darauf nicht weiter eingehen.

Mein anderer Gedanke ist, dass, wenn es theoretisch möglich wäre, dass Sie gepaarte Daten für alle Probanden hätten messen können, aber aufgrund von Kosten, Fehlern oder einem anderen Grund, dass Sie nicht alle Paare haben, Sie den ungemessenen Effekt für die ungepaarten Probanden behandeln könnten B. fehlende Daten und Verwendung von Tools wie dem EM-Algorithmus oder der multiplen Imputation (das Fehlen nach dem Zufallsprinzip erscheint vernünftig, es sei denn, der Grund, warum ein Proband nur unter einer Behandlung gemessen wurde, hing mit dem Ergebnis der anderen Behandlung zusammen).

Es kann sogar noch einfacher sein, eine bivariate Normale unter Verwendung der maximalen Wahrscheinlichkeit (wobei die Wahrscheinlichkeit auf den verfügbaren Daten pro Proband basiert) an die Daten anzupassen und dann einen Wahrscheinlichkeitsverhältnis-Test durchzuführen, bei dem die Verteilung mit den gleichen oder unterschiedlichen Mitteln verglichen wird.

Meine Theorieklassen sind schon lange her, daher weiß ich nicht, wie diese mit der Optimalität verglichen werden.

Greg Snow
quelle
1
Danke Greg. Ich neige zum angepassten Maximum-Likelihood-Ansatz.
Frank Harrell
4

Vielleicht könnte eine gemischte Modellierung mit dem Patienten als zufälliger Effekt ein Weg sein. Mit der gemischten Modellierung konnten die Korrelationsstruktur im gepaarten Fall und die Teilausfälle im ungepaarten Fall berücksichtigt werden.

psj
quelle
2
Da keiner der Datensätze, wenn er einzeln analysiert wird, dazu führen würde, dass zufällige Effekte verwendet werden, verstehe ich nicht, warum zufällige Effekte hier hilfreich sind. Es kann jedoch möglich sein, verallgemeinerte kleinste Quadrate zu verwenden, damit jedes Subjekt seine eigene Korrelationsstruktur hat. Nicht gepaarte Beobachtungen hätten eine Korrelation von Null. Es lohnt sich darüber nachzudenken. Vielen Dank.
Frank Harrell
Ja, Sie haben Recht, die Datensätze erfordern keine gemischte Modellierung, wenn sie separat verwendet werden. Wenn Sie sie jedoch in einem einzelnen Datensatz anhängen, können Sie den Ansatz verwenden, um die Korrelation in die gepaarten Daten zu integrieren und gleichzeitig die ungepaarten Daten zu verwenden, indem Sie eine Nullkorrelation angeben.
PSJ
1
Ja; Mein Punkt war, dass ein gemischtes Modell ein Overkill sein kann, da Sie die thematisch variierende Korrelationsstruktur leicht mit verallgemeinerten kleinsten Quadraten spezifizieren können (z. B. unter Verwendung der R- glsFunktion in dem nlme4Paket.
Frank Harrell
3

Eine der in Hani M. Samawi und Robert Vogel (Journal of Applied Statistics, 2013) vorgeschlagenen Methoden besteht aus einer gewichteten Kombination von T-Scores aus unabhängigen und abhängigen Stichproben, so dass der neue T-Score gleich ist

To=γ(μYμXSx2/nX+Sy2/nY)+(1γ)μDSD2/nD

Dγγ

Bonobo
quelle
1
T0