Wie kann man die Wiederholbarkeit (ICC) verschiedener Gruppen vergleichen?

8

Ich habe die ICC-Werte für zwei Gruppen berechnet und möchte nun die ICC-Werte vergleichen, um festzustellen, ob sich die Gruppen in ihrer Wiederholbarkeit unterscheiden. In der Literatur haben die Leute einfach T-Tests verwendet, um die Wiederholbarkeit zu vergleichen, aber mir ist unklar, wie das geht.

Zum Beispiel mit den Dummy-Daten:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

Ich kann die Wiederholbarkeitsmaße für Gruppe 1 und 2 wie folgt erhalten:

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

Aber wie kann ich jetzt feststellen, ob sich die Wiederholbarkeit von Gruppe1 von Gruppe2 unterscheidet?

Crazjo
quelle
Ich stelle fest, dass jede Ihrer Gruppen nur zwei Cluster hat. Dies ist definitiv nicht ideal und sicherlich der Grund, warum die Konfidenzintervalle um Ihre beiden ICC-Schätzungen extrem breit sind (was ich aus der Antwort von @JamesStanley unten sehe), zumindest für diesen von Ihnen bereitgestellten Beispieldatensatz. Haben Sie in Ihrem tatsächlichen Datensatz nur 2 Cluster pro Gruppe oder (hoffentlich) mehr Cluster als diese? Wenn mehr, wie viele pro Gruppe?
Jake Westfall
Was meinst du genau mit 2 Clustern? Ich habe zwei Gruppen zweimal getestet, ja, ich verstehe nicht, warum das nicht ideal ist? Ich führte nun Permutationstests durch, um den ICC beider Gruppen zu vergleichen (r = 0,77, 95% CI: 0,54, 0,91 und für Gruppe 2 r = 0,24, 95% CI: 0,07, 0,57), was zeigt, dass Gruppe 1 eine signifikant höhere Wiederholbarkeit dieser Gruppe aufweist 2.
Crazjo
1
Vielleicht sollten wir uns zurückziehen. Der ICC gilt für Clusterdaten (dh mehrstufige Daten). Auf diese Weise kann gemessen werden, wie ähnlich im Durchschnitt zwei Beobachtungen sind, die aus demselben Cluster stammen, im Vergleich zu zwei Beobachtungen, die zufällig aus dem Datensatz stammen und die Clusterbildung ignorieren. In der Praxis wird es als Verhältnis der Varianz zwischen Clustern zur Gesamtvarianz berechnet. Wenn Sie also nur 2 Cluster in jeder Ihrer Gruppen haben, basiert die Schätzung der Varianz zwischen Clustern nur auf 2 Datenpunkten. Stellen Sie sich vor, Sie versuchen beispielsweise, den Mittelwert oder die Standardabweichung eines Datensatzes zu schätzen, der nur aus 2 Datenpunkten besteht!
Jake Westfall
Was Ihren Permutationstest betrifft, wäre ich sehr interessiert zu sehen, wie dies genau durchgeführt wurde. Ich dachte daran, eine Lösung zu veröffentlichen, die auf einem Bootstrap- oder Permutationstest basiert. Beachten Sie, dass solche Dinge mit mehrstufigen Daten ziemlich sorgfältig gemacht werden müssen!
Jake Westfall

Antworten:

1

Abgesehen von wesentlichen Fragen zu den Studienfragen und Demodaten (und der Stichprobengröße, um eine vernünftige Schätzung eines ICC zu erhalten), sind an die Ausgabe, die Sie von der ICCestFunktion erhalten, Konfidenzintervalle angehängt: Als Ausgangspunkt für den Vergleich von Gruppen können Sie überlegen, ob Es gibt eine Überlappung zwischen jedem Konfidenzintervall und der Punktschätzung der anderen Gruppe des ICC.

In jedem Fall ist es nützlicher, die Punktschätzung des ICC und das Konfidenzintervall für jede Gruppe zu melden (und daher würde ich empfehlen, diese auf jeden Fall zu melden), als nur die Punktschätzungen und das Ergebnis irgendeiner Art zu melden Hypothesentest.

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986
James Stanley
quelle
Vielen Dank, James, die Ausgabe, die ich aus den tatsächlichen Daten erhalten habe, wurde für Gruppe 1 r = 0.77, 95% CI: 0.54, 0.91und für Gruppe 2 angezeigt r = 0.77, 95% CI: 0.07, 0.57. Sie können sehen, dass Gruppe 1 eine relativ sehr hohe Konsistenz hatte, während Gruppe 2 im Durchschnitt eine mäßige Konsistenz aufwies, aber die Konfidenzintervalle der beiden Gruppen sich kaum überlappen. Könnte ich in ein Manuskript schreiben, Gruppe 2 war wesentlich weniger konsistent als Gruppe 1 (über Statistiken)? Ich verstehe, dass Sie vorschlagen, dass dies besser wäre, als einen Test durchzuführen, um sie zu vergleichen, aber es wäre trotzdem schön zu wissen, wie man die ICC-Werte von zwei Gruppen vergleicht.
Crazjo
Ich würde gerne lesen, wie diese beiden ICCs, die in Ihrem Kommentar abgedruckt sind, unterschiedliche Zuverlässigkeit anzeigen (ich gehe davon aus, dass die Gruppe 2 r einen Tippfehler hat und tatsächlich ~ = 0,32 ist) - die Überlappung liegt zwischen den Enden des Konfidenzintervalls. anstelle eines gegebenen Konfidenzintervalls und der entgegengesetzten Punktschätzung, die, wenn dies Mittelwertunterschiede wären, wahrscheinlich einem "signifikanten" t-Testergebnis bei p <0,05 entsprechen würde.
James Stanley