Berechnung der Interrater-Zuverlässigkeit in R mit variabler Anzahl von Bewertungen?

Wikipedia schlägt vor, dass eine Möglichkeit, die Zuverlässigkeit zwischen Bewertern zu untersuchen, darin besteht, ein Zufallseffektmodell zur Berechnung der Korrelation zwischen Klassen zu verwenden . Das Beispiel der Intraclass-Korrelation spricht vom Betrachten

von einem Modell

"wobei Y _ij die j- ^te Beobachtung in der i- ^ten Gruppe ist, μ ein nicht beobachteter Gesamtmittelwert ist, α _i ein nicht beobachteter zufälliger Effekt ist, der von allen Werten in Gruppe i geteilt wird, und ε _ij ein nicht beobachteter Rauschausdruck ist."

Dies ist ein attraktives Modell, insbesondere weil in meinen Daten kein Bewerter alle Dinge bewertet hat (obwohl die meisten 20+ bewertet haben) und die Dinge unterschiedlich oft bewertet werden (normalerweise 3-4).

Frage 0: Ist "Gruppe i" in diesem Beispiel ("Gruppe i") eine Gruppierung von Dingen, die bewertet werden?

Frage 1: Wenn ich nach Interrater-Zuverlässigkeit suche, brauche ich dann kein Zufallseffektmodell mit zwei Begriffen, einem für den Rater und einem für das bewertete Objekt? Immerhin haben beide mögliche Variationen.

Frage 2: Wie würde ich dieses Modell am besten in R ausdrücken?

Es sieht so aus, als hätte diese Frage einen gut aussehenden Vorschlag:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Ich habe mir ein paar Fragen angesehen , und die Syntax des "zufälligen" Parameters für lme ist für mich undurchsichtig. Ich habe die Hilfeseite für lme gelesen , aber die Beschreibung für "zufällig" ist für mich ohne Beispiele unverständlich.

Diese Frage ähnelt einer langen Liste von Fragen , von denen diese am nächsten kommt. Die meisten sprechen R jedoch nicht im Detail an.

Das Modell, auf das Sie in Ihrer Frage verwiesen haben, wird als "Einwegmodell" bezeichnet. Es wird davon ausgegangen, dass zufällige Zeileneffekte die einzige systematische Varianzquelle sind. Im Fall der Interrater-Zuverlässigkeit entsprechen Zeilen Messobjekten (z. B. Subjekten).

One-Way - Modell : wo ist der Mittelwert für alle Objekte, ist der Zeileneffekt und ist die Nachwirkung.

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

Es gibt jedoch auch "Zwei-Wege-Modelle". Diese setzen voraus, dass mit zufälligen Zeileneffekten sowie zufälligen oder festen Spalteneffekten Varianz verbunden ist. Im Fall der Interrater-Zuverlässigkeit entsprechen die Spalten den Messquellen (z. B. Bewerter).

Zweiwege-Modelle : wobei der Mittelwert für alle ist Objekte, ist der , ist der Spalteneffekt, ist der Interaktionseffekt und ist der . Der Unterschied zwischen diesen beiden Modellen besteht im Einschluss oder Ausschluss des Interaktionseffekts.

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

Bei einem Zwei-Wege-Modell können Sie einen von vier ICC-Koeffizienten berechnen: den Einzel-Score-Konsistenz-ICC (C, 1), den Durchschnitts-Score-Konsistenz-ICC (C, k), den Single-Score-Übereinstimmungs-ICC (A, 1) oder die durchschnittliche Punktzahl Übereinstimmung ICC (A, k). Einzelpunktzahl-ICCs gelten für Einzelmessungen (z. B. einzelne Bewerter), während Durchschnittspunktzahl-ICCs für Durchschnittsmessungen (z. B. der Mittelwert aller Bewerter) gelten. Konsistenz-ICCs schließen die Spaltenvarianz von der Nennervarianz aus (z. B. Ermöglichen, dass die Bewerter um ihre eigenen Mittelwerte variieren), während Übereinstimmungs-ICCs die Spaltenvarianz in der Nennervarianz enthalten (z. B., dass die Bewerter um den gleichen Mittelwert variieren müssen).$x_{ij}$$\bar{x}_i$

Hier sind die Definitionen, wenn Sie einen zufälligen Spalteneffekt annehmen:

Zweiwege-ICC-Definitionen mit zufälligen Effekten (mit oder ohne Interaktionseffekt) :

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

Sie können diese Werte auch anhand der mittleren Quadrate von ANOVA schätzen:

Zweiwege-ICC-Schätzungen :

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ ICC(A,k)=MSR-MS $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Sie können diese Koeffizienten in R mit dem irr-Paket berechnen :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Verweise

McGraw, KO & Wong, SP (1996). Rückschlüsse auf einige Intraclass-Korrelationskoeffizienten ziehen. Psychological Methods, 1 (1), 30–46.

Shrout, PE & Fleiss, JL (1979). Intraclass-Korrelationen: Dient zur Bewertung der Zuverlässigkeit von Bewertern. Psychological Bulletin, 86 (2), 420–428.