Warum ist Abhängigkeit ein Problem?

8

Mich interessiert, warum abhängige Beobachtungen ein Problem in der Statistik sind. Angenommen, Sie möchten wissen, ob sich die durchschnittlichen Prüfungsergebnisse zwischen zwei Schulen unterscheiden. Sie sammeln 50 Beobachtungen in jeder Schule. Diese 50 Beobachtungen stammen aus 5 verschiedenen Klassenräumen in jeder Schule und es besteht eine Abhängigkeit innerhalb der Klassenräume. Wie würden in diesem Fall die Ergebnisse des T-Tests beeinflusst und wie könnten sie zu ungenauen Schlussfolgerungen führen?

luciano
quelle

Antworten:

5

Der p-Wert für den t-Test wird unter der Annahme berechnet, dass alle Beobachtungen unabhängig sind. Das Berechnen von Wahrscheinlichkeiten (wie dem p-Wert) ist viel schwieriger, wenn Sie mit abhängigen Variablen arbeiten, und es ist nicht immer einfach, mathematisch zu erkennen, wo mit dem Test bei Vorhandensein von Abhängigkeiten etwas schief geht. Wir können das Problem jedoch leicht mit einer Simulation veranschaulichen.

Betrachten Sie zum Beispiel den Fall, dass es in jeder der beiden Schulen 5 Klassenzimmer mit 10 Schülern in jedem Klassenzimmer gibt. Unter der Annahme der Normalität sollte der p-Wert des Tests gleichmäßig auf das Intervall wenn zwischen allen Klassenräumen kein Unterschied in den mittleren Testergebnissen besteht. Das heißt, wenn wir viele Studien wie diese durchgeführt und ein Histogramm aller p-Werte aufgezeichnet haben, sollte es der kastenförmigen Gleichverteilung ähneln .(0,1)

Wenn jedoch eine Korrelation zwischen den Ergebnissen der Schüler im Klassenzimmer besteht, verhalten sich die p-Werte nicht mehr so, wie sie sollten. Eine positive Korrelation (wie hier zu erwarten) führt häufig zu zu kleinen p-Werten, so dass die Nullhypothese zu oft verworfen wird, wenn sie tatsächlich wahr ist. Eine R-Simulation, die dies veranschaulicht, finden Sie unten. 1000 Studien an zwei Schulen werden für unterschiedliche Korrelationen innerhalb des Klassenzimmers simuliert. Die p-Werte des entsprechenden t-Tests sind in den Histogrammen in der Abbildung dargestellt. Sie sind gleichmäßig verteilt, wenn keine Korrelation besteht, aber nicht anders. In der Simulation wird davon ausgegangen, dass es keine mittleren Unterschiede zwischen den Klassenzimmern gibt und dass alle Klassenräume die gleiche Korrelation innerhalb des Klassenzimmers aufweisen.

Die Konsequenz dieses Phänomens ist, dass die Typ I-Fehlerrate des t-Tests weit entfernt ist, wenn Korrelationen innerhalb des Klassenzimmers vorhanden sind. Zum Beispiel liegt ein t-Test bei 5% tatsächlich ungefähr bei 25%, wenn die Korrelation innerhalb des Klassenzimmers 0,1 beträgt! Mit anderen Worten, das Risiko, die Nullhypothese fälschlicherweise abzulehnen, steigt dramatisch an, wenn die Beobachtungen abhängig sind .


Simulation Beachten Sie, dass sich die Achsen zwischen den Histogrammen etwas unterscheiden.

R-Code:

library(MASS) 
B1<-1000

par(mfrow=c(3,2))

for(correlation in c(0,0.1,0.25,0.5,0.75,0.95))
{
# Create correlation/covariance matrix and mean vector
Sigma<-matrix(correlation,10,10)
diag(Sigma)<-1
mu<-rep(5,10)

# Simulate B1 studies of two schools A and B
p.value<-rep(NA,B1)
for(i in 1:B1)
{
    # Generate observations of 50 students from school A
    A<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    # Generate observations of 50 students from school B
    B<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    p.value[i]<-t.test(A,B)$p.value
}

# Plot histogram
hist(p.value,main=paste("Within-classroom correlation:",correlation),xlab="p-value",cex.main=2,cex.lab=2,cex.axis=2)
}
MånsT
quelle
MånsT Ihre Antwort ist die Art von Antwort, auf die ich gehofft hatte (+1). Können Sie jedoch erklären, wie es möglich ist, eine Korrelation innerhalb des Klassenzimmers zu berechnen? In jedem der 5 Klassenräume in jeder der 2 Schulen werden 10 Beobachtungen an einer einzelnen Variablen gemessen. Mein Verständnis von Korrelationen ist, dass sie Beobachtungen benötigen würden, die an zwei Variablen gemessen werden.
Luciano
@luciano: Das Berechnen oder vielmehr das Schätzen dieser Korrelation könnte sich tatsächlich als schwierig erweisen! Es ist jedoch einfach, in das in der Simulation verwendete Modell aufzunehmen: Wenn die Ergebnisse für die 10 Schüler im Klassenzimmer generiert werden, werden sie auf korrelierte Weise generiert. Die zwei Variablen, die eine Korrelation sind das Ergebnis von Schüler und das Ergebnis von Schüler für alle Kombinationen von und . Grundsätzlich bedeutet dies, dass wenn ein Schüler im Klassenzimmer gute Leistungen erbringt (im Vergleich zum Schulmittel), andere eher ebenfalls gute Leistungen erbringen. X i i X j j i = 1 , , 10 j = 1 , , 10ρXiiXjji=1,,10j=1,,10
MånsT
3

Das Problem wäre, dass der Vergleich der beiden Schulen auf diese Weise Effekte auf Universitätsniveau mit Effekten auf Klassenebene mischt. Mit einem gemischten Modell können Sie diese entwirren. Wenn Sie nicht daran interessiert sind, sie zu entwirren, sollten Sie dennoch die Cluster-Stichprobe berücksichtigen (obwohl viele Leute dies nicht tun).

Der Kommentar von @Nico oben führt hier zu einem Problem: Angenommen, ein Lehrer in einer Schule ist wirklich gut und er / sie ist zufällig einer der ausgewählten Lehrer?

Ein weiteres Problem besteht darin, dass die Schüler in jeder Klasse einander in vielerlei Hinsicht ähnlicher sind als anderen Schülern an derselben Universität: Unterschiedliche Fächer ziehen unterschiedliche Arten von Schülern nach Alter, Geschlecht, Erfahrung und akademischer Stärke an und Schwäche etc.

Peter Flom
quelle
1

An dem von Ihnen beschriebenen Test ist nichts auszusetzen, da Sie auf faire Weise eine Probe aus beiden Schulen entnommen haben. Abhängige Beobachtungen kommen ins Spiel, wenn es eine andere Variable gibt, von der die Stichproben abhängen. Das heißt, in einer der Schulen ist nur eine Klasse erschienen, und Sie haben beschlossen, Ergebnisse von 50 Personen in dieser einen Klasse zu erhalten, weil Sie dachten, dass dies in Ordnung sein wird. Aber innerhalb der Schule hängt das Ergebnis von einer Klasse ab, so dass Sie es nicht so machen können und es ein falsches Ergebnis liefert, das Sie durch keinen statistischen Test erkennen können ... es ist nur ein falsches experimentelles Design.

Aber ich denke, die Leute sprechen normalerweise über abhängige Beobachtungen aus verschiedenen Blickwinkeln. Es ist, wenn Sie denken, dass Sie Verteilungen und Fehler aus Ihren Stichproben basierend auf Annahmen der Unabhängigkeit ableiten können (die meisten Standardformeln gehen davon aus), während wenn Ihre Ergebnisse voneinander abhängen, diese Regeln überhaupt nicht genau sind ...

Sashkello
quelle
3
Was ist, wenn eine einzelne Klasse in einer der beiden Schulen einen extrem guten Lehrer hat, so dass die Kinder in dieser Klasse alle über dem Durchschnitt der anderen Klassen liegen? Der Gesamtmittelwert dieser Schule kann höher sein, aber nur wegen dieser Klasse, nicht weil die allgemeine Bevölkerung dieser Schule besser ist.
Nico
Ja und? Diese Schule ist im Durchschnitt besser, und ja, auch wegen dieses Lehrers. Wenn Sie versuchen, Kinder aus verschiedenen Bereichen zu vergleichen, kommt dies ins Spiel. Ansonsten ist daran nichts auszusetzen.
Sashkello
Nun, man kann zu dem falschen Schluss kommen, dass alle Klassen in dieser Schule besser sind (zum Beispiel aufgrund der Richtlinien des Schulleiters), wenn man wirklich die Wirkung eines Ausreißers betrachtet. Das Korrigieren des "Lehrereffekts", beispielsweise das Modellieren als Störfaktor, kann dieses Problem beheben.
Nico
1
Ich denke nicht, dass es relevant ist. In einem Kontext von "welche Schule ist besser" ist die Schule mit dem höheren Durchschnittsergebnis besser, egal aus welchem ​​Grund. Das Ergebnis eines solchen Experiments ist nicht falsch, Sie müssen es nur richtig interpretieren. Auch 1 von 5 Klassen ist kein Ausreißer. Ich könnte auch argumentieren, dass es tatsächlich überhaupt keinen "Ausreißer" gibt, denn egal wie weit vom Durchschnitt entfernt, es ist eine Frage der Definition, welche Schule Sie für besser halten - diejenige, die den Durchschnitt besser hat oder diejenige, die sie hat Median besser oder derjenige mit besseren Top 5 Schülern oder was auch immer.
Sashkello