Was tun, wenn die Mittelwerte zweier Stichproben erheblich voneinander abweichen, der Unterschied jedoch zu gering ist, um eine Rolle zu spielen?

Ich habe zwei Proben ( $n \approx 70$ in beiden Fällen). Die Mittel unterscheiden sich um etwa das Doppelte der gepoolten Standardabweichung. dev. Der resultierende $T$ Wert ist ungefähr 10. Obwohl es gut zu wissen ist, dass ich schlüssig gezeigt habe, dass die Mittelwerte nicht gleich sind, scheint dies von dem großen n getrieben zu sein. Wenn ich mir die Histogramme der Daten ansehe, habe ich sicherlich nicht das Gefühl, dass ein kleiner p-Wert für die Daten wirklich repräsentativ ist, und um ehrlich zu sein, fühle ich mich nicht wirklich wohl, wenn ich es zitiere. Ich stelle wahrscheinlich die falsche Frage. Was ich denke ist: ok, die Mittel sind unterschiedlich, aber spielt das wirklich eine Rolle, da die Verteilungen eine signifikante Überschneidung aufweisen?

Ist dies der Ort, an dem Bayes-Tests nützlich sind? Wenn ja, wo ist ein guter Ausgangspunkt, ein bisschen googeln hat nichts Sinnvolles gebracht, aber ich kann nicht die richtige Frage stellen. Wenn dies die falsche Sache ist, hat jemand irgendwelche Vorschläge? Oder ist dies nur ein Diskussionspunkt im Gegensatz zur quantitativen Analyse?

Es sei der Mittelwert der ersten Population und μ 2 der Mittelwert der zweiten Population. Es scheint, dass Sie einen t- Test mit zwei Stichproben verwendet haben , um zu testen, ob μ 1 = μ 2 ist . Das signifikante Ergebnis impliziert, dass μ 1 ≠ μ 2 , aber der Unterschied scheint zu gering zu sein, um für Ihre Anwendung von Bedeutung zu sein.$\mu_1$$\mu_2$$t$$\mu_1=\mu_2$$\mu_1\neq\mu_2$

Was Sie festgestellt haben, ist die Tatsache, dass statistisch signifikant oft etwas anderes als signifikant für die Anwendung sein kann . Obwohl der Unterschied statistisch signifikant sein kann, ist er möglicherweise dennoch nicht aussagekräftig .

Bayesianische Tests lösen dieses Problem nicht - Sie werden nur den Schluss ziehen, dass ein Unterschied besteht.

Es könnte jedoch einen Ausweg geben. Zum Beispiel für eine einseitige Hypothese könnte man entscheiden , dass , wenn ist Δ Einheiten größer als μ 2 dann wäre das ein spürbarer Unterschied sein, der groß genug ist für Ihre Anwendung wichtig ist .$\mu_1$$\Delta$$\mu_2$

In diesem Fall würden Sie testen, ob anstatt ob μ 1 - μ 2 = 0 ist . Die t- Statistik (unter der Annahme gleicher Varianzen) wäre in diesem Fall T = ≤ x 1 - ≤ x 2 - $\mu_1-\mu_2\leq \Delta$$\mu_1-\mu_2=0$$t$ wobeispdie Schätzung der gepoolten Standardabweichung ist. Nach der Nullhypothese ist diese Statistikmitn1+n2-2Freiheitsgradent-verteilt.

Eine einfache Möglichkeit, diesen Test durchzuführen, besteht darin, von Ihren Beobachtungen von der ersten Population zu subtrahieren und dann einen regelmäßigen einseitigen t- Test mit zwei Stichproben durchzuführen .$\Delta$$t$

Es ist gültig, mehrere Ansätze zu vergleichen, jedoch nicht mit dem Ziel, den zu wählen, der unseren Wünschen / Überzeugungen entspricht.

Meine Antwort auf Ihre Frage lautet: Es ist möglich, dass sich zwei Verteilungen überlappen, obwohl sie unterschiedliche Mittel haben. Dies scheint Ihr Fall zu sein (wir müssten jedoch Ihre Daten und Ihren Kontext anzeigen, um eine genauere Antwort zu erhalten).

Ich werde dies anhand einiger Ansätze zum Vergleich der normalen Mittelwerte veranschaulichen .

1. Test$t$

$70$$N(10,1)$$N(12,1)$$t$$10$

rm(list=ls())
# Simulated data
dat1 = rnorm(70,10,1)
dat2 = rnorm(70,12,1)

set.seed(77)

# Smoothed densities
plot(density(dat1),ylim=c(0,0.5),xlim=c(6,16))
points(density(dat2),type="l",col="red")

# Normality tests
shapiro.test(dat1)
shapiro.test(dat2)

# t test
t.test(dat1,dat2)

$\sigma$

$\mu$

Eine Definition der Profilwahrscheinlichkeit und -wahrscheinlichkeit finden Sie unter 1 und 2 .

$\mu$$n$$\bar{x}$$R_p(\mu)=\exp\left[-n(\bar{x}-\mu)^2\right]$

Für die simulierten Daten können diese in R wie folgt berechnet werden

# Profile likelihood of mu
Rp1 = function(mu){
n = length(dat1)
md = mean(dat1)
return( exp(-n*(md-mu)^2) )
}

Rp2 = function(mu){
n = length(dat2)
md = mean(dat2)
return( exp(-n*(md-mu)^2) )
}

vec=seq(9.5,12.5,0.001)
rvec1 = lapply(vec,Rp1)
rvec2 = lapply(vec,Rp2)

# Plot of the profile likelihood of mu1 and mu2
plot(vec,rvec1,type="l")
points(vec,rvec2,type="l",col="red")

$\mu_1$$\mu_2$

$\mu$

$(\mu,\sigma)$

$\mu$

# Posterior of mu
library(mcmc)

lp1 = function(par){
n=length(dat1)
if(par[2]>0) return(sum(log(dnorm((dat1-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

lp2 = function(par){
n=length(dat2)
if(par[2]>0) return(sum(log(dnorm((dat2-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

NMH = 35000
mup1 = metrop(lp1, scale = 0.25, initial = c(10,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]
mup2 = metrop(lp2, scale = 0.25, initial = c(12,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]

# Smoothed posterior densities
plot(density(mup1),ylim=c(0,4),xlim=c(9,13))
points(density(mup2),type="l",col="red")

Auch hier überschneiden sich die Glaubwürdigkeitsintervalle für die Mittel auf keinem vernünftigen Niveau.

Zusammenfassend können Sie sehen, wie all diese Ansätze trotz der Überlappung der Verteilungen einen signifikanten Unterschied der Mittelwerte anzeigen (was das Hauptinteresse ist).

$\star$

${\mathbb P}(X<Y)$$0.8823825$

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r ) 
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

nonpest(dat1,dat2)

Ich hoffe das hilft.

Die richtige Frage beantworten

OK, die Mittel sind unterschiedlich, aber ist das wirklich wichtig, da die Verteilungen eine signifikante Überschneidung aufweisen?

Jeder Test, der fragt, ob Gruppenmittelwerte unterschiedlich sind, sagt Ihnen, ob Mittelwerte unterschiedlich sind, wenn er richtig funktioniert. Es wird Ihnen nicht gesagt, dass die Verteilung der Daten selbst unterschiedlich ist, da dies eine andere Frage ist. Diese Frage hängt sicherlich davon ab, ob die Mittel unterschiedlich sind, aber auch von vielen anderen Dingen, die (unvollständig) als Varianz, Schrägstellung und Kurtosis zusammengefasst werden können.

Sie beachten zu Recht, dass die Gewissheit, wo sich die Mittelwerte befinden, von der Menge der Daten abhängt, die Sie schätzen müssen. Wenn Sie also mehr Daten haben, können Sie mittlere Unterschiede in sich näher überlappenden Verteilungen erkennen. Aber Sie fragen sich, ob

wie kleiner p-Wert ist wirklich repräsentativ für die Daten

In der Tat ist es nicht, zumindest nicht direkt. Und das ist so gewollt. Es ist (ungefähr) repräsentativ für die Gewissheit, dass ein bestimmtes Paar von Stichprobenstatistiken der Daten (nicht die Daten selbst) unterschiedlich sind.

Wenn Sie die Daten selbst formaler darstellen möchten, als nur die Histogramme und Testmomente anzuzeigen, sind möglicherweise zwei Dichtediagramme hilfreich. Es hängt vielmehr wirklich von dem Argument ab, für das Sie den Test verwenden.

Eine Bayesianische Version

In all diesen Punkten verhalten sich Bayes'sche Differenztests und T-Tests gleich, weil sie versuchen, dasselbe zu tun. Die einzigen Vorteile, die mir bei der Verwendung eines Bayes'schen Ansatzes in den Sinn kommen, sind: a) dass es einfach sein wird, den Test so durchzuführen, dass möglicherweise unterschiedliche Varianzen für jede Gruppe möglich sind, und b) dass der Schwerpunkt auf der Schätzung der wahrscheinlichen Größe der Mittelwertdifferenz liegt anstatt einen p-Wert für einen Unterschiedstest zu finden. Trotzdem sind diese Vorteile recht gering: Zum Beispiel kann man in b) immer ein Konfidenzintervall für die Differenz angeben.

Die Anführungszeichen über "Tests" sind absichtlich. Es ist sicherlich möglich, die Bayes'schen Hypothesen zu testen, und die Leute tun es auch. Ich würde jedoch vorschlagen, dass der komparative Vorteil des Ansatzes darin besteht, ein plausibles Modell der Daten zu erstellen und seine wichtigen Aspekte mit angemessener Unsicherheit zu kommunizieren.

Erstens ist dies kein Problem, wenn man sich auf häufige Tests stützt. Das Problem liegt in der Nullhypothese, dass die Mittelwerte exakt gleich sind. Wenn sich die Populationen also im Mittel um eine geringe Menge unterscheiden und die Stichprobengröße groß genug ist, ist die Wahrscheinlichkeit, diese Nullhypothese abzulehnen, sehr hoch. Daher fiel der p-Wert für Ihren Test sehr klein aus. Der Täter ist die Wahl der Nullhypothese. Wählen Sie d> 0 und nehmen Sie die Nullhypothese an, dass sich die Mittelwerte um weniger als d im absoluten Wert um weniger als d unterscheiden. Sie wählen d, damit der tatsächliche Unterschied ausreichend groß ist, um ihn abzulehnen. Dein Problem geht weg. Bayesianische Tests lösen Ihr Problem nicht, wenn Sie auf einer Nullhypothese der exakten Mittelgleichheit bestehen.