Ich habe zwei 2 Stunden GPS-Daten mit einer Abtastrate von 1 Hz (7200 Messungen). Die Daten werden in der Form gegeben $(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma)$ , wobei $N_\sigma$ ist die Messunsicherheit.

Wenn ich den Mittelwert aller Messungen nehme (z. B. den durchschnittlichen Z-Wert dieser zwei Stunden), wie hoch ist die Standardabweichung? Ich kann natürlich die Standardabweichung von den Z-Werten berechnen, vernachlässige dann aber die Tatsache, dass Messunsicherheiten bekannt sind ...

Bearbeiten: Die Daten stammen alle von derselben Station, und alle Koordinaten werden jede Sekunde neu gemessen. Aufgrund von Satellitenkonstellationen usw. weist jede Messung eine andere Unsicherheit auf. Der Zweck meiner Analyse ist es, die Verschiebung aufgrund eines äußeren Ereignisses (dh eines Erdbebens) zu finden. Ich möchte den Mittelwert für 7200 Messungen (2 Stunden) vor dem Erdbeben und einen weiteren Mittelwert für 2 Stunden nach dem Erdbeben nehmen und dann die resultierende Differenz berechnen (z. B. in der Höhe). Um die Standardabweichung dieser Differenz zu bestimmen, muss ich die Standardabweichung der beiden Mittel kennen.

Ich vermute, dass die vorherigen Antworten auf diese Frage ein bisschen falsch sind. Es scheint mir , dass das ursprüngliche Plakat , was wirklich hier fragt als „gegeben eine Reihe von Vektormessungen umformuliert werden: mit i = 1 , 2 , 3 , . . . , 7200 und Messkovarianz : C i = ( X 2 σ , i 0 0 0

$$\vec{\theta}_{i} = \left( \begin{array}{c} X_{i} \\ Y_{i} \\ Z_{i} \end{array}\right)$$ $i=1, 2, 3,...,7200$ $$C_{i} = \left( \begin{array}{ccc} X_{\sigma,i}^{2} & 0 & 0 \\ 0 & Y_{\sigma,i}^{2} & 0 \\ 0 & 0 & Z_{\sigma,i}^{2} \end{array} \right)$$ Wie würde ich den kovarianzgewichteten Mittelwert für diese Reihe von Vektormessungen korrekt berechnen und danach, wie würde ich seine Standardabweichung korrekt berechnen? "Die Antwort auf diese Frage kann lauten gefunden in vielen Lehrbüchern, die sich auf Statistik für die Naturwissenschaften spezialisiert haben, ein Beispiel, das ich besonders mag, ist Frederick James, "Statistical Methods in Experimental Physics", 2. Auflage, World Scientific, 2006, Abschnitt 11.5.2, "Kombinieren unabhängiger Schätzungen", S. 323-324. Ein weiterer sehr guter, aber einleitender Text, der die varianzgewichtete Mittelwertberechnung für Skalarwerte (im Gegensatz zu den oben dargestellten vollständigen Vektorgrößen) beschreibt, ist Philip R. Bevington und D. Keith Robinson, "Data Reduction and Error Analysis" for the Physical Sciences " , 3. Auflage, McGraw-Hill, 2003, Abschnitt 4.1.x," Gewichtung der Daten - Uneinheitliche Unsicherheiten ". Weil die Frage des Posters eine Diagonale hatKovarianzmatrix In diesem Fall (dh alle nicht diagonalen Elemente sind Null) ist das Problem tatsächlich in drei einzelne (dh X, Y, Z) skalargewichtete mittlere Probleme trennbar, sodass die Bevington- und Robinson-Analyse gleichermaßen gut anwendbar sind auch hier.

Im Allgemeinen finde ich es bei der Beantwortung von Fragen zu stackexchange.com normalerweise nicht nützlich, lange Ableitungen, die bereits in zahlreichen Lehrbüchern vorgestellt wurden, neu zu verpacken - wenn Sie das Material wirklich verstehen und verstehen möchten, warum die Antworten so aussehen So wie sie es tun, dann sollten Sie einfach die Erklärungen lesen, die bereits von den Lehrbuchautoren veröffentlicht wurden. In diesem Sinne werde ich einfach direkt zu den Antworten springen, die andere bereits gegeben haben. Nach Frederick James beträgt der gewichtete Mittelwert bei : - 1 i ) - 1 ( N ∑ i = 1 C $N=7200$

$$\vec{\theta}_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1} \left( \sum_{i=1}^{N} C_{i}^{-1} \vec{\theta_{i}} \right)$$ $$C_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1}$$ $C_{i}$

$X_{i}$$Y_{i}$$Z_{i}$ und die Varianz istX2σ,meeinn=

$$X_{mean} = \frac{\sum_{i=1}^{N} \frac{X_{i}}{X_{\sigma,i}^{2}}}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ oder äquivalentXσ,mean= $$X_{\sigma,mean}^{2} = \frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ und ähnlich fürYmEeinen,Yσ,meanundZmEeinen,Zσ,mEeinen. Ein kurzer Wikipedia-Eintrag, der ebenfalls zu dieser Antwort für den skalarwertigen Fall führt, isthierverfügbar. $$X_{\sigma,mean} = \sqrt{\frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}}$$ $Y_{mean}, Y_{\sigma, mean}$$Z_{mean}, Z_{\sigma, mean}$

Dies sollte leicht durch Bayes'sche Inferenz gelöst werden können. Sie kennen die Messeigenschaften der einzelnen Punkte in Bezug auf ihren wahren Wert und möchten auf den Populationsmittelwert und die SD schließen, die die wahren Werte generiert haben. Dies ist ein hierarchisches Modell.

Umformulierung des Problems (Bayes-Grundlagen)

Beachten Sie, dass orthodoxe Statistiken nur einen Mittelwert liefern, während Sie im Bayes'schen Rahmen eine Verteilung der glaubwürdigen Werte des Mittelwerts erhalten. ZB könnten die Beobachtungen (1, 2, 3) mit SDs (2, 2, 3) durch die Maximum-Likelihood-Schätzung von 2, aber auch durch einen Mittelwert von 2,1 oder 1,8 erzeugt worden sein, obwohl dies (gemessen an den Daten) etwas weniger wahrscheinlich ist als die MLE. Neben dem SD schließen wir also auch den Mittelwert .

Ein weiterer konzeptioneller Unterschied besteht darin, dass Sie Ihren Wissensstand definieren müssen, bevor Sie Beobachtungen anstellen. Wir nennen das Priors . Möglicherweise wissen Sie im Voraus, dass ein bestimmter Bereich in einem bestimmten Höhenbereich gescannt wurde. Das völlige Fehlen von Wissen würde darin bestehen, einheitliche (-90, 90) Grad wie zuvor in X und Y und möglicherweise einheitliche (0, 10000) Meter in der Höhe (über dem Ozean, unter dem höchsten Punkt der Erde) zu haben. Sie müssen Prior-Verteilungen für alle Parameter definieren, die Sie schätzen möchten, dh für die Sie Posterior-Verteilungen erhalten möchten . Dies gilt auch für die Standardabweichung.

Wenn Sie also Ihr Problem umformulieren, gehe ich davon aus, dass Sie glaubwürdige Werte für drei Mittelwerte (X.Mittelwert, Y.Mittelwert, X.Mittelwert) und drei Standardabweichungen (X.SD, Y.SD, X.SD) ableiten möchten generiert Ihre Daten.

Das Model

Wenn Sie die Standard-BUGS-Syntax verwenden (verwenden Sie WinBUGS, OpenBUGS, JAGS, Stan oder andere Pakete, um dies auszuführen), würde Ihr Modell ungefähr so ​​aussehen:

  model {
    # Set priors on population parameters
    X.mean ~ dunif(-90, 90)
    Y.mean ~ dunif(-90, 90)
    Z.mean ~ dunif(0, 10000)
    X.sd ~ dunif(0, 10)  # use something with better properties, i.e. Jeffreys prior.
    Y.sd ~ dunif(0, 10)
    Z.sd ~ dunif(0, 100)

    # Loop through data (or: set up plates)
    # assuming observed(x, sd(x), y, sd(y) z, sd(z)) = d[i, 1:6]
    for(i in 1:n.obs) {
      # The true value was generated from population parameters
      X[i] ~ dnorm(X.mean, X.sd^-2)  #^-2 converts from SD to precision
      Y[i] ~ dnorm(Y.mean, Y.sd^-2)
      Z[i] ~ dnorm(Z.mean, Z.sd^-2)

      # The observation was generated from the true value and a known measurement error
      d[i, 1] ~ dnorm(X[i], d[i, 2]^-2)  #^-2 converts from SD to precision
      d[i, 3] ~ dnorm(Y[i], d[i, 4]^-2)
      d[i, 5] ~ dnorm(Z[i], d[i, 6]^-2)
    }
  }

Natürlich überwachen Sie die .mean- und .sd-Parameter und verwenden deren posterioren Parameter zur Inferenz.

Simulation

Ich habe einige Daten wie diese simuliert:

# Simulate 500 data points
x = rnorm(500, -10, 5)  # mean -10, sd 5
y = rnorm(500, 20, 5)  # mean 20, sd 4
z = rnorm(500, 2000, 10)  # mean 2000, sd 10
d = cbind(x, 0.1, y, 0.1, z, 3)  # added constant measurement errors of 0.1 deg, 0.1 deg and 3 meters
n.obs = dim(d)[1]

Anschließend wurde das Modell mit JAGS für 2000 Iterationen nach einem Burnin von 500 Iterationen ausgeführt. Hier ist das Ergebnis für X.sd.

Der blaue Bereich gibt das 95% -ige Intervall für die höchste posteriore Dichte oder das glaubwürdige Intervall an (wenn Sie glauben, dass der Parameter nach der Beobachtung der Daten ermittelt wurde. Beachten Sie, dass ein orthodoxes Konfidenzintervall dies nicht ergibt).

Die rote vertikale Linie ist die MLE-Schätzung der Rohdaten. Normalerweise ist der wahrscheinlichste Parameter in der Bayes'schen Schätzung auch der wahrscheinlichste (maximale Wahrscheinlichkeits-) Parameter in orthodoxen Statistiken. Aber Sie sollten sich nicht zu sehr um die Oberseite des Seitenzahns kümmern. Der Mittelwert oder Median ist besser, wenn Sie ihn auf eine einzelne Zahl reduzieren möchten.

Beachten Sie, dass MLE / top nicht bei 5 liegt, da die Daten zufällig generiert wurden und nicht aufgrund falscher Statistiken.

Einschränkungen

Dies ist ein einfaches Modell, das derzeit mehrere Mängel aufweist.

1. Die Identität von -90 und 90 Grad wird nicht verarbeitet. Dies kann jedoch erreicht werden, indem eine Zwischenvariable erstellt wird, die die Extremwerte der geschätzten Parameter in den Bereich (-90, 90) verschiebt.
2. X, Y und Z werden derzeit als unabhängig modelliert, obwohl sie wahrscheinlich korreliert sind. Dies sollte berücksichtigt werden, um die Daten optimal zu nutzen. Dies hängt davon ab, ob sich das Messgerät bewegt hat (serielle Korrelation und gemeinsame Verteilung von X, Y und Z liefern Ihnen viele Informationen) oder ob es stillsteht (Unabhängigkeit ist in Ordnung). Ich kann die Antwort erweitern, um dies zu erreichen, wenn dies gewünscht wird.

Ich sollte erwähnen, dass es eine Menge Literatur zu räumlichen Bayes'schen Modellen gibt, über die ich mich nicht auskenne.

Ich führe zunächst eine Notation ein und richte das Problem mit dem von Ihnen erwähnten einfachen Ansatz ein. Dann geh weiter. ich werde benützen$\mathbf{z}$ um sich auf den von Ihnen angegebenen Vektor Z zu beziehen.

Betrachten Sie das folgende Modell, bei dem der explizite Erwähnungsmessfehler fehlt: $\bar{Z} = \frac{\sum_{i=1}^n\mu_{Z} + \epsilon_i}{n}$, wo $\bar{Z}$ ist der geschätzte Durchschnittswert von $\mathbf{z}$, und $\mu_Z$ ist der wahre Durchschnittswert von Z. Hier, $\mathbf{\epsilon}$ ist ein Vektor der Fehler in Ihren Daten, und Sie erwarten dies, wenn Ihre Stichprobe groß ist $\bar{Z}$ konvergieren zu $\mu_Z$. Wenn Sie einfach das Beobachtete nehmen$Z$ Werte und deren Durchschnitt erhalten Sie $\bar{Z}$ und wenn Sie die Standardabweichung der Stichprobe berechnen, erhalten Sie $\hat{\sigma}$, die Schätzung der wahren Populationsstandardabweichung $\sigma$. Was ist, wenn Sie etwas Wissen über den Messfehler nutzen möchten?

Beachten Sie zunächst, dass wir das ursprüngliche Modell wie folgt umformulieren können: $\mathbf{z} = \mathbf{1}\beta + \epsilon$, wo $\mathbf{1}$ ist ein Vektor von Einsen und $\beta$ wird am Ende sein $\bar{Z}$. Das sieht nun wirklich nach Regression aus, aber wir bekommen im Grunde immer noch nur eine Schätzung von$\mu_Z$. Wenn wir eine solche Regression durchführen, erhalten wir auch eine Schätzung für den Standardfehler von$\epsilon$, das ist fast das, was wir wollen - das ist nichts als der Standardfehler von $\mathbf{z}$ (aber wir wollen immer noch Messfehler berücksichtigen).

Wir können unser ursprüngliches Modell erweitern, um ein Modell mit gemischten Effekten zu erhalten. $\mathbf{z} = \mathbf{1}\beta + \mathbf{Q}u +\epsilon$, wo $u$ ist ein Vektor von zufälligen Effekten, und $\mathbf{Q}$ ist der Regressor im Zusammenhang $\mathbf{z}$ zu $u$. Wie bei jedem zufälligen Effekt müssen Sie eine Annahme über die Verteilung von treffen$u$. Ist es richtig, dass$Z_\sigma$ ist die Verteilung des Messfehlers für $\mathbf{z}$? Wenn ja, kann dies verwendet werden, um die Verteilung der zufälligen Effekte bereitzustellen. In der Regel geht die Software zur Durchführung der grundlegenden Modellierung gemischter Effekte davon aus, dass die zufälligen Effekte eine normale Verteilung haben (mit dem Mittelwert 0 ...) und die Varianz für Sie schätzen. Vielleicht können Sie dies versuchen, um das Konzept zu testen. Wenn Sie Ihre vorherigen Informationen zur Verteilung des Messfehlers verwenden möchten, ist ein Bayes'sches Mischeffektmodell in Ordnung. Sie können R2OpenBUGS verwenden.

Nach der Schätzung dieses Modells erhalten Sie den Standardfehler für die Residuen $\epsilon$Dies ist der Standardfehler, an dem Sie Ihr Interesse bekunden. Intuitiv saugt die Zufallseffektkomponente des Modells einige der Variationen auf, die Sie erklären können, weil Sie wissen, dass ein Messfehler vorliegt. Auf diese Weise können Sie eine relevantere Schätzung der Variation von erhalten$\epsilon$

Sehen Sie dieses Papier für eine tiefere Diskussion zu diesem Ansatz von zufälligen Effekten Rechnung für Messfehler. Ihre Situation ähnelt der, für die die Autoren eine Einführung geben$\mathbf{D}$ und sein Messfehler beschädigte Version $\mathbf{W}$. Das Beispiel in Abschnitt 4 bietet möglicherweise einige Einblicke in Ihre Situation.

Wie von whuber erwähnt, möchten Sie möglicherweise die Autokorrelation in Ihren Daten berücksichtigen. Die Verwendung von zufälligen Effekten löst dieses Problem nicht.