Berechnung der neuen Standardabweichung unter Verwendung der alten Standardabweichung nach Änderung des Datensatzes

Ich habe ein Array von reellen Werten, die den Mittelwert von und die Standardabweichung von . Wenn ein Element des Arrays durch ein anderes Element , lautet der neue Mittelwert $n$ $\mu_{old}$ $\sigma_{old}$ $x_i$ $x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

Der Vorteil dieses Ansatzes besteht darin, dass eine konstante Berechnung unabhängig vom Wert von erforderlich ist . Gibt es einen Ansatz zur Berechnung von Verwendung von wie die Berechnung von Verwendung von ? $n$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{new}$ $\mu_{old}$

standard-deviation online Benutzer
quelle

Ist das Hausaufgabe? Eine sehr ähnliche Aufgabe wurde in unserem Kurs der mathematischen Statistik gestellt ...

krlmlr

@ user946850: Nein, es sind keine Hausaufgaben. Ich mache meine Doktorarbeit über den evolutionären Algorithmus . Ich möchte die Standardabweichung als Maß für die Bevölkerungsvielfalt verwenden. Ich suche nach einer effizienteren Lösung.

Benutzer

Die SD ist die Quadratwurzel der Varianz, bei der es sich lediglich um den quadratischen Mittelwert handelt (angepasst um ein Vielfaches des quadratischen Mittelwerts, den Sie bereits aktualisieren können). Daher können die gleichen Methoden, die zur Berechnung eines laufenden Mittelwerts verwendet werden, ohne grundlegende Änderung zur Berechnung einer laufenden Varianz angewendet werden. Tatsächlich können auf Online-Basis viel ausgefeiltere Statistiken mit denselben Ideen erstellt werden: siehe z. B. die Threads unter stats.stackexchange.com/questions/6920 und stats.stackexchange.com/questions/23481 .

whuber

@whuber: Dies wird im Wikipedia-Artikel für Varianz erwähnt , aber auch mit einem Hinweis auf eine möglicherweise auftretende katastrophale Annullierung (oder einen Bedeutungsverlust). Ist das überbewertet oder ein echtes Problem für die Laufvarianz?

krlmlr

Das ist eine gute Frage. Wenn Sie die Varianzen naiv akkumulieren, ohne sie vorher zu zentrieren, können Sie tatsächlich in Schwierigkeiten geraten. Das Problem tritt auf, wenn die Zahlen sehr groß sind, ihre Varianz jedoch gering ist. Betrachten Sie zum Beispiel eine Reihe genauer Messungen der Lichtgeschwindigkeit in m / s wie 299792458.145, 299792457.883, 299792457.998, ...: Ihre Varianz ist mit etwa 0,01 im Vergleich zu ihren Quadraten mit etwa

so gering

diese unvorsichtige Berechnung (sogar mit doppelter Genauigkeit) zu einer Varianz von Null führen: Alle signifikanten Ziffern würden verschwinden.

10^{17}

$10^{17}$

whuber

Antworten:

Ein Abschnitt im Wikipedia-Artikel über "Algorithmen zur Berechnung der Varianz" zeigt, wie die Varianz berechnet wird, wenn Ihren Beobachtungen Elemente hinzugefügt werden. (Denken Sie daran, dass die Standardabweichung die Quadratwurzel der Varianz ist.) Angenommen, Sie fügen an Ihr Array an $x_{n+1}$

σ_{n e w}^{2} = σ_{Ö l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{Ö l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

EDIT : Die obige Formel scheint falsch zu sein, siehe Kommentar.

Wenn Sie nun ein Element ersetzen, müssen Sie eine Beobachtung hinzufügen und eine andere entfernen. beide können mit der obigen Formel berechnet werden. Beachten Sie jedoch, dass Probleme mit der numerischen Stabilität auftreten können. der zitierte Artikel schlägt auch numerisch stabile Varianten vor.

Um die Formel selbst abzuleiten, berechnen Sie Verwendung der Definition der Stichprobenvarianz und setzen Sie gegebenenfalls durch die von Ihnen angegebene Formel ein. Dies ergibt am Ende und somit eine Formel für mit und $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ . In meiner Notation gehe ich davon aus, dass Sie das Element durch ersetzen: $\mu_{old}$ $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{Ö l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{Ö l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{Ö l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{Ö l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{Ö l d})^{2}) \\ + ((x_{n}^{'} - μ_{Ö l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{Ö l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

Das in der Summe transformiert sich in etwas, das von abhängt , aber Sie müssen die Gleichung ein wenig genauer ausführen, um ein ordentliches Ergebnis zu erhalten. Dies sollte Ihnen die allgemeine Idee geben. $x_k$ $\mu_{old}$

krlmlr
quelle

x_{n + 1}

$x_{n+1}$

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

Basierend auf dem, was ich glaube, auf dem verlinkten Wikipedia-Artikel zu lesen , können Sie eine "laufende" Standardabweichung beibehalten:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

In dem Artikel pflegen sie zwar keinen separaten Lauf sumund count, sondern haben stattdessen den einzigen mean. Da ich in dem, was ich heute mache, eine behalte count(zu statistischen Zwecken), ist es sinnvoller, die Mittelwerte jedes Mal zu berechnen.

Ian Boyd
quelle

$\bar x$ $s$ $n$ $x_n$ $x_n'$ $s'$

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$

{\bar{x}}^{'}

$\bar x'$

Vielleicht gibt es eine schickere Art, es zu schreiben?

Ich habe dies anhand eines kleinen Testfalls überprüft, und es schien zu funktionieren.

Pfeifen im Dunkeln
quelle

@ John / Whistling in the Dark: Ich mochte Ihre Antwort, es scheint in meinem kleinen Datensatz richtig zu funktionieren. Gibt es eine mathematische Grundlage / Referenz darauf? Könnten Sie mir bitte helfen?

Alok Chowdhury

Die Frage war alles @Whistling in the Dark, ich habe es nur für die Seite aufgeräumt. Sie sollten hier eine neue Frage stellen, die auf die Frage und die Antwort verweist. Und auch Sie sollten diese Antwort positiv bewerten, wenn Sie so denken.

John