Was ist der Unterschied zwischen ergodisch und stationär?

41

Ich habe Probleme, zwischen diesen beiden Begriffen zu unterscheiden. Dies ist soweit mein Verständnis.

Ein stationärer Prozess ist ein stochastischer Prozess, dessen statistische Eigenschaften sich mit der Zeit nicht ändern. Für einen strengen stationären Prozess bedeutet dies, dass seine gemeinsame Wahrscheinlichkeitsverteilung konstant ist; für einen stationären Prozess mit weitem Sinn bedeutet dies, dass sein 1. und 2. Moment konstant sind.

Bei einem ergodischen Prozess lassen sich seine statistischen Eigenschaften wie die Varianz aus einer ausreichend langen Stichprobe ableiten. ZB konvergiert der Abtastmittelwert mit dem wahren Mittelwert des Signals, wenn Sie lange genug mitteln.

Nun scheint es mir, dass ein Signal stationär sein müsste, um ergodisch zu sein.

  • Und welche Arten von Signalen könnten stationär sein, aber nicht ergodisch?
  • Wenn ein Signal zum Beispiel für alle Zeiten die gleiche Varianz aufweist, wie könnte die zeitlich gemittelte Varianz dann nicht zum wahren Wert konvergieren?
  • Worin besteht also der wirkliche Unterschied zwischen diesen beiden Konzepten?
  • Können Sie mir ein Beispiel für einen Prozess geben, der stationär ist, ohne ergonomisch zu sein, oder ergodisch, ohne stationär zu sein?
Matt
quelle
Vielleicht möchten Sie sich diese Antwort auf eine verwandte Frage ansehen .
Dilip Sarwate
In dieser Vorlesung heißt es wörtlich, dass Ergodik eine Teilmenge von stationären ist. Ich kann einfach nicht verstehen, was der Artikel über den stationären ergonomischen Prozess in Wikipedia tut. Bedeutet das, dass es einen instationären ergodischen Prozess gibt?
Val
@Val Ich werde nicht verteidigen , was sagt Wikipedia aber wird darauf hinweisen , dass der letzte Teil meiner Antwort unten ein Beispiel eines WSS - Prozesses enthält, ist nicht stationär , und doch ist ergodic.
Dilip Sarwate

Antworten:

33

Ein Zufallsprozess ist eine Sammlung von Zufallsvariablen, eine für jeden betrachteten Zeitpunkt. Typischerweise kann dies eine kontinuierliche Zeit ( ) oder eine diskrete Zeit (alle ganzen Zahlen oder alle Zeitpunkte wobei das Abtastintervall ist) sein. <t<nnTT

  • Stationarität bezieht sich auf die Verteilungen der Zufallsvariablen. Genauer gesagt, in einem stationären Prozeß, alle die Zufallsvariablen die gleiche Verteilungsfunktion und , allgemeine, für jede positive ganze Zahl und Zeitpunkt , die gemeinsame Verteilung der Zufallsvariablen ist die gleiche wie die gemeinsame Verteilung von . Das heißt, wenn wir alle Zeitpunkte um , ändert sich die statistische Beschreibung des Prozesses überhaupt nicht: Der Prozess ist stationärnnt1,t2,,tnnX(t1),X(t2),,X(tn)X(t1+τ),X(t2+τ),,X(tn+τ)τ.
  • Die Ergodizität betrachtet hingegen nicht die statistischen Eigenschaften der Zufallsvariablen, sondern die Probenpfade , dh das, was Sie physikalisch beobachten. Unter erneuter Bezugnahme auf die Zufallsvariablen sei daran erinnert, dass Zufallsvariablen Zuordnungen von einem Abtastraum zu den reellen Zahlen sind. Jedes Ergebnis wird auf eine reelle Zahl abgebildet, und verschiedene Zufallsvariablen ordnen ein bestimmtes Ergebnis normalerweise verschiedenen Zahlen zu. Stellen Sie sich also vor, dass ein höheres Ergebnis das Experiment ist, das zu einem Ergebnis im Probenraum geführt hat, und dass dieses Ergebnis von allen Zufallsvariablen im Prozess auf (normalerweise unterschiedliche) reelle Zahlen abgebildet wurde: speziell dem Zufall Variable hat abgebildetωX(t)ωzu einer reellen Zahl werden wir als . Die Zahlen , als eine Wellenform betrachtet, sind die Probenpfade zu entsprechenden und verschiedene Ergebnisse werden uns Pfade unterschiedliche Proben geben. Die Ergodizität befasst sich dann mit den Eigenschaften der Probenpfade und wie diese Eigenschaften mit den Eigenschaften der Zufallsvariablen zusammenhängen, aus denen der Zufallsprozess besteht.x(t)x ( t ) ω x(t)ω

Nun können wir für einen Beispielpfad aus einem stationären Prozess den Zeitmittelwert berechnen. aber, was bedeutet zu tun hat mit , der Mittelwert des Zufallsprozesses? (Beachten Sie, dass es egal ist, welchen Wert von wir verwenden; alle Zufallsvariablen haben die gleiche Verteilung und damit den gleichen Mittelwert (falls der Mittelwert existiert)). Wie das OP sagt, konvergiert der Mittelwert oder die Gleichstromkomponente eines Probenpfades gegen den Mittelwert des Prozesses, wenn der Probenpfad lange genug beobachtet wird, vorausgesetzt, der Prozess ist ergodischx(t)x = 1

x¯=12TTTx(t)dt
x¯μ=E[X(t)]tund stationär usw. Das heißt, Ergodizität ermöglicht es uns, die Ergebnisse der beiden Berechnungen zu verbinden und zu behaupten, dass gleich Verfahren für die diese Gleichheit wird gesagt , hält sein mean-ergodisch , und ein Verfahren ist , mean-ergodisch , wenn seine Autokovarianzfunktion die Eigenschaft hat:
limTx¯=limT12TTTx(t)dt
μ = E [ X ( t ) ] = - u f X ( u )
μ=E[X(t)]=ufX(u)du.
CX(τ)
limT12TTTCX(τ)dτ=0.

Daher müssen nicht alle stationären Prozesse mittelergodisch sein. Es gibt aber auch andere Formen der Ergodizität. Beispielsweise konvergiert für einen autokovarianzergodischen Prozess die Autokovarianzfunktion eines endlichen Segments (z. B. für des zur Autokovarianzfunktion des Prozesses als . Eine pauschale Aussage, dass ein Prozess ergodisch ist, könnte jede der verschiedenen Formen bedeuten, oder es könnte eine spezifische Form bedeuten; man kann einfach nicht sagen,t(T,T)x(t)CX(τ)T

Als Beispiel für den Unterschied zwischen den beiden Konzepten sei angenommen, dass für alle betrachteten . Hier ist eine Zufallsvariable. Dies ist ein stationärer Prozess: Jedes hat die gleiche Verteilung (nämlich die Verteilung von ), das gleiche Mittel , die gleiche Varianz usw .; Jedes und hat die gleiche gemeinsame Verteilung (obwohl sie entartet ist) und so weiter. Der Prozess ist jedoch nicht ergodisch, da jeder Probenpfad eine Konstante ist . Insbesondere, wenn eine Prüfung des Experiments (wie von Ihnen oder von einem überlegenen Wesen durchgeführt) ergibtX(t)=YtYX(t)YE[X(t)]=E[Y]X(t1)X(t2)Y den Wert ; hat, dann hat der Abtastpfad des Zufallsprozesses, der diesem experimentellen Ergebnis entspricht, den Wert für alle , und der DC-Wert des Abtastpfads ist ; nicht , egal wie lange Sie den (eher langweiligen) Sample-Pfad beobachten. In einem Paralleluniversum würde der Versuch zu und der Stichprobenpfad in diesem Universum würde für alle Wert haben . Es ist nicht einfach, mathematische Spezifikationen zu schreiben, um solche Trivialitäten aus der Klasse der stationären Prozesse auszuschließen, und daher ist dies ein sehr minimales Beispiel für einen stationären Zufallsprozess, der nicht ergodisch ist.ααtαE[X(t)]=E[Y]Y=ββt

Kann es einen zufälligen Prozess sein, ist nicht stationär , sondern ist ergodic? Nun, N0 , nicht , wenn durch ergodische meinen wir ergodic auf jede erdenkliche Art und Weise man sich vorstellen kann: zum Beispiel, wenn wir die Messung der Bruchteil der Zeit , während der ein langes Segment des Probenpfades Wert höchstens hat , Dies ist eine gute Schätzung von , dem Wert der (gemeinsamen) CDF der 's bei wenn der Prozess vorausgesetzt wird in Bezug auf die Verteilungsfunktionen ergodisch sein. Aber wir können zufällige Prozesse haben, die es sindx(t)αP(X(t)α)=FX(α)FXX(t)αnicht stationär sind aber dennoch mittlere -ergodic und Autokovarianzfunktion -ergodic. Betrachten Sie zum Beispiel den Prozess wobei vier gleich wahrscheinliche Werte annimmt: und . Man beachte, dass jedes eine diskrete Zufallsvariable ist, die im Allgemeinen vier gleich wahrscheinliche Werte annimmt und . Es ist leicht zu erkennen, dass im Allgemeinen und{X(t):X(t)=cos(t+Θ),<t<}Θ0,π/2,π3π/2X(t)cos(t),cos(t+π/2)=sin(t),cos(t+π)=cos(t)cos(t+3π/2)=sin(t)X(t)X(s)unterschiedliche Verteilungen haben, und daher ist der Prozess nicht einmal stationär erster Ordnung. Andererseits ist für jedes während Kurz gesagt, hat der Prozess einen Mittelwert von Null und seine Autokorrelation (und Autokovarianz) Funktion hängt nur von der Zeitdifferenz , und so das Verfahren ist

E[X(t)]=14cos(t)+14(sin(t))+14(cos(t))+14sin(t)=0
t
E[X(t)X(s)]=14[cos(t)cos(s)+(cos(t))(cos(s))+sin(t)sin(s)+(sin(t))(sin(s))]=12[cos(t)cos(s)+sin(t)sin(s)]=12cos(ts).
tsweiter Sinn stationär. Es ist jedoch nicht stationär erster Ordnung und kann daher auch nicht zu höheren Ordnungen stationär sein. Nun, wenn das Experiment durchgeführt wird , und der Wert von bekannt ist , erhalten wir die Beispielfunktion , die eindeutig sein , muss und , die DC - Wert , die gleich und deren Autokorrelationsfunktion , gleich wie , und dieser Prozess so ist mean-ergodischen und Autokorrelation-ergodisch , obwohl es nicht stationär überhaupt. Abschließend stelle ich fest, dass der Prozess in Bezug auf die Verteilungsfunktion nicht ergodisch istΘ±cos(t)±sin(t)0012cos(τ)RX(τ)das heißt, es kann nicht in jeder Hinsicht als ergodisch bezeichnet werden.

Dilip Sarwate
quelle
1
Ich konnte das Beispiel nicht verstehen. Wenn Sie sagen, dass Y eine Konstante ist, ist jeder Pfad von x (t) eine Konstante. Der Mittelwert einer Konstanten ist selbst, also E [X (t)] = E [Y] = Y. Es sei denn, ich habe etwas übersehen.
Royi 18.01.12
Ich habe ein paar Worte hinzugefügt, um die Bedeutung zu verdeutlichen. ist eine Zufallsvariable, keine Konstante. Sein Wert bei jedem Versuch des Experiments muss nicht gleich . YE[Y]
Dilip Sarwate
1
Wenn ein Signal ergodisch ist, dh der Zeitmittelwert konvergiert zum Ensemble-Mittelwert, die verschiedenen jedoch unterschiedliche Mittelwerte aufweisen, weil der Prozess nicht stationär ist, wie lautet die Definition des Ensemble-Mittelwerts, zu dem der Zeitmittelwert konvergiert? X
Dilip Sarwate
1
@Matt In der Lösung des Buches "Kommunikationssysteme" schreibt Simon Haykin, dass "für einen zufälligen Prozess, um ergodisch zu sein, stationär sein muss"
Roney Island
1
@ColinHicks Ja, das ist ein Tippfehler in meiner Antwort, den ich sehr bald korrigieren werde. Vielen Dank, dass Sie mich darauf aufmerksam gemacht haben.
Dilip Sarwate
6

Betrachten wir einen hypothetischen Zufallsprozess, bei dem die Beispielfunktionen DC-Werte sind und sich voneinander unterscheiden:

X 1 (t) = Konstante = Mittelwert von X 1 (t)

X 2 (t) = Konstante = Mittelwert von X 2 (t)

Das zeitliche Mittel von und ist konstant, aber nicht gleich. Wenn mein Prozess stationär ist, sind und gleich und RVs (siehe Dilips Antwort)X 2 ( t ) X ( t 1 ) X ( t 2 )X1(t)X2(t)X(t1)X(t2)

Der Ensemble-Mittelwert von ist also konstant.X(t)

Dieser Ensemble-Mittelwert ist sicherlich nicht gleich dem zeitlichen Mittelwert von und (sie selbst sind nicht gleich). Dies kann als stationärer, aber nicht als ergodischer Vorgang bezeichnet werden.X 2 ( t )X1(t)X2(t)

Im Gegensatz dazu ist wobei ; ein Wohnmobil ist, ergodisch.θX(t)=Acos(ωt+θ)θ

Soumya
quelle
2

Ich hoffe, dass dieses Video (vom Florida Institute of Technology) von Dr. Ivica Kostanic ab 16:55 Uhr mit dem Titel "Was ist ein breites Sinnesgefühl, ein strenges Sinnesgefühl, ergodische Signale" Ihre Zweifel klären kann

user8162
quelle
Willkommen in der DSP.SE! Ich würde vorschlagen, dass Sie den Namen und einige Beschreibungen auf dem Video hinzufügen, falls es eines Tages entfernt wird und der Link ungültig ist. Danke.
Lennon310
1

Ein ergodischer Prozess ist ein Prozess, bei dem Sie den zeitlichen Mittelwert durch den ergodischen Mittelwert ersetzen können.

Der reale Mittelwert, die Varianz usw. werden durch Verfolgen eines Prozesses über die Zeit und durch Mitteln usw. definiert. Wenn Sie zum Beispiel den Mittelwert meiner Größe kennen möchten, müssen Sie den Mittelwert ab dem Zeitpunkt meiner Geburt berechnen wenn ich sterbe. Offensichtlich ist das spätere Beispiel kein stationärer Prozess.

Der ergodische Mittelwert wäre, wenn Sie, anstatt meiner Größe im Laufe der Zeit zu folgen, die Zeit einfrieren und den Mittelwert über eine Stichprobe verschiedener individueller Menschen ziehen würden. Es gibt keinen Grund, warum diese beiden Mittel gleich sind, daher ist der Prozess meiner Größe nicht ergodisch.

Das ist ein schlechtes Beispiel, aber es wird wichtiger, wenn man den einfachen Fall eines Gases im Gleichgewicht betrachtet. Zum Beispiel wird die mittlere Quadratgeschwindigkeit als (Mittelwert über die Zeit) notiert , aber häufig berechnet, indem der Ensemblemittelwert : der Mittelwert der Quadratgeschwindigkeit aller Moleküle von das Gas zu einem Zeitpunkt .V2tV2¯V2t

Die meisten Thermodynamiksätze erfordern die Verwendung von , aber es ist einfacher, zu berechnen und zu verwenden . Die ergodische Hypothese ist die Hypothese, die besagt, dass es richtig ist, das eine durch das andere zu ersetzen. Ein ergodischer Prozess ist ein Prozess, für den die ergodische Hypothese wahr ist.V2V2¯V2

Die ergodische Hypothese ist im allgemeinen Fall falsch.

Jean-Yves
quelle
1
Ich verstehe diese Antwort nicht. Der Prozess von Jolows Größe ist weder stationär noch ergodisch, während sich das OP fragte, ob es einen stationären Prozess geben kann, der nicht ergodisch ist. Ist die Antwort im Wesentlichen, dass die ergodische Hypothese im Allgemeinen falsch ist und es (irgendwie) allgemein wahr ist, dass sich der Stichprobenmittelwert vom Ensemblemittelwert unterscheidet, gewöhnen Sie sich einfach daran und leben Sie damit?
Dilip Sarwate
@ DilipSarwate: Nach dem erneuten Lesen ist es eine schlechte Antwort, die die Frage nicht beantwortet, und ich denke darüber nach, sie zu löschen. Ich erinnerte an meine Vorlesungen über Thermodynamik, während sich die Frage eher auf Statistik bezog ...
Jean-Yves
@DilipSarwate wie groß ist Jolow?
Roney Island
1
@MichaelCorleone Ich erinnere mich nicht, was der Verweis auf Jolow bedeutet. Meine Vermutung ist, dass Jean-Yves seine Antwort unter dem Nom-de-Plume Jolow gepostet hat und ich diesen Namen in meiner Antwort verwendet habe und dass er sich seitdem entschlossen hat, Jean-Yves als Benutzernamen bei stackexchange zu verwenden. Solche Namensänderungen werden auf dem Bildschirm angezeigt, jedoch nicht als Bearbeitung der Antwort aufgezeichnet.
Dilip Sarwate
@ DilipSarwate: Sie haben in der Tat Recht. Jolow ist nur mein Spitzname.
Jean-Yves
1

Als Beispiel für den umgekehrten Fall (dh einen Zufallsprozess, der ergodisch, aber nicht stationär ist) wird ein Prozess mit weißem Rauschen betrachtet, der durch eine deterministische Rechteckwelle amplitudenmoduliert wird. Der zeitliche Durchschnitt jeder Abtastfunktion ist gleich Null, ebenso wie der Ensemble-Durchschnitt über die gesamte Zeit. Der Prozess ist also ergodisch. Die Varianz einer einzelnen Abtastfunktion zeigt jedoch die ursprüngliche Abhängigkeit der Rechteckwelle von der Zeit, so dass der Prozess nicht stationär ist.

Dieses besondere Beispiel ist weitsinnig stationär, aber man kann verwandte Beispiele erfinden, die immer noch ergodisch sind, aber nicht einmal weitsinnig stationär.

Prof Mark
quelle
0

Wie ich verstehe, zeigt das folgende Beispiel einen ergodischen und stationären Prozess

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

Mittelwert 2 2 2 var 1

weil der Mittelwert und die Varianz jeder Spalte über die Zeit konstant sind und der Mittelwert und die Varianz jeder Zeile über die Zeit konstant sind

TPArrow
quelle