Schätzung der maximalen Wahrscheinlichkeit bei Vorhandensein von farbigem Rauschen

7

Ich versuche, die Systemidentifikation bei Vorhandensein von Messrauschen zu testen. (1) Ein weißes Gaußsches Rauschen. (2) Farbiges Rauschen - rosa, violett. Wenn wir Parameter schätzen, tun wir dies in Gegenwart von iid, Null bedeutet unkorreliertes Rauschen.

Q1: Ich würde gerne wissen, ob das farbige Rauschen korreliert ist oder nicht. Ich denke, sie haben eine unterschiedliche Verteilung, aber ich konnte keine Informationen finden, ob die Stichproben korreliert sind oder nicht.

F2: Bei der Schätzung nehmen wir an, dass Rauschen additives weißes Gaußsches Rauschen ist, das nicht korreliert ist. Was passiert, wenn das Rauschen nicht gaußsch ist? Wie schätzen wir dann Theta? Zum Beispiel:x=s(θ)+Colorednoise wo wir versuchen zu schätzen θ. Wird die Leistung, dh MSE, mit unterschiedlichen Farbstufen und nicht farbigem Rauschen variieren?

Ria George
quelle
1
Bei "farbigem" Rauschen geht es um das Leistungsspektrum, nicht um die Verteilung oder das PDF. Ein bedingtes PDF hat etwas mit dem Spektrum zu tun, aber nicht um das bedingungslose PDF
Robert Bristow-Johnson
@ robertbristow-johnson: Wird das PDF aus der Antwort unten immer als Gaußsch für farbiges Rauschen angesehen?
Ria George
1
nicht immer, aber normalerweise. Ein einfaches Gegenbeispiel ist das dreieckige Hochpass-PDF-Dithering.y[n] gebildet aus einheitlichem pdf "weißem" Rauschen x[n](was kommt von einer guten rand()Funktion) als so:
y[n]=x[n]x[n1]
Das ist farbiges Rauschen (weniger Spektrum bei niedrigen Frequenzen), aber es ist kein Gaußsches PDF, es ist ein dreieckiges PDF
Robert Bristow-Johnson,

Antworten:

5

Proben von farbigem Rauschen (zu unterschiedlichen Zeiten genommen) im allgemeinen sind Zufallsvariablen korrelieren , da die Autokorrelationsfunktion des Rauschprozesses keine Delta - Funktion ist , wie es im Fall von weißem Rauschen ist. Wenn wir also einen Prozess mit dem Mittelwert Null annehmen (Rauschen wird im Allgemeinen als unabhängig von seiner Farbe angenommen), dann ist die Kovarianz zweier Signale zeitlich getrennt durchτ Sekunden ist R(τ) wo R(t)=F1(S(f)ist die Autokorrelationsfunktion des Prozesses (inverse Fourier-Transformation der spektralen Leistungsdichte). Beachten Sie, dass dies möglich ist fürR(t)für einige Werte von Null seint (z.B R(t)=sinc(t)ist eine gültige Autokorrelationsfunktion), kann jedoch nicht für alle ungleich Null Null seint.

In Bezug auf die Dichtefunktion einer Probe ist die Probe, wenn der Prozess Gauß'sch ist, Gauß'sch, selbst wenn der Prozess vor der Probenahme mit einem linearen Filter gefiltert wurde . Wenn der Prozess jedoch nicht Gaußsch ist (es ist beispielsweise LaPlacian), kann, während jede Probe LaPlacian ist, das Gleiche nicht allgemein für Proben des Prozesses nach Filterung jeglicher Art gesagt werden. Mit anderen Worten, die Gauß-Beziehung überlebt die lineare Filterung, LaPlacism im Allgemeinen nicht.


Wie funktioniert die Maximum-Likelihood-Schätzung, wenn Stichproben Rauschen korrelieren? Betrachten Sie den Fall, in dem wir den unbekannten Mittelwert von a schätzen möchtenN(μ,1) Zufallsvariable, und wir haben zwei Beobachtungen x und y. Im Standardfall unabhängiger Beobachtungen ist die Wahrscheinlichkeitsfunktion

L(μ)=12πexp(12[(xμ)2+(yμ)2]).
Der _Maximum-Likelihood-Schätzer für μ ist die Nummer μ^ das maximiert L(μ), was sich als Nummer herausstellt μ^ das minimiert (xμ)2+(yμ)2. Dies ist ein Quadrat inμ und die Maximum-Likelihood-Schätzung stellt sich heraus μ^=x+y2. Wenn die Beobachtungen mit dem Korrelationskoeffizienten korreliert sindρ, dann
L(μ)=12π1ρ2exp(121ρ2[(xμ)22ρ(xμ)(yμ)+(yμ)2]).
Wieder müssen wir das finden μ^ wo (xμ)22ρ(xμ)(yμ)+(yμ)2hat ein Minimum. Wir haben noch ein Quadrat inμ aber jetzt bekommen wir Begriffe wie xyin den Koeffizienten. Wasμ^ arbeitet, um zu sein, bleibt Ihnen überlassen, um zu trainieren.

Und wenn ja n Beobachtungen wo n>2? All dies gilt weiterhin. Für unabhängiges identisch verteiltes Gaußsches Rauschen in den Proben ist der Probenmittelwert n1ixi ist die Maximum-Likelihood-Schätzung von μ Bei korrelierten Gaußschen Zufallsvariablen treten jedoch sehr unordentliche Minimierungsprobleme auf, da das Quadrat, das wir zu minimieren versuchen, von der Umkehrung der Kovarianzmatrix abhängt und das Ergebnis eine nichtlineare Funktion der Daten anstelle einer einfachen, einfach zu erfassenden Funktion ist. Erinnern Sie sich an das Ergebnis wie den Stichprobenmittelwert.


Was ist, wenn das Rauschen nicht Gaußsch ist? Es gelten dieselben Prinzipien - richten Sie die Wahrscheinlichkeitsfunktion ein und finden Sie heraus, wo sie ihren Maximalwert erreicht -, aber die Berechnungen unterscheiden sich erheblich, je nachdem, was Sie annehmen oder wissen, ist die gemeinsame Dichte der Beobachtungen.

Dilip Sarwate
quelle