Test der Signifikanz von Peaks in der Spektraldichte

20

Wir verwenden manchmal Spektraldichtediagramme, um die Periodizität in Zeitreihen zu analysieren. Normalerweise analysieren wir den Plot durch visuelle Inspektion und versuchen dann, eine Schlussfolgerung über die Periodizität zu ziehen. Aber haben die Statistiker einen Test entwickelt, um zu überprüfen, ob sich Spitzen im Diagramm statistisch von weißem Rauschen unterscheiden? Haben die R-Experten ein Paket für die Spektraldichteanalyse und für diese Art von Tests entwickelt? Großartig, wenn jemand helfen könnte.

Grüße,
P.

Pantera
quelle
1
Auf Drängen von @Wesley habe ich meine schnellen Gedanken zu Autokorrelationsfunktionen und zum Periodogramm gelöscht (vielleicht ist er tatsächlich ein Guru für die Frequenzdomänenanalyse, aber ich persönlich glaube Bartlett nicht, während ich mit Autokorrelationen im Zeitbereich arbeite), aber ich denke immer noch, dass meine zweiter vorschlag über bootspecdenskann hilfreich sein.
Dmitrij Celov
Ich beziehe mich auf die Reaktion der Menschen auf eine Autokorrelation. zu Literaturauftritten, bei denen fast alle Fälle, in denen eine Autokorrelation verwendet wird, von der standardmäßigen, im Zeitbereich berechneten Barlett-Autokorrelation sind. Und das ist leider schlecht! :) Ich schätze den Vorschlag bootspecdensvon Dmitrij; Ich freue mich darauf, es auszuprobieren.
Wesley Burr

Antworten:

9

Sie sollten sich darüber im Klaren sein, dass das Schätzen von Leistungsspektren mit einem Periodogramm nicht empfohlen wird und in der Tat seit ~ 1896 eine schlechte Praxis ist. Es ist ein inkonsistenter Schätzer für weniger als Millionen von Datenproben (und selbst dann ...) und im Allgemeinen voreingenommen. Das gleiche gilt für die Verwendung von Standardschätzungen für Autokorrelationen (z. B. Bartlett), da es sich um Fourier-Transformationspaare handelt. Vorausgesetzt, Sie verwenden einen konsistenten Schätzer, stehen Ihnen einige Optionen zur Verfügung.

Das Beste davon ist eine Schätzung der Leistungsspektren mit mehreren Fenstern (oder Verjüngung). In diesem Fall können Sie unter Verwendung der Koeffizienten jedes Fensters bei einer interessierenden Frequenz eine harmonische F-Statistik anhand einer Nullhypothese für weißes Rauschen berechnen . Dies ist ein hervorragendes Werkzeug zur Erkennung von Leitungskomponenten im Rauschen und wird dringend empfohlen. Dies ist die Standardeinstellung in der signalverarbeitenden Community für die Erkennung von Periodizitäten im Rauschen unter der Annahme der Stationarität.

Sie können sowohl auf die Multitaper-Methode zur Spektrumsschätzung als auch auf den zugehörigen F-Test über das multitaperPaket in R zugreifen (verfügbar über CRAN). Die mit dem Paket gelieferte Dokumentation sollte ausreichen, um Sie zum Laufen zu bringen. Der F-Test ist eine einfache Option im Funktionsaufruf für spec.mtm.

Die ursprüngliche Referenz, die diese beiden Techniken definiert und die Algorithmen für sie angibt , ist Spectrum Estimation and Harmonic Analysis , DJ Thomson, Proceedings of the IEEE, vol. 70, pg. 1055-1096, 1982.

Hier ist ein Beispiel mit dem mitgelieferten Datensatz multitaper.

require(multitaper);
data(willamette);
resSpec <- spec.mtm(willamette, k=10, nw=5.0, nFFT = "default",
                    centreWithSlepians = TRUE, Ftest = TRUE,
                    jackknife = FALSE, maxAdaptiveIterations = 100,
                    plot = TRUE, na.action = na.fail) 

Die Parameter, die Sie kennen sollten, sind k und nw : Dies sind die Anzahl der Fenster (oben auf 10 eingestellt) und das Zeit-Bandbreiten-Produkt (oben auf 5,0). Sie können diese Werte für die meisten Anwendungen problemlos auf diesen Quasi-Standardwerten belassen. Der Befehl centreWithSlepians entfernt eine robuste Schätzung des Mittelwerts der Zeitreihe mithilfe einer Projektion auf Slepian-Fenster - dies wird auch empfohlen, da das Belassen des Mittelwerts bei niedrigen Frequenzen viel Leistung erzeugt.

Ich würde auch empfehlen, die Spektrum-Ausgabe von 'spec.mtm' auf einer Log-Skala zu zeichnen, da dies die Dinge erheblich aufräumt. Wenn Sie weitere Informationen benötigen, senden Sie einfach eine E-Mail und ich gebe diese gerne weiter.

Wesley Burr
quelle
An Burr, Silva und Celov - vielen Dank für Ihre interessanten Antworten und Vorschläge. Ich freue mich darauf, diese Schätzer zu testen. Mit freundlichen Grüßen
Pantera
(+1) In dieser Nacht habe ich mir Ihre Vorschläge genau überlegt und festgestellt, dass der Zeitbereich (aufgrund von Verzögerungsbeschränkungen und schwachen Eigenschaften in kleinen Stichproben) das letzte ist, um nach Radfahrverhalten zu suchen. Was mich persönlich betrifft, sind die Annahmen für die F-Statistik und die geringen Stichprobengrößeneigenschaften des vorgeschlagenen Schemas. Naja und wahrscheinlich ist es gut, eine eigene Frage zur optimalen Fensterauswahl zu stellen, denn es gibt ja viele.
Dmitrij Celov
Es gibt in der Tat viele Fensteroptionen, obwohl die beiden häufigsten die Diskreten Prolaten-Sphäroid-Sequenzen (oder Slepianer ) und die Sinusverjüngungen sind . Wenn Sie nach einer maximalen Energiekonzentration in einer lokalen Bandbreite suchen, haben sich die Slepianer als optimal erwiesen und sind in der Tat das Ergebnis der Integralgleichungsform der spektralen Dichte (siehe den Artikel, den ich ausführlich erwähnte). Was die F-Statistiken angeht, gibt es sicherlich einige Probleme mit Freiheitsgraden, aber im Großen und Ganzen funktionieren sie recht gut, da ~ 2k-2 dof verfügbar sind.
Wesley Burr
Das geglättete Periodogramm verwendet auch eine Verjüngung, die FFT ermöglicht. In David Stoffers Buch erfahren Sie, wie Sie auch Konfidenzintervalle berechnen. Dieses multitaperPaket scheint fortgeschrittenere Techniken zum Verkleinern und Berechnen des Konfidenzintervalls verwendet zu haben. Aber ich denke, die Idee war laut David Stoffer dieselbe. Dies ist das einzige, was ich mir vorstellen kann, dass der Unterricht in Vanilleperidogoram auch heute noch Sinn macht.
Stucash
Ok, Sie sind einer der Autoren dieses Pakets und haben einige sehr starke Worte gegen das Periodogramm verwendet. Ich hoffe, Sie könnten eines Tages mit mehr Beweisen zurückkommen. Allgemeine Vor- und Nachteile des Periodogramms sind bekannt, wie die explosive Varianz, weshalb es kein guter konsistenter Schätzer für das Spektrum ist, aber das geglättete Periodogramm ist nicht wirklich so schlecht, nicht so schlecht, wie Sie es hier angegeben haben.
Stucash
3

Wir haben kürzlich in diesem Artikel versucht, dieses Problem durch eine Wavelet-Transformation eines spektralbasierten Tests zu lösen . Im Wesentlichen müssen Sie die Verteilung der Periodogramm-Ordinaten berücksichtigen, ähnlich dem Artikel von Fisher, der in den früheren Antworten erwähnt wurde. Ein anderes Papier von Koen ist dieses . Wir haben kürzlich ein R-Paket hwwntest veröffentlicht .

Delyan Savchev
quelle
Savchev, vielen Dank für Ihre Kommentare und Referenzen. Ich freue mich darauf, Ihr R-Paket zu testen.
Pantera
2

f(ωk)

Weitere Einzelheiten zum Test finden Sie in MB Priestley, Spektralanalyse und Zeitreihen , Academic Press, London, 1981, Seite 406.

In R enthält das Paket GeneCycle die Funktion fisher.g.test():

library(GeneCycle)
?fisher.g.test

Hoffe das hilft.

Washington S. Silva
quelle
Das ist großartig, aber der g-Test des Pakets basiert auf seiner eigenen Periodogrammfunktion, die nur sehr begrenzte Möglichkeiten zur Berechnung von Leistungsspektren bietet ...
stucash