Wann muss ich aufhören, nach einem Modell zu suchen?

11

Ich suche ein Modell zwischen den Energiekursen und dem Wetter. Ich habe den Preis des MWatt zwischen den Ländern Europas gekauft und viele Werte auf das Wetter (Grib-Dateien). Jede Stunde in einem Zeitraum von 5 Jahren (2011-2015).

Preis / Tag

Geben Sie hier die Bildbeschreibung ein

Dies ist pro Tag für ein Jahr. Ich habe dies pro Stunde auf 5 Jahre.

Beispiel für Wetter

Geben Sie hier die Bildbeschreibung ein 3D-Streudiagramm in Kelvin für eine Stunde. Ich habe 1000 Werte pro Daten pro Stunde und 200 Daten wie Klevin, Wind, Geopential usw.

Ich versuche, den Durchschnittspreis pro Stunde des Mwatt vorherzusagen.

Meine Wetterdaten sind sehr dicht, mehr als 10000 Werte / Stunde und damit mit einer hohen Korrelation. Es ist ein Problem von kurzen, großen Datenmengen.

Ich habe die Lasso-, Ridge- und SVR-Methoden mit dem Durchschnittspreis des MWatt als Ergebnis und den Daten meines Wetters als Einkommen ausprobiert. Ich habe 70% als Trainingsdaten und 30% als Test genommen. Wenn die Daten meines Tests nicht prognostiziert werden (irgendwo in meinen Trainingsdaten), habe ich eine gute Vorhersage (R² = 0,89). Aber ich möchte Prognosen für meine Daten erstellen.

Wenn die Testdaten also chronologisch nach meinen Trainingsdaten sind, sagt dies nichts voraus (R² = 0,05). Ich denke, es ist normal, weil es eine Zeitserie ist. Und es gibt viel Autokorrelation.

Ich dachte, ich müsste ein Zeitreihenmodell wie ARIMA verwenden. Ich habe die Reihenfolge der Methode berechnet (die Serie ist stationär) und sie getestet. Aber es funktioniert nicht. Ich meine, dass die Vorhersage einen r² von 0,05 hat. Meine Vorhersage auf den Testdaten ist überhaupt nicht auf meinen Testdaten. Ich habe die ARIMAX-Methode mit meinem Wetter als Regressor ausprobiert. Setzen Sie es fügt keine Informationen hinzu.

ACF / PCF, Test- / Zugdaten

Also habe ich einen saisonalen Schnitt pro Tag und pro Woche gemacht

Tag

Geben Sie hier die Bildbeschreibung ein

Woche im Trend der ersten

Geben Sie hier die Bildbeschreibung ein

Und das kann ich haben, wenn ich dem Trend meines Aktienkurses vorausgehen kann: Geben Sie hier die Bildbeschreibung ein

Das Blau ist meine Vorhersage und das Rot der wahre Wert.

Ich werde eine Regression mit einem rollierenden Mittelwert des Wetters als Einkommen und dem Trend des Aktienkurses als Ergebnis durchführen. Aber im Moment habe ich keine Beziehung gefunden.

Aber wenn es keine Interaktion gibt, wie kann ich dann wissen, dass es nichts gibt? Vielleicht habe ich es nur nicht gefunden.

el Josso
quelle
Ihre Frage ist zu weit gefasst, um beantwortet zu werden. Was modellierst du? Was "funktioniert nicht"? Regression und ARIMA sind völlig unterschiedliche Modelle. Was genau haben Sie also gemacht?
Tim
Ich modelliere die Entwicklung des Preises. Und ich habe einen R² von weniger als 0,2 auf meiner Prognose
el Josso
1
Und was genau ist das Problem hier? Könnten Sie näher erläutern, was Ihre Daten sind, welche Modelle Sie ausprobiert haben, welche Probleme Sie haben und vor allem: Was ist Ihre Frage hier? Wie definieren Sie "Preisentwicklung"? Wie gesagt, Ihre Frage ist zu vage und zu weit gefasst, ebenso wie ein Kandidat, der als unbeantwortbar eingestuft werden kann.
Tim
Muss ich Grafiken hinzufügen?
El Josso
Sie können, wenn es hilft (in vielen Fällen tut es) :)
Tim

Antworten:

6

Sie könnten an einem formalen Wissenschaftsbereich interessiert sein, der "Computermechanik" genannt wird. In einem Artikel von James Crutchfield und David Feldman legen sie das Programm der Computermechanik - soweit ich es verstehe - so dar, dass die Grenzen zwischen (1) deterministischer Unsicherheit und den Informationskosten für den Rückschluss auf deterministische Beziehungen (2) stochastisch analysiert werden Unsicherheit und die Informationskosten für die Schlussfolgerung von Wahrscheinlichkeitsverteilungen und (3) entropische Unsicherheit und die Folgen einer Informationsschwäche.

Um Ihre Frage direkt zu beantworten (wenn auch auch ziemlich allgemein, da Sie eine breite Frage gestellt haben), ist es ein offener Forschungsbereich, wie wir wissen, wenn wir aus Daten entweder "genug" oder "alles, was wir können" gelernt haben. Ersteres hängt notwendigerweise von den Bedürfnissen eines Forschers und Schauspielers in der Welt ab (z. B. wie viel Zeit, wie viel Rechenleistung, wie viel Speicher, wie viel Dringlichkeit usw.).

Ich bin nicht auf diesem Gebiet oder sogar tief in diesem speziellen Artikel, aber sie sind einige coole Denker. :) :)

Crutchfield, JP und Feldman, DP (2003). Unsichtbare Regelmäßigkeiten, beobachtete Zufälligkeit: Grad der Entropiekonvergenz . Chaos , 13 (1): 25–54.

Alexis
quelle
1
Ich bin mir nicht sicher, ob diese OP-Frage beantwortet wurde, aber ich mag diese Perspektive.
HoraceT
Es ist nicht wirklich das, wonach ich gesucht habe, aber es ist ein guter Artikel.
El Josso