Wann muss ich aufhören, nach einem Modell zu suchen?

Ich suche ein Modell zwischen den Energiekursen und dem Wetter. Ich habe den Preis des MWatt zwischen den Ländern Europas gekauft und viele Werte auf das Wetter (Grib-Dateien). Jede Stunde in einem Zeitraum von 5 Jahren (2011-2015).

Preis / Tag

Dies ist pro Tag für ein Jahr. Ich habe dies pro Stunde auf 5 Jahre.

Beispiel für Wetter

3D-Streudiagramm in Kelvin für eine Stunde. Ich habe 1000 Werte pro Daten pro Stunde und 200 Daten wie Klevin, Wind, Geopential usw.

Ich versuche, den Durchschnittspreis pro Stunde des Mwatt vorherzusagen.

Meine Wetterdaten sind sehr dicht, mehr als 10000 Werte / Stunde und damit mit einer hohen Korrelation. Es ist ein Problem von kurzen, großen Datenmengen.

Ich habe die Lasso-, Ridge- und SVR-Methoden mit dem Durchschnittspreis des MWatt als Ergebnis und den Daten meines Wetters als Einkommen ausprobiert. Ich habe 70% als Trainingsdaten und 30% als Test genommen. Wenn die Daten meines Tests nicht prognostiziert werden (irgendwo in meinen Trainingsdaten), habe ich eine gute Vorhersage (R² = 0,89). Aber ich möchte Prognosen für meine Daten erstellen.

Wenn die Testdaten also chronologisch nach meinen Trainingsdaten sind, sagt dies nichts voraus (R² = 0,05). Ich denke, es ist normal, weil es eine Zeitserie ist. Und es gibt viel Autokorrelation.

Ich dachte, ich müsste ein Zeitreihenmodell wie ARIMA verwenden. Ich habe die Reihenfolge der Methode berechnet (die Serie ist stationär) und sie getestet. Aber es funktioniert nicht. Ich meine, dass die Vorhersage einen r² von 0,05 hat. Meine Vorhersage auf den Testdaten ist überhaupt nicht auf meinen Testdaten. Ich habe die ARIMAX-Methode mit meinem Wetter als Regressor ausprobiert. Setzen Sie es fügt keine Informationen hinzu.

ACF / PCF, Test- / Zugdaten

Also habe ich einen saisonalen Schnitt pro Tag und pro Woche gemacht

Tag

Woche im Trend der ersten

Und das kann ich haben, wenn ich dem Trend meines Aktienkurses vorausgehen kann:

Das Blau ist meine Vorhersage und das Rot der wahre Wert.

Ich werde eine Regression mit einem rollierenden Mittelwert des Wetters als Einkommen und dem Trend des Aktienkurses als Ergebnis durchführen. Aber im Moment habe ich keine Beziehung gefunden.

Aber wenn es keine Interaktion gibt, wie kann ich dann wissen, dass es nichts gibt? Vielleicht habe ich es nur nicht gefunden.

Sie könnten an einem formalen Wissenschaftsbereich interessiert sein, der "Computermechanik" genannt wird. In einem Artikel von James Crutchfield und David Feldman legen sie das Programm der Computermechanik - soweit ich es verstehe - so dar, dass die Grenzen zwischen (1) deterministischer Unsicherheit und den Informationskosten für den Rückschluss auf deterministische Beziehungen (2) stochastisch analysiert werden Unsicherheit und die Informationskosten für die Schlussfolgerung von Wahrscheinlichkeitsverteilungen und (3) entropische Unsicherheit und die Folgen einer Informationsschwäche.

Um Ihre Frage direkt zu beantworten (wenn auch auch ziemlich allgemein, da Sie eine breite Frage gestellt haben), ist es ein offener Forschungsbereich, wie wir wissen, wenn wir aus Daten entweder "genug" oder "alles, was wir können" gelernt haben. Ersteres hängt notwendigerweise von den Bedürfnissen eines Forschers und Schauspielers in der Welt ab (z. B. wie viel Zeit, wie viel Rechenleistung, wie viel Speicher, wie viel Dringlichkeit usw.).

Ich bin nicht auf diesem Gebiet oder sogar tief in diesem speziellen Artikel, aber sie sind einige coole Denker. :) :)

Crutchfield, JP und Feldman, DP (2003). Unsichtbare Regelmäßigkeiten, beobachtete Zufälligkeit: Grad der Entropiekonvergenz . Chaos , 13 (1): 25–54.