Ich habe ein XGBoost-Modell, das versucht vorherzusagen, ob eine Währung in der nächsten Periode (5 Minuten) steigen oder fallen wird. Ich habe einen Datensatz von 2004 bis 2018. Ich habe die randomisierten Daten in 95% Zug- und 5% Validierung aufgeteilt und die Genauigkeit des Validierungssatzes beträgt bis zu 55%. Wenn ich das Modell dann für einen neuen Testsatz verwende (Daten von 2019), sinkt die Genauigkeit auf unter 51%.
Kann jemand erklären, warum das so sein könnte?
Ich gehe davon aus, dass das Modell die Validierungsdaten nicht mehr "gesehen" (trainiert) hat als die Testdaten. Kann es also wirklich überanpassen?
Ich habe unten ein einfaches Modell beigefügt, um dies zu veranschaulichen. Dieser gibt 54% auf Validierungssatz, aber nur 50,9% auf Testsatz .
Vielen Dank für jede Hilfe!
NB Eine Theorie, die ich hatte, war, dass, da einige der Funktionen auf historischen Daten beruhen (z. B. gleitender Durchschnitt), es sich um einen Datenverlust handeln könnte. Ich habe dann versucht, dies zu korrigieren, indem ich nur Beispieldaten verwendet habe, die nicht Teil der Erstellung des gleitenden Durchschnitts waren. Wenn es beispielsweise einen gleitenden Durchschnitt von 3 Perioden gibt, werden die Datenzeilen aus 2 Perioden nicht abgetastet / verwendet. Das hat nichts geändert, so dass es nicht im Modell unten ist.
NB2 Das folgende Modell ist eine einfache Version von dem, was ich benutze. Der Grund für ein Validierungsset für mich ist, dass ich einen genetischen Algorithmus für die Hyperparameter-Abstimmung verwende, aber alles, was hier aus Gründen der Klarheit entfernt wird.
import pandas as pd
import talib as ta
from sklearn.utils import shuffle
pd.options.mode.chained_assignment = None
from sklearn.metrics import accuracy_score
# ## TRAINING AND VALIDATING
# ### Read in data
input_data_file = 'EURUSDM5_2004-2018_cleaned.csv' # For train and validation
df = pd.read_csv(input_data_file)
# ### Generate features
#######################
# SET TARGET
#######################
df['target'] = df['Close'].shift(-1)>df['Close'] # target is binary, i.e. either up or down next period
#######################
# DEFINE FEATURES
#######################
df['rsi'] = ta.RSI(df['Close'], 14)
# ### Treat the data
#######################
# FIND AND MAKE CATEGORICAL VARAIBLES AND DO ONE-HOT ENCODING
#######################
for col in df.drop('target',axis=1).columns: # Crude way of defining variables with few unique variants as categorical
if df[col].nunique() < 25:
df[col] = pd.Categorical(df[col])
cats = df.select_dtypes(include='category') # Do one-hot encoding for the categorical variables
for cat_col in cats:
df = pd.concat([df,pd.get_dummies(df[cat_col], prefix=cat_col,dummy_na=False)],axis=1).drop([cat_col],axis=1)
uints = df.select_dtypes(include='uint8')
for col in uints.columns: # Variables from the one-hot encoding is not created as categoricals so do it here
df[col] = df[col].astype('category')
#######################
# REMOVE ROWS WITH NO TRADES
#######################
df = df[df['Volume']>0]
#######################
# BALANCE NUMBER OF UP/DOWN IN TARGET SO THE MODEL CANNOT SIMPLY CHOOSE ONE AND BE SUCCESSFUL THAT WAY
#######################
df_true = df[df['target']==True]
df_false = df[df['target']==False]
len_true = len(df_true)
len_false = len(df_false)
rows = min(len_true,len_false)
df_true = df_true.head(rows)
df_false = df_false.head(rows)
df = pd.concat([df_true,df_false],ignore_index=True)
df = shuffle(df)
df.dropna(axis=0, how='any', inplace=True)
# ### Split data
df = shuffle(df)
split = int(0.95*len(df))
train_set = df.iloc[0:split]
val_set = df.iloc[split:-1]
# ### Generate X,y
X_train = train_set[train_set.columns.difference(['target', 'Datetime'])]
y_train = train_set['target']
X_val = val_set[val_set.columns.difference(['target', 'Datetime'])]
y_val = val_set['target']
# ### Scale
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
cont = X_train.select_dtypes(exclude='category') # Find columns with continous (not categorical) variables
X_train[cont.columns] = sc.fit_transform(X_train[cont.columns]) # Fit and transform
cont = X_val.select_dtypes(exclude='category') # Find columns with continous (not categorical) variables
X_val[cont.columns] = sc.transform(X_val[cont.columns]) # Transform
cats = X_train.select_dtypes(include='category')
for col in cats.columns:
X_train[col] = X_train[col].astype('uint8')
cats = X_val.select_dtypes(include='category')
for col in cats.columns:
X_val[col] = X_val[col].astype('uint8')
# ## MODEL
from xgboost import XGBClassifier
model = XGBClassifier()
model.fit(X_train, y_train)
predictions = model.predict(X_val)
acc = 100*accuracy_score(y_val, predictions)
print('{0:0.1f}%'.format(acc))
# # TESTING
input_data_file = 'EURUSDM5_2019_cleaned.csv' # For testing
df = pd.read_csv(input_data_file)
#######################
# SET TARGET
#######################
df['target'] = df['Close'].shift(-1)>df['Close'] # target is binary, i.e. either up or down next period
#######################
# DEFINE FEATURES
#######################
df['rsi'] = ta.RSI(df['Close'], 14)
#######################
# FIND AND MAKE CATEGORICAL VARAIBLES AND DO ONE-HOT ENCODING
#######################
for col in df.drop('target',axis=1).columns: # Crude way of defining variables with few unique variants as categorical
if df[col].nunique() < 25:
df[col] = pd.Categorical(df[col])
cats = df.select_dtypes(include='category') # Do one-hot encoding for the categorical variables
for cat_col in cats:
df = pd.concat([df,pd.get_dummies(df[cat_col], prefix=cat_col,dummy_na=False)],axis=1).drop([cat_col],axis=1)
uints = df.select_dtypes(include='uint8')
for col in uints.columns: # Variables from the one-hot encoding is not created as categoricals so do it here
df[col] = df[col].astype('category')
#######################
# REMOVE ROWS WITH NO TRADES
#######################
df = df[df['Volume']>0]
df.dropna(axis=0, how='any', inplace=True)
X_test = df[df.columns.difference(['target', 'Datetime'])]
y_test = df['target']
cont = X_test.select_dtypes(exclude='category') # Find columns with continous (not categorical) variables
X_test[cont.columns] = sc.transform(X_test[cont.columns]) # Transform
cats = X_test.select_dtypes(include='category')
for col in cats.columns:
X_test[col] = X_test[col].astype('uint8')
predictions = model.predict(X_test)
acc = 100*accuracy_score(y_test, predictions)
print('{0:0.1f}%'.format(acc))
Nach dem alten Investment-Mantra ist "die Wertentwicklung in der Vergangenheit kein Hinweis auf die zukünftige Wertentwicklung".
Mein Hauptkandidat ist überpassend. Während die Wahrscheinlichkeit, dass ein bestimmtes Muster für eine bestimmte Richtung symptomatisch ist, obwohl es überhaupt nicht kausal (oder über die vorliegende Probe hinaus prädiktiv) ist, astronomisch gering ist, muss auch eine astronomische Menge von Mustern erkannt werden, die ein solches Verhalten aufweisen können .
Nehmen wir an, es waren echte Muster, die Sie gelernt haben:
Während Sie ein Algo trainierten, lernten auch seine dreifachen Böden, Köpfe und Schultern Hunderte von Banken, und zwar schneller als Sie und unter Verwendung dieser Informationen.
Diese Informationen spiegelten sich in unterschiedlichen Preisbewegungen wider, da sie mehr wussten als 2018 und anders handelten. Ihr Modell weiß noch nicht, wie es diese Maßnahmen berücksichtigen soll, da sie neu sind.
quelle