Bootstrapping-Konfidenzintervall aus einer Regressionsvorhersage

Für die Hausaufgaben erhielt ich Daten, um einen Prädiktor zu erstellen / zu trainieren, der die Lasso-Regression verwendet. Ich erstelle den Prädiktor und trainiere ihn mit der Lasso-Python-Bibliothek von scikit learn.

Jetzt habe ich diesen Prädiktor, der bei gegebener Eingabe die Ausgabe vorhersagen kann.

Die zweite Frage lautete: "Erweitern Sie Ihren Prädiktor, um das Konfidenzintervall der Vorhersage mithilfe der Bootstrapping-Methode zu melden."

Ich habe mich umgesehen und Beispiele von Leuten gefunden, die dies für den Mittelwert und andere Dinge tun.

Aber ich bin völlig verloren, wie ich es für eine Vorhersage tun soll. Ich versuche, die Scikit-Bootstrap- Bibliothek zu verwenden.

Das Kurspersonal reagiert extrem wenig, daher ist jede Hilfe willkommen. Vielen Dank.

Bootstrapping bezieht sich auf das erneute Abtasten Ihrer Daten durch Ersetzen. Das heißt, anstatt Ihr Modell an das ursprüngliche X und Y anzupassen, passen Sie Ihr Modell mehrmals an neu abgetastete Versionen von X und Y an.

Somit erhalten Sie n leicht unterschiedliche Modelle, mit denen Sie ein Konfidenzintervall erstellen können. Hier ist ein visuelles Beispiel für ein solches Intervall.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

plt.figure(figsize=(12,8))
for i in range(0, 500):
    sample_index = np.random.choice(range(0, len(y)), len(y))

    X_samples = X[sample_index]
    y_samples = y[sample_index]    

    lr = LinearRegression()
    lr.fit(X_samples, y_samples)
    plt.plot(x, lr.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

lr = LinearRegression()
lr.fit(X, y)
plt.plot(x, lr.predict(X), color='red', zorder=5)

Wenn Sie die API von scikit für den Bootstrap-Teil des Codes verwenden möchten:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import BaggingRegressor

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

n_estimators = 50
model = BaggingRegressor(LinearRegression(), 
                         n_estimators=n_estimators,
                         bootstrap=True)

model.fit(X, y)

plt.figure(figsize=(12,8))

# Accessing each base_estimator (already fitted)
for m in model.estimators_:
    plt.plot(x, m.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

# "Bagging model" prediction
plt.plot(x, model.predict(X), color='red', zorder=5)