Polynom-Regression mit Scikit-Learn

Ich versuche, Scikit-Learn für die Polynom-Regression zu verwenden. Nach meinem Verständnis ist die polynomielle Regression ein Sonderfall der linearen Regression. Ich habe gehofft, dass vielleicht eines der generalisierten linearen Modelle von scikit für Polynome höherer Ordnung parametrisiert werden kann, aber ich sehe keine Möglichkeit, dies zu tun.

Ich habe es geschafft, einen Support Vector Regressor mit einem Poly-Kernel zu verwenden. Das hat bei einer Teilmenge meiner Daten gut funktioniert, aber es dauert viel zu lange, bis größere Datenmengen passen, sodass ich immer noch etwas schneller finden muss (auch wenn ich mit etwas Präzision handeln möchte).

Vermisse ich hier etwas Offensichtliches?

regression machine-learning large-data polynomial scikit-learn Mihai Damian
quelle

Antworten:

Bei gegebenen Daten , einem Spaltenvektor, und , dem Zielvektor, können Sie eine Polynomregression durchführen, indem Sie Polynome von anhängen . Überlegen Sie zum Beispiel, ob $\mathbf{x}$ $\mathbf{y}$ $\mathbf{x}$

x = [\begin{matrix} 2 \\ - 1 \\ \frac{1}{3} \end{matrix}]

$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$

Die Verwendung dieses Vektors in der linearen Regression impliziert das Modell:

y = α_{1} x

$y = \alpha_1 x$

Wir können Spalten hinzufügen, die Potenzen des obigen Vektors sind und das Hinzufügen von Polynomen zur Regression darstellen. Nachfolgend zeigen wir dies für Polynome bis zur Potenz 3:

X = [\begin{matrix} 2 & 4 & 8 \\ - 1 & 1 & - 1 \\ \frac{1}{3} & \frac{1}{3^{2}} & \frac{1}{3^{3}} \end{matrix}]

$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$

Dies ist unsere neue Datenmatrix, die wir in der linearen Regression von sklearn verwenden und die das Modell darstellt:

y = α_{1} x + α_{2} x^{2} + α_{3} x^{3}

$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$

Beachten Sie, dass ich keinen konstanten Vektor von hinzugefügt habe, da sklearn diesen automatisch einbezieht. $1$

Cam.Davidson.Pilon
quelle

Theorie

Die polynomiale Regression ist ein Spezialfall der linearen Regression. Mit der Hauptidee, wie Sie Ihre Funktionen auswählen. Betrachtet man die multivariate Regression mit 2 Variablen: x1und x2. Die lineare Regression sieht folgendermaßen aus:y = a1 * x1 + a2 * x2.

Nun möchten Sie eine polynomielle Regression haben (lassen Sie uns ein 2-Grad-Polynom erstellen). Wir werden ein paar zusätzliche Funktionen erstellen: x1*x2, x1^2und x2^2. So erhalten wir Ihre "lineare Regression":

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Dies zeigt deutlich einen wichtigen konzeptionellen Fluch der Dimensionalität , da die Anzahl der neuen Merkmale mit dem Polynomgradwachstum viel schneller als linear ansteigt. Sie können einen Blick hier über dieses Konzept .

Übe mit scikit-learn

All dies müssen Sie nicht in Scikit erledigen. Dort ist bereits eine polynomielle Regression verfügbar ( Version 0.15 . Hier können Sie überprüfen, wie Sie sie aktualisieren können ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

Salvador Dali
quelle

Was ist, wenn ich keine Interaktionsterme als x1 * x2 haben möchte, muss ich X_ manuell konstruieren? Im PolynomialFeatures () -Konstruktor gibt es einen Parameter "interact_only", der standardmäßig den Wert "False" hat. Aber es auf True zu setzen, macht das Gegenteil von dem, was ich will: Es behält NUR die Interaktionsbegriffe bei und behält nicht x1 ^ 2, x2 ^ 2 usw.

DenisFLASH

Der Link zu YouTube behauptet, dass das Video nicht mehr existiert. Hast du einen anderen Link dazu?

Markon

@ Markon jedes Video aus dieser Liste ist gut genug: youtube.com/results?search_query=curse+of+dimensionality

Salvador Dali

@ SalvadorDali das ist, was Dimensionsreduktion ist für

user3916597

Ich frage mich, ob wir die Daten vor oder nach der Bewerbung PolynomialFeatureszentrieren sollten.

Renakre

Wenn Sie eine multivariate Regression und nicht nur eine univariate Regression verwenden, vergessen Sie die Kreuzbegriffe nicht. Wenn Sie zum Beispiel zwei Variablen und haben und Polynome bis zur Potenz 2 wollen, sollten Sie wobei der letzte Term ( ) der ist, der ich bin sprechen über. $x_1$ $x_2$ $y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$ $a_5x_1x_2$

Vermeer Grange
quelle