Polynom-Regression mit Scikit-Learn

Ich versuche, Scikit-Learn für die Polynom-Regression zu verwenden. Nach meinem Verständnis ist die polynomielle Regression ein Sonderfall der linearen Regression. Ich habe gehofft, dass vielleicht eines der generalisierten linearen Modelle von scikit für Polynome höherer Ordnung parametrisiert werden kann, aber ich sehe keine Möglichkeit, dies zu tun.

Ich habe es geschafft, einen Support Vector Regressor mit einem Poly-Kernel zu verwenden. Das hat bei einer Teilmenge meiner Daten gut funktioniert, aber es dauert viel zu lange, bis größere Datenmengen passen, sodass ich immer noch etwas schneller finden muss (auch wenn ich mit etwas Präzision handeln möchte).

Vermisse ich hier etwas Offensichtliches?

Bei gegebenen Daten , einem Spaltenvektor, und , dem Zielvektor, können Sie eine Polynomregression durchführen, indem Sie Polynome von anhängen . Überlegen Sie zum Beispiel, oby $\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Die Verwendung dieses Vektors in der linearen Regression impliziert das Modell:

$$y = \alpha_1 x$$

Wir können Spalten hinzufügen, die Potenzen des obigen Vektors sind und das Hinzufügen von Polynomen zur Regression darstellen. Nachfolgend zeigen wir dies für Polynome bis zur Potenz 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Dies ist unsere neue Datenmatrix, die wir in der linearen Regression von sklearn verwenden und die das Modell darstellt:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

Beachten Sie, dass ich keinen konstanten Vektor von hinzugefügt habe, da sklearn diesen automatisch einbezieht.$1$

Theorie

Die polynomiale Regression ist ein Spezialfall der linearen Regression. Mit der Hauptidee, wie Sie Ihre Funktionen auswählen. Betrachtet man die multivariate Regression mit 2 Variablen: x1und x2. Die lineare Regression sieht folgendermaßen aus:y = a1 * x1 + a2 * x2.

Nun möchten Sie eine polynomielle Regression haben (lassen Sie uns ein 2-Grad-Polynom erstellen). Wir werden ein paar zusätzliche Funktionen erstellen: x1*x2, x1^2und x2^2. So erhalten wir Ihre "lineare Regression":

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Dies zeigt deutlich einen wichtigen konzeptionellen Fluch der Dimensionalität , da die Anzahl der neuen Merkmale mit dem Polynomgradwachstum viel schneller als linear ansteigt. Sie können einen Blick hier über dieses Konzept .

Übe mit scikit-learn

All dies müssen Sie nicht in Scikit erledigen. Dort ist bereits eine polynomielle Regression verfügbar ( Version 0.15 . Hier können Sie überprüfen, wie Sie sie aktualisieren können ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

Wenn Sie eine multivariate Regression und nicht nur eine univariate Regression verwenden, vergessen Sie die Kreuzbegriffe nicht. Wenn Sie zum Beispiel zwei Variablen und haben und Polynome bis zur Potenz 2 wollen, sollten Sie wobei der letzte Term ( ) der ist, der ich bin sprechen über.$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$