Was macht die lineare Regression mit Polynommerkmalen kurvig?

Das Folgende ist mein Verständnis dessen, was passiert: Wenn ich ein "zweidimensionales Problem" nehme, z. B. habe ich als Eingabe und Y als Ergebnis und füge ein Merkmal . Dies gibt einem Problem eine zusätzliche Dimension und die lineare Anpassung an die und Werte definiert eine Linie sowie die lineare Anpassung an die und Werte und die beiden Linien definieren eine Ebene, die die beste Anpassung ist. Ist das richtig? Wie übersetzt sich dies zurück in den zweidimensionalen Raum? Zeigt sich das irgendwie in zwei Dimensionen als kurvig? Wie? $X$ $x^2$ $x$ $y$ $x^2$ $y$

regression polynomial

— user412953
quelle

x^{2}

$x^2$ ist keine zusätzliche Dimension, da sie durch bestimmt wird . Die Dimensionen müssen mindestens bis zu einem gewissen Grad unabhängig sein

x

$x$

— Aksakal

@Aksakal Im Sinne der Dimensionen des Spaltenraums der Modellmatrix führt normalerweise eine zusätzliche Dimension ein. Das scheint ein natürlicher und nützlicher Weg zu sein, um diese Frage zu verstehen.

x^{2}

$x^2$

— whuber

Wenn wir in Bezug auf die Entwurfsmatrix denken , die Beobachtungen als Zeilen und Variablen als Spalten enthält, dann hat eine eigene Spalte und fügt in dieser Hinsicht eine Dimension hinzu. Beispielsweise wird eine Kovarianzmatrix eine weitere Dimension haben. Darüber hinaus behält die Matix in vielen Fällen sogar ihren Rang obwohl von abhängig ist , da sie nicht linear abhängig ist. Deshalb funktioniert die Polynomregression oft . Es kann jedoch manchmal aufgrund von Kollinearität oder Zustand fehlschlagen.

X

$X$

x^{2}

$x^2$

p \times p

$p\times p$

p

$p$

x^{2}

$x^2$

x

$x$

— Aksakal

Ich würde jedoch vorschlagen, orthogonale Polynome zu verwenden. Sie sind frei von Abhängigkeitsproblemen einfacher Polynome

— Aksakal

Die Verwendung von orthogonalen Polynomen anstelle von einfacheren ändert nichts am Ergebnis - das heißt, die geschätzte Anpassung ist dieselbe - obwohl orthogonale Polynome einige praktische Vorteile haben. Dies unterscheidet sich nicht von den meisten multivariaten Regressionsproblemen, bei denen Prädiktoren korreliert sind.

— Pere

Antworten:

Dies ist ein Teil einer Ebene in 3D.

Hier ist dieselbe Ebene mit den gezeigten Koordinaten und einer Reihe von Punkten, die entlang ihrer Achse ausgewählt wurden. $x$

Die dritte Koordinate wird verwendet, um die Quadrate dieser Werte zu zeichnen und Punkte entlang einer Parabel an der Basis des Koordinatenfelds zu erzeugen. $x$

Ein vertikaler "Vorhang" durch die Parabel schneidet die Ebene an allen Punkten direkt über der Parabel. Dieser Schnittpunkt ist eine Kurve.

Ein Polynommodell nimmt an, dass sich die Antwort (in vertikaler Richtung grafisch dargestellt) von der Höhe dieser Ebene um zufällige Beträge unterscheidet. Die diesen Koordinaten entsprechenden Werte von werden als rote Punkte angezeigt. $y$ $y$ $x$

Folglich liegen die -Punkte entlang einer Kurve - dieser Projektion - und nicht entlang einer Linie, obwohl das Modell der Antwort auf der ursprünglich gezeigten Ebene basiert. $(x,y)$

Moral

Wenn die erklärenden Variablen eindeutig auf einer Kurve liegen, scheinen die Antworten auch auf einer Kurve zu liegen.

— whuber
quelle

Vielen Dank, das war so hilfreich.

— user412953

Wenn Sie eine einzelne unabhängige Variable x und eine einzelne abhängige Variable y haben, wird "y = f (x)" normalerweise als zweidimensional betrachtet, selbst wenn die Beziehung zwischen diesen beiden Variablen kompliziert ist. Als hypothetisches Beispiel gibt es nur zwei Variablen, Temperatur und Druck, wenn ein experimentelles Modell "Druck = a * Temperatur + b * log (Temperatur) - c * Sinus (Temperatur)" ist. Aus diesem Grund könnte eine solche Beziehung als gekrümmte Linie in einer flachen Ebene dargestellt werden.

Wenn das Modell zwei unabhängige Variablen hätte, wie "Druck = a * log (Temperatur) - b * exp (Höhe)", hat dies die Form "z = f (x, y)" und könnte als 3D dargestellt werden Oberfläche.

— James Phillips
quelle