Warum ist es wichtig, zwischen „linearer“ und „nichtlinearer“ Regression zu unterscheiden?

12

Welche Bedeutung hat die Unterscheidung zwischen linearen und nichtlinearen Modellen? Die Frage Nichtlineares vs. verallgemeinertes lineares Modell: Wie verweisen Sie auf logistische, Poisson usw. Regression? und ihre Antwort war eine äußerst hilfreiche Klärung der Linearität / Nichtlinearität verallgemeinerter linearer Modelle. Es scheint von entscheidender Bedeutung zu sein, lineare von nichtlinearen Modellen zu unterscheiden, aber mir ist nicht klar, warum? Betrachten Sie beispielsweise die folgenden Regressionsmodelle:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Beide Modelle 1 und 2 sind linear, und die Lösungen für in geschlossener Form vor, die mit einem Standard-OLS-Schätzer leicht gefunden werden können. Nicht so für die Modelle 3 und 4, die nichtlinear sind, da (einige) Derivate von wrt immer noch Funktionen von . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Eine einfache Lösung für die Schätzung von in Modell 3 besteht darin, das Modell zu linearisieren, indem Sie , mit einem linearen Modell schätzen und dann berechnen . $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ $\beta_1 = \sqrt{\gamma}$

Um die Parameter in Modell 4 abzuschätzen, können wir annehmen, dass einer Binomialverteilung (Mitglied der Exponentialfamilie) folgt, und unter Verwendung der Tatsache, dass die logistische Form des Modells die kanonische Verknüpfung ist, die rhs des Modells linearisieren. Dies war der entscheidende Beitrag von Nelder und Wedderburn . $Y$

Aber warum ist diese Nichtlinearität überhaupt ein Problem? Warum kann man nicht einfach einen iterativen Algorithmus verwenden, um Modell 3 zu lösen, ohne mit der Quadratwurzelfunktion zu linearisieren, oder Modell 4, ohne GLMs aufzurufen? Ich vermute, dass Statistiker vor der Verbreitung von Rechenleistung versuchten, alles zu linearisieren. Wenn dies zutrifft, sind die durch die Nichtlinearität verursachten "Probleme" möglicherweise ein Überbleibsel der Vergangenheit? Sind die durch nichtlineare Modelle verursachten Komplikationen rein rechnerisch oder gibt es einige andere theoretische Probleme, die es schwieriger machen, nichtlineare Modelle an Daten anzupassen als lineare Modelle?

linear-model nonlinear-regression nonlinear

— user1849779
quelle

1

Wenn Sie schätzen möchten, schätzen Sie einfach (einfache lineare Regression) und nehmen Sie dann ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— Tim

@ Tim, danke für den Kommentar. Ich war mir dieser Transformation als Möglichkeit bewusst, versuchte aber, eine etwas andere Frage zu stellen. Ich habe die Frage im Wesentlichen bearbeitet, hoffentlich zum Besseren.

— user1849779

5

Ich sehe zwei Hauptunterschiede:

Linearität macht es einfach und robust. Zum Beispiel ist (lineares) OLS ein unverzerrter Schätzer bei unbekannter Störungsverteilung. Im Allgemeinen gilt dies nicht für GLM- und nichtlineare Modelle. OLS ist auch für verschiedene Fehlerstrukturmodelle (Zufallseffekte, Clustering usw.) geeignet, bei denen in nichtlinearen Modellen normalerweise die genaue Verteilung dieser Terme vorausgesetzt werden muss.
Es ist einfach zu lösen: nur ein paar Matrixmultiplikationen + 1 Inverse. Dies bedeutet, dass Sie es fast immer lösen können, auch in Fällen, in denen die Zielfunktion fast flach ist (Multikollinearität). In solchen problematischen Fällen konvergieren die iterativen Methoden möglicherweise nicht (was in gewissem Sinne eine gute Sache ist). Einfaches Lösen kann oder kann heutzutage nicht weniger ein Problem sein. Computer werden schneller, aber die Daten werden größer. Haben Sie jemals versucht, eine logit-Regression für 1G-Beobachtungen durchzuführen?

Außerdem sind lineare Modelle leichter zu interpretieren. In linearen Modellen sind Randeffekte gleich Koeffizienten und unabhängig von X-Werten (obwohl polynomielle Terme diese Einfachheit zunichte machen).

— Ott Toomet
quelle

Ich unterscheide hauptsächlich nach Zweckmäßigkeit oder historischem Gebrauch.

— Martha

2

Viele Modelle in der Biologie (und anderen Bereichen) sind nichtlinear, daher sind sie am besten für die nichtlineare Regression geeignet. Die Mathematik ist natürlich ganz anders. Aus Sicht des Datenanalysten gibt es jedoch nur einen wichtigen Unterschied.

Die nichtlineare Regression erfordert anfängliche Schätzwerte für jeden Parameter. Wenn diese anfänglichen Schätzungen weit davon entfernt sind, kann das nichtlineare Regressionsprogramm auf ein falsches Minimum konvergieren und unbrauchbare oder irreführende Ergebnisse liefern.

— Harvey Motulsky
quelle

2

Dies ist sicherlich Teil der Antwort. Wenn Sie jedoch behaupten, der einzige Unterschied liege in einer geringfügigen technischen Schwierigkeit, könnten Sie die Probleme nichtlinearer Modelle übermäßig minimieren. Zum Beispiel können einige einfache biologische Minima sehr unterschiedliche lokale Minima aufweisen, die alle den globalen Minima nahe kommen. Dieses grundlegende qualitative Problem wird nicht durch eine verbesserte Rechenleistung oder bessere Optimierungstechniken gelöst: Viele nichtlineare Modelle unterscheiden sich von linearen Modellen in ihrer Natur so stark, dass sie gründliche Überlegungen zu ihrer Bedeutung und Interpretation erfordern.

— whuber

1

Erstens werde ich das Wort "Regression" durch das Wort "Modell" ersetzen. Ich denke, dass man für beide Wörter wirklich fragt, welche relevanten Gleichungen das Modell definieren und welche Hypothese die Werte der abhängigen Variablen und die von der Gleichung / dem Modell vorhergesagten Werte in Beziehung setzen. Ich denke, dass der Begriff "Modell" mehr Standard ist. Wenn Sie damit einverstanden sind, lesen Sie weiter.

$\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ ist Gauß. Imho, ich denke, Wikipedia hat eine sehr vernünftige Erklärung für allgemeine lineare Modelle. Ich denke, dies ist der Schlüsselsatz: "Das GLM verallgemeinert die lineare Regression, indem es ermöglicht, dass das lineare Modell über eine Verknüpfungsfunktion mit der Antwortvariablen in Beziehung gesetzt wird und die Größe der Varianz jeder Messung von ihrem vorhergesagten Wert abhängt. " Ein glm erlaubt also einen allgemeineren Fehlerbegriff. Dies ermöglicht eine größere Flexibilität bei der Modellierung. Der Preis ? Das richtige Modell zu berechnen ist schwieriger. Eine einfache Methode zur Berechnung der Koeffizienten gibt es nicht mehr. Die Koeffizienten einer linearen Regression können durch Minimieren einer quadratischen Funktion ermittelt werden, die ein eindeutiges Minimum aufweist. Mit den Worten von Borat, für einen Hauch, nicht so sehr. Man muss das mle berechnen,

— meh
quelle

1

Ein nichtlineares Modell kann auch davon ausgehen, dass die Residuen von einer Gaußschen Verteilung abgetastet werden. Ein einfaches Beispiel ist die Enzymaktivität (Y) als Funktion der Substratkonzentration (X). Y = Vmax * X / (Km + X) Es ist üblich und vernünftig anzunehmen, dass die Residuen Gauß'sch sind, dies ist jedoch eine nichtlineare Gleichung, die mit nichtlinearer Regression übereinstimmt.

— Harvey Motulsky

2

Nichtlineare Modelle umfassen weit mehr als GLMs. GLMs sind beliebt, weil sie in den Parametern "fast" linear sind: Die gesamte Nichtlinearität ist auf eine Funktion einer einzelnen Variablen, der "Verknüpfung", beschränkt. Dies ermöglicht relativ effiziente und zuverlässige Lösungen. Andere nichtlineare Modelle sind viel weniger handhabbar. Das Konzept der Linearität unterscheidet sich weitgehend von der Art der Residuen, obwohl es in einigen Fällen vorteilhaft ist, additive Residuen von anderen Variationsformen zu unterscheiden.

— whuber