Unterscheidung zwischen linearem und nichtlinearem Modell


13

Ich habe einige Erklärungen zu den Eigenschaften von linearen und nichtlinearen Modellen gelesen, bin mir aber manchmal nicht sicher, ob es sich bei dem vorliegenden Modell um ein lineares oder ein nichtlineares Modell handelt. Ist beispielsweise das folgende Modell linear oder nichtlinear?

yt=β0+β1B(L;θ)Xt+εt

Mit:

B(L;θ)=k=1Kb(k;θ)Lk

LkXt=Xtk

Wobei eine exponentielle Almon-Polynomfunktion der folgenden Form darstellt:b(k;θ)

b(k;θ)=exp(θ1k+θ2k2)k=1Kexp(θ1k+θ2k2)

Meiner Ansicht nach ist meine Hauptgleichung (die erste) in Bezug auf linear , da dieser Term nur mit einer Gewichtung multipliziert wird. Aber ich würde sagen, dass die Gewichtungsfunktion (die letzte Gleichung) in Bezug auf die Parameter & thgr ; 1 und & thgr ; 2 nichtlinear ist .Xtθ1θ2

Kann mir jemand erklären, ob meine Hauptfunktion eine lineare oder eine nichtlineare ist und was dies für das Schätzverfahren bedeutet - muss ich die Methode der linearen oder nichtlinearen kleinsten Fehlerquadrate anwenden? Woran erkenne ich außerdem eindeutig, ob es sich bei einer Funktion um eine nichtlineare oder eine lineare Funktion handelt?

Antworten:


16

Bei den üblichen Definitionen von linear und nichtlinear in Bezug auf die Modellierung ist nicht die Linearität in Bezug auf die Prädiktoren der entscheidende Aspekt, sondern die Linearität in Bezug auf die Parameter. Ein nichtlineares Modell ist nichtlinear, da seine Parameter nicht linear sind.

Zum Beispiel lautet der erste Satz hier :

In der Statistik ist die nichtlineare Regression eine Form der Regressionsanalyse, bei der Beobachtungsdaten durch eine Funktion modelliert werden, die eine nichtlineare Kombination der Modellparameter darstellt und von einer oder mehreren unabhängigen Variablen abhängt.

Im Gegensatz dazu haben verallgemeinerte lineare Modelle im Allgemeinen eine nichtlineare Beziehung zwischen Antwort und Prädiktoren, aber die verknüpfungstransformierte mittlere Antwort (der lineare Prädiktor , η ) ist in den Parametern linear.

[Nach dieser Definition glaube ich, dass Ihr Modell in den nichtlinear ist. Wenn jedoch die θs spezifiziert sind (bekannt sind), ist diese Nichtlinearität für die Schätzung nicht relevant. Wenn sie angepasst werden, ist das Modell nichtlinear.]θθ


9

Ich stimme Glen_b zu. Bei Regressionsproblemen liegt der Schwerpunkt auf den Parametern und nicht auf der unabhängigen Variablen oder dem Prädiktor x. Und dann kann man entscheiden, ob man das Problem durch einfache Transformationen linearisieren oder als solches vorgehen will.

y=ax+bx2+cx3+dx2/3+e/x+fx4/7. This function is nonlinear in x. But for regression problems, the nonlinearity in x is not an issue. One has to check whether the parameters are linear or linear. In this case, a, b, c,.. f all have power 1. So, they are linear.

Remark that, in y=exp(ax), though a looks like it has power 1, but when expanded exp(ax)=1+ax/1!+(ax)2/2!+. You can clearly see that it is a nonlinear parameter since a has a power more than 1. But, this problem can be linearised by invoking a logarithmic transformation. That is, a nonlinear regression problem is converted to a linear regression problem.

Similarly, y=a/(1+bexp(cx) is a logistic function. It has three parameters, namely a, b and c. The parameters b and c have power more than 1, and when expanded they multiply with each other bringing nonlinearity. So, they are not linear. But, they can be also linearised using a proper substitution by setting first (a/y)1=Y and then invoking a logarithmic function on both the sides to linearise.

Now suppose y=a1/(1+b1exp(c1x))+a2/(1+b2exp(c2x)). This is once again nonlinear with respect to the parameters. But, it cannot be linearised. One needs to use a nonlinear regression.

In principle, using a linear strategy to solve a nonlinear regression problem is not a good idea. So, tackle linear problems (when all the parameters have power 1) using linear regression and adopt nonlinear regression if your parameters are nonlinear.

In your case, substitute the weighting function back in the main function. The parameter β0 would be the only parameter with power 1. All the other parameters are nonlinear (β1 eventually multiplies with θ1 and θ2 (these two are nonlinear parameters) making it also nonlinear. Therefore, it is a nonlinear regression problem.

Adopt a nonlinear least squares technique to solve it. Choose initial values cleverly and use a multistart approach to find the global minima.

This vide will be helpful (though it does not talk about global solution): http://www.youtube.com/watch?v=3Fd4ukzkxps

Using GRG nonlinear solver in the Excel spreadsheet (install the solver toolpack by going to options - Add-Ins - Excel Add-Ins and then choosing Solver Add-In)and invoking the multistart in the options list by prescribing intervals to the parameters and demanding the constraint precision and the convergence to be small, a global solution can be obtained.

If you are using Matlab, use the global optimisation toolbox. It has multistart and globalsearch options. Certain codes are available here for a global solution, here and here.

If you are using Mathematica, look here.

If you are using R, try here.


1
Thanks, @Bipi, for the examples! For your second one, if you set Y = (a/y - 1), how can you isolate the parameter from the variable y?
Vivek Subramanian


0

It will be easy to understand, if I explain it in the context of functions.

Linear: A function which has a constant slope. Algebraically,a polynomial with highest exponent equal to 1. It's a function whose graph is a line. For example, y=2x+3

Non-Linear: A function which has opposite properties of a linear function. A function which has a varying slope. It's a polynomial with exponent equal to 2 or more. It's graph is not a line. For example, y=x^2

[http://study.com/academy/lesson/nonlinear-function-definition-examples.html][1]


Linear statistical models are not the same as linear functions. A non-linear function with additive noise may still be a linear model since linearity is determined by the model parameters and not the predictor variables.
Michael R. Chernick
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.