Unterscheidung zwischen linearem und nichtlinearem Modell

13

Ich habe einige Erklärungen zu den Eigenschaften von linearen und nichtlinearen Modellen gelesen, bin mir aber manchmal nicht sicher, ob es sich bei dem vorliegenden Modell um ein lineares oder ein nichtlineares Modell handelt. Ist beispielsweise das folgende Modell linear oder nichtlinear?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Mit:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Wobei eine exponentielle Almon-Polynomfunktion der folgenden Form darstellt: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

Meiner Ansicht nach ist meine Hauptgleichung (die erste) in Bezug auf linear , da dieser Term nur mit einer Gewichtung multipliziert wird. Aber ich würde sagen, dass die Gewichtungsfunktion (die letzte Gleichung) in Bezug auf die Parameter thgr thgr nichtlinear ist . $X_t$ $\theta_1$ $\theta_2$

Kann mir jemand erklären, ob meine Hauptfunktion eine lineare oder eine nichtlineare ist und was dies für das Schätzverfahren bedeutet - muss ich die Methode der linearen oder nichtlinearen kleinsten Fehlerquadrate anwenden? Woran erkenne ich außerdem eindeutig, ob es sich bei einer Funktion um eine nichtlineare oder eine lineare Funktion handelt?

linear-model nonlinear-regression nonlinear

— Datengräber
quelle

16

Bei den üblichen Definitionen von linear und nichtlinear in Bezug auf die Modellierung ist nicht die Linearität in Bezug auf die Prädiktoren der entscheidende Aspekt, sondern die Linearität in Bezug auf die Parameter. Ein nichtlineares Modell ist nichtlinear, da seine Parameter nicht linear sind.

Zum Beispiel lautet der erste Satz hier :

In der Statistik ist die nichtlineare Regression eine Form der Regressionsanalyse, bei der Beobachtungsdaten durch eine Funktion modelliert werden, die eine nichtlineare Kombination der Modellparameter darstellt und von einer oder mehreren unabhängigen Variablen abhängt.

Im Gegensatz dazu haben verallgemeinerte lineare Modelle im Allgemeinen eine nichtlineare Beziehung zwischen Antwort und Prädiktoren, aber die verknüpfungstransformierte mittlere Antwort (der lineare Prädiktor , $\eta$ ) ist in den Parametern linear.

[Nach dieser Definition glaube ich, dass Ihr Modell in den nichtlinear ist. Wenn jedoch die spezifiziert sind (bekannt sind), ist diese Nichtlinearität für die Schätzung nicht relevant. Wenn sie angepasst werden, ist das Modell nichtlinear.] $\theta$ $\theta$

— Glen_b - Setzen Sie Monica wieder ein
quelle

9

Ich stimme Glen_b zu. Bei Regressionsproblemen liegt der Schwerpunkt auf den Parametern und nicht auf der unabhängigen Variablen oder dem Prädiktor x. Und dann kann man entscheiden, ob man das Problem durch einfache Transformationen linearisieren oder als solches vorgehen will.

$y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ . This function is nonlinear in $x$ . But for regression problems, the nonlinearity in $x$ is not an issue. One has to check whether the parameters are linear or linear. In this case, $a$ , $b$ , $c$ ,.. $f$ all have power 1. So, they are linear.

Remark that, in $y = \exp(ax)$ , though a looks like it has power 1, but when expanded $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$ . You can clearly see that it is a nonlinear parameter since a has a power more than 1. But, this problem can be linearised by invoking a logarithmic transformation. That is, a nonlinear regression problem is converted to a linear regression problem.

Similarly, $y = a / (1+b \exp(cx)$ is a logistic function. It has three parameters, namely $a$ , $b$ and $c$ . The parameters $b$ and $c$ have power more than 1, and when expanded they multiply with each other bringing nonlinearity. So, they are not linear. But, they can be also linearised using a proper substitution by setting first $(a/y)-1 = Y$ and then invoking a logarithmic function on both the sides to linearise.

Now suppose $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$ . This is once again nonlinear with respect to the parameters. But, it cannot be linearised. One needs to use a nonlinear regression.

In principle, using a linear strategy to solve a nonlinear regression problem is not a good idea. So, tackle linear problems (when all the parameters have power 1) using linear regression and adopt nonlinear regression if your parameters are nonlinear.

In your case, substitute the weighting function back in the main function. The parameter $\beta_0$ would be the only parameter with power 1. All the other parameters are nonlinear ( $\beta_1$ eventually multiplies with $\theta_1$ and $\theta_2$ (these two are nonlinear parameters) making it also nonlinear. Therefore, it is a nonlinear regression problem.

Adopt a nonlinear least squares technique to solve it. Choose initial values cleverly and use a multistart approach to find the global minima.

This vide will be helpful (though it does not talk about global solution): http://www.youtube.com/watch?v=3Fd4ukzkxps

Using GRG nonlinear solver in the Excel spreadsheet (install the solver toolpack by going to options - Add-Ins - Excel Add-Ins and then choosing Solver Add-In)and invoking the multistart in the options list by prescribing intervals to the parameters and demanding the constraint precision and the convergence to be small, a global solution can be obtained.

If you are using Matlab, use the global optimisation toolbox. It has multistart and globalsearch options. Certain codes are available here for a global solution, here and here.

If you are using Mathematica, look here.

If you are using R, try here.

— Bipi
quelle

1

Thanks, @Bipi, for the examples! For your second one, if you set Y = (a/y - 1), how can you isolate the parameter from the variable y?

— Vivek Subramanian

0

The main function is linear.

It does not matter if nonlinear known functions==> $B(L;\theta)$ <== appear in the equations.

I would proceed with a linear least squares if I were you.

This is how you confirm or deny linearity:

https://en.wikipedia.org/wiki/Non-linear#Definition