Was sind Kriterien und Entscheidungen für die Nichtlinearität in statistischen Modellen?

Ich hoffe, dass die folgende allgemeine Frage Sinn macht. Bitte beachten Sie, dass ich für die Zwecke dieser speziellen Frage nicht an theoretischen (Fachgebiets-) Gründen für die Einführung von Nichtlinearität interessiert bin. Daher werde ich die vollständige Frage wie folgt formulieren :

Was ist ein logischer Rahmen ( Kriterien und, wenn möglich, Entscheidungsprozess ) für die Einführung von Nichtlinearität in statistische Modelle aus anderen als theoretischen Gründen (Fachgebiet)? Wie immer sind auch relevante Ressourcen und Referenzen willkommen.

Der Modellbildungsprozess beinhaltet, dass ein Modellbauer viele Entscheidungen trifft. Eine der Entscheidungen besteht darin, zwischen verschiedenen Klassen von Modellen zu wählen , die untersucht werden sollen. Es gibt viele Klassen von Modellen, die in Betracht gezogen werden könnten; Zum Beispiel ARIMA-Modelle, ARDL-Modelle, Multiple-of-Error-State-Space-Modelle, LSTAR-Modelle, Min-Max-Modelle, um nur einige zu nennen. Natürlich sind einige Modellklassen breiter als andere, und es ist nicht üblich, dass einige Modellklassen Unterklassen anderer sind.

Angesichts der Art der Frage können wir uns hauptsächlich auf zwei Klassen von Modellen konzentrieren. lineare Modelle und nichtlineare Modelle .

Vor diesem Hintergrund werde ich mich mit der Frage des OP befassen, wann es sinnvoll ist, ein nichtlineares Modell zu übernehmen, und ob es dafür einen logischen Rahmen gibt - aus statistischer und methodischer Sicht.

Als erstes fällt auf, dass lineare Modelle eine kleine Unterklasse nichtlinearer Modelle sind. Mit anderen Worten, lineare Modelle sind Sonderfälle nichtlinearer Modelle. Es gibt einige Ausnahmen von dieser Aussage, aber für die gegenwärtigen Zwecke werden wir nicht viel verlieren, wenn wir sie akzeptieren, um die Sache zu vereinfachen.

In der Regel wählt ein Modellbauer eine Modellklasse aus und wählt ein Modell aus dieser bestimmten Klasse aus, indem er eine bestimmte Methode anwendet. Ein einfaches Beispiel ist, wenn man sich entscheidet, eine Zeitreihe als ARIMA-Prozess zu modellieren und dann der Box-Jenkins-Methode folgt, um ein Modell aus der Klasse der ARIMA-Modelle auszuwählen. Auf diese Weise mit Methoden zu arbeiten, die mit Modellfamilien verbunden sind, ist eine Frage der praktischen Notwendigkeit.

Die Entscheidung, ein nichtlineares Modell zu erstellen, hat zur Folge, dass das Problem der Modellauswahl viel größer wird (es müssen mehr Modelle berücksichtigt werden und mehr Entscheidungen getroffen werden), als wenn aus einer kleineren Gruppe linearer Modelle ausgewählt wird praktisches Problem zur Hand. Darüber hinaus gibt es möglicherweise nicht einmal vollständig entwickelte Methoden (bekannt, akzeptiert, verstanden, leicht zu kommunizieren), um aus einigen Familien nichtlinearer Modelle auszuwählen. Ein weiterer Nachteil der Erstellung nichtlinearer Modelle besteht darin, dass lineare Modelle einfacher zu verwenden sind und ihre probabilistischen Eigenschaften besser bekannt sind ( Teräsvirta, Tjøstheim und Granger (2010) ).

Das OP bittet jedoch um statistische Gründe für die Entscheidung und nicht um praktische oder domänentheoretische Gründe, daher muss ich weitermachen.

Bevor man überhaupt darüber nachdenkt, wie man mit der Auswahl der nichtlinearen Modelle umgeht, muss man zunächst entscheiden, ob man stattdessen mit linearen oder nichtlinearen Modellen arbeitet. Eine Entscheidung! Wie treffe ich diese Wahl?

Mit Berufung auf Granger und Terasvirta (1993) nehme ich das folgende Argument an, das zwei Hauptpunkte als Antwort auf die folgenden zwei Fragen enthält.

F: Wann ist es sinnvoll, ein nichtlineares Modell zu erstellen? Kurz gesagt, es kann nützlich sein, ein nichtlineares Modell zu erstellen, wenn die Klasse der linearen Modelle bereits berücksichtigt wurde und als unzureichend angesehen wird, um die untersuchte Beziehung zu charakterisieren. Man kann sagen, dass dieses nichtlineare Modellierungsverfahren (Entscheidungsprozess) von einfach zu allgemein geht, in dem Sinne, dass es von linear zu nichtlinear geht.

F: Gibt es statistische Gründe, die zur Rechtfertigung der Erstellung eines nichtlinearen Modells herangezogen werden können? Wenn man sich entscheidet, ein nichtlineares Modell basierend auf den Ergebnissen von Linearitätstests zu erstellen, würde ich sagen, ja, das gibt es. Wenn Linearitätstests darauf hindeuten, dass die Beziehung keine signifikante Nichtlinearität aufweist, wird die Erstellung eines nichtlinearen Modells nicht empfohlen. Tests sollten der Entscheidung zum Bauen vorausgehen.

Ich werde diese Punkte unter direkter Bezugnahme auf Granger und Terasvirta (1993) konkretisieren:

Vor der Erstellung eines nichtlinearen Modells ist es ratsam herauszufinden, ob ein lineares Modell die [wirtschaftlichen] Beziehungen, die analysiert werden, tatsächlich angemessen charakterisieren würde. Wenn dies der Fall wäre, gäbe es mehr statistische Theorie für die Erstellung eines vernünftigen Modells als wenn ein nichtlineares Modell angemessen wäre. Darüber hinaus wäre es viel einfacher, optimale Prognosen für mehr als einen Zeitraum zu erhalten, wenn das Modell linear wäre. Zumindest wenn die Zeitreihen kurz sind, kann es vorkommen, dass der Prüfer ein nichtlineares Modell erfolgreich schätzt, obwohl die wahre Beziehung zwischen den Variablen linear ist. Die Gefahr einer unnötigen Komplikation des Modellbaus ist daher real, kann jedoch durch Linearitätstests verringert werden.

In dem neueren Buch Teräsvirta, Tjøstheim und Granger (2010) wird derselbe Rat gegeben, den ich jetzt zitiere:

Aus praktischer Sicht ist es [daher] nützlich, die Linearität zu testen, bevor versucht wird, das kompliziertere nichtlineare Modell abzuschätzen. In vielen Fällen sind Tests sogar unter statistischen Gesichtspunkten erforderlich. Einige beliebte nichtlineare Modelle werden unter Linearität nicht identifiziert. Wenn das wahre Modell, das die Daten generiert hat, linear ist und das nichtlineare Modell, an dem man interessiert ist, dieses lineare Modell verschachtelt, können die Parameter des nichtlinearen Modells nicht konsistent geschätzt werden. Daher muss die Linearitätsprüfung jeder nichtlinearen Modellierung und Schätzung vorausgehen.

Lassen Sie mich mit einem Beispiel enden.

Im Zusammenhang mit der Modellierung von Geschäftszyklen kann ein praktisches Beispiel für die Verwendung statistischer Gründe zur Rechtfertigung der Erstellung eines nichtlinearen Modells wie folgt aussehen. Da lineare univariate oder vektorautoregressive Modelle keine asymmetrischen zyklischen Zeitreihen erzeugen können, ist ein nichtlinearer Modellierungsansatz in Betracht zu ziehen, der Asymmetrien in den Daten verarbeiten kann. Eine erweiterte Version dieses Beispiels zur Datenreversibilität findet sich in Tong (1993) .

Entschuldigung, wenn ich mich zu sehr auf Zeitreihenmodelle konzentriert habe. Ich bin mir jedoch sicher, dass einige der Ideen auch in anderen Umgebungen anwendbar sind.

Das übergreifende Problem besteht darin, zu entscheiden, für welche Arten von Problemen Linearität zu erwarten ist. Andernfalls können Beziehungen nichtlinear sein, wenn die Stichprobengröße dies zulässt. Die meisten Prozesse in Biologie, Sozialwissenschaften und anderen Bereichen sind nichtlinear. Die einzigen Situationen, in denen ich lineare Beziehungen erwarte, sind:

1. Newtonsche Mechanik
2. Vorhersage von aus zu einem früheren Zeitpunkt gemessen$Y$$Y$

Das letztere Beispiel schließt den Fall ein, in dem man eine abhängige Variable , die ebenfalls zu Beginn (Zeitpunkt Null) gemessen wird.$Y$

Ich sehe selten eine Beziehung, die in einem großen Datensatz überall linear ist.

Die Entscheidung, Nichtlinearitäten in Regressionsmodelle aufzunehmen, beruht weniger auf einem globalen statistischen Prinzip als vielmehr auf der Funktionsweise der Welt. Eine Ausnahme ist, wenn ein nicht optimaler statistischer Rahmen ausgewählt wurde und Nichtlinearitäten oder Interaktionsterme eingeführt werden müssen, um die schlechte Auswahl des Rahmens auszugleichen. Manchmal können Interaktionsterme erforderlich sein, um die Haupteffekte der Untermodellierung (z. B. durch Annahme der Linearität) auszugleichen. Möglicherweise sind weitere Haupteffekte erforderlich, um den Informationsverlust auszugleichen, der sich aus der Untermodellierung der anderen Haupteffekte ergibt.

Forscher quälen sich manchmal damit, ob sie eine bestimmte Variable einbeziehen sollen, während sie eine Vielzahl anderer Variablen unteranpassen, indem sie sie zwingen, linear zu handeln. Nach meiner Erfahrung ist die Linearitätsannahme eine der am meisten verletzten Annahmen, die stark von Bedeutung sind.

Beim Erstellen eines Modells versuche ich immer die Quadrate von Variablen zusammen mit linearen Komponenten. Wenn ich zum Beispiel ein einfaches Regressionsmodell werde ich einen quadratischen Term Wenn signifikant ist, ist es kann ein Fall für ein nichtlineares Modell sein. Die Intuition ist natürlich die Taylor-Erweiterung. Wenn Sie eine lineare Funktion haben, darf nur die erste Ableitung ungleich Null sein. Für nichtlineare Funktionen wären Ableitungen höherer Ordnung ungleich Null.y i = α + β x i + γ x 2 i + ε i

Ich versuche auch oft einen asymmetrischen Spezifikationskandidaten: Wenn signifikant ist, muss ich darüber nachdenken Erkundung asymmetrischer Spezifikationen.

Manchmal habe ich einige spezielle Werte oder Bänder in meinen Daten. oder meine Histogramme erklärender Variablen haben Knicke und Wendepunkte. Also probiere ich die linearen Splines um diese speziellen Punkte oder Regionen aus. Die einfachsten linearen Splines wären: Dies würde die verschiedenen Steigungen für vor und nach Punkt einführen . Sie können mehrere Steigungen für dieselbe Variable in verschiedenen Regionen haben. Wenn mein linearer Spline signifikant ist, spiele ich entweder mit Knotenpunkten und verwende ihn oder denke über nichtlineare Modelle nach.

Dies ist kein systematischer Ansatz, aber nur eines der Dinge, die ich immer mache.