Ist es sinnvoll, einem Modell einen quadratischen, nicht aber einen linearen Term hinzuzufügen?

Ich habe ein (gemischtes) Modell, in dem einer meiner Prädiktoren (aufgrund der experimentellen Manipulation) von vornherein nur quadratisch mit dem Prädiktor in Beziehung stehen sollte. Daher möchte ich dem Modell nur den quadratischen Term hinzufügen. Zwei Dinge hindern mich daran:

1. Ich glaube, ich habe irgendwo gelesen, dass Sie beim Anpassen von Polynomen höherer Ordnung immer das Polynom niedrigerer Ordnung einschließen sollten. Ich habe vergessen, wo ich es gefunden habe, und in der Literatur, die ich angeschaut habe (z. B. Faraway, 2002; Fox, 2002), kann ich keine gute Erklärung finden.
2. Wenn ich beides addiere, sind sowohl der lineare als auch der quadratische Term signifikant. Wenn ich nur eine davon hinzufüge, sind sie nicht signifikant. Ein lineares Verhältnis von Prädiktor und Daten ist jedoch nicht interpretierbar.

Der Kontext meiner Frage ist speziell ein gemischtes Modell lme4, aber ich möchte Antworten erhalten, die erklären, warum dies so ist oder warum es nicht in Ordnung ist, ein Polynom höherer Ordnung und nicht das Polynom niedrigerer Ordnung einzuschließen.

Bei Bedarf kann ich die Daten zur Verfügung stellen.

1. Warum den linearen Term einschließen?

Es ist aufschlussreich zu bemerken, dass eine quadratische Beziehung auf zwei Arten geschrieben werden kann:

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

( wir die Koeffizienten gleichsetzen, finden wir und ). Der Wert entspricht einem globalen Extremum der Beziehung (geometrisch lokalisiert er den Scheitelpunkt einer Parabel).a 2 b 2 + c = a 0 x = $-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

Wenn Sie den linearen Term nicht einschließen , werden die Möglichkeiten auf reduziert$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

(wobei jetzt offensichtlich und angenommen wird, dass das Modell einen konstanten Term ). Das heißt, Sie erzwingen .a 0 b = $c = a_0$$a_0$$b=0$

Vor diesem Hintergrund geht es in Frage 1 darum, ob Sie sicher sind , dass das globale Extremum bei auftreten muss . Wenn ja, können Sie den linearen Term sicher weglassen . Andernfalls müssen Sie es einschließen.a 1$x=0$$a_1 x$

2. Wie kann man Bedeutungsänderungen verstehen, wenn Begriffe eingeschlossen oder ausgeschlossen werden?

Dies wird in einem verwandten Thread unter https://stats.stackexchange.com/a/28493 ausführlich erläutert .

Im vorliegenden Fall gibt die Bedeutung von an, dass die Beziehung gekrümmt ist, und die Bedeutung von gibt an, dass ungleich Null ist: Es scheint, als müssten Sie beide Begriffe (und natürlich auch die Konstante) einschließen.a 1$a_2$$a_1$$b$

@whuber hat hier eine wirklich hervorragende Antwort gegeben. Ich möchte nur einen kleinen kostenlosen Punkt hinzufügen. Die Frage besagt, dass "ein lineares Verhältnis von Prädiktor und Daten nicht interpretierbar ist". Dies deutet auf ein weit verbreitetes Missverständnis hin, obwohl ich es normalerweise am anderen Ende höre ("Was ist die Interpretation des quadratischen [kubischen usw.] Begriffs?").

Wenn wir ein Modell mit mehreren unterschiedlichen Kovariaten haben, kann jedem Beta [term] im Allgemeinen eine eigene Interpretation zugewiesen werden. Zum Beispiel, wenn:

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

(GPA bedeutet Notendurchschnitt;
Rang ist die Reihenfolge des GPA eines Schülers im Verhältnis zu anderen Schülern an der gleichen High School; &
SAT bedeutet "schulischer Eignungstest", ein landesweiter Standardtest für Studenten, die zur Universität gehen)

dann können wir jedem beta / term separate interpretationen zuweisen. Wenn zum Beispiel der GPA eines Schülers an der High School 1 Punkt höher wäre - ansonsten wären alle gleich -, würden wir erwarten, dass der GPA des Colleges Punkte höher ist. $\beta_1$

Es ist jedoch wichtig zu beachten, dass es nicht immer zulässig ist, ein Modell auf diese Weise zu interpretieren. Ein offensichtlicher Fall ist, wenn es eine Wechselwirkung zwischen einigen Variablen gibt, da es nicht möglich wäre, dass sich der einzelne Begriff unterscheidet und alles andere konstant bleibt - notwendigerweise würde sich auch der Wechselwirkungsbegriff ändern. Wenn es also zu einer Interaktion kommt, interpretieren wir keine Haupteffekte, sondern nur einfache Effekte , wie es allgemein bekannt ist.

Die Situation mit Machtbegriffen ist direkt analog, scheint aber leider nicht allgemein verstanden zu werden. Betrachten Sie das folgende Modell: (In dieser Situation soll eine prototypische kontinuierliche Kovariate darstellen.) Es ist nicht möglich, dass sich ändert, ohne dass sich auch ändert. und umgekehrt. Einfach ausgedrückt, wenn ein Modell Polynomterme enthält, werden die verschiedenen Terme, die auf derselben zugrunde liegenden Kovariate basieren, nicht getrennt interpretiert. Der Ausdruck ( , usw.) hat keine unabhängige Bedeutung. Die Tatsache, dass ein

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$$x^{17}$$p$-Power-Polynom-Term ist "signifikant" in einem Modell zeigt an, dass es "Biegungen" in der Funktion gibt, die und . Es ist bedauerlich, aber unvermeidlich, dass die Interpretation bei vorhandener Krümmung komplizierter und möglicherweise weniger intuitiv wird. Um die Änderung von als Änderung zu bewerten , müssen wir einen Kalkül verwenden. Die Ableitung des obigen Modells lautet: wobei es sich um die augenblickliche Änderungsrate des erwarteten Werts von wenn sich ändert, wobei alle anderen Werte gleich sind. Dies ist nicht so klar wie die Interpretation des Topmodels; wichtig ist die augenblickliche Änderungsrate in$p-1$$x$$y$$\hat{y}$$x$
$$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ hängt von der Ebene von von der aus die Änderung bewertet wird$x$ . Weiterhin ist die Änderungsrate in eine momentane Rate; das heißt, es ändert sich selbst kontinuierlich während des Intervalls von zu . Dies ist einfach die Natur einer krummlinigen Beziehung. $y$$x_{old}$$x_{new}$

Die obige Antwort von @ whuber trifft insofern genau zu, als sie darauf hinweist, dass das Weglassen des linearen Terms das "übliche" quadratische Modell ist, das dem Sprichwort entspricht: "Ich bin absolut sicher, dass das Extremum bei ."$x=0$

Sie müssen jedoch auch prüfen, ob die von Ihnen verwendete Software ein "gotcha" enthält. Einige Softwareprogramme zentrieren die Daten möglicherweise automatisch, wenn Sie ein Polynom anpassen und dessen Koeffizienten testen, es sei denn, Sie deaktivieren die Polynomzentrierung. Das heißt, es passt möglicherweise zu einer Gleichung, die ungefähr so ​​aussieht wie wobei der Mittelwert Ihrer s ist. Das würde das Extremum zwingen, bei . ≤ x x x = ≤ $Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

Ihre Aussage, dass sowohl die linearen als auch die quadratischen Terme signifikant sind, wenn beide eingegeben werden, bedarf einer Klarstellung. Zum Beispiel kann SAS einen Typ I- und / oder einen Typ III-Test für dieses Beispiel melden. Typ I testet die Gerade, bevor er die Quadrate eingibt. Typ III testet das Lineare mit dem Quadrat im Modell.

Brambor, Clark und Golder (2006) (die mit einem Internet-Anhang geliefert werden ) haben eine sehr klare Vorstellung davon, wie man Interaktionsmodelle versteht und wie man die üblichen Fallstricke vermeidet. "konstitutive Terme") in Interaktionsmodellen.

Analysten sollten alle konstitutiven Begriffe einschließen, wenn sie multiplikative Interaktionsmodelle angeben, außer in sehr seltenen Fällen. Mit konstitutiven Begriffen meinen wir jedes der Elemente, die den Interaktionsterm bilden. [..]

Der Leser sollte jedoch beachten, dass multiplikative Interaktionsmodelle verschiedene Formen annehmen können und quadratische Terme wie oder Interaktionsterme höherer Ordnung wie . Unabhängig von der Form des Interaktionsbegriffs sollten alle konstitutiven Begriffe einbezogen werden. Daher sollte einbezogen werden, wenn der Interaktionsterm und , , , , und sollten einbezogen werden, wenn der Interaktionsterm . X Z J X X 2 X Z J X Z X J Z J X Z $X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

Andernfalls kann ein unterbestimmtes Modell entstehen, das zu verzerrten Schätzungen führen würde. Dies kann zu Inferenzfehlern führen.

Wenn dies der Fall ist und mit (oder ) korreliert ist, wie es unter praktisch allen sozialwissenschaftlichen Umständen der Fall ist, führt das Weglassen des konstitutiven Terms zu voreingenommenen (und inkonsistenten) Schätzungen von , und . Obwohl dies nicht immer als solches erkannt wird, handelt es sich um einen einfachen Fall, bei dem die variable Verzerrung weggelassen wird (Greene 2003, S. 148–149).X Z X Z β 0 β 1 β $Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$