Definition und Abgrenzung des Regressionsmodells

13

Eine peinlich einfache Frage - aber es scheint, dass sie bei Cross Validated noch nicht gestellt wurde:

Was ist die Definition eines Regressionsmodells?

Auch eine Support-Frage,

Was ist kein Regressionsmodell?

In Bezug auf Letzteres interessieren mich knifflige Beispiele, bei denen die Antwort nicht sofort offensichtlich ist. Beispielsweise,

Was ist mit latenten Variablenmodellen (z. B. ARIMA oder GARCH)?

— Richard Hardy
quelle

9

Ich würde sagen, dass "Regressionsmodell" eine Art Meta-Konzept ist, in dem Sinne, dass Sie keine Definition von "Regressionsmodell" finden, sondern konkretere Konzepte wie "lineare Regression", "nichtlineare Regression", "robuste Regression" und so weiter. Genauso wie in der Mathematik definieren wir normalerweise nicht "Zahl", sondern "natürliche Zahl", "ganze Zahlen", "reelle Zahl", "p-adische Zahl" und so weiter, und wenn jemand das einschließen möchte Quaternionen unter Zahlen so sei es! Es ist nicht wirklich wichtig, was zählt, ist, welche Definitionen von dem Buch / der Zeitung verwendet werden, das / die Sie gerade lesen.

Definitionen sind Werkzeuge , und der Essentialismus, der darüber diskutiert, was das Wesen von ... ist, was ein Wort wirklich bedeutet , lohnt sich selten.

Was unterscheidet ein "Regressionsmodell" von anderen Arten statistischer Modelle? Meistens gibt es eine Antwortvariable , die Sie als von einem Satz von Prädiktorvariablen beeinflusst (oder bestimmt) modellieren möchten . Wir sind nicht daran interessiert, die andere Richtung zu beeinflussen, und wir sind nicht an Beziehungen zwischen den Prädiktorvariablen interessiert. Meist nehmen wir die Prädiktorvariablen als gegeben und behandeln sie als Konstanten im Modell, nicht als Zufallsvariablen.

Die oben erwähnte Beziehung kann linear oder nichtlinear sein, parametrisch oder nichtparametrisch angegeben werden und so weiter.

Um von anderen Modellen abzugrenzen, werfen wir einen Blick auf einige andere Wörter, die häufig verwendet werden, um etwas anderes für "Regressionsmodelle" zu bezeichnen, wie "Fehler in Variablen", wenn wir die Möglichkeit von Messfehlern in den Prädiktorvariablen akzeptieren. Das könnte durchaus in meiner Beschreibung des "Regressionsmodells" enthalten sein, wird aber oft als alternatives Modell angesehen.

Was gemeint ist, kann sich auch zwischen den Feldern unterscheiden. Siehe Was ist der Unterschied zwischen der Konditionierung von Regressoren und der Behandlung als feststehend?

Um es zu wiederholen: Was zählt, ist die Definition, die von den Autoren verwendet wird, die Sie gerade lesen, und keine Metaphysik darüber, was es "wirklich ist".

— kjetil b halvorsen
quelle

1

Ich stimme der Essenz Ihrer Antwort zu. Meine Frage war motiviert durch Aussagen über Regressionsmodelle, bei denen ich mich fragte, worauf die Aussage wirklich zutrifft (und worauf sie nicht zutrifft). Natürlich könnte man jetzt sagen: "Benutze dein bestes Urteilsvermögen und überprüfe die Details sorgfältig", aber manchmal möchte ich die hypothetische Aussage sofort ablehnen und behaupten, dass sie im Allgemeinen nicht wahr ist (vielleicht nur in einem ganz bestimmten Fall). . Dann brauche ich eine Definition, auf die ich mich beziehen kann. Es gibt natürlich mehr solche Situationen, in denen eine genaue Definition nützlich ist.

— Richard Hardy

Dann sollten Sie spezifische Fragen zu den Verwendungszwecken, auf die Sie gestoßen sind, mit Referenzen stellen.

— kjetil b halvorsen

2

Ich habe nicht vor, wählerisch zu sein, aber denke darüber nach: Jemand fragt dich, was du tust, du sagst "Ich analysiere / prognostiziere / teste [etwas] unter Verwendung von Regressionsmodellen." - "Was ist ein Regressionsmodell?" -- (Stille). Oder eine Situation in einem Einführungskurs in Ökonometrie: "Professor, was ist ein Regressionsmodell?" -- (Keine Antwort). Ich denke, das sind sehr natürliche Fragen, daher wäre es schön, eine Antwort zu haben.

— Richard Hardy

1

Ja, es wäre schön, eine Antwort zu haben, aber ich bin nicht sicher, ob es eine kanonische Antwort gibt, über die sich alle einigen können. Ich habe eine ganz andere Vorstellung von Regression von einem statistischen Buch wie Seber: "Lineare Regressionsanalyse" als von einem ökonometrischen Text. Aber einige Ideen können sich alle einigen. Ich denke, es ist wirklich eine Modellfamilie. Dann können wir fragen, was der gemeinsame Kern all dieser Modelle ist.

— kjetil b halvorsen

7

Zwei nette Antworten wurden bereits gegeben, aber ich möchte meine zwei Cent hinzufügen.

$Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$

— Tim
quelle

Vielen Dank. Die Intuition tut nicht weh, obwohl ich nach einer formaleren Definition suche, die ich jemandem vorwerfen könnte, der mich fragte: Was ist also überhaupt ein Regressionsmodell? und dann versucht, auf Details zu holen.

— Richard Hardy

@RichardHardy Ich denke, dass dies das Schlüsselmerkmal von Regressionsmodellen ist, das von allen geteilt wird.

— Tim

3

y

$y$ Sinne als Werte der Regressoren (innerhalb bestimmter Bereiche, zufällig oder fest). Insbesondere kann es weit über die bloße Angabe der Erwartung oder die Annahme eines additiven Fehlers hinausgehen.

— whuber

2

Einige Gedanken basierend auf der Literatur:

F. Hayashi in Kapitel 1 sein klassischen Diplom - Lehrbuches „Ökonometrie“ (2000) heißt es, dass die folgenden Annahmen umfassen das klassische lineare Regressionsmodell:

Linearität
Strikte Exogenität
Keine Multikollinearität
Sphärische Fehlervarianz
"Feste" Regressoren

Wooldridge in Kapitel 2 seines klassischen Einführungslehrbuchs zur Ökonometrie "Introductory Econometrics: A Modern Approach" (2012) besagt, dass die folgende Gleichung das einfache lineare Regressionsmodell definiert :

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

Greene stellt in Kapitel 2 seines populären ökonometrischen Lehrbuchs "Econometric Analysis" (2011) fest

Das klassische lineare Regressionsmodell besteht aus einer Reihe von Annahmen darüber, wie ein Datensatz durch einen zugrunde liegenden "Datenerzeugungsprozess" erzeugt wird.

und gibt anschließend eine Liste von Annahmen ähnlich der von Hayashi.

Eine für den letzten Aufzählungspunkt des OP relevante Kuriosität: Bollerslev "Generalized Autoregressive Conditional Heterosedasticity" (1986) enthält eine Phrase "das GARCH-Regressionsmodell" im Titel von Abschnitt 5 und auch im ersten Satz dieses Abschnitts. Daher machte es dem Vater des GARCH-Modells nichts aus, GARCH als Regressionsmodell zu bezeichnen.

— Richard Hardy
quelle

1

Ihre drei Referenzen sind alle auf das lineare Regressionsmodell beschränkt, aber Ihre Frage ist weiter gefasst. (Wenn Sie dies als Argument in Ihrer Antwort auf einen anderen Beitrag verwenden, von dem ich annehme, dass er das Interesse an diesem Thema geweckt hat, ist dies meines Erachtens nicht vollständig gültig.) Wenn Sie sagen würden, dass latente Variablenmodelle keine Regressionsmodelle sind, dann verwenden Sie das unmittelbare Modell In Verbindung mit Messfehlern wären Regressionsmodelle mit Messfehlern keine Regressionsmodelle mehr. Kommt mir komisch vor. Wiki sagt nur, dass ein Reg-Modell unabhängige Variablen in dem Sinne mit dep in Verbindung bringt, dass

Y \approx f (X, β)

$Y\approx f(X, \beta)$ .

— Hejseb

Es stimmt, meine Beispiele beziehen sich auf lineare Regressionsmodelle. das konnte ich in zuverlässigen Quellen wie diesen Lehrbüchern finden, die weit verbreitet sind und zu Klassikern geworden sind. Ich vertraue Wikipedia in statistischen und ökonometrischen Fragen nicht so sehr. Wie auch immer, auch in Wikipedia gibt es ein Kapitel "Grundannahmen", das dem entspricht, was ich aus den Lehrbüchern zitiert habe. Könnten Sie in Bezug auf den anderen Beitrag den relevanten Teil Ihres Kommentars dort posten, damit ich dort antworten kann? In diesem Beitrag habe ich nichts über latente variable Modelle gesagt, aber es ist gut, Ihre Meinung zu hören.

— Richard Hardy

3

Warum Punkt 3, "keine Multikollinearität"? Ich habe das noch nie als Annahme für den Beweis eines Ergebnisses gesehen!

— kjetil b halvorsen

1

@kjetilbhalvorsen, bitte mach mich nicht für das verantwortlich, was in einem Lehrbuch steht, dessen Autor ich nicht bin. Aber natürlich danke für den Kommentar und noch mehr für die Antwort!

— Richard Hardy