Warum lineare Regression studieren?

Mit zwei Zufallsvariablen $\xi$ und $\eta$ können wir ihren "Korrelationskoeffizienten" berechnen $c$und die Linie der besten Anpassung zwischen diesen beiden Zufallsvariablen bilden. Meine Frage ist warum?

1) Es gibt Zufallsvariablen, $\xi$ und $\eta$ die in schlechtester Weise abhängig sind, dh und trotzdem . Wenn man nur an lineare Regression denkt, ist man völlig blind dafür.c = $\xi = f(\eta)$$c=0$

2) Warum speziell linear? Es gibt andere Arten von Beziehungen, die zwischen Zufallsvariablen bestehen können. Warum dieses aus allen anderen herausheben?

Ich stimme zu, dass nicht alle Beziehungen linear sind, aber viele Beziehungen können linear angenähert werden. Wir haben viele solcher Fälle in der Mathematik gesehen, wie die Taylor-Reihe oder die Fourier-Reihe usw. Der entscheidende Punkt hier ist, wie im Kommentar gesagt, dass Sie im Allgemeinen die nichtlinearen Daten transformieren und eine Art Transformation mit Basisfunktionen anwenden und die linearisieren können Beziehung. Der Grund, warum Universitäten nur "multiple lineare Regressionsmodelle" (einschließlich einfacher Regressionsmodelle) ansprechen, liegt darin, dass sie den Baustein für Modelle eines fortgeschritteneren Niveaus darstellen, die auch linear sind.

Mathematisch gesehen können Sie, solange Sie nachweisen können, dass eine bestimmte lineare Approximation in einem Hilbert-Raum dicht ist, die Approximation verwenden, um eine Funktion im Raum darzustellen.

Das Modell, auf das Sie sich beziehen, die einfache lineare Regression, auch bekannt als "Best-Fit-Linie" (ich verwechsle hier Modell und Schätzmethode), ist zugegebenermaßen sehr einfach (wie der Name schon sagt). Warum es studieren? Ich kann viele Gründe sehen. Im Folgenden gehe ich davon aus, dass der Begriff der Zufallsvariablen zumindest informell eingeführt wurde, weil Sie ihn in Ihrer Frage erwähnt haben.

1. pädagogisch: Natürlich ist es für Sie offensichtlich, dass reelle Zufallsvariablen mit endlichen Momenten zweiter Ordnung einen Hilbert-Raum bilden. Vielleicht war es schon bei Ihrem ersten Studium der Wahrscheinlichkeitstheorie offensichtlich. Aber Statistik wird nicht nur Mathematikstudenten beigebracht: Es gibt ein breiteres Publikum, von Physik über Wirtschaft, Informatik bis hin zu Sozialwissenschaften usw. Diese Studenten können zu Beginn ihres Studiums auf Statistiken stoßen. Sie können der linearen Algebra ausgesetzt gewesen sein oder auch nicht, und selbst im ersten Fall haben sie sie unter dem abstrakteren Gesichtspunkt eines Mathematikkurses möglicherweise nicht gesehen. Für diese Studenten ist das Konzept, eine Zufallsvariable durch eine andere Zufallsvariable zu approximieren, nicht so unmittelbar. Selbst die grundlegende Eigenschaft des einfachen linearen Modells, dh die Tatsache, dass der Fehler und der Prädiktor orthogonale Zufallsvariablen sind, ist manchmal überraschend für sie. Die Tatsache, dass Sie einen "Winkel" zwischen Zufallsvariablen definieren können ("böse" Objekte! Messbare Funktionen von einem Wahrscheinlichkeitsraum zu einem messbaren Raum), mag für Sie offensichtlich sein, aber nicht unbedingt für einen Neuling. Wenn also die Untersuchung von Vektorräumen mit der guten alten euklidischen Ebene beginnt, ist es dann nicht sinnvoll, die Untersuchung statistischer Modelle mit der einfachsten zu beginnen?
2. $\xi = \beta_0+\sum_{i=1}^N \beta_i \eta_i +\epsilon$$\xi = \sum_{i=0}^N \beta_i \phi(\eta_i) +\epsilon$
3. Praktisch : Es gibt zahlreiche erfolgreiche Anwendungen der einfachen linearen Regression. Okuns Gesetz in der Wirtschaft, das Hookesche Gesetz , das Ohmsche Gesetz und das Charlessche Gesetz in der Physik, die Beziehung zwischen blutsystolischem Druck und Alter in der Medizin (ich habe keine Ahnung, ob es einen Namen hat!) Sind Beispiele für eine einfache lineare Regression mit unterschiedlichem Ausmaß Richtigkeit.

Ein weiterer Grund ist die schöne Art und Weise, wie Regression eine einheitliche Behandlung von Techniken wie ANOVA ermöglicht. Die übliche "elementare" Behandlung von ANOVA scheint mir ziemlich undurchsichtig, aber eine auf Regression basierende Behandlung ist kristallklar. Ich vermute, dass dies viel damit zu tun hat, wie Regressionsmodelle einige Annahmen explizit machen, die in "elementaren" Behandlungen stillschweigend und ungeprüft sind. Darüber hinaus ist die konzeptionelle Klarheit, die eine solche einheitliche Perspektive bietet, mit ähnlichen praktischen Vorteilen verbunden, wenn es darum geht, Methoden in Statistiksoftware zu implementieren.

Dieses Prinzip gilt nicht nur für ANOVA, sondern auch für Erweiterungen wie eingeschränkte kubische Splines, die sich insbesondere mit Ihrer zweiten Frage befassen.

Die Popularität der linearen Regression beruht zum Teil auf ihrer Interpretierbarkeit - das heißt, Nicht-Techniker können die Parameterkoeffizienten mit ein wenig Erklärung verstehen. Dies bietet einen großen Mehrwert in Geschäftssituationen, in denen Endbenutzer der Ergebnisse oder Vorhersagen möglicherweise kein tiefes Verständnis für Mathematik / Statistik haben.

Ja, es gibt Annahmen und Einschränkungen bei dieser Technik (wie bei allen Ansätzen), und sie bietet in vielen Fällen möglicherweise nicht die beste Anpassung. Die lineare Regression ist jedoch sehr robust und kann häufig auch dann eine gute Leistung erbringen, wenn Annahmen verletzt werden.

Aus diesen Gründen lohnt es sich auf jeden Fall zu studieren.

Etwas könnte nicht direkt verwandt sein.

Wenn Sie zwei Serien haben $x$ und $y$ Das $cov(x,y) = 0$, und wenn Sie vermuten, gibt es eine Beziehung zwischen $x$ und $y$. Sie könnten einen Plot zwischen machen$y$ und $x$ ihre Beziehung zu untersuchen.