Was ist der Unterschied zwischen Korrelation und einfacher linearer Regression?

Insbesondere beziehe ich mich auf den Pearson-Produkt-Moment-Korrelationskoeffizienten.

Was ist der Unterschied zwischen der Korrelation zwischen und und einer linearen Regression, die aus vorhersagt ?$X$$Y$$Y$$X$

Zunächst einige Gemeinsamkeiten :

• Der standardisierte Regressionskoeffizient ist der gleiche wie der Pearson-Korrelationskoeffizient
• Das Quadrat des Pearsonschen Korrelationskoeffizienten ist dasselbe wie das Quadrat in der einfachen linearen Regression$R^2$
• Weder einfache lineare Regression noch Korrelation beantworten Fragen der Kausalität direkt. Dieser Punkt ist wichtig, weil ich Leute getroffen habe, die glauben, dass eine einfache Regression auf magische Weise eine Folgerung zulassen kann, dass verursacht .$X$$Y$

Zweitens einige Unterschiede :

• Die Regressionsgleichung (dh ) kann verwendet werden, um Vorhersagen für basierend auf Werten von zu treffen$a + bX$$Y$$X$
• Während sich Korrelation typischerweise auf die lineare Beziehung bezieht, kann sie sich auf andere Formen der Abhängigkeit beziehen, wie beispielsweise polynomielle oder wirklich nichtlineare Beziehungen
• Während sich die Korrelation normalerweise auf den Pearson-Korrelationskoeffizienten bezieht, gibt es andere Korrelationstypen, z. B. die von Spearman.

Hier ist eine Antwort, die ich auf der graphpad.com-Website gepostet habe :

Korrelation und lineare Regression sind nicht dasselbe. Betrachten Sie diese Unterschiede:

• Die Korrelation quantifiziert den Grad der Beziehung zwischen zwei Variablen. Die Korrelation passt nicht zu einer Linie durch die Daten.
• Bei der Korrelation müssen Sie nicht über Ursache und Wirkung nachdenken. Sie quantifizieren einfach, wie gut zwei Variablen miteinander in Beziehung stehen. Bei der Regression müssen Sie über Ursache und Wirkung nachdenken, da die Regressionsgerade als beste Methode zur Vorhersage von Y aus X bestimmt wird.
• Bei der Korrelation spielt es keine Rolle, welche der beiden Variablen Sie "X" und welche Sie "Y" nennen. Sie erhalten den gleichen Korrelationskoeffizienten, wenn Sie die beiden vertauschen. Bei der linearen Regression spielt die Entscheidung, welche Variable Sie "X" und welche "Y" nennen, eine große Rolle, da Sie eine andere Best-Fit-Linie erhalten, wenn Sie die beiden vertauschen. Die Linie, die Y aus X am besten vorhersagt, ist nicht die gleiche wie die Linie, die X aus Y vorhersagt (es sei denn, Sie haben perfekte Daten ohne Streuung).
• Korrelation wird fast immer verwendet, wenn Sie beide Variablen messen. Es ist selten angebracht, wenn eine Variable etwas ist, das Sie experimentell manipulieren. Bei der linearen Regression ist die X-Variable normalerweise etwas, das Sie experimentell manipulieren (Zeit, Konzentration ...), und die Y-Variable ist etwas, das Sie messen.

Im Fall einer linearen Regression mit einem einzelnen Prädiktor hat die standardisierte Steigung den gleichen Wert wie der Korrelationskoeffizient. Der Vorteil der linearen Regression besteht darin, dass die Beziehung so beschrieben werden kann, dass Sie (basierend auf der Beziehung zwischen den beiden Variablen) die Punktzahl für die vorhergesagte Variable bei einem bestimmten Wert der Prädiktorvariablen vorhersagen können. Insbesondere gibt eine lineare Regression an, dass eine Korrelation nicht der Achsenabschnitt ist, der Wert für die vorhergesagte Variable, wenn der Prädiktor 0 ist.

Kurz gesagt - sie führen rechnerisch zu identischen Ergebnissen, aber es gibt weitere Elemente, die in der einfachen linearen Regression interpretiert werden können. Wenn Sie nur die Größe der Beziehung zwischen zwei Variablen charakterisieren möchten, verwenden Sie die Korrelation. Wenn Sie Ihre Ergebnisse anhand bestimmter Werte vorhersagen oder erklären möchten, möchten Sie wahrscheinlich eine Regression.

Die Korrelationsanalyse quantifiziert nur die Beziehung zwischen zwei Variablen, wobei ignoriert wird, welche abhängige Variable und welche unabhängig ist. Bevor Sie die Regression anwenden, müssen Sie die Auswirkung der Variablen kalibrieren, die Sie auf die andere Variable überprüfen möchten.

Alle bisher gegebenen Antworten liefern wichtige Erkenntnisse, aber es sollte nicht vergessen werden, dass Sie die Parameter der einen in die andere umwandeln können:

Regression:$y = mx + b$

Zusammenhang zwischen Regressionsparametern und Korrelation, Kovarianz, Varianz, Standardabweichung und Mittelwert: b= ≤ y -m ≤

Sie können also beide ineinander transformieren, indem Sie ihre Parameter skalieren und verschieben.

Ein Beispiel in R:

y <- c(4.17, 5.58, 5.18, 6.11, 4.50, 4.61, 5.17, 4.53, 5.33, 5.14)
x <- c(4.81, 4.17, 4.41, 3.59, 5.87, 3.83, 6.03, 4.89, 4.32, 4.69)
lm(y ~ x)
## 
## Call:
## lm(formula = y ~ x)
## 
## Coefficients:
## (Intercept)            x  
##      6.5992      -0.3362
(m <- cov(y, x) / var(x)) # slope of regression
## [1] -0.3362361
cor(y, x) * sd(y) / sd(x) # the same with correlation
## [1] -0.3362361
mean(y) - m*mean(x)       # intercept
## [1] 6.599196

Aus der Korrelation können wir nur einen Index erhalten, der die lineare Beziehung zwischen zwei Variablen beschreibt. In der Regression können wir die Beziehung zwischen mehr als zwei Variablen vorhersagen und damit identifizieren, welche Variablen x die Ergebnisvariable y vorhersagen kann .

Zitat Altman DG, "Praktische Statistik für die medizinische Forschung" Chapman & Hall, 1991, Seite 321: "Korrelation reduziert einen Datensatz auf eine einzelne Zahl, die keinen direkten Bezug zu den tatsächlichen Daten hat. Regression ist eine viel nützlichere Methode, mit Ergebnisse, die eindeutig mit der erhaltenen Messung zusammenhängen. Die Stärke der Beziehung ist eindeutig und die Unsicherheit kann anhand von Konfidenzintervallen oder Vorhersageintervallen deutlich gesehen werden.

Die Regressionsanalyse ist eine Technik zur Untersuchung der Wirkungsursache einer Beziehung zwischen zwei Variablen. Die Korrelationsanalyse ist eine Technik, mit der die Beziehung zwischen zwei Variablen quantifiziert werden kann.

Die Korrelation ist ein Index (nur eine Zahl) für die Stärke einer Beziehung. Regression ist eine Analyse (Schätzung von Parametern eines Modells und statistischer Test ihrer Signifikanz) der Angemessenheit einer bestimmten funktionalen Beziehung. Die Größe der Korrelation hängt davon ab, wie genau die Vorhersagen der Regression sein werden.

Korrelation ist ein Begriff in einer Statistik, der bestimmt, ob es eine Beziehung zwischen zwei und dann den Grad der Beziehung gibt. Der Bereich reicht von -1 bis +1. Während Regression bedeutet, zurück zum Durchschnitt zu gehen. Aus der Regression prognostizieren wir den Wert, indem wir eine Variable abhängig und die andere unabhängig halten. Es sollte jedoch klargestellt werden, welchen Wert die Variable haben soll, die wir vorhersagen möchten.