Wie genau steuert man "für andere Variablen"?

Hier ist der Artikel, der diese Frage motiviert hat: Macht uns Ungeduld dick?

Mir hat dieser Artikel gefallen und er zeigt sehr gut das Konzept des „Kontrollierens für andere Variablen“ (IQ, Karriere, Einkommen, Alter usw.), um die wahre Beziehung zwischen den beiden fraglichen Variablen am besten zu isolieren.

Können Sie mir erklären, wie Sie für Variablen in einem typischen Datensatz tatsächlich steuern?

Wenn Sie beispielsweise zwei Personen mit der gleichen Ungeduld und dem gleichen BMI, aber unterschiedlichen Einkommen haben, wie gehen Sie mit diesen Daten um? Kategorisieren Sie sie in verschiedene Untergruppen mit ähnlichem Einkommen, Geduld und BMI? Aber irgendwann gibt es Dutzende von Variablen, die kontrolliert werden müssen (IQ, Karriere, Einkommen, Alter usw.). Wie aggregieren Sie dann diese (potenziellen) Hunderte von Untergruppen? Tatsächlich habe ich das Gefühl, dass dieser Ansatz den falschen Baum anstachelt, jetzt, wo ich ihn verbalisiert habe.

Vielen Dank, dass Sie etwas beleuchtet haben, das ich seit einigen Jahren erforschen möchte ...!

Es gibt viele Möglichkeiten, Variablen zu steuern.

Am einfachsten ist es, Ihre Daten so zu schichten, dass Sie Untergruppen mit ähnlichen Merkmalen haben. Sie können diese Ergebnisse dann zusammenfassen, um eine einzige "Antwort" zu erhalten. Dies funktioniert, wenn Sie eine sehr kleine Anzahl von Variablen haben, die Sie steuern möchten, aber wie Sie zu Recht festgestellt haben, fällt dies schnell auseinander, wenn Sie Ihre Daten in immer kleinere Abschnitte aufteilen.

Ein gängigerer Ansatz besteht darin, die zu steuernden Variablen in ein Regressionsmodell einzubeziehen. Wenn Sie beispielsweise ein Regressionsmodell haben, das konzeptionell wie folgt beschrieben werden kann:

BMI = Impatience + Race + Gender + Socioeconomic Status + IQ

Die Schätzung, die Sie für Ungeduld erhalten, ist die Auswirkung von Ungeduld innerhalb der Ebenen der anderen Kovariaten. Mit der Regression können Sie im Wesentlichen Bereiche glätten, in denen Sie nicht über viele Daten verfügen (das Problem mit dem Schichtungsansatz). Dies sollte jedoch getan werden mit Vorsicht.

Es gibt noch ausgefeiltere Möglichkeiten, andere Variablen zu steuern. Wenn jedoch jemand sagt, dass andere Variablen gesteuert werden, bedeutet dies, dass sie in ein Regressionsmodell einbezogen wurden.

Okay, Sie haben nach einem Beispiel gefragt, an dem Sie arbeiten können, um zu sehen, wie das geht. Ich werde Sie Schritt für Schritt begleiten. Alles was Sie brauchen ist eine Kopie von R installiert.

Zunächst benötigen wir einige Daten. Schneiden Sie die folgenden Codestücke aus und fügen Sie sie in R ein. Beachten Sie, dass dies ein Beispiel ist, das ich vor Ort erfunden habe, aber es zeigt den Prozess.

covariate <- sample(0:1, 100, replace=TRUE)
exposure  <- runif(100,0,1)+(0.3*covariate)
outcome   <- 2.0+(0.5*exposure)+(0.25*covariate)

Das sind deine Daten. Beachten Sie, dass wir die Beziehung zwischen dem Ergebnis, der Exposition und der Kovariate bereits kennen - das ist der Punkt vieler Simulationsstudien (von denen dies ein äußerst grundlegendes Beispiel ist. Sie beginnen mit einer Struktur, die Sie kennen, und Sie stellen sicher, dass Ihre Methode dies kann bekommst du die richtige Antwort.

Nun also zum Regressionsmodell. Geben Sie Folgendes ein:

lm(outcome~exposure)

Haben Sie einen Intercept = 2.0 und einen Exposure = 0.6766 erhalten? Oder etwas in der Nähe, wenn die Daten zufällig variieren? Gut - diese Antwort ist falsch. Wir wissen, dass es falsch ist. Warum ist es falsch? Es ist uns nicht gelungen, eine Variable zu bestimmen, die sich auf das Ergebnis und die Belichtung auswirkt. Es ist eine binäre Variable, machen Sie es nach Belieben - Geschlecht, Raucher / Nichtraucher usw.

Führen Sie nun dieses Modell aus:

lm(outcome~exposure+covariate)

Dieses Mal sollten Sie Koeffizienten von Intercept = 2.00, Exposition = 0.50 und eine Kovariate von 0.25 erhalten. Dies ist bekanntlich die richtige Antwort. Sie haben für andere Variablen gesteuert.

Was passiert nun, wenn wir nicht wissen, ob wir uns um alle Variablen gekümmert haben, die wir brauchen (was wir nie wirklich tun)? Dies wird als Residuum Confounding bezeichnet und ist in den meisten Beobachtungsstudien ein Problem, das wir nur unvollkommen kontrolliert haben, und unsere Antwort ist zwar nah rechts, aber nicht genau. Hilft das mehr?

1. Einführung

   Ich mag die Antwort von @ EpiGrad (+1), aber lassen Sie mich eine andere Perspektive einnehmen. Im Folgenden beziehe ich mich auf dieses PDF-Dokument: "Multiple Regression Analysis: Estimation" , das einen Abschnitt zu "A 'Partialling Out' Interpretation der multiplen Regression" (S. 83f.) Enthält. Leider habe ich keine Ahnung, wer der Autor dieses Kapitels ist, und ich werde es als REGCHAPTER bezeichnen. Eine ähnliche Erklärung finden Sie in Kohler / Kreuter (2009) "Datenanalyse mit Stata" , Kapitel 8.2.3 "Was bedeutet" unter Kontrolle "?".

   Ich werde @ EpiGrads Beispiel verwenden, um diesen Ansatz zu erläutern. R-Code und Ergebnisse finden Sie im Anhang.

   Es ist auch zu beachten, dass "Steuerung für andere Variablen" nur dann Sinn macht, wenn die erklärenden Variablen mäßig korreliert sind (Kollinearität). In dem oben erwähnten Beispiel beträgt die Produkt-Moment-Korrelation zwischen exposureund covariate0,50, dh

   > cor(covariate, exposure)
   [1] 0.5036915

2. Rückstände

   Ich gehe davon aus, dass Sie ein grundlegendes Verständnis des Konzepts der Residuen in der Regressionsanalyse haben. Hier die Wikipedia-Erklärung : "Wenn man auf einige Daten eine Regression ausführt, dann sind die Abweichungen der abhängigen Variablenbeobachtungen von der angepassten Funktion die Residuen."

3. Was bedeutet "unter Kontrolle"?

   Wenn Sie die Variable steuern covariate, kann der Effekt (Regressionsgewicht) von exposureon outcomewie folgt beschrieben werden (ich bin schlampig und überspringe die meisten Indizes und alle Hüte. Beziehen Sie sich für eine genaue Beschreibung auf den oben genannten Text):

   $\newcommand{\resid}{{\rm resid}}\newcommand{\covariate}{{\rm covariate}}$

   $$\beta_1=\frac{\sum \resid_{i1} \cdot y_i}{\sum \resid^2_{i1}}$$

   $\resid_{i1}$ sind die Residuen , wenn wir zurückgehen exposureauf covariate, das heißt,

   $${\rm exposure} = {\rm const.} + \beta_{\covariate} \cdot \covariate + \resid$$

   Die "Residuen [..] sind der Teil von , der nicht mit . [...] Somit misst die Stichprobenbeziehung zwischen und nachdem ist teilweise ausgeschlossen "(REGKAPITEL 84). "Ausgeschlossen" bedeutet "kontrolliert für". x i 2 β 1 y x 1 x $x_{i1}$$x_{i2}$$\hat{\beta}_1$$y$$x_1$$x_2$

   Ich werde diese Idee anhand der Beispieldaten von @ EpiGrad demonstrieren. Zuerst werde ich Regress exposureauf covariate. Da mich nur die Residuen interessieren lmEC.resid, lasse ich die Ausgabe aus.

   summary(lmEC <- lm(exposure ~ covariate))
   lmEC.resid   <- residuals(lmEC)

   Der nächste Schritt ist die Regression outcomedieser Residuen ( lmEC.resid):

   [output omitted]
   
   Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
   (Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
   lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
   ---
   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
   
   [output omitted]

   Wie Sie sehen, ist das Regressionsgewicht für lmEC.resid(siehe Spalte Schätzung, ) in dieser einfachen Regression gleich dem multiplen Regressionsgewicht für , das ebenfalls (siehe @ EpiGrads Antwort oder die R-Ausgabe) unten).$\beta_{lmEC.resid}=0.50$covariate$0.50$

Blinddarm

R-Code

set.seed(1)
covariate <- sample(0:1, 100, replace=TRUE)
exposure <- runif(100,0,1)+(0.3*covariate)
outcome <- 2.0+(0.5*exposure)+(0.25*covariate)

## Simple regression analysis
summary(lm(outcome ~ exposure))

## Multiple regression analysis
summary(lm(outcome ~ exposure + covariate))

## Correlation between covariate and exposure
cor(covariate, exposure)

## "Partialling-out" approach
## Regress exposure on covariate
summary(lmEC <- lm(exposure ~ covariate))
## Save residuals
lmEC.resid <- residuals(lmEC)
## Regress outcome on residuals
summary(lm(outcome ~ lmEC.resid))

## Check formula
sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))

R Ausgang

> set.seed(1)
> covariate <- sample(0:1, 100, replace=TRUE)
> exposure <- runif(100,0,1)+(0.3*covariate)
> outcome <- 2.0+(0.5*exposure)+(0.25*covariate)
> 
> ## Simple regression analysis
> summary(lm(outcome ~ exposure))

Call:
lm(formula = outcome ~ exposure)

Residuals:
      Min        1Q    Median        3Q       Max 
-0.183265 -0.090531  0.001628  0.085434  0.187535 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  1.98702    0.02549   77.96   <2e-16 ***
exposure     0.70103    0.03483   20.13   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.109 on 98 degrees of freedom
Multiple R-squared: 0.8052,     Adjusted R-squared: 0.8032 
F-statistic: 405.1 on 1 and 98 DF,  p-value: < 2.2e-16 

> 
> ## Multiple regression analysis
> summary(lm(outcome ~ exposure + covariate))

Call:
lm(formula = outcome ~ exposure + covariate)

Residuals:
       Min         1Q     Median         3Q        Max 
-7.765e-16 -7.450e-18  4.630e-18  1.553e-17  4.895e-16 

Coefficients:
             Estimate Std. Error   t value Pr(>|t|)    
(Intercept) 2.000e+00  2.221e-17 9.006e+16   <2e-16 ***
exposure    5.000e-01  3.508e-17 1.425e+16   <2e-16 ***
covariate   2.500e-01  2.198e-17 1.138e+16   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 9.485e-17 on 97 degrees of freedom
Multiple R-squared:     1,      Adjusted R-squared:     1 
F-statistic: 3.322e+32 on 2 and 97 DF,  p-value: < 2.2e-16 

> 
> ## Correlation between covariate and exposure
> cor(covariate, exposure)
[1] 0.5036915
> 
> ## "Partialling-out" approach
> ## Regress exposure on covariate
> summary(lmEC <- lm(exposure ~ covariate))

Call:
lm(formula = exposure ~ covariate)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.49695 -0.24113  0.00857  0.21629  0.46715 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.51003    0.03787  13.468  < 2e-16 ***
covariate    0.31550    0.05466   5.772  9.2e-08 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2731 on 98 degrees of freedom
Multiple R-squared: 0.2537,     Adjusted R-squared: 0.2461 
F-statistic: 33.32 on 1 and 98 DF,  p-value: 9.198e-08 

> ## Save residuals
> lmEC.resid <- residuals(lmEC)
> ## Regress outcome on residuals
> summary(lm(outcome ~ lmEC.resid))

Call:
lm(formula = outcome ~ lmEC.resid)

Residuals:
    Min      1Q  Median      3Q     Max 
-0.1957 -0.1957 -0.1957  0.2120  0.2120 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2058 on 98 degrees of freedom
Multiple R-squared: 0.3057,     Adjusted R-squared: 0.2986 
F-statistic: 43.15 on 1 and 98 DF,  p-value: 2.45e-09 

> 
> ## Check formula
> sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))
[1] 0.5
> 

Natürlich wird etwas Mathe dabei sein, aber es ist nicht viel: Euklid hätte es gut verstanden. Alles, was Sie wirklich wissen müssen, ist das Hinzufügen und Skalieren von Vektoren. Obwohl dies heutzutage unter dem Namen "lineare Algebra" bekannt ist, müssen Sie es nur in zwei Dimensionen visualisieren. Dadurch können wir die Matrixmaschinerie der linearen Algebra umgehen und uns auf die Konzepte konzentrieren.

Eine geometrische Geschichte

y ≤ 1 α x 1 x $y$$y_{\cdot 1}$$\alpha x_1$$x_1$$\alpha$$\alpha$$\beta$$\gamma$

$x_1$$y$$y$$x_1$$x_1$$y$$\alpha$$y$$y_{\cdot 1}$$y$$x_1$$\cdot$"zeigt konsistent an, welche Vektoren" abgeglichen "," herausgenommen "oder" kontrolliert "wurden."

$x_1$$x_2$$x_1$$\beta$$x_1$$x_{2\cdot 1}$

$x_1$x 1 y x 1 x 3 , x 4 , … x $x_2$$x_1$$y$$x_1$$x_3, x_4, \ldots$$x_1$

Betrachten Sie nun die Ebene mit den beiden Residuen und . Ich werde das Bild ausrichten, um horizontal zu machen, genauso wie ich die vorherigen Bilder ausrichtete , um horizontal zu machen , da dieses Mal die Rolle des Matchers spielt: x 2 ≤ 1 x 2 ≤ 1 x 1 x 2 ≤ $y_{\cdot 1}$$x_{2 \cdot 1}$$x_{2\cdot 1}$$x_1$$x_{2\cdot 1}$

Beachten Sie, dass in jedem der drei Fälle der Rest senkrecht zur Übereinstimmung ist. (Wenn dies nicht der Fall wäre, könnten wir die Übereinstimmung anpassen, um sie noch näher an , oder .)x 2 y ⋅ $y$$x_2$$y_{\cdot 1}$

y ≤ $x_{2\cdot 1}$$y_{\cdot 1}$$x_1$$y_{\cdot 1}$$x_1$$\gamma x_{2\cdot 1}$$y_{\cdot 12}$$x_1$

$x_{3\cdot 1}, x_{4\cdot 1}, \ldots$$x_2$

$y_{\cdot 12}$$x_1$$x_2$$y_{\cdot 12}$$x_1, x_2,$$y$$x_1, x_2$$y$$x_1$$x_2$$x_2$$x_1$

(Wenn es zusätzliche Vektoren gibt, würden wir diesen "take out a matcher" -Prozess fortsetzen, bis jeder dieser Vektoren an der Reihe gewesen wäre, der Matcher zu sein. In jedem Fall wären die Operationen die gleichen wie hier gezeigt und würden immer in einem auftreten Flugzeug .)

Anwendung auf multiple Regression

$X_1$$X_2, \ldots$$Y$$X_1$$X_2$$Y$$X_1$$X_2$$X_1, X_2, \ldots$

1. Das Matching kann nacheinander und nacheinander erfolgen

2. Die Reihenfolge, in der der Abgleich durchgeführt wird, spielt keine Rolle.

Der Vorgang des "Herausnehmens" eines Matchers durch Ersetzen aller anderen Vektoren durch ihre Residuen wird häufig als "Steuern" des Matchers bezeichnet. Wie wir in den Figuren gesehen haben, nehmen alle nachfolgenden Berechnungen Anpassungen vor, die senkrecht zu diesem Matcher sind, sobald ein Matcher kontrolliert wurde. Wenn Sie möchten, können Sie sich "Controlling" als "Abrechnung (im kleinsten Quadrat) des Beitrags / Einflusses / Effekts / der Zuordnung eines Matchers zu allen anderen Variablen" vorstellen.

Verweise

Sie können dies alles in Aktion mit Daten und Arbeitscode in der Antwort unter https://stats.stackexchange.com/a/46508 sehen . Diese Antwort könnte eher für Leute interessant sein, die lieber rechnen als Flugzeugbilder. (Die Arithmetik zum Anpassen der Koeffizienten, wenn Matcher nacheinander eingegeben werden, ist dennoch unkompliziert.) Die Sprache des Matchings stammt von Fred Mosteller und John Tukey.

Bisher gibt es eine ausgezeichnete Diskussion über die kovariate Anpassung als Mittel zum "Kontrollieren für andere Variablen". Aber ich denke, das ist nur ein Teil der Geschichte. Tatsächlich gibt es viele (andere) auf Design, Modell und maschinellem Lernen basierende Strategien, um die Auswirkungen einer Reihe möglicher Störgrößen zu berücksichtigen. Dies ist eine kurze Übersicht über einige der wichtigsten (nicht angepassten) Themen. Während Anpassung das am häufigsten verwendete Mittel zum "Kontrollieren" anderer Variablen ist, sollte ein guter Statistiker meiner Meinung nach verstehen, was er im Kontext anderer Prozesse und Verfahren tut (und was nicht).

Passend:

Matching ist eine Methode zum Entwerfen einer gepaarten Analyse, bei der Beobachtungen in Zweiergruppen gruppiert werden, die sich ansonsten in ihren wichtigsten Aspekten ähneln. Sie können zum Beispiel zwei Personen befragen, die in Bezug auf Bildung, Einkommen, Berufstätigkeit, Alter, Familienstand (usw. usw.) nicht übereinstimmen, aber in Bezug auf ihre Ungeduld nicht übereinstimmen. Bei binären Belichtungen reicht der einfache Paired-T-Test aus, um auf einen mittleren Unterschied in der BMI- Steuerung für alle übereinstimmenden Merkmale zu testen . Wenn Sie eine kontinuierliche Belichtung modellieren, wäre ein analoges Maß ein Regressionsmodell durch den Ursprung für die Differenzen. Siehe Carlin 2005

Gewichtung

$X$$Y$berücksichtigt die Wahrscheinlichkeit einer binären Exposition und kontrolliert diesbezüglich diese Variablen. Dies ähnelt der direkten Standardisierung einer Exposition. Siehe Rothman, Modern Epidemiology, 3. Auflage.

Randomisierung und Quasirandomisierung

Es ist ein subtiler Punkt, aber wenn Sie tatsächlich in der Lage sind, Menschen zu einer bestimmten experimentellen Bedingung zu randomisieren, wird der Einfluss anderer Variablen gemindert. Es ist eine bemerkenswert stärkere Bedingung, da Sie nicht einmal wissen müssen, was diese anderen Variablen sind. In diesem Sinne haben Sie ihren Einfluss "kontrolliert". Dies ist in der Beobachtungsforschung nicht möglich, es stellt sich jedoch heraus, dass die Propensity-Score-Methoden ein einfaches probabilistisches Maß für die Exposition darstellen, mit dem die Teilnehmer gewichtet, angepasst oder abgeglichen werden können, so dass sie auf die gleiche Weise wie eine quasi-randomisierte Studie analysiert werden können . Siehe Rosenbaum, Rubin 1983 .

Mikrosimulation

Eine andere Möglichkeit, Daten zu simulieren, die möglicherweise aus einer randomisierten Studie stammen, ist die Durchführung einer Mikrosimulation. Hier kann man sich auf größere und komplexere Modelle konzentrieren, die dem maschinellen Lernen ähneln. Ein Begriff, den Judea Pearl für mich geprägt hat, ist " Oracle Models ": komplexe Netzwerke, die Vorhersagen und Prognosen für eine Reihe von Funktionen und Ergebnissen erstellen können. Es hat sich herausgestellt, dass die Informationen eines solchen Orakelmodells "heruntergeklappt" werden können, um die Ergebnisse in einer ausgewogenen Kohorte von Personen zu simulieren, die eine randomisierte Kohorte repräsentieren, in ihrer "Kontrollvariablen" -Verteilung ausgewogen sind und einfache T-Test-Routinen zur Bewertung der Ergebnisse verwenden Größe und Genauigkeit möglicher Unterschiede. Siehe Rutter, Zaslavsky und Feuer 2012

Matching, Gewichtung und Kovariatenanpassung in einem Regressionsmodell schätzen alle die gleichen Assoziationen, und daher kann von allen behauptet werden, dass sie Methoden zur "Steuerung" anderer Variablen sind .

$Y=X\beta+\varepsilon$$b=(X^TX)^{-1}X^TY$