Was ist der richtige Weg, um auf signifikante Unterschiede zwischen Koeffizienten zu testen?

18

Ich hoffe, jemand kann mir dabei helfen, einen Punkt der Verwirrung auszuräumen. Angenommen, ich möchte testen, ob sich zwei Regressionskoeffizientensätze signifikant voneinander unterscheiden, und zwar mit folgendem Aufbau:

mit 5 unabhängigen Variablen. $y_i = \alpha + \beta x_i + \epsilon_i$
2 Gruppen mit ungefähr gleichen Größen (obwohl dies variieren kann) $n_1, n_2$
Tausende von ähnlichen Regressionen werden gleichzeitig durchgeführt, daher muss eine Art Mehrfachhypothesenkorrektur durchgeführt werden.

Ein Ansatz, der mir vorgeschlagen wurde, ist die Verwendung eines Z-Tests:

$Z = \frac{b_1 - b_2}{\sqrt(SEb_1^2 + SEb_2^2)}$

Ein anderer Vorschlag, den ich auf dieser Tafel gesehen habe, ist die Einführung einer Dummy-Variablen zum Gruppieren und Neuschreiben des Modells als:

; , wobei die Gruppierungsvariable ist, codiert als 0, 1. $y_i = \alpha + \beta x_i + \delta(x_ig_i) + \epsilon_i$ $g$

Meine Frage ist, wie unterscheiden sich diese beiden Ansätze (z. B. unterschiedliche Annahmen, Flexibilität)? Ist einer angemessener als der andere? Ich vermute, das ist ziemlich einfach, aber jede Klarstellung wäre sehr dankbar.

regression hypothesis-testing multiple-regression

— Kassen
quelle

Ich glaube, die Antworten und Kommentare auf eine ähnliche Frage können einige der von Ihnen gewünschten Klarstellungen liefern.

— Whuber

Vielen Dank, whuber. Diese Antwort war mir vertraut. Aus der Diskussion unter der akzeptierten Antwort (und Ihren Kommentaren dort) ergab sich der Eindruck, dass der Vergleich der Koeffizienten von 2 getrennten Anpassungen nicht angemessen war. Wird ein Z-Test auf die Koeffizienten aus den separaten Anpassungen angewendet, oder ist die Dummy-Variablencodierung einfach einfacher und liefert eine gleichwertige Antwort?

— Cashoes

1

Bitte lesen Sie den letzten Absatz meiner Antwort ("Die Hauptbeschränkung ..."). Der Z-Test ist gültig unter der Annahme, dass

groß sind (andernfalls wird er beim Test verwendet) und dass die geschätzten Standardabweichungen

nicht zu unterschiedlich sind. Kein Ansatz ist am besten, wenn sich die Standardabweichungen stark unterscheiden (ungefähr mehr als ein Verhältnis von 3: 1).

n_{i}

$n_i$

S E b_{i}

$SEb_i$

— whuber

13

Die beiden Ansätze unterscheiden sich.

$s_1$ $s_2$

s = \sqrt{\frac{(n_{1} - p) s_{1}^{2} + (n_{2} - p) s_{2}^{2})}{n_{1} + n_{2} - 2 p}} .

$s = \sqrt{\frac{(n_1-p) s_1^2 + (n_2-p) s_2^2)}{n_1 + n_2 - 2 p}}.$

$p$ $6$

$b_1$ $b_2$ $b$

S E (b) = s \sqrt{(S E (b_{1}) / s_{1})^{2} + (S E (b_{2}) / s_{2})^{2}} .

$SE(b) = s \sqrt{(SE(b_1)/s_1)^2 + (SE(b_2)/s_2)^2}.$

$s$

Die kombinierte Regression geht davon aus, dass die Varianzen der Residuen in beiden getrennten Regressionen im Wesentlichen gleich sind. Ist dies nicht der Fall, ist der Z-Test auch nicht gut (es sei denn, die Stichproben sind groß): Sie würden einen CABF-Test oder einen Welch-Satterthwaite-T-Test verwenden.

— whuber
quelle

9

Der direkteste Weg, um den Koeffizientenunterschied zwischen zwei Gruppen zu testen, besteht darin, einen Interaktionsterm in Ihre Regression einzubeziehen. Dies ist fast das, was Sie in Ihrer Frage beschreiben. Das Modell, das Sie ausführen würden, ist das folgende:

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

$t$ $H_0: \delta = 0$ $g_i = 0$

$y_i = \alpha + \beta x_i + \varepsilon_i$

$g_i = 1$

$y_i = (\alpha + \gamma) + (\beta + \delta) x_i + \varepsilon_i$

$\delta$

— Matt Blackwell
quelle

Vielen Dank für die Korrektur des Modells (Ich glaube, meine Version oben erzwingt einfach, dass der Achsenabschnitt in beiden Gruppen gleich ist ...). Genauer gesagt, wäre dies dann gleichbedeutend mit dem Z-Test, den ich oben gepostet habe?

— Cashoes

Wenn man testen wollte, ob ein Effekt zwischen mehr als zwei Gruppen unterschiedlich ist, würde eine ANOVA das Modell

mit dem in dieser Antwort gezeigten vergleichen,

y_{i} = α + β x_{i} + γ g_{i} + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \varepsilon_i$

y_{i} = α + β x_{i} + γ g_{i} + δ (x_{i} \times g_{i}) + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

@ matt-blackwell ist dies konzeptionell dasselbe wie die Schichtung des Modells durch jeden Wert von g? (dh, b wäre der Koeffizient von x, wenn g = 0 und Beta + Delta, wenn g = 1) Obwohl ich zu schätzen weiß, dass die Schichtung keinen statistischen Vergleich zulässt.

— Bobmcpop