Gängige statistische Tests als lineare Modelle

(UPDATE: Ich habe mich eingehender damit befasst und die Ergebnisse hier veröffentlicht. )

Die Liste der genannten statistischen Tests ist riesig. Viele der gebräuchlichen Tests beruhen auf Schlussfolgerungen aus einfachen linearen Modellen, z. B. ist ein t-Test mit einer Stichprobe nur y = β + ε, der gegen das Nullmodell y = μ + ε getestet wird, dh, dass β = μ, wobei μ etwas Null ist Wert - typisch μ = 0.

Ich finde, dass dies für Unterrichtszwecke viel lehrreicher ist als das Erlernen benannter Modelle, wann sie zu verwenden sind und ihre Annahmen, als ob sie nichts miteinander zu tun hätten. Dieser Ansatz fördert nicht das Verständnis. Ich kann jedoch keine gute Ressource finden, die dies sammelt. Ich interessiere mich mehr für Äquivalenzen zwischen den zugrunde liegenden Modellen als für die Methode der Folgerung aus ihnen. Obwohl, soweit ich sehen kann, Likelihood-Ratio-Tests für alle diese linearen Modelle dieselben Ergebnisse liefern wie die "klassische" Inferenz.

Hier sind die Äquivalenzen, die ich bisher kennengelernt habe: Ignoriere den Fehlerterm $\varepsilon \sim \mathcal N(0, \sigma^2)$ und gehe davon aus, dass alle Nullhypothesen das Fehlen eines Effekts sind:

Ein-Stichproben-t-Test: $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$ .

T-Test mit gepaarten Stichproben: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Dies ist identisch mit einem T-Test mit einer Stichprobe bei paarweisen Unterschieden.

T-Test mit zwei Stichproben: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Dabei ist x ein Indikator (0 oder 1).

Pearson-Korrelation: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Beachten Sie die Ähnlichkeit zu einem T-Test mit zwei Stichproben, bei dem es sich nur um eine Regression auf einer binären x-Achse handelt.

Spearman Korrelation: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Dies ist identisch mit einer Pearson-Korrelation für rangtransformierte x und y.

Einweg-ANOVA: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

wobei $x_i$ Indikatoren sind, die das relevante $\beta$ auswählen (ein $x$ ist 1; die anderen sind 0). Das Modell wahrscheinlich in Matrixform wie geschrieben werden kann $Y = \beta * X$ .

Zweiwege-ANOVA: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

für zwei zweistufige Faktoren. Hier sind $\beta_i$ Vektoren von Betas, wobei einer durch den Indikatorvektor $X_i$ . Das hier gezeigte $\mathcal{H}_0$ ist der Wechselwirkungseffekt.

Können wir dieser Liste der linearen Modelle weitere "benannte Tests" hinzufügen? ZB multivariate Regression, andere "nicht parametrische" Tests, Binomialtests oder RM-ANOVAs?

UPDATE: Es wurden Fragen zu ANOVA und T-Tests als lineare Modelle hier auf SO gestellt und beantwortet. Siehe diese Frage und markierte verwandte Fragen .

— Jonas Lindeløv
quelle

Ich halte diese Vergleiche für angebracht, aber irgendwann gibt es auch subtile Unterschiede. Nehmen Sie zum Beispiel die Einweg-ANOVA: Wenn eine lineare Regression die Koeffizienten liefert und in den meisten Softwarepaketen die Signifikanz pro Koeffizient bei Wald-Tests (was möglicherweise nicht angemessen ist), liefert eine ANOVA einen einzelnen p-Wert, der angibt, ob überhaupt einer der Koeffizienten unterscheidet sich signifikant von Null. Ein Likelihood Ratio Test zwischen einem Nullmodell und dem interessierenden Regressionsmodell ist möglicherweise vergleichbarer. Daher würde ich diese Tests / Modelle nicht vollständig angleichen.

— IWS

Guter Punkt; Ich habe die Frage aktualisiert und festgestellt, dass es mir mehr um Äquivalenzen zwischen den zugrunde liegenden Modellen als um die Methode der Folgerung aus ihnen geht. Likelihood-Ratio-Tests an den Einweg-ANOVAs und Interaktionsterms ergeben nach meinem Test identische p-Werte wie die "klassischen" Analysen.

— Jonas Lindeløv

Fairerweise, aber abgesehen von Schlussfolgerungen, sollten Sie beachten, dass Regressionsmodelle auch zusätzliche Flexibilität bieten, wenn Sie mit Nichtlinearität umgehen (obwohl Transformationen auch mit diesen "benannten Tests" getestet werden können, Splines sind eine andere Angelegenheit) oder wenn Sie mit Heteroskedastizität umgehen, ohne auch nur die Familie zu erwähnen von verallgemeinerten Modellen, die auch nichtkontinuierliche abhängige Variablen behandeln. Trotzdem kann ich die Erklärung der genannten Tests sehen, da restriktive Variationen von Regressionsmodellen für Unterrichtszwecke von Nutzen sein können, also +1

— IWS

Ist die Spearman-Rangkorrelation wirklich ein lineares Modell?

— Martin Dietz

@MartinDietz: Ja, nach der Rangtransformation von x und y ist es linear. R-Code:x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')

— Jonas Lindeløv

Keine vollständige Liste, aber wenn Sie verallgemeinerte lineare Modelle einbeziehen, wird der Umfang dieses Problems wesentlich größer.

Zum Beispiel:

E [logit (p) | t] = β_{0} + β_{1} t H_{0} : β_{1} = 0

$E[\mbox{logit} (p) | t] = \beta_0 + \beta_1 t \qquad \mathcal{H}_0: \beta_1 = 0$

$p \times k$

E [Log (μ)] = β_{0} + β_{ich .} + β_{. j} + γ_{ich j} ich, j > 1 H_{0} : γ_{ich j} = 0, ich, j > 1

$E[\log (\mu)] = \beta_0 + \beta_{i.} + \beta_{.j} + \gamma_{ij} \quad i,j > 1 \qquad\mathcal{H}_0: \gamma_{ij} = 0, \quad i,j > 1$

Auch der t-Test für ungleiche Varianzen lässt sich mit der robusten Fehlerschätzung von Huber White gut approximieren.

— AdamO
quelle