Wiederholte ANOVA-Messungen vs. faktorielle ANOVA mit Subjektfaktor: Verständnis der „Fehlerschichten“ und des Error () -Terms in aov

Betrachten Sie ANOVA mit wiederholten AMessungen (RM-ANOVA) mit einem Faktor innerhalb des Subjekts und mehreren Messungen pro Subjekt für jede Stufe von A.

Es ist eng verwandt mit der Zwei-Wege-ANOVA mit zwei Faktoren: Aund subject. Sie verwenden identische Zersetzung der Summe der Quadrate in vier Teile: A, subject, A⋅subject, und residual. Die Zweiwege-ANOVA testet jedoch die Wirkung von A durch Vergleichen von SS von A mit der verbleibenden SS, während RM-ANOVA die Wirkung von A durch Vergleichen von SS von A mit der A Subjekt-Interaktion SS testet .$\cdot$

Warum der Unterschied?

1. Ergibt sich dieser Unterschied automatisch aus der Struktur der Daten mit wiederholten Messungen oder handelt es sich um eine Konvention?
2. Entspricht dieser Unterschied zwischen Zweiwege-ANOVA und RM-ANOVA dem Testen von zwei verschiedenen Nullen? Wenn ja, was genau sind sie und warum würden wir in diesen beiden Fällen unterschiedliche Nullen verwenden?
3. Der Zwei-Wege-ANOVA-Test kann als F-Test zwischen zwei verschachtelten Modellen verstanden werden: dem vollständigen Modell und dem Modell ohne A. Kann RM-ANOVA auf ähnliche Weise verstanden werden?

(Wenn es nur eine Messung pro Proband für jede Stufe von A gibt, verschwindet die Art der Unterscheidung, da A Subjekt und Restvariation nicht entwirrt werden können: Entspricht die Einweg-ANOVA mit wiederholten Messungen einer Zweiweg-ANOVA? )$\cdot$

---

Demonstration

Ich werde Spielzeugdaten verwenden, d2die in http://dwoll.de/rexrepos/posts/anovaMixed.html generiert wurden . Dieselbe Webseite zeigt die korrekte Syntax für RM-ANOVA.

# Discarding between-subject factors and leaving only one within-subject factor
d = d2[d2$Xb1=='CG' & d2$Xb2 == 'f', c(1,4,6)]

(Siehe reproduzierbare Version hier auf Pastebin .) Die Daten sehen folgendermaßen aus:

     id Xw1     Y
1    s1   A  28.6
2    s1   A  96.6
3    s1   A  64.8
4    s1   B 107.5
5    s1   B  77.3
6    s1   B 120.9
7    s1   C 141.2
8    s1   C 124.1
9    s1   C  88.0
10   s2   A  86.7
...

Hier ist eine Zwei-Wege-ANOVA: summary(aov(Y ~ Xw1*id, d))

             Df Sum Sq Mean Sq F value   Pr(>F)    
Xw1           2  95274   47637  16.789 3.73e-07 ***
id           19  31359    1650   0.582    0.913    
Xw1:id       38  71151    1872   0.660    0.929    
Residuals   120 340490    2837                 

Hier ist RM-ANOVA: summary(aov(Y ~ Xw1 + Error(id/Xw1), d))

Error: id
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 19  31359    1650               

Error: id:Xw1
          Df Sum Sq Mean Sq F value   Pr(>F)    
Xw1        2  95274   47637   25.44 9.73e-08 ***
Residuals 38  71151    1872                     

Error: Within
           Df Sum Sq Mean Sq F value Pr(>F)
Residuals 120 340490    2837            

Beachten Sie die identische SS-Zerlegung, aber Zweiwege-ANOVA-Tests Xw1gegen den Rest, während RM-ANOVA-Tests Xw1gegen die Xw1:idWechselwirkung.

Warum?

Diese Frage bezieht sich auf das Schreiben des Fehlerterms in ANOVA mit wiederholten Messungen in R: Fehler (Betreff) vs Fehler (Betreff / Zeit) . Wenn wir versuchen, Error(id)anstelle des Error(id/Xw1)obigen Beispiels zu verwenden, Xw1wird dies auf Xw1:idWechselwirkungen getestet, die zusammen mit der Restvariation zusammengefasst werden.

(Das gleiche Problem tritt bei der faktoriellen RM-ANOVA mit mehreren subjektinternen Faktoren auf, bei der jeder Faktor oder jede Interaktion gegen seinen eigenen "Fehlerterm", auch "Fehlerschicht" genannt, getestet wird. Diese Fehlerschichten werden immer durch die entsprechende Interaktion mit dem Block angegeben / plot / subject variable id.)

... Zweiwege-ANOVA testet die Wirkung von A durch Vergleichen von SS von A mit dem Rest-SS, während RM-ANOVA die Wirkung von A durch Vergleichen von SS von A mit der A⋅-Subjekt-Wechselwirkung SS testet.

1) Ergibt sich dieser Unterschied automatisch aus der Struktur der Daten mit wiederholten Messungen oder handelt es sich um eine Konvention?

Es folgt aus der Struktur der Daten mit wiederholten Messungen. Das Grundprinzip der Varianzanalyse besteht darin, dass wir die Variation zwischen den Ebenen einer Behandlung mit der Variation zwischen den Einheiten vergleichen, die diese Behandlung erhalten haben. Was den Fall der wiederholten Messung etwas schwierig macht, ist die Schätzung dieser zweiten Variation.

In diesem einfachsten Fall interessieren uns die Unterschiede zwischen den Niveaus von A. An wie vielen Einheiten haben wir diesen Unterschied gemessen? Es ist die Anzahl der Probanden, nicht die Anzahl der Beobachtungen. Das heißt, jedes Thema gibt uns eine zusätzliche unabhängige Information über den Unterschied, nicht jede Beobachtung. Das Hinzufügen von mehr wiederholten Messungen erhöht die Genauigkeit unserer Informationen zu jedem Thema, gibt uns jedoch nicht mehr Themen.

Was die RM-Anova tut, wenn sie die A-Subjekt-Interaktion als Fehlerterm verwendet, besteht darin, die Variation der Unterschiede zwischen den A-Niveaus zwischen Subjekten korrekt als Variation zum Testen des A-Level-Effekts zu verwenden. Bei Verwendung des Beobachtungsfehlers wird stattdessen die Variation der wiederholten Messungen für jedes Individuum verwendet, was nicht korrekt ist.

Stellen Sie sich einen Fall vor, in dem Sie immer mehr Daten zu nur wenigen Personen erfassen. Wenn Sie den Beobachtungsstufenfehler verwenden, würden Sie schließlich statistische Signifikanz erreichen, obwohl Sie nur ein paar Personen haben. Sie benötigen mehr Personen, nicht mehr Daten, um die Leistung wirklich zu steigern.

2) Entspricht dieser Unterschied zwischen Zweiwege-ANOVA und RM-ANOVA dem Testen von zwei verschiedenen Nullen? Wenn ja, was genau sind sie und warum würden wir in diesen beiden Fällen unterschiedliche Nullen verwenden?

Nein, dieselbe Nullhypothese. Was anders ist, ist, wie wir die Teststatistik und ihre Nullverteilung schätzen.

3) Der Zwei-Wege-ANOVA-Test kann als F-Test zwischen zwei verschachtelten Modellen verstanden werden: dem vollständigen Modell und dem Modell ohne A. Kann RM-ANOVA auf ähnliche Weise verstanden werden?

Ja, aber vielleicht nicht so, wie Sie es sich erhoffen. Wie Sie in der Ausgabe von sehen aov, besteht eine Art, über diese Art von Modellen nachzudenken, darin, dass es sich tatsächlich um mehrere Modelle in einem handelt, mit einem Modell für jede Ebene.

Man kann die Modelle für höhere Ebenen individuell anpassen, indem man die Daten über die niedrigeren Ebenen mittelt. Das heißt, ein RM-Anova-Test für A entspricht einer Standard-Anova für die gemittelten Daten. Dann kann man Modelle auf die übliche Weise vergleichen.

> library(plyr)
> d2 <- ddply(d, ~Xw1 + id, summarize, Y=mean(Y))
> a1 <- aov(Y ~ id, d2)
> a2 <- aov(Y ~ Xw1+id, d2)
> anova(a1, a2)
Analysis of Variance Table

Model 1: Y ~ id
Model 2: Y ~ Xw1 + id
  Res.Df   RSS Df Sum of Sq      F    Pr(>F)    
1     40 55475                                  
2     38 23717  2     31758 25.442 9.734e-08 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Alternativ kann man aovmit allen Daten, jedoch ohne den interessierenden Begriff, die vollständige Anpassung vornehmen und dann die Anpassung mit der vollständigen aovmit der interessierenden Laufzeit vergleichen. Um dann Modelle zu vergleichen, müssen Sie die Ebene des Modells auswählen, das Sie haben geändert (hier das id:Xw1Niveau) und dann können Sie diese beiden Modelle vergleichen.

> summary(aov(Y ~ 1 + Error(id/Xw1), d))

Error: id
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 19  31359    1650               

Error: id:Xw1
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 40 166426    4161               

Error: Within
           Df Sum Sq Mean Sq F value Pr(>F)
Residuals 120 340490    2837               
> (F <- ((166426 - 71151)/2) / (71151/38))
[1] 25.44202
> pf(F, 2, 38, lower=FALSE)
[1] 9.732778e-08

Dieser Hinweis hängt von den Ergebnissen in Mosers linearen Modellen ab: Ein mittlerer Modellansatz . Ich werde im Folgenden einige Ergebnisse aus diesem Buch zitieren. Als ich Ihre Frage sah, fing ich an, das Buch durchzusehen: Diese Notiz ist genau die Art und Weise, wie meine Gedanken organisiert waren.

Sei die Antwort, wobei μ die festen Effekte und Σ die zufälligen Effekte enthält.$y \sim \mathcal{N}_n(\mu, \Sigma)$$\mu$$\Sigma$

Nehmen Sie als die Summe der Quadrate, die jedem Term (Kovariaten und Wechselwirkungen) im Modell entsprechen. Beachten Sie, dass diese Quadratsummen nicht davon abhängen, ob Begriffe fest oder zufällig sind. Angenommen, jedes A i ist symmetrisch und idempotent, was für die meisten interessierenden Modelle gilt.$y^T A_i y$$A_i$

Wenn es gilt die zu den Quadratsummen belaufen sich auf eine Zerlegung in orthogonale Unterräume entsprechen , da wir die angenommen haben A i - Projektoren sind und Σ = Σ i c i A i , durch Satz von Cochran ( Lemma 3.4.1), y T A i y ~ c i χ 2 d i ( μ T A i μ / C i ) , für

$$I = \sum_i A_i,$$ $A_i$ $$\Sigma = \sum_i c_i A_i,$$ $$\begin{equation} y^T A_i y \sim c_i \chi^2_{d_i} (\mu^T A_i \mu/c_i), \end{equation}$$ und y T A j y ist unabhängig von y T A k y für j ≠ k .$d_i = tr(A_i)$$y^T A_j y$$y^T A_k y$$j \ne k$

Der Term ist in der Tatgenau danneine (zentrale)F-Statistik, wenn c

$$\tilde{F} = \frac{y^T A_j y / d_j}{y^T A_k y / d_k} \sim \frac{c_j \chi_{d_j}^2(\mu^T A_j \mu / c_j)/d_j}{c_k \chi_{d_k}^2(\mu^T A_k \mu / c_k)/d_k}$$ $F$ wenn diese drei Bedingungen erfüllt sind, können wirp-Werteberechnen, die der Statistik ˜ F entsprechen . Diese Begriffe helfen im Grunde nur bei der Berechenbarkeit, da diecivon Varianzkomponenten abhängen und die Nichtzentralitätsparameter vom Mittelwertμabhängen. Die zweite Bedingung stellt sicher, dass ˜ F (mindestens) eine nicht zentraleF-Verteilung aufweist. Unter der zweiten Bedingung ergibt die dritte Bedingung, dass ˜ F eine zentraleF-Verteilung hat. $$\begin{align*} \frac{c_j}{c_k} & = 1 , \tag{1} \\ \mu^T A_j \mu & = 0 , \tag{2} \\ \mu^T A_k \mu & = 0 , \textrm{ and }\tag{3} \end{align*}$$ $p$$\tilde{F}$$c_i$$\mu$$\tilde{F}$$F$$\tilde{F}$$F$

$\mathrm{EMS}$$i^\mathrm{th}$$y^T A_i y$

$$\mathrm{EMS}_i := \frac{1}{tr(A_i)} \mathbb{E} [y^T A_i y] = \frac{tr(A_i \Sigma) + \mu^T A_i \mu}{tr(A_i)} = c_i + \frac{\mu^T A_i \mu}{tr(A_i)},$$ $tr(A_i\Sigma) = c_i \, tr(A_i)$ $$\frac{\mathrm{EMS}_j}{\mathrm{EMS}_k} = \frac{c_j + \frac{\mu^T A_j \mu}{tr(A_j)}}{c_k + \frac{\mu^T A_k \mu}{tr(A_k)}} = 1$$ $(1)$$(2)$$(3)$$\mathrm{EMS}$$F$

$(1), (2)$$(3)$$j$$c_j/c_k = 1$$y^T A_j y = 0$$k$$(1), (2)$$(3)$$k$

$\mu$$\Sigma$

$\mu$$\Sigma$$k$

---

$$\begin{equation} y_{ijk} = \mu_0 + \mathrm{id}_i + \mathrm{Xw1}_{j} + \mathrm{id * Xw1}_{ij} + \mathrm{R(id * Xw1)}_{k(ij)}, \end{equation}$$ $i$$\mathrm{id}$$k$

$y = (y_{111}, y_{112}, y_{113}, y_{121}, \dots y_{20,3,3})$$\bar{J} \in \mathbb{R}^{m \times m}$$\frac{1}{m}$$C=I-\bar{J}$$\|C x \|_2^2 = \sum_i (x_i - \bar{x})^2$$x$

$A_i$$\mu_0$

$$\begin{equation} SS(\mu_0) = n (\bar{y}_{\cdot\cdot\cdot})^2 = \|(\bar{J} \otimes \bar{J} \otimes \bar{J}) y\|_2^2 = y^T (\bar{J} \otimes \bar{J} \otimes \bar{J}) y, \end{equation}$$ $\bar{J} \in \mathbb{R}^{20 \times 20}$$\mathbb{R}^{3 \times 3}$$\mathbb{R}^{3 \times 3}$$\mathrm{id}$ $$\begin{equation} SS(\mathrm{id}) = \sum_{ijk} (\bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot \cdot \cdot})^2 = \|(C \otimes \bar{J} \otimes \bar{J}) y\|_2^2 = y^T (C \otimes \bar{J} \otimes \bar{J}) y. \end{equation}$$ $SS(\mathrm{id})$$\mathrm{id}$$A_{Xw1} = \bar{J} \otimes C \otimes \bar{J}$$A_{id * Xw1} = C \otimes C \otimes \bar{J}$$A_{R()} = I \otimes I \otimes C$

aov$SS(\mathrm{R(id * Xw1)}) = y^T A_{R()} y$

mY <- c()
for(j in 1:(nrow(d)/3)) {
  mY <- c(mY, rep(mean(d$Y[3*(j-1)+(1:3)]), 3))
}
sum((d$Y - mY)^2) #this is the residual sum of squares

$\mathrm{id}$

$$\begin{equation} \mathbb{E} [y_{ijk}] = \mu_{ij} = \mu_0 + \mathrm{id}_i + \mathrm{Xw1}_{jk} + \mathrm{id * Xw1}_{ij} \end{equation}$$ $R(\mathrm{id * Xw1})_{k(ij)} \sim_{iid} \mathcal{N}(0, \sigma^2)$ $$y \sim \mathcal{N} (\mu, \Sigma)$$ $\mu = \mathbb{E} [y] = (\mu_{11}, \mu_{12}, \dots, \mu_{20,3}) \otimes \mathbf{1}_{3}$$\Sigma = \sigma^2 (I \otimes I \otimes I)$

$5$$A$

$$SS(\mathrm{Xw1}) = y^T A_{Xw1} y \sim \sigma^2 \chi^2_{(19)(1)(1)} (\mu^T A_{Xw1} \mu / \sigma^2)$$ $$SS(\mathrm{R(id * Xw1)}) = y^T A_{R()} y \sim \sigma^2 \chi^2_{(20)(3)(2)} (\mu^T A_{R()} \mu / \sigma^2)$$

$(1), (2),$$(3)$$(1)$$\mu^T A_{R()} \mu = 0$$\mu$$A_{R()}$$(3)$$(2)$$0 = \mu^T A_{Xw1} \mu = \sum_{ijk} (\mu_{ij} - \bar{\mu}_{i \cdot})^2$$\mu_{ij} = \bar{\mu}_{i \cdot}$$i,j$$\mathrm{Xw1}_j = 0$$\mathrm{id * Xw1}_{ij} = 0$$i,j$

$\mathrm{id}$$(1)$

RError()id/Xw1 = id + id:Xw1idError$A_{R()} + A_{id * Xw1}$$A_{R()}$

---

$\mathrm{id}$$\mathrm{id}$$\mathrm{id * Xw1}$

$$\begin{align*} \Sigma & \stackrel{(a)}{=} \sigma^2_{id} (I \otimes J \otimes J) + \sigma^2_{id * Xw1} (I \otimes C \otimes J) + \sigma^2_{R()} (I \otimes I \otimes I) \\ & = \sigma^2_{id} (3)(3) (A_{\mu_0} + A_{id}) + \sigma^2_{id * Xw1} (3) (A_{Xw1} + A_{id * Xw1}) + \sigma^2_{R()} (A_{\mu_0} + A_{id} + A_{Xw1} + A_{id * Xw1} + A_{R()}) \\ & = ((3)(3)\sigma^2_{id} + \sigma^2_{R()})A_{\mu_0} + ((3)(3)\sigma^2_{id} + \sigma^2_{R()}) A_{id} + ((3)\sigma^2_{id * Xw1} + \sigma^2_{R()}) A_{Xw1} + ((3)\sigma^2_{id * Xw1} + \sigma^2_{R()}) A_{id * Xw1} + \sigma^2_{R()} A_{R()}, \end{align*}$$ $J$$\mathrm{id}$$\mathrm{Xw1}$$\mathrm{Xw1}$$I \otimes C \otimes J$

$\mathrm{id}$$\mathrm{Xw1}$$\mathbb{E} [y_{ijk}] = \mu_{j} = \mu_0 + \mathrm{Xw1}_j$$\mu = \mathbf{1} \otimes (\mu_1, \mu_2, \mu_3) \otimes \mathbf{1}$

$(1)$

$$\frac{c_{Xw1} }{c_{id * Xw1}} = \frac{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}}{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}} = 1,$$ $$\frac{c_{Xw1}}{c_{R()}} = \frac{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}}{\sigma^2_{R()}} \neq 1.$$ $(3)$$\mu^T A_{Xw1*id} \mu = 0$$\mu^T A_{R()} \mu = 0$$(2)$ $$\begin{align*} \mu^T A_{Xw1} \mu & = \|A_{Xw1} \mu\|_2^2 \\ & = \|(\bar{J} \otimes C \otimes \bar{J}) (\mathbf{1} \otimes (\mu_1, \mu_2 \mu_3)' \otimes \mathbf{1}) \|_2^2 \\ & = (20)(3) \|C (\mu_1, \mu_2 \mu_3)'\|_2^2 \\ & = (20)(3) \sum_j (Xw1_j)^2. \end{align*}$$

$\mathrm{R(id * Xw1)}$$(1)$$(2)$$(1)$$(2)$

$Xw1_j = 0$$j$ $\sigma^2_{id * Xw1} = 0$$Xw1_j = 0$$j$