Dies zeigt, dass 100 Messungen für 5 Probanden weniger Informationen liefern als 5 Messungen für 100 Probanden

Auf einer Konferenz habe ich die folgende Aussage gehört:

100 Messungen für 5 Probanden liefern viel weniger Informationen als 5 Messungen für 100 Probanden.

Es ist ein bisschen offensichtlich, dass dies wahr ist, aber ich habe mich gefragt, wie man es mathematisch beweisen könnte ... Ich denke, ein lineares gemischtes Modell könnte verwendet werden. Allerdings weiß ich nicht viel über die Mathematik, mit der sie geschätzt wurden (ich arbeite nur lmer4für LMMs und bmrsGLMMs :) Können Sie mir ein Beispiel zeigen, wo dies zutrifft? Ich würde eine Antwort mit einigen Formeln vorziehen, als nur einem Code in R. Nehmen Sie eine einfache Einstellung an, wie zum Beispiel ein lineares gemischtes Modell mit normalverteilten zufälligen Abschnitten und Steigungen.

PS Eine mathematische Antwort, die keine LMMs beinhaltet, wäre auch in Ordnung. Ich dachte an LMMs, weil sie für mich das natürliche Werkzeug waren, um zu erklären, warum weniger Kennzahlen von mehr Probanden besser sind als mehr Kennzahlen von wenigen Probanden, aber ich kann mich durchaus irren.

Die kurze Antwort ist, dass Ihre Vermutung wahr ist, wenn und nur wenn es eine positive Korrelation zwischen den Klassen in den Daten gibt . Empirisch gesehen weisen die meisten Cluster-Datensätze die meiste Zeit eine positive Korrelation innerhalb der Klasse auf, was bedeutet, dass Ihre Vermutung in der Praxis normalerweise wahr ist. Wenn die klasseninterne Korrelation jedoch 0 ist, sind die beiden von Ihnen genannten Fälle gleichermaßen informativ. Und wenn die klasseninterne Korrelation negativ ist , ist es weniger aussagekräftig , weniger Messungen an mehr Probanden durchzuführen. Wir würden es eigentlich vorziehen (was die Verringerung der Varianz der Parameterschätzung betrifft), alle unsere Messungen an einem einzigen Objekt durchzuführen.

Statistisch gesehen gibt es zwei Perspektiven , aus denen wir darüber nachdenken können: ein Zufallseffekt (oder gemischt ) Modell , das Sie in Ihrer Frage erwähnen, oder ein Randmodell , das hier ein bisschen mehr informativ landet.

Modell mit zufälligen Effekten (gemischt)

Angenommen, wir haben eine Gruppe von Probanden, von denen wir jeweils m Messungen vorgenommen haben. Dann wird ein einfaches Zufallseffekt - Modell der j - ten Messung vom i könnte tH unterliegen y i j = β + u i + e i j , wobei β die feste intercept ist, u i ist der Zufall Subjekt - Effekt (mit der Varianz σ 2 u ), e i j ist der Beobachtungsebenenfehlerterm (mit Varianz σ 2 $n$$m$$j$$i$

$$y_{ij} = \beta + u_i + e_{ij},$$ $\beta$$u_i$$\sigma^2_u$$e_{ij}$$\sigma^2_e$), und die letzten beiden zufälligen Terme sind unabhängig.

In diesem Modell stellt den Populationsmittelwert dar, und bei einem ausgeglichenen Datensatz (dh einer gleichen Anzahl von Messungen von jedem Subjekt) ist unsere beste Schätzung einfach der Stichprobenmittelwert. Wenn wir also "mehr Informationen" als kleinere Varianz für diese Schätzung ansehen, möchten wir im Grunde wissen, wie die Varianz des Stichprobenmittelwerts von n und m abhängt . Mit ein bisschen Algebra können wir dieses var ( $\beta$$n$$m$

$$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$$ $\sigma^2_u>0$$n$$m$

$m$$n$$nm$

$$\frac{\sigma^2_u}{n} + \text{constant},$$ $n$ is as large as possible (up to a maximum of $n=nm$, in which case $m=1$, meaning we take a single measurement from each subject).

My short answer referred to the intra-class correlation, so where does that fit in? In this simple random-effects model the intra-class correlation is

$$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$$ (sketch of a derivation here). So we can write the variance equation above as $$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$$ This doesn't really add any insight to what we already saw above, but it does make us wonder: since the intra-class correlation is a bona fide correlation coefficient, and correlation coefficients can be negative, what would happen (and what would it mean) if the intra-class correlation were negative?

In the context of the random-effects model, a negative intra-class correlation doesn't really make sense, because it implies that the subject variance $\sigma^2_u$ is somehow negative (as we can see from the $\rho$ equation above, and as explained here and here)... but variances can't be negative! But this doesn't mean that the concept of a negative intra-class correlation doesn't make sense; it just means that the random-effects model doesn't have any way to express this concept, which is a failure of the model, not of the concept. To express this concept adequately we need to consider the marginal model.

Marginal model

For this same dataset we could consider a so-called marginal model of $y_{ij}$,

$$y_{ij} = \beta + e^*_{ij},$$ where basically we've pushed the random subject effect $u_i$ from before into the error term $e_{ij}$ so that we have $e^*_{ij} = u_i + e_{ij}$. In the random-effects model we considered the two random terms $u_i$ and $e_{ij}$ to be i.i.d., but in the marginal model we instead consider $e^*_{ij}$ to follow a block-diagonal covariance matrix $\textbf{C}$ like $$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$$ In words, this means that under the marginal model we simply consider $\rho$ to be the expected correlation between two $e^*$s from the same subject (we assume the correlation across subjects is 0). When $\rho$ is positive, two observations drawn from the same subject tend to be more similar (closer together), on average, than two observations drawn randomly from the dataset while ignoring the clustering due to subjects. When $\rho$ is negative, two observations drawn from the same subject tend to be less similar (further apart), on average, than two observations drawn completely at random. (More information about this interpretation in the question/answers here.)

So now when we look at the equation for the variance of the sample mean under the marginal model, we have

$$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$$ which is the same variance expression we derived above for the random-effects model, just with $\sigma^2_e+\sigma^2_u=\sigma^2$, which is consistent with our note above that $e^*_{ij} = u_i + e_{ij}$. The advantage of this (statistically equivalent) perspective is that here we can think about a negative intra-class correlation without needing to invoke any weird concepts like a negative subject variance. Negative intra-class correlations just fit naturally in this framework.

(BTW, just a quick aside to point out that the second-to-last line of the derivation above implies that we must have $\rho \ge -1/(m-1)$, or else the whole equation is negative, but variances can't be negative! So there is a lower bound on the intra-class correlation that depends on how many measurements we have per cluster. For $m=2$ (i.e., we measure each subject twice), the intra-class correlation can go all the way down to $\rho=-1$; for $m=3$ it can only go down to $\rho=-1/2$; and so on. Fun fact!)

So finally, once again considering the total number of observations $nm$ to be a constant, we see that the second-to-last line of the derivation above just looks like

$$\big(1+(m-1)\rho\big) \times \text{positive constant}.$$ So when $\rho>0$, having $m$ as small as possible (so that we take fewer measurements of more subjects--in the limit, 1 measurement of each subject) makes the variance of the estimate as small as possible. But when $\rho<0$, we actually want $m$ to be as large as possible (so that, in the limit, we take all $nm$ measurements from a single subject) in order to make the variance as small as possible. And when $\rho=0$, the variance of the estimate is just a constant, so our allocation of $m$ and $n$ doesn't matter.