Was ist der mathematische Unterschied zwischen zufälligen und festen Effekten?

Ich habe im Internet eine Menge über die Interpretation von Zufalls- und Fixeffekten gefunden. Es konnte jedoch keine Quelle gefunden werden, die Folgendes festhält:

Was ist der mathematische Unterschied zwischen zufälligen und festen Effekten?

Damit meine ich die mathematische Formulierung des Modells und die Art und Weise, wie Parameter geschätzt werden.

Das einfachste Modell mit zufälligen Effekten ist das Einweg-ANOVA - Modell mit zufälligen Effekten durch Beobachtungen gegeben, mit Verteilungsannahmen: ( y i j | μ i ) ~ iid N ( μ i , & sgr; 2 W ) $y_{ij}$

Hier sind die zufälligen Effekte die . Sie sind Zufallsvariablen, während sie im ANOVA-Modell feste Zahlen mit festen Effekten sind.$\mu_i$

Zum Beispiel zeichnet jeder von drei Technikern in einem Labor eine Reihe von Messungen auf, und y i j ist die j- te Messung von Techniker i . Nenne μ i den "wahren Mittelwert" der vom Techniker i erzeugten Reihe ; Dies ist ein etwas künstlichen Parameter können Sie sehen , μ i als der Mittelwert , dass Techniker i erhalten worden wäre , wenn er / sie eine große Reihe von Messungen aufgezeichnet hat.$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Wenn Sie , μ 2 , μ 3 auswerten möchten (z. B. um die Abweichung zwischen Operatoren zu bewerten ), müssen Sie das ANOVA-Modell mit festen Effekten verwenden.$\mu_1$$\mu_2$$\mu_3$

Sie müssen das ANOVA-Modell mit zufälligen Effekten verwenden, wenn Sie an den Varianzen und σ 2 b , die das Modell definieren, und der Gesamtvarianz σ 2 b + σ 2 w interessiert sind (siehe unten). Die Varianz σ 2 w ist die Varianz der von einem Techniker erzeugten Aufzeichnungen (es wird angenommen, dass sie für alle Techniker gleich ist), und σ 2 b wird die Varianz zwischen den Technikern genannt. Idealerweise sollten die Techniker zufällig ausgewählt werden.$\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$$\sigma^2_b$

Dieses Modell spiegelt die Varianzzerlegungsformel für eine Datenstichprobe wider:

$+$

Das zeigt das ANOVA-Modell mit zufälligen Effekten:

$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Sehen Sie sich hier Folie 24 und Folie 25 an, um bessere Bilder zu erhalten (Sie müssen die PDF-Datei speichern, um die Überlagerungen zu sehen, sehen Sie sich die Online-Version nicht an).

Grundsätzlich denke ich, ist der deutlichste Unterschied, wenn Sie einen Faktor als zufällig modellieren, dass angenommen wird, dass die Effekte aus einer gemeinsamen Normalverteilung stammen.

Wenn Sie beispielsweise ein Modell für Noten haben und die Daten Ihrer Schüler aus verschiedenen Schulen berücksichtigen möchten und die Schule als Zufallsfaktor modellieren, bedeutet dies, dass Sie davon ausgehen, dass die schulweiten Durchschnittswerte normal verteilt sind. Das bedeutet, dass zwei Variationsquellen modelliert werden: die schulinterne Variabilität der Schulnoten und die Variabilität zwischen den Schulen.

Dies führt zu einem sogenannten partiellen Pooling . Betrachten Sie zwei Extreme:

1. Die Schule hat keine Auswirkungen (zwischen den Schulen ist die Variabilität Null). In diesem Fall wäre ein lineares Modell, das die Schule nicht berücksichtigt, optimal.
2. Die Schulvariabilität ist größer als die Variabilität der Schüler. Dann müssen Sie im Grunde auf der Schulebene anstatt auf der Schülerebene arbeiten (weniger Stichproben). Dies ist im Grunde das Modell, bei dem Sie die Schule mit festen Effekten erklären. Dies kann problematisch sein, wenn Sie nur wenige Proben pro Schule haben.

Durch die Schätzung der Variabilität auf beiden Ebenen geht das gemischte Modell einen intelligenten Kompromiss zwischen diesen beiden Ansätzen ein. Insbesondere wenn Sie nicht so viele Schüler pro Schule haben, bedeutet dies, dass die Auswirkungen für die einzelnen Schulen nach Modell 2 gegenüber dem Gesamtmittel von Modell 1 abnehmen.

Das liegt daran, dass das Modell besagt, dass wenn Sie eine Schule mit zwei Schülern haben, was besser als "normal" für die Schulbevölkerung ist, es wahrscheinlich ist, dass ein Teil dieses Effekts dadurch erklärt wird, dass die Schule Glück bei der Wahl hatte von den beiden Studenten angeschaut. Dies geschieht nicht blind, sondern abhängig von der Schätzung der Variabilität innerhalb der Schule. Dies bedeutet auch, dass Effektstufen mit weniger Stichproben stärker zum Gesamtmittelwert gezogen werden als bei großen Schulen.

Wichtig ist, dass Sie auf der Ebene des Zufallsfaktors austauschbar sein müssen. Das bedeutet in diesem Fall, dass die Schulen (nach Ihrem Wissen) austauschbar sind und Sie nichts wissen, was sie auszeichnet (außer einer Art Ausweis). Wenn Sie zusätzliche Informationen haben, können Sie diese als zusätzlichen Faktor hinzufügen. Es reicht aus, wenn die Schulen unter der Bedingung austauschbar sind, dass andere Informationen berücksichtigt werden.

Zum Beispiel wäre es sinnvoll anzunehmen, dass in New York lebende 30-jährige Erwachsene geschlechtsabhängig austauschbar sind. Wenn Sie mehr Informationen haben (Alter, ethnische Zugehörigkeit, Bildung), ist es sinnvoll, diese Informationen ebenfalls aufzunehmen.

OTH Wenn Sie mit einer Kontrollgruppe und drei sehr unterschiedlichen Krankheitsgruppen studiert haben, ist es nicht sinnvoll, die Gruppe als zufällig zu modellieren, da bestimmte Krankheiten nicht austauschbar sind. Viele Leute mögen den Schrumpfeffekt jedoch so gut, dass sie immer noch für ein Zufallseffektmodell plädieren würden, aber das ist eine andere Geschichte.

Mir ist aufgefallen, dass ich mich nicht zu sehr mit Mathematik befasst habe, aber im Grunde besteht der Unterschied darin, dass das Zufallseffektmodell einen normalverteilten Fehler sowohl auf der Ebene der Schulen als auch auf der Ebene der Schüler schätzte, während das Modell mit festem Effekt den Fehler gerade noch aufweist das Niveau der Schüler. Insbesondere bedeutet dies, dass jede Schule ihre eigene Ebene hat, die nicht durch eine gemeinsame Verteilung mit den anderen Ebenen verbunden ist. Dies bedeutet auch, dass das feste Modell keine Extrapolation auf einen Schüler zulässt, der nicht in den Originaldaten enthalten ist, während das Zufallseffektmodell dies mit einer Variabilität tut, die die Summe aus dem Schülerniveau und der Variabilität des Schulniveaus ist. Wenn Sie speziell an der Wahrscheinlichkeit interessiert sind, könnten wir das in Angriff nehmen.

In der Wirtschaft sind solche Effekte individuelle Abschnitte (oder Konstanten), die nicht beobachtet werden, aber anhand von Paneldaten geschätzt werden können (wiederholte Beobachtung derselben Einheiten über die Zeit). Die Festeffekt-Schätzmethode ermöglicht die Korrelation zwischen den einheitsspezifischen Abschnitten und den unabhängigen erklärenden Variablen. Die zufälligen Effekte nicht. Die Kosten für die Verwendung der flexibleren festen Effekte bestehen darin, dass Sie den Koeffizienten für zeitinvariante Variablen (wie Geschlecht, Religion oder Rasse) nicht schätzen können.

NB Andere Felder haben ihre eigene Terminologie, was ziemlich verwirrend sein kann.

In einem Standard-Softwarepaket (zB R's lmer) ist der grundlegende Unterschied:

• Fixe Effekte werden durch die maximale Wahrscheinlichkeit geschätzt (kleinste Quadrate für ein lineares Modell)
• zufällige Effekte werden durch empirische Bayes geschätzt (kleinste Quadrate mit einer gewissen Schrumpfung für ein lineares Modell, wobei der Schrumpfungsparameter durch die maximale Wahrscheinlichkeit ausgewählt wird)

Wenn Sie Bayesianer sind (z. B. WinBUGS), gibt es keinen wirklichen Unterschied.

@Joke Ein Modell mit festen Effekten impliziert, dass die durch eine Studie (oder ein Experiment) erzeugte Effektgröße festgelegt ist, dh, dass Wiederholungsmessungen für eine Intervention dieselbe Effektgröße ergeben. Vermutlich ändern sich die externen und internen Bedingungen für das Experiment nicht. Wenn Sie eine Reihe von Versuchen und / oder Studien unter verschiedenen Bedingungen durchgeführt haben, haben Sie unterschiedliche Effektgrößen. Die parametrischen Schätzungen von Mittelwert und Varianz für eine Reihe von Effektgrößen können realisiert werden, indem entweder angenommen wird, dass es sich um Festeffekte handelt, oder dass es sich um Zufallseffekte handelt (realisiert aus einer Superpopulation). Ich denke, dass es eine Sache ist, die mit Hilfe der mathematischen Statistik gelöst werden kann.