Post-hocs für fächerübergreifende Tests?

20

Was ist die bevorzugte Methode für die Durchführung von Post-Hocs innerhalb von Probandentests? Ich habe veröffentlichte Arbeiten gesehen, in denen Tukeys HSD eingesetzt wird, aber eine Überprüfung von Keppel und Maxwell & Delaney legt nahe, dass die wahrscheinliche Verletzung der Sphärizität in diesen Entwürfen den Fehlerbegriff falsch und diesen Ansatz problematisch macht. Maxwell & Delaney geben in ihrem Buch einen Ansatz für das Problem an, aber ich habe es in keinem Statistikpaket so gesehen. Ist der von ihnen angebotene Ansatz angemessen? Wäre eine Bonferroni- oder Sidak-Korrektur bei mehreren gepaarten Stichproben-t-Tests sinnvoll? Eine akzeptable Antwort liefert einen allgemeinen R-Code, der Post-Hocs für einfache, mehrfache und gemischte Designs, wie sie von der ezANOVAFunktion in dem ezPaket erzeugt werden, und geeignete Zitate, die wahrscheinlich mit den Prüfern übereinstimmen, durchführen kann .

— russellpierce
quelle

1

Dieser Artikel von David Howell erklärt die Probleme und verschiedene Lösungen.

— Harvey Motulsky

Wenn Sie die Antwort mit dem multcomp-Paket akzeptiert haben, können Sie kurz erläutern, wie Sie multcomp letztendlich verwendet haben. Verwenden Sie es mit der lmeoder lmerFunktion oder mit einigen herkömmlichen Methoden wie t-Test oder ANOVA (wie ich gerade versucht , es mit ANOVAs zu verwenden).

— Henrik

Ich habe die Multicomp-Antwort in erster Linie akzeptiert, weil ich mit den p-Wert-Anpassungstechniken, die die Community als "richtige" Antwort ausgewählt hat, völlig unzufrieden bin. Ich warf einen Blick darauf und es schien vielversprechend, aber ich habe nicht weiter nachgeforscht. Ich würde gerne mehr darüber erfahren, was Sie versuchen und was Sie herausfinden.

— Russellpierce

Ich habe eine Möglichkeit gefunden, eine ANOVA mit wiederholten Messungen zu spezifizieren lme, siehe die Kommentare zu der akzeptierten Antwort: stats.stackexchange.com/q/14088/442 Mit einem Klassenobjekt können lmeSie multcompfür subjektinterne Effekte verwenden. Es bietet verschiedene Arten der Alpha-Fehleranpassung, aber meistens solche, die Sie nicht besonders mögen (wie die, die ich vorgeschlagen habe und die von der Community als "richtig" eingestuft wurde). Neben der Vignette gibt es auch ein Buch multcomp, das alle Methoden erklärt. Wenn Sie Post-Hocs ohne Anpassung wünschen , verwenden Sie entweder fit.contrastfrom gmodeloder das neue contrastPaket.

— Henrik

Sind Sie noch an einer Lösung für die ezANOVAFunktion interessiert ? Wenn ja, denke ich, kann ich dieses Q beantworten, aber das A würde sich auf Tests für univariate Modelle stützen, für die die Sphärizität eine kritische Annahme ist. Wenn Sie nicht möchten, dass das A auf die ANOVA-Berechnungen des ezPakets beschränkt ist, könnte ich ein A angeben, das multivariate Modelle für die Post-hoc-Tests verwendet.

— statmerkur

7

Schauen Sie sich das Multicomp-Paket und seine Vignette Simultaneous Inference in General Parametric Models an . Ich denke, es sollte tun, was nicht und die Vignette hat sehr gute Beispiele und umfangreiche Referenzen.

— Matti Pastell
quelle

21

Ich schreibe gerade eine Arbeit, in der ich die Freude habe, sowohl zwischen als auch innerhalb von Fächern Vergleiche anzustellen. Nach einer Diskussion mit meinem Vorgesetzten beschlossen wir, t- Tests durchzuführen und das ziemlich einfache Holm-Bonferroni method( Wikipedia ) zur Korrektur der Alpha-Fehler-Kumulation zu verwenden. Es regelt die familiäre Fehlerrate, hat jedoch eine höhere Leistung als das gewöhnliche Bonferroni-Verfahren. Verfahren:

Sie führen die t- Tests für alle Vergleiche durch, die Sie durchführen möchten.
Sie ordnen die p- Werte nach ihrem Wert.
Sie testen den kleinsten p- Wert gegen alpha / k , den zweitkleinsten gegen alpha / ( k - 1) usw., bis sich herausstellt, dass der erste Test in dieser Testsequenz nicht signifikant ist.

Zitieren Sie Holm (1979), der über den Link auf Wikipedia heruntergeladen werden kann .

— Henrik
quelle

1

Vielleicht eine ANOVA vor mehreren Tests?

— stan

2

Ich denke, das wurde durch die Antwort impliziert. Sie führen die Post-hoc-Tests nach der signifikanten ANOVA durch.

— Henrik

2

@ Henrik: Ich hoffe, dass ich hier kein totes Pferd besiege ... indem ich auf einem alten Post poste. Ich habe also eine Frage zur Art und Weise, wie Sie die T-Tests durchgeführt haben. Haben Sie die gepoolte Varianz (aus der ANOVA) verwendet oder einfach unabhängige paarweise t-Tests durchgeführt? Ich frage dies, weil ich versucht pairwise.t.test()habe, paarweise Vergleiche mit der Bonferroni- oder der Holm-Bonf-Methode durchzuführen. Die Ergebnisse unterscheiden sich jedoch drastisch, je nachdem, ob ich die gepoolte SD verwende oder jeden Vergleich als separates, unabhängiges t behandle -Prüfung. Vielen Dank!

— Alex

2

@Alex: Die Verwendung eines "geschützten" Ansatzes, bei dem die t-Tests nur nach einer signifikanten ANOVA durchgeführt werden, impliziert die Verwendung des zusammengefassten Fehlerausdrucks. Da dies jedoch keine Option ist, die häufig von Statistiksoftware angeboten wird, wird dies in der Regel nicht durchgeführt. Darüber hinaus ist es zunächst fraglich, inwieweit die Sphärizität verletzt wird.

— Russellpierce

5

Ich erinnere mich an einige Diskussionen in der Vergangenheit. Mir ist keine Implementierung des Ansatzes von Maxwell & Delaney bekannt, obwohl dies nicht allzu schwierig sein sollte. Schauen Sie sich " Repeated Measures ANOVA using R " an, das auch eine Methode zur Behebung des Sphärizitätsproblems in Tukeys HSD zeigt .

Sie könnten auch diese Beschreibung von Friedmans Test von Interesse finden.

— Shane
quelle

Danke, ich denke der Friedman-Test ist interessant, aber ich kann nicht genau herausfinden, wie diese Korrektur für den Typ I-Fehler im Post-Hoc-Modus durchgeführt wird. Die Kommentare besagen, dass es sich um einen "Wilcoxon-Nemenyi-McDonald-Thompson-Test" handelt, aber davon habe ich noch nie gehört. Können Sie das erklären?

— Russellpierce

@ Shane Der erste Link ist tot :-(

— Adam Ryczkowski

2

Es gibt ZWEI Optionen für die inferentiellen F-Tests in SPSS. Multivariate nimmt KEINE Sphärizität an, und verwendet daher für jedes Variablenpaar eine andere paarweise Korrelation. Die "Tests der Effekte innerhalb der Probanden", einschließlich aller Post-Hoc-Tests, setzen Sphärizität voraus und nehmen einige Korrekturen vor, um eine gemeinsame Korrelation über alle Tests hinweg zu verwenden. Diese Verfahren sind ein Erbe der Zeit, als die Berechnung teuer war, und sind mit modernen Computereinrichtungen eine Zeitverschwendung.

Meine Empfehlung ist, für alle wiederholten Maßnahmen den Omnibus MULTIVARIATE F zu verwenden. Anschließend wird ein paarweiser post-hoc-t-Test oder eine ANOVA mit nur 2 Pegeln bei jedem wiederholten Messvergleich durchgeführt, wenn auch zwischen den Subjektfaktoren Unterschiede bestehen. Ich würde die einfache Bon-Ferroni-Korrektur durchführen, indem ich den Alpha-Level durch die Anzahl der Tests dividiere.

Achten Sie auch auf die Effektgröße [verfügbar im Optionsdialog]. Große Effektgrößen, die "nahe" an der Signifikanz liegen, verdienen möglicherweise mehr Aufmerksamkeit (und zukünftige Experimente) als kleine, aber signifikante Effekte.

Ein differenzierterer Ansatz ist in SPSS Procedure MIXED und auch in weniger benutzerfreundlichen [aber kostenlosen] Paketen wie R verfügbar.

Zusammenfassung: In SPSSS sollte multivariates F gefolgt von paarweisen Post-Hocs mit Bon Ferroni und Bonferroni für die meisten Anforderungen ausreichen.

0

Ich werde die R-Funktion qtukey (1-alpha, bedeutet, df) verwenden, um familienbezogene CIs zu erstellen.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

$S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

$MS_{Error}$ ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
quelle