Kann ich beim Test machen, wenn ich in einer Gruppe wenig bis gar keine Varianz habe?

Ich habe 4 Gruppen, die ich mit einem Kriterium vergleiche. In einer meiner Gruppen antworteten alle Teilnehmer bei jedem Punkt gleich, dh es gibt keine Abweichung.

Wie gehe ich in meiner ANOVA damit um?

Was halte ich davon, wenn ich es beim Test durchführe und es mit einem Kriterium vergleiche, da ich keinen Fehlerterm erhalte? Wenn ich einen Teilnehmer einbeziehe, von dem ich nicht sicher bin, ob ich ihn in meinen Schüler einbeziehe, ist die Varianz mit 1 von 37 Beobachtungen nicht völlig einheitlich, aber wenn ich sie durchführe, ist sie nicht signifikant, weil die Varianz zu gering ist.

Ich verstehe, dass ich rechnerisch nichts tun kann. Ich frage, wie man konzeptionell damit umgeht.

Wenn Sie davon ausgehen, dass die Varianzen für jede Gruppe gleich sind, können Sie eine gepoolte Varianzschätzung erhalten und damit t-Tests für paarweise Unterschiede erstellen. Dies wäre jedoch keine gute Annahme, wenn nicht alle Abweichungen gering wären und die Abweichung mit allen identischen Werten nur ein zufälliges Ereignis wäre. Wenn Sie dies nicht tun können, haben Sie keine Möglichkeit, die Varianz für diese eine Gruppe zu schätzen, und können keine Varianzanalyse oder einen t-Test durchführen, an dem diese Gruppe als eines der zu vergleichenden Paare beteiligt ist.

Hier sind einige Beobachtungen, die zu den vorhandenen Antworten hinzugefügt werden sollen. Ich denke, es ist wichtig, konzeptionell zu überlegen, warum Sie eine Gruppe mit null Varianz erhalten.

Boden- und Deckeneffekte

Nach meiner Erfahrung in der Psychologie kommt dieses Beispiel am häufigsten vor, wenn sich auf einer Skala ein Boden oder eine Decke befindet und einige Gruppen in der Mitte der Skala liegen und andere im Extremfall. Wenn Ihre abhängige Variable beispielsweise der Anteil der korrekten Elemente aus fünf Fragen ist, stellen Sie möglicherweise fest, dass Ihre "intelligente" Gruppe zu 100% korrekt ist oder dass Ihre "klinische Gruppe" zu 0% korrekt ist.

In diesem Fall:

• Möglicherweise möchten Sie auf ordinale nichtparametrische Tests zurückgreifen, wenn Sie in einer Ihrer Gruppen keine Varianz aufweisen.
• Obwohl es Ihnen nachträglich möglicherweise nicht weiterhilft, möchten Sie möglicherweise auch konzeptionell darüber nachdenken, ob eine andere Maßnahme ohne Boden- oder Deckeneffekte besser gewesen wäre. In einigen Fällen spielt es keine Rolle. Beispielsweise könnte der Zweck der Analyse darin bestanden haben, zu zeigen, dass eine Gruppe eine Aufgabe ausführen kann und eine andere nicht. In anderen Fällen möchten Sie möglicherweise individuelle Unterschiede in allen Gruppen modellieren. In diesem Fall benötigen Sie möglicherweise eine Skala, die nicht unter Boden- oder Deckeneffekten leidet.

Sehr kleine Gruppengröße

$n\lt5$

In diesem Fall sind Sie möglicherweise eher geneigt, den Mangel an Varianz dem Zufall zuzuschreiben und mit einem Standard-T-Test fortzufahren.

Vor ein paar Jahren hätte ich die Antwort von @Michael Chernick vollständig abonniert.

Ich habe jedoch kürzlich festgestellt, dass einige Implementierungen des t-Tests extrem robust gegenüber Ungleichheit von Varianzen sind. Insbesondere in R hat die Funktion t.testeinen Standardparameter var.equal=FALSE, was bedeutet, dass sie nicht einfach auf einer gepoolten Schätzung der Varianz beruht. Stattdessen werden die ungefähren Freiheitsgrade von Welch-Satterthwaite verwendet , die ungleiche Abweichungen ausgleichen.

Sehen wir uns ein Beispiel an.

set.seed(123)
x <- rnorm(100)
y <- rnorm(100, sd=0.00001)
# x and y have 0 mean, but very different variance.
t.test(x,y)
Welch Two Sample t-test

data:  x and y 
t = 0.9904, df = 99, p-value = 0.3244
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.09071549  0.27152946 
sample estimates:
    mean of x     mean of y 
 9.040591e-02 -1.075468e-06

Sie können sehen, dass R behauptet, den T-Test von Welch und nicht den T-Test von Student durchzuführen . Hier wird behauptet, dass der Freiheitsgrad 99 ist, obwohl jede Probe die Größe 100 hat, so dass hier die Funktion im Wesentlichen die erste Probe gegen den festen Wert 0 testet.

Sie können selbst überprüfen, ob diese Implementierung korrekte ( dh einheitliche) p-Werte für zwei Stichproben mit sehr unterschiedlichen Varianzen liefert.

Dies war nun für einen T-Test mit zwei Stichproben. Meine eigene Erfahrung mit ANOVA ist, dass es viel empfindlicher auf Ungleichheit von Varianzen reagiert. In diesem Fall stimme ich @Michael Chernick voll und ganz zu.

Unter bestimmten Umständen kann es möglich sein, eine Obergrenze für die Varianz für die Population zu berechnen und diese Varianz dann in einem T-Test mit ungleichen Varianzen zu verwenden.

Wenn Sie beispielsweise 10 zufällig ausgewählte Schüler in einer Schule mit 100 Schülern nach ihrem Lieblingstag im März gefragt haben und alle am 15. geantwortet haben, wissen Sie, dass die größte Abweichung, die Sie möglicherweise für die Schülerpopulation haben könnten, die Abweichung für 10 Werte ist von 15, 45 Werten von 1 und 45 Werten von 31, was 204,6364 ist.

Eine größere Varianz sollte das Erkennen eines Unterschieds erschweren, so dass ein t-Test unter Verwendung dieser Obergrenze für die Varianz beim Erkennen eines Unterschieds konservativ wäre. Das heißt, Sie wären sich eines signifikanten Unterschieds sicher, der sich aus einem t-Test unter Verwendung der oberen Grenze der Varianz ergibt. Wenn Sie jedoch keinen signifikanten Unterschied finden würden, würden Sie nicht viel wissen, da ein signifikanter Unterschied immer noch mit übereinstimmt einige der kleineren Abweichungen, die möglich sind.

Natürlich gibt es möglicherweise nicht viele Situationen, in denen Sie dies tatsächlich herausfinden können, aber es ist möglicherweise möglich.