Unterschied zwischen Cohens d und Hedges 'g für Effektgrößenmetriken

19

Bei einer Analyse der Effektgröße stelle ich fest, dass es Unterschiede zwischen Cohens d, Hedges 'g und Hedges' g * gibt.

Sind diese drei Metriken normalerweise sehr ähnlich?
Was wäre ein Fall, in dem sie unterschiedliche Ergebnisse liefern würden?
Ist es auch eine Frage der Präferenz, die ich benutze oder mit der ich berichte?

effect-size cohens-d

— Elpezmuerto
quelle

1

Falls es für einen potenziellen Beantworter nützlich ist, finden Sie die Formeln hier: en.wikipedia.org/wiki/Effect_size

— Jeromy Anglim

Eine Simulation in R mit variierenden n1, n2, s1, s2 und Populationsunterschieden wäre eine gute Übung. Jemand?

— Jeromy Anglim

1

Dieses Material wird auch hier behandelt: Was ist der Unterschied zwischen Hedges 'g und Cohen's d .

— gung - Wiedereinsetzung von Monica

18

Die g-Pool-Varianzen von Cohen und Hedges unter der Annahme gleicher Populations-Varianzen, aber g-Pools, die n - 1 für jede Stichprobe anstelle von n verwenden, liefern eine bessere Schätzung, insbesondere je kleiner die Stichprobengrößen sind. Sowohl d als auch g sind etwas positiv vorgespannt, aber nur vernachlässigbar für moderate oder größere Stichprobengrößen. Die Vorspannung wird mit g * reduziert. Das d von Glass geht nicht von gleichen Varianzen aus, weshalb es das sd einer Kontrollgruppe oder Basislinien-Vergleichsgruppe als Standardisierer für die Differenz zwischen den beiden Mitteln verwendet.

Diese Effektgrößen sowie Cliff's und andere nichtparametrische Effektgrößen werden in meinem Buch ausführlich besprochen:

Grissom, RJ & Kim, J, J. (2005). Effektgrößen für die Forschung: Ein breiter praktischer Ansatz. Mahwah, NJ: Erlbaum.

— Robert J. Grissom
quelle

8

Nach meinem Verständnis ist Hedges 'g eine etwas genauere Version von Cohens d (mit gepoolter SD), indem wir einen Korrekturfaktor für eine kleine Stichprobe hinzufügen. Beide Maßnahmen stimmen im Allgemeinen überein, wenn die Annahme der Homoskedastizität nicht verletzt wird, es kann jedoch vorkommen, dass Situationen auftreten, in denen dies nicht der Fall ist, siehe z. B. McGrath & Meyer, Psychological Methods 2006, 11 (4) : 386-401 ( pdf ). Andere Papiere sind am Ende meiner Antwort aufgeführt.

Im Allgemeinen stellte ich fest, dass in fast allen psychologischen oder biomedizinischen Studien das Cohen's d berichtet wird; Dies beruht wahrscheinlich auf der bekannten Faustregel für die Interpretation der Größenordnung (Cohen, 1988). Ich kenne keine aktuelle Veröffentlichung, die Hedges 'g (oder Cliff Delta als nicht parametrische Alternative) in Betracht zieht. Bruce Thompson hat eine überarbeitete Version des APA-Abschnitts zur Effektgröße.

Googeln über Monte Carlo Studien um Maßnahmen Wirkung Größe, fand ich dieses Papier , das interessant sein könnte (ich lese nur den abstrakten und den Simulationsaufbau): Robust Konfidenzintervalle für Effektgrößen: Eine vergleichende Studie von Cohens d und Cliff Delta unter Nicht-Normalität und heterogene Varianzen (pdf).

In Bezug auf Ihren zweiten Kommentar enthält das MBESSR-Paket verschiedene Dienstprogramme für die ES-Berechnung (z. B. smdund zugehörige Funktionen).

Weitere Referenzen

Zakzanis, KK (2001). Statistiken, die die Wahrheit, die ganze Wahrheit und nichts als die Wahrheit sagen: Formeln, veranschaulichende numerische Beispiele und heuristische Interpretation von Effektgrößenanalysen für neuropsychologische Forscher. Archives of Clinical Neuropsychology , 16 (7), 653-667. ( pdf )
Durlak, JA (2009). Auswählen, Berechnen und Interpretieren von Effektgrößen. Zeitschrift für Kinderpsychologie ( pdf )

— chl
quelle

2

Ein anonymer Benutzer wollte die folgende Definition der Homoskedastizität für diejenigen hinzufügen, die mit dem Begriff möglicherweise nicht vertraut sind: "eine Eigenschaft einer Menge von Zufallsvariablen, bei der jede Variable dieselbe endliche Varianz aufweist".

— gung - Wiedereinsetzung von Monica

5

Es scheint, als ob die Leute, wenn sie Cohen's d sagen, meistens meinen:

d = \frac{{\bar{x}}_{1} - {\bar{x}}_{2}}{s}

$d = \frac{\bar{x}_1 - \bar{x}_2}{s}$

$s$

s = \sqrt{\frac{\sum (x_{1} - {\bar{x}}_{1})^{2} + (x_{2} - {\bar{x}}_{2})^{2}}{n_{1} + n_{2} - 2}}

$s = \sqrt{\frac{\sum(x_1 - \bar{x}_1)^2 + (x_2 - \bar{x}_2)^2}{n_1 + n_2 - 2}}$

Es gibt andere Schätzer für die gepoolte Standardabweichung, von denen die wahrscheinlich am häufigsten vorkommen:

s^{*} = \sqrt{\frac{\sum (x_{1} - {\bar{x}}_{1})^{2} + (x_{2} - {\bar{x}}_{2})^{2}}{n_{1} + n_{2}}}

$s^* = \sqrt{\frac{\sum(x_1 - \bar{x}_1)^2 + (x_2 - \bar{x}_2)^2}{n_1 + n_2}}$

$s^*$ $n_1 + n_2$ $d$ $g$ $s$ $s$

In anderen Fällen ist Hedge's g vorbehalten, sich auf eine der vorurteilskorrigierten Versionen einer von Hedges entwickelten standardisierten mittleren Differenz zu beziehen. Hedges (1981) zeigte, dass Cohens d nach oben verzerrt war (dh sein erwarteter Wert ist höher als der wahre Populationsparameterwert), insbesondere in kleinen Stichproben, und schlug einen Korrekturfaktor vor, um die Verzerrung von Cohens d zu korrigieren:

Hedges's g (der unvoreingenommene Schätzer):

g = d * (\frac{Γ (d f / 2)}{\sqrt{d f / 2} Γ ((d f - 1) / 2)})

$g = d * (\frac{\Gamma(df/2)}{\sqrt{df/2 \,}\,\Gamma((df-1)/2)})$

d f = n_{1} + n_{2} - 2

$df = n_1 + n_2 -2$

Γ

$\Gamma$

Da dieser Korrekturfaktor jedoch recht rechenintensiv ist, lieferte Hedges auch eine rechnerisch triviale Näherung, die zwar immer noch leicht verzerrt ist, aber für fast alle denkbaren Zwecke in Ordnung ist:

$g^*$

g^{*} = d * (1 - \frac{3}{4 (d f) - 1})

$g^* = d*(1 - \frac{3}{4(df) - 1})$

d f = n_{1} + n_{2} - 2

$df = n_1 + n_2 -2$

(Ursprünglich von Hedges, 1981, diese Version von Borenstein, Hedges, Higgins & Rothstein, 2011, S. 27)

$g^*$ $g^*$

$n > 20$

Verweise:

M. Borenstein, LV Hedges, JP Higgins & HR Rothstein (2011). Einführung in die Metaanalyse. West Sussex, Großbritannien: John Wiley & Sons.

Cohen, J. (1977). Statistische Leistungsanalyse für die Verhaltenswissenschaften (2. Aufl.). Hillsdale, NJ, USA: Lawrence Erlbaum Associates, Inc.

Hedges, LV (1981). Verteilungstheorie für Glass 'Schätzer der Effektgröße und verwandte Schätzer. Journal of Educational Statistics, 6 (2), 107-128. doi: 10.3102 / 10769986006002107

Hedges LV, Olkin I. (1985). Statistische Methoden zur Metaanalyse. San Diego, CA: Akademische Presse

— FelixST
quelle

3

Wenn Sie nur versuchen, die grundlegende Bedeutung von Hedges 'g zu verstehen, wie ich es bin, könnte dies ebenfalls hilfreich sein:

Die Größe von Hedges 'g kann unter Verwendung der Cohen-Konvention (1988 [2]) als klein (0,2), mittel (0,5) und groß (0,8) interpretiert werden. [1]

Ihre Definition ist kurz und klar:

Hedges 'g ist eine Variation von Cohen's d, die Verzerrungen aufgrund kleiner Stichprobengrößen korrigiert (Hedges & Olkin, 1985). [1] Fußnote

Ich würde es begrüßen, wenn Statistikexperten dies bearbeiten, um der kleinen (0,2) mittleren (0,5) und großen (0,8) Behauptung wichtige Vorbehalte hinzuzufügen und so zu verhindern, dass Experten die in der sozialwissenschaftlichen und psychologischen Forschung verwendeten Hedges-g-Zahlen falsch interpretieren.

[1] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2848393/ Die Wirkung von Achtsamkeitstherapie auf Angst und Depression: Eine metaanalytische Übersicht Stefan G. Hofmann, Alice T. Sawyer, Ashley A. Witt und Diana Oh. J Wenden Sie sich an Clin Psychol. 2010 April; 78 (2): 169–183. doi: 10.1037 / a0018555

[2] Cohen J. Statistische Potenzanalyse für die Verhaltenswissenschaften. 2nd ed. Erlbaum; Hillsdale, NJ: 1988 (zitiert in [1])

— Joshoff
quelle

4

+1. Betreff: klein-mittel-groß. Wenn Sie im ersten Durchgang über keinerlei relevante Kenntnisse oder Zusammenhänge verfügen, sind diese "T-Shirt-Größen" in Ordnung. In Wirklichkeit variiert der kleine oder große Effekt jedoch je nach Disziplin oder Thema . Nur weil ein Effekt "groß" ist, bedeutet dies nicht unbedingt, dass er praktisch wichtig oder theoretisch sinnvoll ist.

— gung - Wiedereinsetzung von Monica

1

Die anderen Plakate befassten sich mit Ähnlichkeiten und Unterschieden zwischen g und d. Einige Wissenschaftler sind der Meinung, dass die von Cohen angebotenen Werte für die Effektgröße viel zu großzügig sind, was zu einer Überinterpretation von schwachen Effekten führt. Sie sind auch nicht daran gebunden, zu der Möglichkeit zu führen, dass Gelehrte hin und her konvertieren, um besser interpretierbare Effektgrößen zu erhalten. Ferguson (2009, Professional Psychology: Research and PRactice) schlug vor, die folgenden Werte für die Interpretation von g zu verwenden:

.41, als empfohlenes Minimum für "praktische Bedeutung". 1,15, mäßiger Effekt 2,70, starker Effekt

Diese sind offensichtlich strenger / schwieriger zu erreichen und nicht viele sozialwissenschaftliche Experimente werden starke Auswirkungen haben ... so sollte es wahrscheinlich sein.

— Zeitreise
quelle

0

Bruce Thompson warnte davor, Cohens (0.2) als klein (0.5) als mittel und (0.8) als groß zu verwenden. Cohen wollte niemals, dass diese als starre Interpretationen verwendet werden. Alle Effektgrößen sind nach dem Kontext der einschlägigen Literatur zu interpretieren. Wenn Sie die zu Ihrem Thema angegebenen verwandten Effektgrößen analysieren und diese (0,1) (0,3) (0,24) betragen und Sie einen Effekt von (0,4) erzielen, ist dieser möglicherweise "groß". Wenn umgekehrt die gesamte verwandte Literatur Effekte von (0,5) (0,6) (0,7) aufweist und Sie den Effekt von (0,4) haben, kann dies als gering angesehen werden. Ich weiß, dass dies ein triviales Beispiel ist, aber es ist unbedingt wichtig. Ich glaube, Thompson hat einmal in einem Artikel festgestellt: "Wir wären bloß in einer anderen Metrik dumm", wenn er Interpretationen von Effektgrößen mit der Interpretation von p-Werten durch Sozialwissenschaftler zu dieser Zeit vergleicht.

— user136666
quelle