Der beste Weg, um zwei Histogramme auf den gleichen Maßstab zu bringen?

Nehmen wir an, ich habe zwei Verteilungen, die ich im Detail vergleichen möchte, dh auf eine Weise, die Form, Skalierung und Verschiebung leicht sichtbar macht. Eine gute Möglichkeit, dies zu tun, besteht darin, für jede Verteilung ein Histogramm zu zeichnen, sie auf die gleiche X-Skala zu setzen und untereinander zu stapeln.

Wie sollte dabei das Binning erfolgen? Sollten beide Histogramme die gleichen Bin-Grenzen verwenden, auch wenn eine Verteilung sehr viel stärker verteilt ist als die andere, wie in Abbildung 1 unten dargestellt? Sollte das Binning vor dem Zoomen für jedes Histogramm separat durchgeführt werden, wie in Abbildung 2 unten dargestellt? Gibt es überhaupt eine gute Faustregel?

Bild 1 Bild 2

— dsimcha
quelle

QQ-Diagramme sind weitaus bessere Werkzeuge für den prägnanten Vergleich empirischer Verteilungen. Durch ihre Verwendung wird das Binning-Problem insgesamt vermieden.

— whuber

@whuber: Zugegeben, wenn man nur eine sensible Visualisierung wollen , ob zwei Verteilungen sind unterschiedlich, aber das Histogramm Ansatz ist IMHO besser , wenn Sie einen detaillierten Einblick wollen in , wie sie sind anders.

— dsimcha

@dsimcha Meine Erfahrung war das Gegenteil. Das QQ-Diagramm zeigt deutlich (quantitativ) Unterschiede in Bezug auf Maßstab, Position und Form, insbesondere in Bezug auf die Dicke der Schwänze. (Versuchen Sie beispielsweise, zwei SDs direkt anhand der Histogramme zu vergleichen: Es ist unmöglich, wenn der Wert nahe beieinander liegt. Auf einem QQ-Diagramm müssen Sie nur die Steigungen vergleichen, was schnell und relativ genau ist.) Ein QQ-Diagramm ist in Bezug auf ein Histogramm schlechter als ein Histogramm Die Auswahl von Modi, aber kein Histogramm ist gut, bis eine anständige Menge von Daten gesammelt und eine gute Auswahl von Behältern getroffen wurde.

— whuber

Ich bin damit einverstanden, dass QQ-Diagramme die beste Lösung sind, obwohl sie das Bin-Problem nicht umgehen. Sie zwingen Sie lediglich dazu, die Bins an bestimmten Stellen zu platzieren (die Quantile :-). Dies impliziert jedoch, dass die Bins dies nicht tun sollte in der Tat nicht von den beiden Distributionen geteilt werden.

— Conjugateprior

@dsimcha, ich denke so etwas wie Alters- / Geschlechtsdiagramme könnten nützliche Bilder sein. Warum sollte man dafür Histogramme verwenden? Nur die Plotverteilung funktioniert direkt. Wenn Sie jedoch mit empirischen Dingen spielen, ist der QQ-Handlungsvorschlag die beste Wahl.

— Dmitrij Celov

Antworten:

Ich denke, Sie müssen die gleichen Behälter verwenden. Ansonsten spielt der Verstand Ihnen einen Streich. Normal (0,2) wirkt in Bild 2 im Vergleich zu Normal (0,1) stärker verteilt als in Bild 1. Mit Statistik nichts zu tun. Es sieht einfach so aus, als ob Normal (0,1) eine "Diät" gemacht hat.

-Ralph Winters

Mittelpunkt- und Histogramm-Endpunkte können auch die Wahrnehmung der Dispersion verändern. Beachten Sie, dass in diesem Applet eine maximale Behälterauswahl einen Bereich von> 1,5 - ~ 5 impliziert, während eine minimale Behälterauswahl einen Bereich von <1 -> 5,5 impliziert

http://www.stat.sc.edu/~west/javahtml/Histogram.html

— Ralph Winters
quelle

Können Sie diese Meinung theoretisch begründen?

— whuber

Nein, nur eine Meinung. Aber wenn ich Zeit hätte, würde ich meine Recherchen in der Welt der Einzelhandelsverpackungen (Wahrnehmung dünner Körper) beginnen und einen Teil der Arbeit von Tufte einbeziehen.

— Ralph Winters

@whuber: Es hängt hauptsächlich damit zusammen, wie unser Gehirn Informationen verarbeitet. Wenn es kleinere Fächer gibt, "verkleinert" unser Verstand auch die Grenzen der Kurve. Versuchen Sie, die Größe der Behälter in Abb. # 2 um zu sehen was ich meine.

— nico

@nico Ja, die Frage enthält ein Wahrnehmungselement. Im Vordergrund steht jedoch das statistische Problem, da es einen viel größeren Einfluss hat: kleinere Bins ==> größere Probenvariabilität in den Bins ==> mehr "zerlumpte" Histogramme ==> größere Schwierigkeit im Vergleich. Daher sollte, IMO, jede lohnende Antwort (zumindest) die statistische Theorie unterstützen .

— whuber

@whuber: Ich bezog mich auf die Tatsache, dass die Verteilung in den beiden Bildern unterschiedlich verteilt aussieht . Natürlich hat das Aussehen nichts damit zu tun, wie sehr sie wirklich verstreut sind.

— Nico

Ein anderer Ansatz wäre, die verschiedenen Verteilungen auf dem gleichen Plot zu zeichnen und so etwas wie den alphaParameter in ggplot2zu verwenden, um die Überdruckprobleme zu beheben. Die Nützlichkeit dieser Methode hängt von den Unterschieden oder Ähnlichkeiten in Ihrer Verteilung ab, da sie mit denselben Behältern gezeichnet werden. Eine andere Alternative wäre, geglättete Dichtekurven für jede Verteilung anzuzeigen. Hier ist ein Beispiel für diese Optionen und die anderen Optionen, die im Thread erläutert werden:

library(ggplot2)

df <- melt(
    data.frame( 
        x = rnorm(1000)
        , y = rnorm(1000, 0, 2)
    )
)


ggplot(data = df) + 
#   geom_bar(aes(x = value, fill = variable), alpha = 1/2)
#   geom_bar(aes(x = value)) + facet_grid(variable ~ .)
#   geom_density(aes(x = value, colour = variable))
#   stat_qq(aes(sample = value, colour = variable))

— Verfolgungsjagd
quelle

Drängt sich die Frage nicht einfach auf die Frage nach der Auswahl geeigneter Kernelbreiten und ob (und wie) man zwei Glättungen mit unterschiedlichen Kernelbreiten vergleichen kann?

— whuber

@whuber - gültiger Punkt. Ich wollte nicht vorschlagen, dass Dichtekurven die beste Methode sind, einfach andere Alternativen anzubieten. Aus diesem Beitrag geht hervor, dass es Vor- und Nachteile für jeden Ansatz gibt. Deshalb wurde dies als eine weitere praktikable Alternative für den Mix angeboten.

— Chase

Vor diesem Hintergrund stimme ich Ihrer Antwort +1 zu.

— whuber

Es geht also darum, die gleiche Behältergröße oder die gleiche Anzahl von Behältern beizubehalten? Ich sehe Argumente für beide Seiten. Eine Problemumgehung wäre, zuerst die Werte zu standardisieren . Dann könnte man beides pflegen.

— xan
quelle

Das würde funktionieren, wenn die beiden Stichprobengrößen ähnlich sind. Wenn sie sich jedoch unterscheiden, kann die gemeinsame Behältergröße (auch in standardisierten Einheiten) für das eine oder andere Histogramm geeignet sein, jedoch nicht für beide. Wie würden Sie mit diesem Fall umgehen?

— whuber

Vielleicht denken wir über verschiedene Bedeutungen von Standardisierung nach. Ich meinte die, mit der ich verbunden war, wo zum Beispiel, wenn eine Population einen stdev von 5 und die andere einen stdev von 10 hat, nach der Standardisierung beide einen stdev von 1 hätten. Sie könnten dann fairer mit dem gleichen verglichen werden Fachgröße, da jedes Fach eine vergleichbare Menge an Pixeln und Daten aufweist. Oder vielleicht waren Sie bei dem größeren Problem bekommen , dass „geeignete Binabmessung“ ist ein bisschen eine schwarze Kunst und einzigartig für jeden Datensatz ...

— xan

Wir haben die gleiche Bedeutung von "standardisieren". Die Auswahl einer Behältergröße erfordert Urteilsvermögen und Kenntnis des Kontexts, aber es ist eine Strecke, um sie als "schwarze Kunst" zu charakterisieren: siehe z. B. stats.stackexchange.com/q/798/919 .

— whuber