Warum ist eine hochpositive Kurtosis für Hypothesentests problematisch?

Ich habe gehört (leider kann kein Link zu einem Text angegeben werden, was mir gesagt wurde), dass eine hohe positive Kurtosis von Residuen für genaue Hypothesentests und Konfidenzintervalle problematisch sein kann (und daher Probleme mit statistischen Schlussfolgerungen). Ist das wahr und wenn ja, warum? Würde eine hohe positive Kurtosis von Residuen nicht darauf hinweisen, dass sich die Mehrheit der Residuen in der Nähe des Residuenmittelwerts von 0 befindet und daher weniger große Residuen vorhanden sind? (Wenn Sie eine Antwort haben, versuchen Sie bitte, eine Antwort mit wenig detaillierter Mathematik zu geben, da ich mathematisch nicht sehr geneigt bin).

— DDK
quelle

Ich vermute, Sie konzentrieren sich auf Modelle mit idealen Bedingungen für normale (Gaußsche) Fehlerbedingungen. (In vielen anderen Zusammenhängen ist mit einer hohen Kurtosis von Residuen zu rechnen.) Bei einer hohen Kurtosis ist die Wahrscheinlichkeit am größten, dass die Verteilung fetter als normal ist, also einige sehr hohe (+ oder -) Residuen. Selbst wenn es viele in der Nähe von Null gibt, sind das nur die guten Nachrichten, und es sind die möglichen schlechten Nachrichten, die Aufmerksamkeit erfordern. Aber das wiederum könnte alles Mögliche bedeuten. Ein Residuum im Vergleich zu einer angepassten Parzelle ist in der Regel informativer.

— Nick Cox

In der Tat konzentrierte ich mich auf Modelle mit Normalitätsannahmen.

— DDK

Antworten:

gehört, [...] dass eine hohe positive Kurtosis von Residuen für genaue Hypothesentests und Konfidenzintervalle problematisch sein kann (und daher Probleme mit statistischer Inferenz). Ist das wahr und wenn ja, warum?

Für einige Arten von Hypothesentests ist es wahr.

Würde eine hohe positive Kurtosis von Residuen nicht darauf hinweisen, dass sich die Mehrheit der Residuen in der Nähe des Residuenmittelwerts von 0 befindet und daher weniger große Residuen vorhanden sind?

Nein.

Es sieht so aus, als würden Sie das Konzept der Varianz mit dem der Kurtosis in Einklang bringen. Wenn die Varianz kleiner wäre, würde eine Tendenz zu mehr kleinen Residuen und weniger großen Residuen zusammenkommen. Stellen Sie sich vor, wir halten die Standardabweichung konstant, während wir die Kurtosis ändern.

Vergleichen Sie verschiedene Varianzen (aber die gleiche Kurtosis):

mit unterschiedlicher Kurtosis aber gleicher Varianz:

(Bilder von diesem Beitrag )

Ein hoher Kurtosis ist in vielen Fällen mit mehr kleinen Abweichungen vom Mittelwert zugeordnet - mehr kleinen Residuen als mit einer normalen Verteilung finden würdest .. aber die Standardabweichung auf dem gleichen Wert zu halten, müssen wir auch mehr haben große Residuen (weil mehr kleine Residuen den typischen Abstand zum Mittelwert verringern würden). Um mehr von den großen und den kleinen Residuen zu erhalten, haben Sie weniger Residuen mit "typischer Größe" - solche, die ungefähr eine Standardabweichung vom Mittelwert entfernt sind. $^\ddagger$

$\ddagger$ es hängt davon ab, wie Sie "Kleinheit" definieren; man kann nicht einfach viele große Residuen hinzufügen und die Varianz konstant halten, man braucht etwas, um das zu kompensieren - aber für einigegegeben Maß von "klein" können Sie Wege finden, um die Kurtosis zu erhöhen, ohne dieses bestimmte Maß zu erhöhen. (Zum Beispiel impliziert eine höhere Kurtosis nicht automatisch einen höheren Peak als solchen.)

Eine höhere Kurtosis geht mit größeren Residuen einher, auch wenn Sie die Varianz konstant halten.

[Außerdem kann die Konzentration kleiner Residuen in einigen Fällen zu einem größeren Problem führen als der zusätzliche Anteil der größten Residuen - je nachdem, was Sie sich ansehen.]

Schauen wir uns ein Beispiel an. Betrachten Sie einen T-Test mit einer Stichprobe und eine Stichprobengröße von 10.

Wenn wir die Nullhypothese ablehnen, wenn der Absolutwert der t-Statistik größer als 2,262 ist, wenn die Beobachtungen unabhängig und identisch von einer Normalverteilung verteilt sind und der hypothetische Mittelwert der wahre Populationsmittelwert ist, lehnen wir den Nullwert ab Hypothese 5% der Zeit.

Betrachten Sie eine bestimmte Verteilung mit einer wesentlich höheren Kurtosis als die Normalverteilung: 75% unserer Bevölkerung beziehen ihre Werte aus einer Normalverteilung und die restlichen 25% beziehen ihre Werte aus einer Normalverteilung mit einer 50-mal so großen Standardabweichung.

Wenn ich richtig gerechnet habe, entspricht dies einer Kurtosis von 12 (eine überschüssige Kurtosis von 9). Die resultierende Verteilung ist viel höher als die normale und hat schwere Schwänze. Die Dichte wird mit der normalen Dichte unten verglichen - Sie können den höheren Peak sehen, aber Sie können den schwereren Schwanz im linken Bild nicht wirklich sehen, deshalb habe ich auch den Logarithmus der Dichten aufgezeichnet, der sich über den unteren Teil von erstreckt das Bild und komprimiert die Oberseite, wodurch es einfacher ist, sowohl die Spitze als auch die Schwänze zu sehen.

$n=10$

(Sie werden auch einen wesentlichen Effekt auf die Abdeckung der Konfidenzintervalle sehen.)

Beachten Sie, dass sich eine andere Verteilung mit derselben Kurtosis unterschiedlich auf das Signifikanzniveau auswirkt.

Warum sinkt die Ablehnungsrate? Dies liegt daran, dass der schwerere Schwanz zu einigen großen Ausreißern führt, was sich geringfügig stärker auf die Standardabweichung auswirkt als auf den Mittelwert. Dies wirkt sich auf die t-Statistik aus, da es zu mehr t-Werten zwischen -1 und 1 führt, wodurch der Anteil der Werte im kritischen Bereich verringert wird.

$H_0$

Lass mich dir zeigen. Hier ist ein Beispiel von Größe 10:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23

$H_0: \mu=2$

Machen Sie jetzt den größten Wert 50:

      1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50

Klar, wir ziehen den Mittelwert nach oben, also sollte er einen noch größeren Unterschied anzeigen als zuvor, oder? Nun, nein, das tut es nicht. Die t-Statistik geht zurück . Es ist jetzt 1.106 und der p-Wert ist ziemlich groß (nahe 30%). Was ist passiert? Nun, wir haben den Mittelwert hochgezogen (auf 7,257), aber die Standardabweichung ist über 15 gestiegen.

Standardabweichungen sind für Ausreißer etwas empfindlicher als für Mittelwerte. Wenn Sie einen Ausreißer eingeben, tendieren Sie dazu, die Ein-Stichproben-T-Statistik in Richtung 1 oder -1 zu verschieben.

Wenn die Wahrscheinlichkeit besteht, dass mehrere Ausreißer auftreten, geschieht dasselbe, nur dass sie manchmal auf entgegengesetzten Seiten liegen (in diesem Fall ist die Standardabweichung noch größer, während sich die Auswirkung auf den Mittelwert im Vergleich zu einem Ausreißer verringert), so die t-Statistik nähert sich tendenziell 0 an.

Ähnliches gilt für eine Reihe anderer gängiger Tests, bei denen von Normalität ausgegangen wird. Eine höhere Kurtosis ist in der Regel mit schwereren Schwänzen verbunden, was zu mehr Ausreißern führt. Dies bedeutet, dass die Standardabweichungen im Verhältnis zu den Mittelwerten zunehmen und die Unterschiede, die Sie aufgreifen möchten, tendenziell zunehmen durch den Einfluss der Ausreißer auf den Test "überflutet" zu werden. Das heißt, geringer Stromverbrauch.

— Glen_b - Setzen Sie Monica wieder ein
quelle

Wow, vielen Dank für die sehr klare und ausführliche Antwort. Ihre Zeit wird sehr geschätzt!

— DDK

Es ist auch erwähnenswert, dass, während die Verteilung des Stichprobenmittelwerts mit großer Stichprobe nicht von der Kurtosis abhängt (daher konvergiert das tatsächliche Signifikanzniveau von Tests, bei denen Normalität vorausgesetzt wird, für Mittelwerte auf das nominale Niveau, typischerweise 0,05, als n-> unendlich, für alle endlichen Kurtosis) gilt das gleiche nicht für Varianztests. Die Verteilung der geschätzten Varianz in großen Stichproben hängt von der Kurtosis ab, so dass das tatsächliche Signifikanzniveau klassischer, normalitätsannehmender Varianztests nicht gegen das nominale Niveau als n -> unendlich konvergiert, wenn sich die Kurtosis von Null unterscheidet.

— Peter Westfall

Höhere Kurtosis impliziert auch mathematisch nicht, dass es "kleinere Abweichungen vom Mittelwert" gibt. Das einzige, was es Ihnen mit Sicherheit sagt, ist, dass mehr im Schwanz ist.

— Peter Westfall

Sie können keine größeren Abweichungen erhalten und die Varianz konstant halten, es sei denn, Sie führen auch kleinere Abweichungen durch. Wenn Sie die Varianz nicht konstant halten, werden mehr Abweichungen von der neuen Skala kleiner. Ja, wenn es um Kurtosis geht, sagt Ihnen die Mathematik, dass mehr Großes mehr Kleines mit sich bringt.

— Glen_b

Z

$Z$

X

$X$

κ = E (Z^{4})

$\kappa=E(Z^4)$

\sqrt{κ - 1} = E (Z^{2})

$\sqrt{\kappa-1}=E(Z^2)$

κ

$\kappa$

Z

$Z$

Var (Z) = 1

$\text{Var}(Z)=1$

X

$X$

μ \pm k σ

$\mu\pm k\sigma$

k

$k$

X

$X$

X^{'}

$X'$

Z^{'}

$Z'$

Kurtosis misst Ausreißer. Ausreißer sind problematisch für die Standardinferenzen (z. B. t-Tests, t-Intervalle), die auf der Normalverteilung basieren. Das ist das Ende der Geschichte! Und es ist wirklich eine ziemlich einfache Geschichte.

Der Grund, warum diese Geschichte nicht sehr geschätzt wird, ist, dass der uralte Mythos, dass Kurtosis "Peakedness" misst, weiterhin besteht.

Hier ist eine einfache Erklärung, warum Kurtosis Ausreißer und nicht "Peakedness" misst.

Betrachten Sie den folgenden Datensatz.

0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1

Kurtosis ist der erwartete Wert der (z-Werte) ^ 4. Hier sind die (z-Werte) ^ 4:

6,51, 0,30, 5,33, 0,45, 0,00, 0,30, 6,51, 0,00, 0,45, 0,30, 0,00, 6,51, 0,00, 0,30, 0,00, 27,90, 0,00, 0,30, 0,45

Der Durchschnitt liegt bei 2,78, und das ist eine Schätzung der Kurtosis. (Subtrahieren Sie 3, wenn Sie übermäßige Kurtosis wünschen.)

Ersetzen Sie nun den letzten Datenwert durch 999, damit er zu einem Ausreißer wird:

0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Hier sind die (z-Werte) ^ 4:

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Der Durchschnitt liegt bei 18,05, und das ist eine Schätzung der Kurtosis. (Subtrahieren Sie 3, wenn Sie übermäßige Kurtosis wünschen.)

Es ist klar, dass nur die Ausreißer eine Rolle spielen. Nichts über den "Peak" oder die Daten in der Nähe der Mitte ist von Bedeutung.

Wenn Sie statistische Standardanalysen mit dem zweiten Datensatz durchführen, sollten Sie mit Problemen rechnen. Die große Kurtosis macht Sie auf das Problem aufmerksam.

Hier ist ein Papier, das ausgearbeitet wird:

Westfall, PH (2014). Kurtosis as Peakedness, 1905 - 2014. RIP The American Statistician, 68, 191–195.

— Peter Westfall
quelle

Warum nicht einfach nichtparametrische Tests verwenden? Für diese Art von Problemen sind sie wahrscheinlich überlegen.

— Carl

Einverstanden, das ist ein möglicher Weg, WENN Sie gerne testen, was in seiner klassischen Form immer weniger interessant wird. Aber das ist nicht wirklich mein Anliegen. Ich interessiere mich mehr für probabilistische Modellierung im Allgemeinen. Eine Anwendung: Vielleicht interessiert Sie der Mittelwert wirklich, z. B. in Fällen, in denen die abhängige Variable verdiente Dollars ist, ist der Prozessmittelwert interessanter als der Prozessmedian. Was bedeuten die Daten für den Prozess, wenn die Daten anfällig für Ausreißer sind? Es ist ein schwieriges Problem, aber ein wichtiges, und Moment Kurtosis ist für die Antwort relevant. Keine besonderen Tests.

— Peter Westfall

Für die Cauchy-Verteilung kann der getrimmte Mittelwert ein besseres Maß für die Position sein als der Median, und der gewöhnliche Mittelwert wäre kein Maß für die Position. Was als Maß für den Standort verwendet werden soll, hängt von der Verteilung ab. Ein Beispiel, für das Kurtosis als Indikator nicht hilfreich wäre, ist die gleichmäßige Verteilung, für die der durchschnittliche Extremwert ein besseres Maß für die Position ist als der Median und der Mittelwert.

— Carl

Nicht der Punkt. Wenn Sie sich für Summen interessieren, z. B. für US-Dollar, ist der gewöhnliche Mittelwert das Maß für den gewünschten Standort.

— Peter Westfall

Wenn Sie über eine verteilte Cauchy-Variable verfügen, können Sie die Summe der verdienten Dollars angeben. Der Mittelwert ist jedoch kein besonders nützliches Maß für die Position.

— Carl

-3

Kurtosis zeigt auch asymmetrische Schwänze an. Bei einem zweiseitigen Hypothesentest ist ein Schwanz ein langer Schwanz und der andere ein kurzer Schwanz. Einer der Schwänze kann> alpha, aber <beta sein. Ein Schwanz würde den p-Wert überschreiten, der andere nicht.

Grundsätzlich geht die statistische Inferenz von einer Standardnormalen aus. Wenn dies kein normaler Standard ist, können Sie mit einer Inferenz auskommen, die auf einer ausgefeilteren Inferenzmechanik basiert. Sie können möglicherweise auf Poisson schließen, aber mit einer Verteilung, die nicht normal ist, können Sie keine auf Normalen basierenden Schlüsse ziehen.

Schrägstellung und Kurtosis sind ein Maß für die Nichtnormalität. Wir lernen, Mittel zu nehmen und Normalverteilungen zu verwenden, bevor wir wissen, dass wir auf Normalität testen müssen. Für eine Norm sind 36 oder mehr Datenpunkte aus jeder Dimension erforderlich. Sie können auf 20 Datenpunkte schätzen, haben aber immer noch einen Versatz und eine Kurtosis. Wenn sich die Verteilung der Normalität nähert, verschwinden die Verzerrung und Verteilung.

Eine der Erklärungen definierte Kurtosis als Peakedness. Ein anderer tat es nicht. Dies ist ein ungeklärter Kampf zu diesem Zeitpunkt. Kurtosis ist der vierte Moment, ein Bereich. Ich bin auf dem Höhepunkt des Problems.

Eine andere Idee, die es gibt, ist, dass sich der Median mit einem Versatz zu dem Modus beugt, der ein Dreieck bildet. Genießen.

— David W. Locke
quelle

Es ist nicht klar, dass dies den bereits ausgezeichneten Antworten etwas Nützliches und Unterschiedliches hinzufügt. Es werden mehrere rätselhafte Aussagen hinzugefügt, z. B. "Normal erfordert 36 oder mehr Datenpunkte" (also 35 nicht in Ordnung? Was ist die Grundlage für diese Behauptung? "Schiefe als Spitzenwert" Ich glaube nicht, dass dies jemand behauptet. " normal normal ": nicht allgemein. Kurtosis ist der vierte Moment, ein Bereich: nein; Kurtosis wie hier definiert ist ein dimensionsloses Verhältnis, basierend auf dem vierten und zweiten Moment um den Mittelwert.

— Nick Cox

Der vierte Moment ist ein Integral, also ein Bereich. Wie dieser Bereich in Höhepunkte oder Krümmungen übersetzt wird, geht mir verloren.

— David W. Locke

Die typische Erklärung für Kurtosis ist Scheitel, aber das ist meiner Meinung nach falsch. Ich bearbeite meine ursprüngliche Antwort, um die Schiefe so zu ändern, dass die Schärfe "Kurtosis" lautet ... Danke.

— David W. Locke

Die Schwänze sind nicht symmetrisch. Ich habe noch nie etwas über statistische Inferenz gesehen, das asymmetische Schwänze berücksichtigt. Das Risiko einer Kurtose besteht darin, dass sich die Schwänze bewegen, wenn mehr Datenpunkte gesammelt werden. Bei Skew und Kurtosis geht es darum, nicht genügend Daten zu haben, um eine normale Norm zu erreichen.

— David W. Locke

Nicht so: Es gibt eine Vielzahl von Theorien und Anwendungen für Exponential-, Gamma-, Weibull- und viele andere Verteilungen, die nicht normal sind.

— Nick Cox