Berechnung des 95. Perzentils: Vergleich von Normalverteilungs-, R-Quantil- und Excel-Ansätzen

Ich habe versucht, das 95. Perzentil für den folgenden Datensatz zu berechnen. Ich bin auf ein paar Online-Referenzen gestoßen.

Ansatz 1: Basierend auf Beispieldaten

Das erste fordert mich auf, das TOP 95 Percentdes Datensatzes zu erhalten und dann das MINoder AVGder Ergebnismenge zu wählen . Wenn ich dies für den folgenden Datensatz tue, erhalte ich:

AVG: 29162
MIN: 0

Ansatz 2: Normalverteilung annehmen

Das zweite besagt, dass das 95. Perzentil ungefähr zwei Standardabweichungen über dem Mittelwert (den ich verstehe) liegt und ich durchgeführt habe:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

Ansatz 3: R-Quantil

Ich habe Rdas 95. Perzentil erhalten:

> quantile(data$V1, 0.95)
79515.2

Ansatz 4: Ansatz von Excel

Schließlich bin ich auf diese gestoßen, die erklärt, wie Excel das macht. Die Zusammenfassung der Methode lautet wie folgt:

Gehen Sie bei einer Reihe Ngeordneter Werte {v[1], v[2], ...}und einer Anforderung zur Berechnung des pthPerzentils wie folgt vor:

Berechnung l = p(N-1) + 1
Teilen Sie lin ganzzahlige und dezimale Komponenten dhl = k + d
Berechnen Sie den gewünschten Wert als V = v[k] + d(v[k+1] - v[k])

Diese Methode gibt mir 79515.2

Keiner der Werte stimmt überein, obwohl ich vertraue, dass der Wert von R der richtige ist (ich habe ihn auch im ecdf-Diagramm beobachtet). Mein Ziel ist es, das 95. Perzentil manuell (nur unter Verwendung von AVGund STDEVFunktionen) aus einem bestimmten Datensatz zu berechnen, und ich bin mir nicht sicher, was hier vor sich geht. Kann mir bitte jemand sagen, wo ich falsch liege?

r dataset quantiles sql

— Legende
quelle

Ihr erster Ansatz muss umgeschrieben werden: In diesem Fall könnten "die oberen 5% der Werte nehmen und das Minimum von ihnen finden", in diesem Fall 79586, oder "die unteren 95% nehmen und das Maximum von ihnen finden" 79535.

— Henry

Antworten:

Der erste Ansatz ist völlig falsch und hat meiner Meinung nach nichts mit dem 95. Perzentil zu tun.

Der zweite Ansatz basiert anscheinend auf der Annahme, dass die Daten normal verteilt sind, sie sollten jedoch etwa 1,645 Standardabweichungen über dem Mittelwert und nicht 2 Standardabweichungen liegen, und es sieht so aus, als hätten Sie dies erkannt. Dies ist eine schlechte Methode, wenn die Daten nicht normal verteilt sind.

Wenn Sie das 95. Perzentil selbst berechnen möchten, ordnen Sie die Zahlen vom kleinsten zum größten und suchen Sie einen Wert, bei dem 95% der Daten unter diesem Wert liegen. R verwendet wahrscheinlich eine Art Interpolation zwischen Datenpunkten. Eine einfache Annäherung könnte sein sort(data$V1)[0.95*length(data$V1)].

Bearbeitet nach Kommentar von @Macro.

— mark999
quelle

Ihre Lösung data$V1muss vorsortiert werden. Allgemeiner sort(data$V1)[.95*length(data$V1)]wäre die Annäherung, die Sie wollen. Wenn .95*length(data$V1)es sich jedoch nicht um eine Ganzzahl handelt, wird beim Indizieren lediglich auf die nächste Ganzzahl abgerundet sort(data$V1), sodass diese Näherung in diesem Fall immer unterschätzt wird.

— Makro

Vielen Dank für Ihren Kommentar. Ich wusste um die Unterschätzung, weshalb ich es eine einfache Annäherung nannte, aber ich vergaß, die Sortierung einzuschließen. Ich werde die Antwort bearbeiten.

— mark999

Hier sind ein paar Punkte, um die Antwort von @ mark999 zu ergänzen.

Wikipedia hat einen Artikel über Perzentile, in dem festgestellt wird, dass keine Standarddefinition eines Perzentils existiert. Es werden jedoch mehrere Formeln diskutiert.
Crawford, J .; Garthwaite, P. & Slick, D. Über Perzentilnormen in der Neuropsychologie: Vorgeschlagene Berichtsstandards und Methoden zur Quantifizierung der Unsicherheit über die Perzentilreihen der Testergebnisse Der klinische Neuropsychologe, Psychology Press, 2009, 23, 1173-1195 ( KOSTENLOSES PDF ) Berechnung von Perzentilen im psychologischen Normierungskontext.

Das Folgende untersucht einige Dinge in R:

Holen Sie sich Daten und untersuchen Sie die R-Quantil-Funktion

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) zeigt, dass R neun verschiedene Quantilschätzungsalgorithmen hat.
Die andere Ausgabe zeigt den geschätzten Wert für die 9 Algorithmen und den Anteil der Daten, der kleiner oder gleich dem geschätzten Wert ist (dh alle Werte liegen nahe bei 95%).

Vergleiche mit der Annahme einer Normalverteilung

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

Ein sehr unterschiedlicher Wert wird für das 95. Perzentil einer Normalverteilung basierend auf dem Stichprobenmittelwert und der Standardabweichung geschätzt.
Der geschätzte Wert liegt um das 84. Perzentil der Probendaten.
Die folgende Grafik zeigt, dass die Daten eindeutig nicht normal verteilt sind und Schätzungen, die auf der Annahme von Normalität basieren, daher in weiter Ferne liegen werden.

Handlung (Dichte (x))

Bildbeschreibung hier eingeben

— Jeromy Anglim
quelle

hat eine sehr nette Antwort geliefert. Ich möchte nur hinzufügen, dass die Unterschiede zwischen den 9 Schätzungen meines Erachtens in den meisten Fällen so gering sind, dass sie nur eine geringe Rolle spielen.

— Peter Flom - Reinstate Monica

Der Wikipedia-Artikel zu Quantilen ist besser als der zu Perzentilen

— Henry

Hier stimmt etwas nicht, da R Zahlen zwischen 75500 und 75600 angeben sollte. Sind einige der 1345 Werte verloren gegangen?

— Henry

@Henry danke dafür. In meinem Versuch, die Anzahl der Zeilen zu minimieren, die für die Eingabe in der Frage angezeigt werden, habe ich den Befehl c (...) nur auf einige Zeilen angewendet. Aus diesem Grund bin ich auf eine Art Begrenzung der Befehlszeilenlänge gestoßen, die einige der Daten abgeschnitten hat. Ich hatte dieses Problem noch nie gesehen, weil ich normalerweise solche Daten in einer separaten Datei hätte. Ich habe mein Skript und die Ausgabe so aktualisiert, dass der Befehl c (...) jetzt 120 Zeilen umfasst. siehe gist gist.github.com/1102127

— Jeromy Anglim

+1 Vielen Dank für die zusätzlichen Informationen. Gerade als du das gepostet hast, habe ich aus Neugier die Verteilung mit einem QQ-Plot betrachtet und bin zu dem gleichen Ergebnis gekommen. Vielen Dank für Ihre Zeit.

— Legende