Wie passe ich einen Datensatz an eine Pareto-Verteilung in R an?

Nehmen wir zum Beispiel folgende Daten an:

8232302  684531  116857   89724   82267   75988   63871   
  23718    1696     436     439     248     235

Sie möchten einen einfachen Weg finden, um dieses (und mehrere andere Datasets) an eine Pareto-Distribution anzupassen. Idealerweise würde es die passenden theoretischen Werte ausgeben, weniger idealerweise die Parameter.

r pareto-distribution

— Felix
quelle

cran.r-project.org/web/packages/fitdistrplus/fitdistrplus.pdf

— Stéphane Laurent

Was ist mit "Anpassen theoretischer Werte" gemeint? Die Erwartungen der Auftragsstatistik angesichts der Parameterschätzungen? Oder etwas anderes?

— Glen_b -Reinstate Monica

Nun, wenn Sie eine Stichprobe von aus einer Paretoverteilung mit den Parametern und (wobei die Untergrenze und der Formparameter ist), ist dies die logarithmische Wahrscheinlichkeit Probe ist: $X_1, ..., X_n$ $m>0$ $\alpha>0$ $m$ $\alpha$

n Log (α) + n α Log (m) - (α + 1) \sum_{ich = 1}^{n} Log (X_{ich})

$n \log(\alpha) + n \alpha \log(m) - (\alpha+1) \sum_{i=1}^{n} \log(X_i)$

Dies ist eine monotone Zunahme in , sodass der Maximierer der größte Wert ist, der mit den beobachteten Daten übereinstimmt. Da der Parameter die Untergrenze der Unterstützung für die Pareto-Verteilung definiert, ist das Optimum $m$ $m$

\hat{m} = \underset{ich}{Mindest} X_{ich}

$\hat{m} = \min_{i} X_i$

was nicht von abhängt . Als nächstes muss das MLE für Verwendung gewöhnlicher Rechentricks erfüllen $\alpha$ $\alpha$

\frac{n}{α} + n Log (\hat{m}) - \sum_{ich = 1}^{n} Log (X_{ich}) = 0

$\frac{n}{\alpha} + n \log( \hat{m} ) - \sum_{i=1}^{n} \log(X_i) = 0$

eine einfache Algebra sagt uns, dass die MLE von ist $\alpha$

\hat{α} = \frac{n}{\sum_{ich = 1}^{n} Log (X_{ich} / \hat{m})}

$\hat{\alpha} = \frac{n}{\sum_{i=1}^{n} \log(X_i/\hat{m})}$

In vielerlei Hinsicht (z. B. optimale asymptotische Effizienz durch Erreichen der Cramer-Rao-Untergrenze) ist dies der beste Weg, um Daten an eine Pareto-Verteilung anzupassen. Der folgende R-Code berechnet die MLE für einen bestimmten Datensatz X.

pareto.MLE <- function(X)
{
   n <- length(X)
   m <- min(X)
   a <- n/sum(log(X)-log(m))
   return( c(m,a) ) 
}

# example. 
library(VGAM)
set.seed(1)
z = rpareto(1000, 1, 5) 
pareto.MLE(z)
[1] 1.000014 5.065213

Bearbeiten: Basierend auf den Kommentaren von @ cardinal und mir unten können wir auch feststellen, dass der Kehrwert des Stichprobenmittels der , die passieren haben eine exponentielle Verteilung. Wenn wir also Zugriff auf Software haben, die zu einer Exponentialverteilung passt (was wahrscheinlicher ist, da es bei vielen statistischen Problemen auftritt), kann eine Pareto-Verteilung angepasst werden, indem der Datensatz auf diese Weise transformiert und angepasst wird zu einer exponentiellen Verteilung auf der transformierten Skala. $\hat{\alpha}$ $\log(X_i /\hat{m})$

— Makro
quelle

(+1) Wir können die Dinge etwas suggestiver schreiben, indem feststellen, dass exponentiell mit rate . Daraus und aus der Invarianz der transformierten MLE schließen wir sofort, dass , wobei wir im letzteren Ausdruck durch ersetzen . Dies weist auch darauf hin, wie wir Standardsoftware verwenden könnten, um ein Pareto anzupassen, selbst wenn keine explizite Option verfügbar ist.

Y_{i} = \log (X_{i} / m)

$Y_i = \log(X_i/m)$

α

$\alpha$

\hat{α} = 1 / \bar{Y}

$\hat\alpha = 1/\bar Y$

m

$m$

\hat{m}

$\hat m$

— Kardinal

@cardinal - ist also der Kehrwert des Stichprobenmittels der , die zufällig eine Exponentialverteilung haben. Wie hilft uns das?

\hat{α}

$\hat{\alpha}$

\log (X_{i} / \hat{m})

$\log(X_i/\hat{m})$

— Makro

Hi, Macro. Der Punkt, den ich anstrebte, war, dass das Problem der Schätzung der Parameter eines Paretos (im Wesentlichen) auf das der Schätzung der Rate eines Exponentials reduziert werden kann: Durch die obige Transformation können wir unsere Daten und unser Problem in ein konvertieren (vielleicht) vertrauter und extrahieren sofort die Antwort (vorausgesetzt, wir oder unsere Software wissen bereits, was mit einer Stichprobe von Exponentialen zu tun ist).

— Kardinal

Wie kann ich den Fehler dieser Art von Passung messen?

— Emanuele

@emanuele, die ungefähre Varianz eines MLE ist die Umkehrung der Fischerinformationsmatrix, für die Sie mindestens eine Ableitung der log-Wahrscheinlichkeit berechnen müssen. Sie können auch eine Art Bootstrap-Resampling verwenden, um den Standardfehler abzuschätzen.

— Makro

Sie können die fitdistim fitdistrplusPaket enthaltene Funktion verwenden :

library(MASS)
library(fitdistrplus)
library(actuar)

# suppose data is in dataPar list
fp <- fitdist(dataPar, "pareto", start=list(shape = 1, scale = 500))
#the mle parameters will be stored in fp$estimate

— akashrajkn
quelle

Sollte das sein library(fitdistrplus)?

— Sean

@ Sean ja, Antwort entsprechend bearbeiten

— Kevin L Keys

Beachten Sie, dass der Aufruf an library(actuar)erforderlich ist, damit dies funktioniert.

— jsta

Was bedeutet fp $ estim ["shape"] in diesem Fall? Ist es vielleicht das geschätzte Alpha? Oder Beta?

— Albert Hendriks