Frequentist Predictive Distribution für eine Cauchy-Variable

Ich konnte dies in der Literatur nicht finden, aber das bedeutet wahrscheinlich, dass ich an der falschen Stelle suche. Ich suche nach der frequentistischen Vorhersageverteilung für eine eindimensionale und eine n-dimensionale Cauchy-Variable, sofern sie existiert.

Das Problem bei der n-dimensionalen Version ist, dass es nichts Vergleichbares wie eine Kovariatenmatrix gibt, sondern nur einen Skalenparameter, der die Fehler hyperzirkular macht. Ich konnte sehen, dass dies die Existenz eines zentralen Wertes störte.

BEARBEITEN

Ich möchte entweder aus einer Reihe von Beobachtungen vorhersagen, die aus einer Cauchy-Verteilung mit Zentrum und Skala oder aus einer Gleichung vorhersagen wobei wie oben aus einer Cauchy-Verteilung gezogen wird. Es könnte ein Vektor oder mehrdimensional sein, aber ich versuche, die relativen Eigenschaften der Bayes'schen gegenüber der häufig auftretenden Vorhersage zu bestimmen. Meine Daten stammen entweder aus einem abgeschnittenen Cauchy oder einem Cauchy, je nachdem welcher Satz.$x_{i+1}$$x_1\dots{x_i}$$\mu$$\sigma,$$y_{i+1}$$y=mx+b,$$x$

Ein Vorhersageintervall funktioniert, da ich das Intervall nur auf 100% setze.

Die allgemeine Lösung für Ihr Problem ist die Maximum Likelihood Estimation (MLE) Ihrer Parameter . Sobald sie als , ersetzen Sie die unbekannten Parameter durch Ihr PDF, dh Sie schätzen das PDF Ihrer Zufallsvariablen als . Auf diese Weise können Sie die prädiktive Verteilung Ihrer Cauchy-Zufallsvariablen erstellen. $\theta$$\hat{\theta}$$\hat{f}(x_i) = f(x_i|\hat{\theta})$

Für den univariaten Fall ist dieses Papier eine ausgezeichnete Ressource . Für das univariate Cauchy mit Zentrum und Skala hat man eine geschlossene Form, wenn Sie Beobachtungen haben. Wenn Sie Beobachtungen haben, existiert die MLE . Wenn Sie Beobachtungen, haben Sie zwei Gleichungen zu lösen , die durch Einstellen der erste Ableitung des Log-Likelihood auf Null leicht abgeleitet werden, finden hier für ihre genaue Form. (In ihrer Notation ist und .) Die numerische Lösung dieses Problems hat eine Implementierung in der R-Sprache, siehe hier .$\mu$$\sigma$$3-4$$n>4$$^{\ast}$$n$$x_0 = \mu$$\sigma = \gamma$

Für den multivariaten Fall müssen Sie lediglich beachten, dass die multivariate Cauchy-Verteilung einfach eine multivariate Verteilung ist, bei der der Freiheitsgradparameter auf , wie bereits in den Kommentaren ausgeführt wurde. Für die multivarate- , können Sie MLE Inferenz tun , wie hervorragend in erklärt diese Antwort , die auf dem Papier basiert, dass eric_kernfeld hingewiesen hat. Ich habe keine einsatzbereite Implementierung für diesen Algorithmus gefunden, aber wie Sie sehen werden, wenn Sie sich die bereitgestellte Antwort im Beitrag ansehen, sollte es wirklich einfach sein, sie selbst zu implementieren.$t$$1$$t$

Unterschied zur Bayes'schen Vorhersage : In der Bayes'schen Einstellung würden Sie den Parametern und einen Vorrang und Ihre Unsicherheit darüber als Zufallsvariable modellieren. Auf diese Weise erhalten Sie für beide Parameter hintere Verteilungen, die die relative Sicherheit angeben, die Sie angesichts Ihrer Daten über sie haben. Wenn Sie das hintere , erhalten Sie Ihre Vorhersageverteilung als , integriert Ihre Unsicherheit. Im Gegensatz dazu erhalten Sie mit der MLE-Einstellung Punktschätzungen für und$\mu$$\sigma$$q(\mu, \sigma|x_1,\dots,x_n)$$\int f(x|\mu, \sigma)q(\mu, \sigma|x_1,\dots,x_n)d\mu d\sigma$$\mu$$\sigma$dass Sie sich in die Funktionsform Ihres PDFs einfügen. Entsprechend könnte man sagen, dass MLE zu einem Posterior mit der Punktmasse am Tupel und einer Wahrscheinlichkeit von bei jedem anderen Wert führt. Daher ignorieren Sie in diesem Fall alle Parameterunsicherheiten und verlassen sich auf die Tatsache, dass asymptotisch , was bedeutet, dass (gleichmäßig über) ).$1$$(\hat{\mu}, \hat{\sigma})$$0$$\hat{\theta}$$\theta$$\hat{f}(x) \to f(x)$$x$

$^\ast$ Nun, es sei denn, für den exotischen Fall, in dem ist und Ihrer Beobachtungen den Wert annehmen, nimmt die andere Hälfte den Wert , was mit der Wahrscheinlichkeit Null geschieht, weil die Cauchy-Verteilung kontinuierlich ist.$n$$n/2$$x_1$$x_2$

Man könnte eine Monte-Carlo-Methode verwenden, um empirische Schätzungen für Beziehungen zwischen und dem Vorhersageintervall für .$x_1....x_i$$x_{i+n}$

Motivation: Wenn wir das Vorhersageintervall basierend auf den Quartilen / CDF einer Verteilung schätzen, die sich aus Schätzungen der maximalen Wahrscheinlichkeit (oder anderen Arten von Parameterschätzungen) ergibt, unterschätzen wir die Größe des Intervalls. In der Praxis fällt der Punkt tatsächlich häufiger als vorhergesagt aus dem Bereich heraus.$x_{i+n}$

Die folgende Abbildung zeigt, um wie viel wir die Größe des Intervalls unterschätzen, indem wir ausdrücken, wie oft eine neue Messung außerhalb des Vorhersagebereichs liegt, basierend auf Parameterschätzungen. (basierend auf Berechnungen mit 2000 Wiederholungen für die Vorhersage)$x_i$

Wenn wir beispielsweise ein Vorhersageintervall von 99% verwenden (wodurch 1% Fehler erwartet werden), erhalten wir fünfmal mehr Fehler, wenn die Stichprobengröße 3 betrug.

Diese Art von Berechnungen kann verwendet werden, um empirische Beziehungen herzustellen, wie wir den Bereich korrigieren können, und die Berechnungen zeigen, dass für große die Differenz kleiner wird (und irgendwann kann man sie für irrelevant halten).$n$

set.seed(1)

# likelihood calculation
like<-function(par, x){
  scale = abs(par[2])
  pos   = par[1]
  n <- length(x)
  like <- -n*log(scale*pi) - sum(log(1+((x-pos)/scale)^2))
  -like
}

# obtain effective predictive failure rate rate
tryf <- function(pos, scale, perc, n) {

  # random distribution
  draw <- rcauchy(n, pos, scale)

  # estimating distribution parameters based on median and interquartile range
  first_est <- c(median(draw), 0.5*IQR(draw))

  # estimating distribution parameters based on likelihood
  out <- optim(par=first_est, like, method='CG', x=draw)
  # making scale parameter positive (we used an absolute valuer in the optim function)
  out$par[2] <- abs(out$par[2])

  # calculate predictive interval
  ql <- qcauchy(perc/2, out$par[1], out$par[2])
  qh <- qcauchy(1-perc/2, out$par[1], out$par[2])

  # calculate effective percentage outside predicted predictive interval
  pl <- pcauchy(ql, pos, scale)
  ph <- pcauchy(qh, pos, scale)
  error <- pl+1-ph
  error
}

# obtain mean of predictive interval in 2000 runs
meanf <- function(pos,scale,perc,n) {
  trueval <- sapply(1:2000,FUN <- function(x) tryf(pos,scale,perc,n))
  mean(trueval)
}


#################### generate image

# x-axis chosen desired interval percentage
percentages <- 0.2/1.2^c(0:30)

# desired sample sizes n
ns <- c(3,4,5,6,7,8,9,10,20,30)

# computations
y <- matrix(rep(percentages, length(ns)), length(percentages))
for (i in which(ns>0)) {
  y[,i] <- sapply(percentages, FUN <- function(x) meanf(0,1,x,ns[i]))
}

# plotting
plot(NULL,
     xlim=c(0.0008,1), ylim=c(0,10),
     log="x",
     xlab="aimed error rate",
     ylab="effective error rate / aimed error rate",
     yaxt="n",xaxt="n",axes=FALSE)
axis(1,las=2,tck=-0.0,cex.axis=1,labels=rep("",2),at=c(0.0008,1),pos=0.0008)
axis(1,las=2,tck=-0.005,cex.axis=1,at=c(0.001*c(1:9),0.01*c(1:9),0.1*c(1:9)),labels=rep("",27),mgp=c(1.5,1,0),pos=0.0008)
axis(1,las=2,tck=-0.01,cex.axis=1,labels=c(0.001,0.01,0.1,1), at=c(0.001,0.01,0.1,1),mgp=c(1.5,1,0),pos=0.000)
#axis(2,las=1,tck=-0.0,cex.axis=1,labels=rep("",2),at=c(0.0008,1),pos=0.0008)
#axis(2,las=1,tck=-0.005,cex.axis=1,at=c(0.001*c(1:9),0.01*c(1:9),0.1*c(1:9)),labels=rep("",27),mgp=c(1.5,1,0),pos=0.0008)
#axis(2,las=1,tck=-0.01,cex.axis=1,labels=c(0.001,0.01,0.1,1), at=c(0.001,0.01,0.1,1),mgp=c(1.5,1,0),pos=0.0008)
axis(2,las=2,tck=-0.01,cex.axis=1,labels=0:15, at=0:15,mgp=c(1.5,1,0),pos=0.0008)


colours <- hsv(c(1:10)/20,1,1-c(1:10)/15)
for (i in which(ns>0)) {
  points(percentages,y[,i]/percentages,pch=21,cex=0.5,col=colours[i],bg=colours[i])
}

legend(x=0.4,y=4.5,pch=21,legend=ns,col=colours,pt.bg=colours,title="sample size")

title("difference between confidence interval and effective confidence interval")


plot(ns,y[31,]/percentages[31],log="")

Es scheint, dass Sie lediglich die Parameter der Cauchy-Verteilung aus dem Datensatz abschätzen müssen $x_i$. Hier ist, was Stephens vorschlägt, es ist nicht MLE, und der Autor behauptet, diese Methode sei konsistent und stabiler als MLE, obwohl Sie berücksichtigen müssen, dass dies im letzten Jahrhundert geschrieben wurde.

wobei Cauchy wie folgt parametrisiert wird:

Sobald Sie die Verteilung haben, wird Ihre Punktprognose sein $\hat\alpha$. Beachten Sie, dass Sie, da es keine Momente gibt, nicht zeigen können, dass Ihre Prognose im üblichen Sinne optimal ist, z. B. um die erwarteten Quadratkosten zu minimieren.