Was bedeutet abgeschnittene Verteilung?

14

In einem Forschungsartikel über die Sensitivitätsanalyse eines gewöhnlichen Differentialgleichungsmodells eines dynamischen Systems hat der Autor die Verteilung eines Modellparameters als Normalverteilung (Mittelwert = 1e-4, Standard = 3e-5) angegeben, die auf den Bereich [0,5e abgeschnitten ist -4 1,5e-4]. Anschließend verwendet er Stichproben aus dieser abgeschnittenen Verteilung für Simulationen des Modells. Was bedeutet es, eine abgeschnittene Verteilung zu haben und eine Stichprobe aus dieser abgeschnittenen Verteilung zu erstellen?

Ich könnte mir dazu zwei Möglichkeiten ausdenken:

Stichprobe aus einer Normalverteilung, aber ignorieren Sie alle Zufallswerte, die außerhalb des angegebenen Bereichs liegen, bevor Sie mit der Simulation beginnen.
Besorgen Sie sich irgendwie eine spezielle "Truncated Normal" -Verteilung und holen Sie sich Samples daraus.

Sind das gültige und gleichwertige Ansätze?

Ich glaube, wenn man im ersten Fall das experimentelle cdf / pdf der Probe plottet, würde es nicht wie eine Normalverteilung aussehen, da die Kurven nicht bis reichen $\pm\infty$ .

distributions simulation truncation

— Kavka
quelle

16

Eine Verteilung abzuschneiden bedeutet, ihre Werte auf ein Intervall zu beschränken und die Dichte so zu normalisieren, dass das Integral über diesen Bereich 1 beträgt.

Die $N(\mu, \sigma^{2})$ -Verteilung auf ein Intervall $(a,b)$ kürzen, würde also bedeuten, eine Zufallsvariable mit Dichte zu erzeugen

p_{ein, b} (x) = \frac{ϕ_{μ, σ^{2}} (x)}{\int_{ein}^{b} ϕ_{μ, σ^{2}} (y) d y} \cdot ich {x \in (ein, b)}

$p_{a,b}(x) = \frac{ \phi_{\mu, \sigma^{2}}(x) }{ \int_{a}^{b} \phi_{\mu, \sigma^{2}}(y) dy } \cdot \mathcal{I} \{ x \in (a,b) \}$

wobei $\phi_{\mu, \sigma^{2}}(x)$ die Dichte von $N(\mu, \sigma^2)$ ist. Sie können aus dieser Dichte auf verschiedene Weise eine Stichprobe erstellen. Ein Weg (der einfachste Weg, den ich mir vorstellen kann), dies zu tun, wäre, $N(\mu, \sigma^2)$ -Werte zu generieren und diejenigen herauszuwerfen, die außerhalb von $(a,b)$ Intervall, wie Sie erwähnt haben. Ja, diese beiden Kugeln, die Sie aufgelistet haben, würden dasselbe Ziel erreichen. Sie haben auch Recht, dass sich die empirische Dichte (oder das Histogramm) von Variablen aus dieser Verteilung nicht auf erstrecken würde . Es wäre natürlich auf beschränkt . $\pm \infty$ $(a,b)$

— Makro
quelle

17

Das Simulieren von der normalen -Verteilung bis das Ergebnis in ein Intervall fällt ist in Ordnung, wenn die Wahrscheinlichkeit $\mathcal{N}(\mu,\sigma^2)$ $(a,b)$ ist groß genug. Wenn es zu klein ist, ist dieses Verfahren zu kostspielig, da die durchschnittliche Anzahl der Ziehungen für eine Annahme beträgt.

ϱ = \int_{ein}^{b} φ_{μ, σ^{2}} (x) d x

$\varrho = \int_a^b \varphi_{\mu,\sigma^2}(x)\,\text{d} x$

1 / ϱ

$1/\varrho$

Wie in den statistischen Monte-Carlo-Methoden (Kapitel 2, Beispiel 2.2) sowie in meinem Artikel in arXiv beschrieben , besteht eine effizientere Methode zur Simulation dieser verkürzten Normalen in der Verwendung einer Akzeptanz-Zurückweisungsmethode, die auf einer exponentiellen -Verteilung basiert . $\mathcal{E}(\alpha)$

Betrachten Sie ohne Einschränkung der Allgemeinheit den Fall und . Wenn , ist eine mögliche instrumentelle Verteilung die translatierte Exponentialverteilung mit der Dichte $\mu = 0$ $\sigma = 1$ $b=+\infty$ $\mathcal{E} (\alpha,{ a})$ Das Verhältnis wird dann durch begrenzte , wenn und anders. Die entsprechende (obere) Schranke ist

G_{α} (z) = α e^{- α (z - ein)} {ich}_{z \geq ein} .

$g_{\alpha}(z) = \alpha e^{- \alpha(z - {a})} \; \mathbb{I}_{z \geq {a }} \;.$

p_{ein, \infty} (z) / G_{α} (z) \propto e^{- α (z - ein)} e^{- z^{2} / 2}

$p_{a,\infty}(z)/g_{\alpha}(z) \propto e^{- \alpha(z - a )}e^{-z^{2}/2}$

\exp (α^{2} / 2 - α a)

$\exp(\alpha^{2}/2 - \alpha{a })$

α > a

$\alpha > a$

\exp (- a^{2} / 2)

$\exp(- a^{2}/2)$

Der erste Ausdruck wird minimiert um

{\begin{cases} 1 / α \exp (α^{2} / 2 - α ein) & wenn α > ein, \\ 1 / α \exp (- {ein}^{2} / 2) & Andernfalls. \end{cases}

$\begin{cases} 1/\alpha \; \exp (\alpha^{2}/2 - \alpha{a }) & \hbox{if } \alpha > a , \cr 1/\alpha \; \exp (- a^{2}/2) & \hbox{otherwise.} \cr \end{cases}$

während

minimiert die zweite gebunden. Die optimale Wahl von

ist daher (1).

α^{*} = \frac{1}{2} ein + \frac{1}{2} \sqrt{{ein}^{2} + 4}, (1)

$\begin{equation} \alpha^{*} = \frac{1}{2}a + \frac{1}{2} \sqrt{a^2 + 4}\;,\qquad (1) \end{equation}$

\tilde{α} = a

$\tilde\alpha = a$

α

$\alpha$

— Xi'an
quelle

2

U \sim Unif (Φ (a), Φ (b))

$U \sim \text{Unif}(\Phi(a),\Phi(b))$

X = Φ^{- 1} (U)

$X = \Phi^{-1}(U)$

2

a

$a$

0

$0$

1

Xi'an hat recht, @bnaul. Das Laufen qnormin einer R-Schleife ist keine gute Idee.

— Stéphane Laurent

@ Xi'an: Das stimmt, aber solche Funktionen können beliebig genau ausgelegt sein.

— Neil G

9

Stichprobe aus einer Normalverteilung, aber ignorieren Sie alle Zufallswerte, die außerhalb des angegebenen Bereichs liegen, bevor Sie mit der Simulation beginnen.

Diese Methode ist richtig, aber, wie von @ Xi'an in seiner Antwort erwähnt, würde es lange dauern, wenn der Bereich klein ist (genauer gesagt, wenn sein Maß unter der Normalverteilung klein ist).

Wie bei jeder anderen Verteilung könnte man die Inversionsmethode verwenden $F^{-1}(U)$ (auch inverse Transformationsabtastung genannt ), wobei $F$ ist die (kumulative Funktion der) Zinsverteilung und $U\sim\text{Unif}(0,1)$ . Wann $F$ ist die Verteilung, die durch Abschneiden einer Verteilung erhalten wird $G$ in einem gewissen Intervall $(a,b)$ Dies ist äquivalent zu sample $G^{-1}(U)$ mit $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ .

Und dies wird bereits von @ Xi'an in einem Kommentar erwähnt. In manchen Situationen erfordert die Inversionsmethode eine sehr genaue Bewertung der Quantilfunktion $G^{-1}$ , and I would add it also requires a fast computation of $G^{-1}$ . When $G$ is a normal distribution, the evaluation of $G^{-1}$ is rather slow, and it is not highly precise for values of $a$ and $b$ outside the "range" of $G$ .

Simulate a truncated distribution using importance sampling

A possibility is to use importance sampling. Consider the case of the standard Gaussian distribution ${\cal N}(0,1)$ . Forget the previous notations, now let $G$ be the Cauchy distribution. The two above mentionned requirements are fulfilled for $G$ : one simply has $\boxed{G(q)=\frac{\arctan(q)}{\pi}+\frac12}$ and $\boxed{G^{-1}(q)=\tan\bigl(\pi(q-\frac12)\bigr)}$ . Therefore, the truncated Cauchy distribution is easy to sample by the inversion method and it is a good choice of the instrumental variable for importance sampling of the truncated normal distribution.

After a bit of simplifications, sampling $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ and taking $G^{-1}(U)$ is equivalent to take $\tan(U')$ with $U'\sim\text{Unif}\bigl(\arctan(a),\arctan(b)\bigr)$ :

a <- 1
b <- 5
nsims <- 10^5
sims <- tan(runif(nsims, atan(a), atan(b)))

Now one has to calculate the weight for each sampled value $x_i$ , defined as the ratio $\phi(x)/g(x)$ of the two densities up to normalization, hence we can take

w (x) = \exp (- x^{2} / 2) (1 + x^{2}),

$w(x) = \exp(-x^2/2)(1+x^2),$ aber es könnte sicherer sein, die log-gewichte zu nehmen:

log_w <- -sims^2/2 + log1p(sims^2)
w <- exp(log_w) # unnormalized weights
w <- w/sum(w)

Die gewichtete Probe $(x_i,w(x_i))$ Ermöglicht die Schätzung des Maßes für jedes Intervall $[u,v]$ unter der Zielverteilung durch Summieren der Gewichte jedes in das Intervall fallenden Stichprobenwertes:

u <- 2; v<- 4
sum(w[sims>u & sims<v])
## [1] 0.1418

Dies liefert eine Schätzung der kumulativen Zielfunktion. Wir können es mit dem spatsatPaket schnell bekommen und plotten :

F <- spatstat::ewcdf(sims,w)
# estimated F:
curve(F(x), from=a-0.1, to=b+0.1)
# true F:
curve((pnorm(x)-pnorm(a))/(pnorm(b)-pnorm(a)), add=TRUE, col="red")

ewcdf

# approximate probability of u<x<v:
F(v)-F(u)
## [1] 0.1418

Natürlich die Probe $(x_i)$ ist definitiv keine Stichprobe der Zielverteilung, sondern der instrumentellen Cauchy-Verteilung, und man erhält eine Stichprobe der Zielverteilung , indem man ein gewichtetes Resampling durchführt , beispielsweise unter Verwendung der multinomialen Stichprobe:

msample <- rmultinom(1, nsims, w)[,1]
resims <- rep(sims, times=msample)
hist(resims)

hist

mean(resims>u & resims<v)
## [1] 0.1446

Eine andere Methode: Schnelle inverse Transformationsabtastung

Olver und Townsend entwickelten eine Stichprobenmethode für eine breite Klasse kontinuierlicher Verteilungen. Es ist in der chebfun2-Bibliothek für Matlab sowie in der ApproxFun-Bibliothek für Julia implementiert . Ich habe diese Bibliothek kürzlich entdeckt und sie klingt sehr vielversprechend (nicht nur für Zufallsstichproben). Grundsätzlich ist dies die Inversionsmethode, jedoch unter Verwendung leistungsfähiger Approximationen von cdf und inversem cdf. Die Eingabe ist die Solldichtefunktion bis zur Normalisierung.

Das Beispiel wird einfach mit folgendem Code generiert:

using ApproxFun
f = Fun(x -> exp(-x.^2./2), [1,5]);
nsims = 10^5;
x = sample(f,nsims);

Wie unten geprüft, ergibt sich ein geschätztes Maß für das Intervall $[2,4]$ in der Nähe der zuvor durch Stichprobenerhebung gewonnenen Bedeutung:

sum((x.>2) & (x.<4))/nsims
## 0.14191

— Stéphane Laurent
quelle