Effizientes Abtasten einer Beta-Verteilung mit Schwellenwert

Wie soll ich effizient aus der folgenden Verteilung probieren?

x \sim B (α, β), x > k

$x \sim B(\alpha, \beta),\space x > k$

Wenn nicht zu groß ist, ist die Ablehnungsabtastung vielleicht der beste Ansatz, aber ich bin mir nicht sicher, wie ich vorgehen soll, wenn groß ist. Vielleicht gibt es eine asymptotische Annäherung, die angewendet werden kann? $k$ $k$

random-generation beta-distribution truncation

— user1502040
quelle

Es ist nicht eindeutig klar, was Sie dort mit "

" beabsichtigen . Meinen Sie eine abgeschnittene Beta-Distribution (links bei

abgeschnitten )?

x \sim B (α, β), x > k

$x \sim B(\alpha, \beta),\space x > k$

k

$k$

— Glen_b -Rate State Monica

@Glen_b genau.

— user1502040

Für beide Formparameter größer als 1 ist die Beta-Verteilung logarithmisch konkav, sodass exponentielle Hüllkurven für die Zurückweisungsabtastung verwendet werden können. Um nicht abgeschnittene Beta-Variablen zu generieren, die Sie bereits aus abgeschnittenen Exponentialverteilungen abtasten (was einfach ist), sollte es einfach sein, diese Methode anzupassen.

— Scortchi - Monica wieder einsetzen

Antworten:

Der einfachste und allgemeinste Weg, der für jede abgeschnittene Verteilung gilt (er kann auch auf beiden Seiten abgeschnitten werden), ist die Verwendung der inversen Transformationsabtastung . Wenn die kumulative Zinsverteilung ist, dann setze und nimm $F$ $p_0 = F(k)$

U \sim U (p_{0}, 1) X = F^{- 1} (U)

$U \sim \mathcal{U}(p_0, 1) \\ X = F^{-1}(U)$

wobei eine Stichprobe von die bei links abgeschnitten ist . Die Quantilfunktion ordnet Wahrscheinlichkeiten Stichproben von . Da wir Werte nur aus dem "Bereich" nehmen, der mit den Werten der Beta-Verteilung aus dem nicht abgeschnittenen Bereich übereinstimmt, werden nur diese Werte abgetastet. $X$ $F$ $k$ $F^{-1}$ $F$ $U$

Diese Methode ist in der Abbildung unten dargestellt, in der der abgeschnittene Bereich durch ein graues Rechteck markiert ist. Rote Punkte werden aus der -Verteilung gezogen und dann in -Proben transformiert . $\mathcal{U}(p_0, 1)$ $\mathcal{B}(2, 8)$

— Tim
quelle

(+1) Bemerkenswert ist, dass die Quantilfunktion nicht so einfach zu bewerten ist.

— Scortchi - Monica wieder einsetzen

@ Scortchi Wenn entweder a oder b 1 oder mindestens eine ganze Zahl sind, gibt es eine nicht so schlechte Form (siehe Wikipedia ). Und in Python gibt es scipy.special.betaincfür die Umkehrung und in R gibt es pbeta.

— Graipherie

@Graipher: Ich hätte "billig im Allgemeinen" sagen sollen - es wäre besser, Newton-Raphson oder andere iterative Lösungen zu vermeiden, wenn dies möglich ist. (Übrigens ist es qbetafür die Quantilfunktion in R.)

— Scortchi - Reinstate Monica

@ Scortchi Sie haben Recht, aber in den meisten Fällen sollte dies für moderne Computer kein großes Problem sein. Ich empfehle diesen Ansatz auch, da er in der meisten Software direkt verfügbar ist und nur dann auf eine abgeschnittene Verteilung verallgemeinert werden kann , wenn man Zugriff auf die Quantilfunktion hat.

— Tim

k

$k$

k

$k$

$\alpha$ $\beta$ $k_1<k_2$

f (x) = \frac{x^{(α - 1)} (1 - x)^{(β - 1)}}{B (k 2, α, β) - B (k_{1}, α, β)}

$f(x) = \frac{x^{(\alpha-1)}(1-x)^{(\beta-1)}}{\operatorname{B}(k2, \alpha, \beta) - \operatorname{B}(k_1, \alpha, \beta)}$

$x_\mathrm{L}$ $x_\mathrm{U}$ $\alpha,\beta>1$

g (x) = c \cdot λ e^{- λ (x - x_{L})}

$g(x) = c \cdot \lambda \mathrm{e}^{-\lambda (x-x_\mathrm{L})}$

$\lambda$

- λ = \frac{a - 1}{x} - \frac{b - 1}{1 - x}

$-\lambda = \frac{a-1}{x} - \frac{b-1}{1-x}$

c

$c$

c = \frac{f (x)}{λ e^{- λ (x - x_{L})}}

$c = \frac{f(x)}{\lambda\mathrm{e}^{-\lambda(x-x_\mathrm{L})}}$

A = c \cdot (1 - e^{- λ (x_{U} - x_{L})})

$A = c \cdot (1 - \mathrm{e}^{-\lambda(x_\mathrm{U}-x_\mathrm{L})})$

x

$x$

λ

$\lambda$

c

$c$

\begin{aligned} Q (x) = & \frac{x^{a} (1 - x)^{b}}{(a + b - 2) x - a + 1} \cdot \\ [\exp (\frac{(b - 1) (x - x_{L})}{1 - x} + \frac{x_{L} (a - 1)}{x} - (a - 1)) - \\ \exp (\frac{(b - 1) (x - x_{U})}{1 - x} + \frac{x_{U} (a - 1)}{x} - (a - 1))] \end{aligned}

$\begin{align} Q(x)= & \frac{x^a (1-x)^b}{(a+b-2)x - a+1} \cdot\\ & \left[\exp\left(\frac{(b-1)(x-x_L)}{1-x} + \frac{x_L (a-1)}{x} - (a-1)\right) - \right.\\ & \left. \exp\left(\frac{(b-1)(x-x_U)}{1-x} + \frac{x_U(a-1)}{x} - (a-1)\right)\right]\\ \end{align}$

$\frac{\mathrm{d} Q}{\mathrm{d} x}$ $x$ $\frac{\mathrm{d} Q}{\mathrm{d} x} = 0$

$k_1$ $k_2$ $U$ $\frac{- \log(1-U)}{\lambda}$ $\lambda$

Das Schöne an diesem Ansatz ist, dass all die harte Arbeit im Setup steckt. Sobald die Hüllkurvenfunktion definiert ist und die Normalisierungskonstante für die abgeschnittene Beta-Dichte berechnet wurde, müssen nur noch einheitliche Zufallsvariablen generiert und einige einfache arithmetische Operationen, Protokolle, Potenzen und Vergleiche durchgeführt werden. Durch Verschärfen der Hüllkurvenfunktion - mit horizontalen Linien oder exponentiellen Kurven - kann natürlich die Anzahl der Ablehnungen verringert werden.

— Scortchi - Monica wieder einsetzen
quelle

+1 Gute Idee. Da Beta für bescheidene bis große Werte seiner Parameter ungefähr normal ist, je nachdem, wie nahe sie beieinander liegen, ist die Verwendung einer Gaußschen Hüllkurve möglicherweise noch effizienter.

— whuber

α < 1

$\alpha<1$

β < 1

$\beta<1$

α

$\alpha$

β

$\beta$

@whuber: (1) Der Ansatz, den ich hier zum Erstellen von Hüllkurven gewählt habe, würde nicht funktionieren, da die Dichten nicht logarithmisch konkav sind. (2) (a) Ich meinte sicherlich algebraische Funktionen + Logs & Potenzen, trig. Funktionen, wenn ich gefragt worden wäre, und vielleicht sogar Gammafunktionen - ich gebe zu, ich hatte keine genaue Vorstellung. (b) Punkt genommen - schnelle Funktionsbewertungen sind nicht auf solche mit geschlossenen Formen beschränkt.

— Scortchi - Monica wieder einsetzen

α < 1

$\alpha\lt 1$

β < 1

$\beta \lt 1$