Ist das richtig ? (Erzeugen eines abgeschnittenen norm-multivariaten Gaußschen)

Wenn $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$ dh

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Ich möchte eine analoge Version einer abgeschnittenen Normalverteilung in einem multivariaten Fall.

Genauer gesagt möchte ich ein normbeschränktes (auf einen Wert $\geq a$ ) multivariates Gaußsches $Y$ st erzeugen . f X ( y ) ,  wenn  | | y | | ≥ ein 0 ,  sonst 

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ wo $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Jetzt beobachte ich folgendes:

Wenn $x=(x_1,x_2,\ldots,x_n)$ , $||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Daher kann man durch Auswahl von als Gaußsche Stichproben als Stichprobe aus einer Verteilung der abgeschnittenen Normalverteilung (nach einem Gaußschen Schwanz ) , mit Ausnahme seines zufällig ausgewählten Vorzeichens mit der Wahrscheinlichkeit .$x_1,\ldots,x_{n-1}$$x_n$$\geq T$$\mathcal{N}_T(0,\sigma^2)$$1/2$

Meine Frage lautet nun:

Wenn ich jede Vektorprobe von$(x_1,\ldots,x_n)$$(X_1,\ldots,X_n)$ als, generiere

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

und

$x_n = Z_1 *Z_2~$ wobei , , (dh a abgeschnittenes skalar-normales RV mit$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Wird ein normbeschränkter ( ) multivariater Gaußscher sein? (dh wie oben definiertes ). Wie soll ich überprüfen? Irgendwelche anderen Vorschläge, wenn dies nicht der Weg ist?$(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

BEARBEITEN:

Hier ist ein Streudiagramm der Punkte im 2D-Fall, wobei die Norm auf Werte über "1" abgeschnitten ist.

Hinweis: Im Folgenden finden Sie einige gute Antworten, aber die Begründung, warum dieser Vorschlag falsch ist, fehlt. In der Tat ist das der Hauptpunkt dieser Frage.

Die multivariate Normalverteilung von ist sphärisch symmetrisch. Die gesuchte Verteilung schneidet den Radius unten bei . Da dieses Kriterium nur von der Länge von abhängt , bleibt die abgeschnittene Verteilung sphärisch symmetrisch. Da unabhängig vom Kugelwinkelund hat eine -Verteilung . Sie können daher in nur wenigen einfachen Schritten Werte aus der abgeschnittenen Verteilung generieren:$X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$$\rho\,\sigma$$\chi(n)$

1. Generiere .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Erzeugen Sie als Quadratwurzel einer bei abgeschnittenen -Verteilung .$P$$\chi^2(d)$$(a/\sigma)^2$

3. Sei.$Y = \sigma P\, X/||X||$

In Schritt 1 wird als eine Folge von unabhängigen Realisierungen einer normalen Standardvariablen erhalten.$X$$d$

In Schritt 2 wird leicht durch Invertieren der Quantilfunktion einer -Verteilung erzeugt: Erzeugen einer einheitlichen Variablen die im Bereich (von Quantilen) zwischen und und setze .$P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Hier ist ein Histogramm von solcher unabhängigen Realisierungen von für in Dimensionen, unten abgeschnitten bei . Die Generierung dauerte ungefähr eine Sekunde, was die Effizienz des Algorithmus bestätigt.$10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

Die rote Kurve ist die Dichte einer abgeschnittenen -Verteilung, skaliert mit . Die enge Übereinstimmung mit dem Histogramm ist ein Beweis für die Gültigkeit dieser Technik.$\chi(11)$$\sigma=3$

Um eine Intuition für die Kürzung zu erhalten, betrachten Sie den Fall , in Dimensionen. Hier ist ein von gegen (für unabhängige Realisierungen). Es zeigt deutlich das Loch im Radius :$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Schließlich ist zu beachten, dass (1) die Komponenten identische Verteilungen haben müssen (aufgrund der sphärischen Symmetrie) und (2) außer wenn , dass diese gemeinsame Verteilung nicht normal ist. Tatsächlich bewirkt die schnelle Abnahme der (univariaten) Normalverteilung , wenn groß wird, dass sich der größte Teil der Wahrscheinlichkeit, dass sich die sphärisch abgeschnittene multivariate Normalverteilung nahe der Oberfläche der Kugel (mit dem Radius ) zusammenballt. Die Randverteilung muss sich daher einer skalierten symmetrischen Beta -Verteilung annähern, die im Intervall . Dies ist im vorherigen Streudiagramm ersichtlich, in dem$X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$ist bereits in zwei Dimensionen groß: Die Punkte begrenzen einen Ring (eine Kugel) mit dem Radius .$2-1$$3\sigma$

Hier sind Histogramme der Randverteilungen aus einer Simulation der Größe in Dimensionen mit , (für die die ungefähre Beta -Verteilung gleichmäßig ist):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Da die ersten Ränder des in der Frage beschriebenen Verfahrens (konstruktionsbedingt) normal sind, kann dieses Verfahren nicht korrekt sein.$n-1$

---

Der folgende RCode erzeugte die erste Abbildung. Es ist zu parallelen Schritten 1-3 zum Erzeugen von . Es wurde modifiziert , die zweite Zahl durch Ändern Variablen zu erzeugen , , und und dann den Plot Befehl ausgibt , nachdem generiert wurde.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

Die Erzeugung von wird in dem Code für höhere numerische Auflösung geändert: der Code erzeugt tatsächlich und verwenden diese zur Rechen .$U$$1-U$$P$

Dieselbe Technik, Daten nach einem vermeintlichen Algorithmus zu simulieren, sie mit einem Histogramm zusammenzufassen und ein Histogramm zu überlagern, kann verwendet werden, um die in der Frage beschriebene Methode zu testen. Es wird bestätigt, dass die Methode nicht wie erwartet funktioniert.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

Ich habe dies unter der Annahme geschrieben, dass Sie keine Punkte mit || y || wollen > a, das ist das Analogon der üblichen eindimensionalen Kürzung. Sie haben jedoch geschrieben, dass Sie Punkte mit | y || behalten möchten > = a und wirf die anderen raus. Trotzdem kann die offensichtliche Anpassung an meine Lösung vorgenommen werden, wenn Sie wirklich Punkte mit | y || behalten möchten > = a.

Der einfachste Weg, der zufällig eine sehr allgemeine Technik ist, ist die Verwendung von Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_sampling . Es wird ziemlich schnell sein, solange Prob (|| X ||> a) ziemlich niedrig ist, weil es dann nicht viele Ablehnungen geben wird.

Generieren Sie einen Beispielwert x aus der nicht eingeschränkten multivariaten Normalen (obwohl Ihr Problem besagt, dass die multivariate Normalität sphärisch ist, kann die Technik angewendet werden, auch wenn dies nicht der Fall ist). Wenn || x || <= a, akzeptiere, dh benutze x, lehne es ab und generiere eine neue Stichprobe. Wiederholen Sie diesen Vorgang, bis Sie so viele akzeptierte Proben haben, wie Sie benötigen. Die Anwendung dieser Prozedur bewirkt, dass y so erzeugt wird, dass seine Dichte c * f_X (y) ist, wenn || y || <= a und 0 wenn || y || > a, gemäß meiner Korrektur des ersten Teils Ihrer Frage. Sie müssen niemals c berechnen; Es wird vom Algorithmus automatisch anhand der Häufigkeit bestimmt, mit der Abtastwerte verworfen werden.

Dies ist ein schöner Versuch, aber er funktioniert aufgrund der "Normalisierungskonstante" nicht: Wenn Sie die berücksichtigen die Zerlegung

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ das in in zeigt das $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. Die bedingte Verteilung von bei den anderen Komponenten ist eine abgeschnittene Normalverteilung;$X_n$$X_{-n}$
2. Die Randverteilung der anderen Komponenten, , ist aufgrund des zusätzlichen Terms keine Normalverteilung. ;;$X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

Die einzige Möglichkeit, diese Eigenschaft zu nutzen, besteht darin, einen Gibbs-Sampler einzeln auszuführen und dabei die abgeschnittenen normalen bedingten Verteilungen zu verwenden.

Die Frage ergibt sich aus der Idee, - die grundlegende bedingte Zerlegung von Gelenkverteilungen - zu verwenden, um Vektorproben zu ziehen.

Sei ein multivariater Gaußscher mit iid-Komponenten.$X$

Sei und $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

Der fragliche Algorithmus wird basierend auf der folgenden (alles korrekte, aber täuschende Interpretation) bedingten Faktorisierung vorgeschlagen:

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

Die kürzeste Antwort ist, dass der letztere Faktor kein abgeschnittener Gaußscher (noch wichtiger) nicht einmal eine Verteilung ist.

---

Hier ist die detaillierte Erklärung, warum die obige Faktorisierung selbst einen grundlegenden Fehler aufweist. In einem einzigen Satz: Jede bedingte Faktorisierung einer bestimmten gemeinsamen Verteilung muss einige sehr grundlegende Eigenschaften erfüllen, und die obige Faktorisierung erfüllt diese nicht (siehe unten).

Wenn wir jemals dann ist im der Rand von und ist die bedingte Verteilung von . Was bedeutet:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. Der Faktor "angenommen als" muss eine Verteilung sein. Und,$f(x,y)$$f_X(x)$
2. Der zweite Faktor "angenommen als" muss eine Verteilung für jede Wahl von$f_{Y|X}(y|x)$$x$

Im obigen Beispiel versuchen wir, als zu konditionieren . Dies bedeutet, dass die Eigenschaft 1 für den Faktor Gauß gelten sollte und die Eigenschaft 2 für den letzten Teil gelten sollte.$Y_n|(Y_1\ldots Y_{n-1})$

Es ist klar, dass die Eigenschaft 1 beim ersten Faktor gilt. Aber das Problem ist mit der Eigenschaft-2. Der letzte Faktor oben ist leider überhaupt keine Verteilung (vergessen Sie Truncated Gaussian) für fast jeden Wert von !!$(Y_1\ldots Y_{n-1})$

---

Ein solcher Vorschlag eines Algorithmus ist wahrscheinlich das Ergebnis des folgenden Missverständnisses: Sobald eine Verteilung auf natürliche Weise aus einer gemeinsamen Verteilung herausgerechnet wird (wie oben in Gauß), führt dies zu einer bedingten Faktorisierung. ---- Das tut es nicht! ---- Der andere (zweite) Faktor muss ebenfalls gut sein.

---

Hinweis: Es gibt eine großartige Antwort von @whuber, die das Problem der Erzeugung eines normkürzeten multivariaten Gaußschen tatsächlich löst. Ich akzeptiere seine Antwort. Diese Antwort dient nur dazu, mein eigenes Verständnis und die Entstehung der Frage zu klären und zu teilen.