Warum ist das Problem der Unordnung bei großen Stichproben nicht zu lösen?

Angenommen, wir haben eine Menge von Punkten $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ . Jeder Punkt wird unter Verwendung der Verteilung $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$ Um posterior für

x

$x$ , schreiben wir

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$ Nach Minkas Artikel überExpectation Propagationbenötigen wir

2^{N}

$2^N$ Berechnungen, um posterior zu erhalten

p (x | y)

$p(x| \mathbf{y})$ und somit wird das Problem für große Stichprobengrößen

lösbar

N

$N$ . Ich kann jedoch nicht herausfinden, warum wir in diesem Fall so viele Berechnungen benötigen, da für single

y_{i}

$y_i$ Wahrscheinlichkeit die Form

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Unter Verwendung dieser Formel erhalten wir posterior durch einfache Multiplikation von , so dass wir nur Operationen benötigen und dieses Problem für große Stichprobengrößen genau lösen können. $p(y_i| x)$ $N$

Ich mache ein numerisches Experiment, um zu vergleichen, erhalte ich wirklich den gleichen Posterior, wenn ich jeden Term separat berechne und wenn ich das Produkt der Dichten für jedes . Hintere sind gleich. Siehe Wo irre ich mich? Kann mir jemand klar machen, warum wir Operationen benötigen , um den posterioren Wert für gegebenes und gegebenes zu berechnen ? $y_i$ Bildbeschreibung hier eingeben $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Alexey Zaytsev
quelle

Eine Operation pro Term und

Terms, also brauchen wir

Operationen. Außerdem schaue ich noch einmal in Minkas Aufsatz und in Bishops Kapitel über ungefähre Schlussfolgerungen nach. Beide schlagen vor, dass wir schätzen und posterior für

N

$N$

O (N)

$O(N)$

x

$x$

— Alexey Zaytsev

Verstehe ich richtig, dass dein

univariate sind? In diesem

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— Fall

@Alexey Nach dem erneuten Lesen dieses Absatzes, denke ich, erwähnt der Autor keine

Operationen. Er weist nur darauf hin, dass "der Glaubenszustand für eine Mischung aus Gaußschen ist" .

2^{N}

$2^N$ $x$ $2^N$

@Procrastinator laut Papier wollen wir die Glaubensausbreitung verwenden, können sie aber nicht verwenden, da wir eine Mischung von

Gaußschen vorgehen müssen . Dann ist die Frage, warum wir BP verwenden wollen? Eine andere Frage stellt sich, wenn wir Kapitel 10.7.1 in Bishops PRML lesen oder einen Videovortrag von Minka ansehen . Danach ist die Antwort nicht so klar.

2^{N}

$2^N$

— Alexey Zaytsev

@Alexey Ich denke, die Logik dahinter ist anders. Der Autor beschreibt, was passiert, wenn Sie die Glaubensausbreitung verwenden, um einige Schwierigkeiten damit hervorzuheben, wenn

groß ist, und dann seine "Erwartungsausbreitung" zu fördern. Er erwähnt, dass die Verbreitung des Glaubens die Verwendung einer Mischung von

Gaußschen für den Glaubenszustand für

erfordert, was kompliziert wird, wenn

groß ist. Es wird nicht auf die Anzahl der erforderlichen Operationen eingegangen, sondern auf die Komplexität des Glaubenszustands für

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

Antworten:

Sie haben Recht, dass die Zeitung das Falsche sagt. Sie können die posteriore Verteilung von an einer bekannten Stelle mit -Operationen auswerten . Das Problem ist, wenn Sie Momente des Seitenzahns berechnen möchten. Um das hintere Mittel von genau zu berechnen , würden Sie Operationen benötigen . Dies ist das Problem, das das Papier zu lösen versucht. $x$ $O(n)$ $x$ $2^N$

— Tom Minka
quelle

Sie haben den Punkt übersehen, dass die Verteilung eine Mischung von Gaußschen ist: Jede Stichprobe wird entweder nach mit der Wahrscheinlichkeit und nach (Störungsverteilung für , unabhängig von ) mit Wahrscheinlichkeit . $y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

Sei die Indikatorvariable, die angibt, dass die Probe aus der Störverteilung gezogen wurde; Wenn es also dies, dass die Stichprobe aus . Wenn die Stichprobe aus der Störfleckverteilung gezogen wurde, ist ihr Wert offensichtlich für die Schätzung von irrelevant . $c_i$ $i$ $0$ $p(y|x)$ $x$

Es ist das Vorhandensein der möglichen gemeinsamen Zustände für diese Indikatorvariablen, die das Problem verursachen. $2^N$

— Dave
quelle

Wir können jedoch zusätzliche

-Variablen löschen, da wir eine maximale posteriore Lösung des Problems erhalten müssen. Posterior für

hat eine klare Form, so dass wir nicht gezwungen sind, alle

gegenwärtigen Zustände zu berücksichtigen . Die Frage lautet also: "Warum benötigen wir diese Menge an Berechnungen, wenn wir eine maximale hintere Lösung finden möchten?"

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

— Alexey Zaytsev

Die Maximierung muss über die Zustände für die

Variablen übernommen werden.

c

$c$

— Dave

Wir kennen

, also integrieren wir

. Das geht doch direkt, oder?

c_{i}

$c_i$

c_{i}

$c_i$

— Alexey Zaytsev

Direkt ja, aber die Anzahl der Zustände (Terme) wächst wie

, was rechnerisch problematisch sein kann.

2^{N}

$2^N$

— Dave

Wir können dies für jede Beobachtung auf unabhängige Weise tun, so dass wir

und nicht

-Komplexität haben.

O (n)

$O(n)$

O (2^{n})

$O(2^n)$

— Alexey Zaytsev