Bayesianische Online-Änderungspunkterkennung (marginale prädiktive Verteilung)

Ich lese das Bayesian Online Changepoint Detection Paper von Adams und MacKay ( Link ).

Die Autoren schreiben zunächst die marginale Vorhersageverteilung: wobei

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ ist die Beobachtung zum Zeitpunkt ; $t$
$\textbf{x}_{1:t}$ bezeichnet die Menge der Beobachtung bis zum Zeitpunkt ; $t$
$r_t \in \mathbb{N}$ ist die aktuelle Lauflänge (Zeit seit dem letzten Änderungspunkt kann 0 sein); und
$\textbf{x}_t^{(r)}$ ist die Menge der Beobachtungen, die dem Lauf . $r_t$

Gl. 1 ist formal korrekt (siehe die Antwort von @JuhoKokkala unten), aber ich verstehe, dass Sie, wenn Sie tatsächlich eine Vorhersage über machen möchten , diese wie folgt erweitern müssen: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Meine Argumentation ist, dass es zum (zukünftigen) Zeitpunkt durchaus einen Änderungspunkt geben könnte , aber das hintere nur bis abdeckt . $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

Der Punkt ist, die Autoren in der Arbeit machen uns von Gl. 1 wie sie ist (siehe Gleichungen 3 und 11 im Papier) und nicht 1b. Sie ignorieren also scheinbar die Möglichkeit eines Änderungspunkts zum Zeitpunkt $t+1$ wenn sie $x_{t+1}$ aus den zum Zeitpunkt verfügbaren Daten vorhersagen $t$ . Zu Beginn von Abschnitt 2 heißt es en passant

Wir nehmen an, dass wir die Vorhersageverteilung [für $x_{t+1}$ ] abhängig von einer gegebenen Lauflänge $r_t$ .

Hier liegt vielleicht der Trick. Im Allgemeinen sollte diese prädiktive Verteilung jedoch ungefähr so aussehen wie Gl. 1b; was sie nicht tun (Gl. 11).

Ich bin mir also nicht sicher, ob ich verstehe, was los ist. Vielleicht ist mit der Notation etwas Lustiges los.

Referenz

Adams, RP & MacKay, DJ (2007). Bayesianische Online-Änderungspunkterkennung. arXiv-Vorabdruck arXiv: 0710.3742.

— Lacerbi
quelle

Eine mögliche Erklärung ist, dass die Lauflänge am Ende des Zeitschritts , der nach dem Änderungspunkt zum Zeitpunkt . Damit ist Gl. 1 macht Sinn. Tatsächlich besteht eine Initialisierung des Algorithmus darin, was voraussetzt, dass es unmittelbar vor dem Start bei einen Änderungspunkt gibt . Fig. 1 ist jedoch insofern falsch (oder zumindest irreführend), als wenn es einen Änderungspunkt zwischen und und zwischen und wie in Fig. 1a dargestellt, dann und

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$ sollte gemäß dieser Notation 0 sein und nicht und gemäß Fig. 1b.

r_{5}

$r_5$

r_{11}

$r_{11}$

— Lacerbi

In Gl. 3 als mittlerer Faktor im Summanden in der letzten Zeile ist während ich dachte, enthält . Ich vermute, dass und die Plätze da Sinn machen würde. In Gl. In 11 scheint die rechte Seite von abzuhängen, das überhaupt nicht auf der linken Seite erscheint. Entweder stimmt etwas nicht oder ich verstehe die Notation überhaupt nicht.

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala

@ JuhoKokkala: Ich bin froh, dass ich nicht der einzige mit diesem Gefühl bin ...

— Lacerbi

@lacerbi, ich habe noch eine Frage zu diesem Artikel und denke, Sie können sie möglicherweise beantworten, da Sie mit der Arbeit vertraut zu sein scheinen: stats.stackexchange.com/questions/419988 .

— GWG

Sowohl (1) als auch (1b) sind korrekt. Das OP hat Recht, dass (in diesem Modell) bei möglicherweise ein Änderungspunkt vorhanden ist und davon abhängt, ob es einen Änderungspunkt gibt. Dies impliziert keine Probleme mit (1), da die möglichen Werte von vollständig von "abgedeckt" werden . bedeutet die bedingte Verteilung von bedingt durch . Diese bedingte Verteilung wird über "alles andere" einschließlich , abhängig von . So wie man beispielsweise schreiben könnte $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ Dies würde alle möglichen Konfigurationen von Änderungspunkten sowie Werte von s berücksichtigen, die zwischen und . $x_i$ $t$ $t+1000$

Im Rest leite ich zuerst (1) und dann (1b) basierend auf (1) ab.

Herleitung von (1)

Für alle Zufallsvariablen gilt: solange diskret ist (andernfalls muss die Summe durch ein Integral ersetzt werden). Anwenden auf : $A,B,C$

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ die unabhängig von den Abhängigkeiten zwischen , , gilt, keine Modellannahmen haben verwendet wurde. In dem vorliegenden Modell wird angenommen, dass gegebenem * bedingt unabhängig von den Werten von aus den Läufen vor . Dies impliziert . Wenn wir dies in die vorherige Gleichung einsetzen, erhalten wir

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ die (1) in OP ist.

Ableitung von (1b)

Betrachten wir die Zerlegung von über mögliche Werte von : $P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

Da angenommen wird, dass * ob ein Änderungspunkt bei (zwischen und ) auftritt, nicht von der Geschichte von abhängt , haben wir . Da bestimmt, ob zum selben Lauf wie , haben wir außerdem . Wenn wir diese beiden Vereinfachungen in die obige Faktorisierung einsetzen, erhalten wir $t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Wenn wir dies in (1) einsetzen, erhalten wir die OPs (1b) ist.

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

* Bemerkung zu den bedingten Unabhängigkeitsannahmen des Modells

Basierend auf dem schnellen Durchsuchen des Papiers möchte ich persönlich, dass die Eigenschaften der bedingten Unabhängigkeit irgendwo expliziter angegeben werden, aber ich nehme an, dass die Absicht ist, dass Markovian ist und die : s, die verschiedenen Läufen zugeordnet sind, unabhängig sind (angesichts der Läufe). $r$ $x$

— Juho Kokkala
quelle

(+1) Danke. Ja, natürlich verstehe ich, dass Gl. 1 ist formal korrekt, wenn man eine implizite Marginalisierung über annimmt . Das Problem ist, dass die Autoren später Vorhersagen treffen (Gleichung 11 in der Arbeit und implizit in Gleichung 3) und sie scheinbar nicht über marginalisieren, wenn sie sie nehmen.

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

— Lacerbi

Oh. Es scheint dann, dass ich die Frage falsch verstanden habe - sollte ich diese löschen? Vielleicht möchten Sie die Frage klären, derzeit klingt es so, als ob (1) irgendwie falsch ist (anstatt vielleicht nicht nützlich)

— Juho Kokkala

Bitte bewahren Sie diese wertvolle Antwort auf. Mein Fehler, dass ich in meinem ursprünglichen Beitrag nicht klar genug war. Ich habe versucht, meine Frage dank Ihrer Kommentare zu klären, und zwar auf eine Weise, die diese Antwort immer noch aussagekräftig macht.

— Lacerbi