Bayesianische Online-Änderungspunkterkennung (marginale prädiktive Verteilung)

Ich lese das Bayesian Online Changepoint Detection Paper von Adams und MacKay ( Link ).

Die Autoren schreiben zunächst die marginale Vorhersageverteilung: wobei

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$$

• $x_t$ ist die Beobachtung zum Zeitpunkt ;$t$
• $\textbf{x}_{1:t}$ bezeichnet die Menge der Beobachtung bis zum Zeitpunkt ;$t$
• $r_t \in \mathbb{N}$ ist die aktuelle Lauflänge (Zeit seit dem letzten Änderungspunkt kann 0 sein); und
• $\textbf{x}_t^{(r)}$ ist die Menge der Beobachtungen, die dem Lauf .$r_t$

Gl. 1 ist formal korrekt (siehe die Antwort von @JuhoKokkala unten), aber ich verstehe, dass Sie, wenn Sie tatsächlich eine Vorhersage über machen möchten , diese wie folgt erweitern müssen:$x_{t+1}$

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$$

Meine Argumentation ist, dass es zum (zukünftigen) Zeitpunkt durchaus einen Änderungspunkt geben könnte , aber das hintere nur bis abdeckt .$t+1$$P(r_t | \textbf{x}_{1:t})$$t$

Der Punkt ist, die Autoren in der Arbeit machen uns von Gl. 1 wie sie ist (siehe Gleichungen 3 und 11 im Papier) und nicht 1b. Sie ignorieren also scheinbar die Möglichkeit eines Änderungspunkts zum Zeitpunkt $t+1$ wenn sie $x_{t+1}$ aus den zum Zeitpunkt t verfügbaren Daten vorhersagen $t$. Zu Beginn von Abschnitt 2 heißt es en passant

Wir nehmen an, dass wir die Vorhersageverteilung [für $x_{t+1}$ ] abhängig von einer gegebenen Lauflänge $r_t$ .

Hier liegt vielleicht der Trick. Im Allgemeinen sollte diese prädiktive Verteilung jedoch ungefähr so ​​aussehen wie Gl. 1b; was sie nicht tun (Gl. 11).

Ich bin mir also nicht sicher, ob ich verstehe, was los ist. Vielleicht ist mit der Notation etwas Lustiges los.

---

Referenz

• Adams, RP & MacKay, DJ (2007). Bayesianische Online-Änderungspunkterkennung. arXiv-Vorabdruck arXiv: 0710.3742.

Sowohl (1) als auch (1b) sind korrekt. Das OP hat Recht, dass (in diesem Modell) bei möglicherweise ein Änderungspunkt vorhanden ist und davon abhängt, ob es einen Änderungspunkt gibt. Dies impliziert keine Probleme mit (1), da die möglichen Werte von vollständig von "abgedeckt" werden . bedeutet die bedingte Verteilung von bedingt durch . Diese bedingte Verteilung wird über "alles andere" einschließlich , abhängig von . So wie man beispielsweise schreiben könnte$t+1$$x_{t+1}$$r_{t+1}$$P(x_{t+1} \mid r_t, x_{1:t})$$P(x_{t+1} | r_t, x_{1:t})$$x_{t+1}$$(r_t, x_{1:t})$$r_{t+1}$$(r_t, x_{1:t})$$P(x_{t+1000} | x_t)$Dies würde alle möglichen Konfigurationen von Änderungspunkten sowie Werte von s berücksichtigen, die zwischen und .$x_i$$t$$t+1000$

Im Rest leite ich zuerst (1) und dann (1b) basierend auf (1) ab.

Herleitung von (1)

Für alle Zufallsvariablen gilt: solange diskret ist (andernfalls muss die Summe durch ein Integral ersetzt werden). Anwenden auf :$A,B,C$

$$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$$ $C$$x_{t+1},x_{1:t},r_t$

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$$ die unabhängig von den Abhängigkeiten zwischen , , gilt, keine Modellannahmen haben verwendet wurde. In dem vorliegenden Modell wird angenommen, dass gegebenem * bedingt unabhängig von den Werten von aus den Läufen vor . Dies impliziert . Wenn wir dies in die vorherige Gleichung einsetzen, erhalten wir$r_t$$x_{1:t}$$x_{t+1}$$x_{t+1}$$r_t,x^{(r)}_t$$x$$x^{(r)}_t$$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$$ die (1) in OP ist.

Ableitung von (1b)

Betrachten wir die Zerlegung von über mögliche Werte von : $P(x_{t+1} \mid r_t, x^{(r)}_t)$$r_{t+1}$

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$$

Da angenommen wird, dass * ob ein Änderungspunkt bei (zwischen und ) auftritt, nicht von der Geschichte von abhängt , haben wir . Da bestimmt, ob zum selben Lauf wie , haben wir außerdem . Wenn wir diese beiden Vereinfachungen in die obige Faktorisierung einsetzen, erhalten wir $t+1$$x_t$$x_{t+1}$$x$$P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$$r_{t+1}$$x_{t+1}$$x_t$$P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$$ Wenn wir dies in (1) einsetzen, erhalten wir die OPs (1b) ist. $$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$$

* Bemerkung zu den bedingten Unabhängigkeitsannahmen des Modells

Basierend auf dem schnellen Durchsuchen des Papiers möchte ich persönlich, dass die Eigenschaften der bedingten Unabhängigkeit irgendwo expliziter angegeben werden, aber ich nehme an, dass die Absicht ist, dass Markovian ist und die : s, die verschiedenen Läufen zugeordnet sind, unabhängig sind (angesichts der Läufe).$r$$x$