Wann sind Markov-Zufallsfelder Exponentialfamilien?

In ihrem Lehrbuch, Graphical Models, Exponential Families and Variational Inference , diskutieren M. Jordan und M. Wainwright die Verbindung zwischen Exponential Families und Markov Random Fields (ungerichtete graphische Modelle).

Ich versuche, die Beziehung zwischen ihnen mit den folgenden Fragen besser zu verstehen:

• Sind alle MRFs Mitglieder der Exponentialfamilien?
• Können alle Mitglieder aus den Exponentialfamilien als MRF vertreten sein?
• Wenn MRFs Exponentialfamilien, was sind einige gute Beispiele für Verteilungen eines Typs, die im anderen nicht enthalten sind ?$\neq$

Nach dem, was ich in ihrem Lehrbuch (Kapitel 3) verstehe, präsentieren Jordan und Wainwright das nächste Argument:

1. Angenommen, wir haben eine skalare Zufallsvariable X, die einer gewissen Verteilung folgt , und zeichnen iid Beobachtungen , und wir wollen identifizieren .n X 1 , … X n$p$$n$$X^1, \ldots X^n$$p$

2. Wir berechnen die empirischen Erwartungen bestimmter Funktionen$\phi_\alpha%$

   α≤$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ für alle$\alpha \in \mathcal{I}$

   Dabei indiziert jedes in einer Menge eine FunktionI ϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Wenn wir dann die folgenden zwei Mengen von Größen zwingen, konsistent zu sein, dh zu passen (um zu identifizieren ):$p$

   • Die Erwartungen an die ausreichende Statistik der Verteilungϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • Die Erwartungen unter der empirischen Verteilung

wir bekommen unterbestimmt Problem , in dem Sinne , dass es viele Distributionen ist , die mit den Beobachtungen übereinstimmen. Wir brauchen also ein Prinzip für die Auswahl (um zu identifizieren ).$p$$p$

Wenn wir das Prinzip der maximalen Entropie verwenden , um diese Unbestimmtheit zu beseitigen, können wir ein einzelnes :$p$

E p [ ( & phiv; & agr; ( X ) ] = & mgr; & agr; & agr; ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ vorbehaltlich für alle$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

wobei die Form exp wobei repräsentiert eine Parametrisierung der Verteilung in exponentieller Familienform.p θ ( x ) & agr; & Sigma; & agr; ∈ I θ & agr; & phiv; & agr; ( x ) , θ ∈ R $p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

Mit anderen Worten, wenn wir

1. Stellen Sie sicher, dass die Erwartungen der Verteilungen mit den Erwartungen der empirischen Verteilung übereinstimmen
2. Verwenden Sie das Prinzip der maximalen Entropie, um Unbestimmtheit zu beseitigen

$\rightarrow$ Am Ende haben wir eine Verteilung der Exponentialfamilie.

Dies scheint jedoch eher ein Argument für die Einführung von Exponentialfamilien zu sein, und (soweit ich verstehen kann) beschreibt es nicht die Beziehung zwischen MRFs und exp. Familien. Vermisse ich etwas?

Sie haben völlig Recht - das von Ihnen vorgelegte Argument bezieht die Exponentialfamilie auf das Prinzip der maximalen Entropie, hat aber nichts mit MRFs zu tun.

So beantworten Sie Ihre drei ersten Fragen:

Können alle Mitglieder aus den Exponentialfamilien als MRF vertreten sein?

Ja. Tatsächlich kann jede Dichte- oder Massenfunktion als MRF dargestellt werden! Nach Wikipedia [1] ist eine MRF definiert als eine Menge von Zufallsvariablen, die Markov in Bezug auf einen ungerichteten Graphen sind. Entsprechend kann die gemeinsame Verteilung der Variablen mit der folgenden Faktorisierung geschrieben werden: wobei die Menge von ist maximale Cliquen in . Anhand dieser Definition können Sie erkennen, dass ein vollständig verbundener Graph, obwohl er nicht aussagekräftig ist, mit jeder Verteilung konsistent ist.c l ( G )

Sind alle MRFs Mitglieder der Exponentialfamilien?

Nein. Da alle Verteilungen als MRFs dargestellt werden können (und nicht alle Verteilungen zur Exponentialfamilie gehören), müssen einige "MRF-Mitglieder" keine Exponentialfamilienmitglieder sein. Dennoch ist dies eine ganz natürliche Frage - es scheint , wie die überwiegende Mehrheit der MRF Menschen in der Praxis verwenden Verteilungen Exponentialfamilie. Alle diskreten MRFs mit endlicher Domäne und Gauß-MRFs sind Mitglieder der Exponentialfamilie. Da Produkte exponentieller Familienverteilungen ebenfalls zur exponentiellen Familie gehören, gehört die gemeinsame Verteilung aller MRFs, in denen jede potenzielle Funktion die Form eines (nicht normalisierten) exponentiellen Familienmitglieds hat, selbst zur exponentiellen Familie.$are$

Wenn MRFs Exponentialfamilien, was sind einige gute Beispiele für Verteilungen eines Typs, die im anderen nicht enthalten sind?$\neq$

Mischungsverteilungen sind übliche Beispiele für nichtexponentielle Familienverteilungen. Betrachten Sie das lineare Gaußsche Zustandsraummodell (wie ein Hidden-Markov-Modell, jedoch mit kontinuierlichen Hidden-Zuständen und Gaußschen Übergangs- und Emissionsverteilungen). Wenn Sie den Übergangskernel durch eine Mischung von Gaußschen ersetzen, liegt die resultierende Verteilung nicht mehr in der Exponentialfamilie (sie behält jedoch weiterhin die für praktische grafische Modelle charakteristische bedingte Unabhängigkeitsstruktur bei).

[1] http://en.wikipedia.org/wiki/Markov_random_field