Wann sind Markov-Zufallsfelder Exponentialfamilien?

21

In ihrem Lehrbuch, Graphical Models, Exponential Families and Variational Inference , diskutieren M. Jordan und M. Wainwright die Verbindung zwischen Exponential Families und Markov Random Fields (ungerichtete graphische Modelle).

Ich versuche, die Beziehung zwischen ihnen mit den folgenden Fragen besser zu verstehen:

  • Sind alle MRFs Mitglieder der Exponentialfamilien?
  • Können alle Mitglieder aus den Exponentialfamilien als MRF vertreten sein?
  • Wenn MRFs Exponentialfamilien, was sind einige gute Beispiele für Verteilungen eines Typs, die im anderen nicht enthalten sind ?

Nach dem, was ich in ihrem Lehrbuch (Kapitel 3) verstehe, präsentieren Jordan und Wainwright das nächste Argument:


  1. Angenommen, wir haben eine skalare Zufallsvariable X, die einer gewissen Verteilung folgt , und zeichnen iid Beobachtungen , und wir wollen identifizieren .n X 1 , X n ppnX1,Xnp

  2. Wir berechnen die empirischen Erwartungen bestimmter Funktionenϕα

    αIμ^α=1ni=1nϕα(Xi), für alleαI

    Dabei indiziert jedes in einer Menge eine FunktionI ϕ α : XRαIϕα:XR

  3. Wenn wir dann die folgenden zwei Mengen von Größen zwingen, konsistent zu sein, dh zu passen (um zu identifizieren ):p

    • Die Erwartungen an die ausreichende Statistik der Verteilungϕ pEp[(ϕα(X)]=Xϕα(x)p(x)ν(dx)ϕp

    • Die Erwartungen unter der empirischen Verteilung

wir bekommen unterbestimmt Problem , in dem Sinne , dass es viele Distributionen ist , die mit den Beobachtungen übereinstimmen. Wir brauchen also ein Prinzip für die Auswahl (um zu identifizieren ).ppp

Wenn wir das Prinzip der maximalen Entropie verwenden , um diese Unbestimmtheit zu beseitigen, können wir ein einzelnes :p

E p [ ( & phiv; & agr; ( X ) ] = & mgr; & agr; & agr; Ip=argmaxpPH(p) vorbehaltlich für alleEp[(ϕα(X)]=μ^ααI

wobei die Form exp wobei repräsentiert eine Parametrisierung der Verteilung in exponentieller Familienform.p θ ( x ) & agr; & Sigma; & agr; I θ & agr; & phiv; & agr; ( x ) , θ R dppθ(x)αIθαϕα(x),θRd

Mit anderen Worten, wenn wir

  1. Stellen Sie sicher, dass die Erwartungen der Verteilungen mit den Erwartungen der empirischen Verteilung übereinstimmen
  2. Verwenden Sie das Prinzip der maximalen Entropie, um Unbestimmtheit zu beseitigen

Am Ende haben wir eine Verteilung der Exponentialfamilie.


Dies scheint jedoch eher ein Argument für die Einführung von Exponentialfamilien zu sein, und (soweit ich verstehen kann) beschreibt es nicht die Beziehung zwischen MRFs und exp. Familien. Vermisse ich etwas?

Amelio Vazquez-Reina
quelle
3
Ich glaube, da gibt es einige Verwirrung: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) werden nicht nach dem Maximum-Entropie-Prinzip definiert, sondern für sich allein dadurch, dass die Dichte nach den Cliquen der faktorisiert Graph. MRFs sind aufgrund ihrer log-linearen Darstellung exponentielle Familien.
Xi'an,
Vielen Dank @ Xi'an. Dieser Teil " MRFs werden durch die Tatsache definiert, dass die Dichte gemäß den Cliquen des Graphen faktorisiert " ist das, was ich immer gedacht habe, um einen MRF zu definieren. Aber warum macht diese Eigenschaft alle MRFs zu einem Teil der Exponentialfamilien? Und was sind Beispiele (falls vorhanden) für einen Typ (MRFs oder exp. Familien), die nicht dem anderen Typ angehören?
Amelio Vazquez-Reina
1
Ich bin nicht sicher, wie viel es für Sie hinzufügen wird, aber eine Sache, die es klarer machen könnte, ist das Lesen der ursprünglichen Formulierung von Gibbs-Verteilungen und MRFs in diesem Artikel von Geman und Geman. Grundsätzlich besteht die ganze Idee darin, etwas mit einer Boltzman-Verteilung zu modellieren (exp zum Minus-Etwas) und dann zu fragen, wie das Etwas faktorisiert wird. Aufgrund dieser Art der Beschreibung ist ihre Verbindung zu exponentiellen Familien möglicherweise offensichtlicher.
Ely
3
Exponentialfamilien werden dadurch definiert, dass die logarithmische Dichte im Wesentlichen ein Skalarprodukt einer vektoriellen Funktion der Beobachtungen und einer vektoriellen Funktion der Parameter ist. Diese Definition enthält keine grafische Struktur. MRFs beinhalten zusätzlich einen Graphen, der die Cliquen, die Nachbarschaften usw. definiert. Daher sind MRFs exponentielle Familien mit einer zusätzlichen Struktur, dem Graphen.
Xi'an
1
Ich vermute, die Verwirrung bei widersprüchlichen Kommentaren / Antworten hängt davon ab, ob Sie Faktoren einführen dürfen, die in Bezug auf ihre Parameter nicht loglinear sind.
Jaroslaw Bulatow

Antworten:

14

Sie haben völlig Recht - das von Ihnen vorgelegte Argument bezieht die Exponentialfamilie auf das Prinzip der maximalen Entropie, hat aber nichts mit MRFs zu tun.

So beantworten Sie Ihre drei ersten Fragen:

Können alle Mitglieder aus den Exponentialfamilien als MRF vertreten sein?

Ja. Tatsächlich kann jede Dichte- oder Massenfunktion als MRF dargestellt werden! Nach Wikipedia [1] ist eine MRF definiert als eine Menge von Zufallsvariablen, die Markov in Bezug auf einen ungerichteten Graphen sind. Entsprechend kann die gemeinsame Verteilung der Variablen mit der folgenden Faktorisierung geschrieben werden: wobei die Menge von ist maximale Cliquen in . Anhand dieser Definition können Sie erkennen, dass ein vollständig verbundener Graph, obwohl er nicht aussagekräftig ist, mit jeder Verteilung konsistent ist.c l ( G ) G

P(X=x)=Ccl(G)ϕC(XC=xC)
cl(G)G

Sind alle MRFs Mitglieder der Exponentialfamilien?

Nein. Da alle Verteilungen als MRFs dargestellt werden können (und nicht alle Verteilungen zur Exponentialfamilie gehören), müssen einige "MRF-Mitglieder" keine Exponentialfamilienmitglieder sein. Dennoch ist dies eine ganz natürliche Frage - es scheint , wie die überwiegende Mehrheit der MRF Menschen in der Praxis verwenden Verteilungen Exponentialfamilie. Alle diskreten MRFs mit endlicher Domäne und Gauß-MRFs sind Mitglieder der Exponentialfamilie. Da Produkte exponentieller Familienverteilungen ebenfalls zur exponentiellen Familie gehören, gehört die gemeinsame Verteilung aller MRFs, in denen jede potenzielle Funktion die Form eines (nicht normalisierten) exponentiellen Familienmitglieds hat, selbst zur exponentiellen Familie.einre

Wenn MRFs Exponentialfamilien, was sind einige gute Beispiele für Verteilungen eines Typs, die im anderen nicht enthalten sind?

Mischungsverteilungen sind übliche Beispiele für nichtexponentielle Familienverteilungen. Betrachten Sie das lineare Gaußsche Zustandsraummodell (wie ein Hidden-Markov-Modell, jedoch mit kontinuierlichen Hidden-Zuständen und Gaußschen Übergangs- und Emissionsverteilungen). Wenn Sie den Übergangskernel durch eine Mischung von Gaußschen ersetzen, liegt die resultierende Verteilung nicht mehr in der Exponentialfamilie (sie behält jedoch weiterhin die für praktische grafische Modelle charakteristische bedingte Unabhängigkeitsstruktur bei).

[1] http://en.wikipedia.org/wiki/Markov_random_field

Drew
quelle