Ist die Richtung der Kanten in einem Bayes-Netzwerk irrelevant?

10

In einer Vorlesung wurde heute behauptet, dass die Richtung der Kanten in einem Bayes-Netzwerk keine Rolle spielt. Sie müssen keine Kausalität darstellen.

Es ist offensichtlich, dass Sie in einem Bayes-Netzwerk keine einzelne Kante wechseln können. Zum Beispiel sei mit V = { v 1 , v 2 , v 3 } und E = { ( v 1 , v 2 ) , ( v 1 , v 3 ) , ( v 2 , v 3) ) } . Wenn Sie wechseln würden ( vG=(V,E)V={v1,v2,v3}E={(v1,v2),(v1,v3),(v2,v3)} bis ( v 3 , v 1 ) , dannwäre G nicht mehr azyklisch und daher kein Bayes-Netzwerk. Dies scheint hauptsächlich ein praktisches Problem zu sein, wie man dann die Wahrscheinlichkeiten abschätzt. Dieser Fall scheint viel schwieriger zu beantworten zu sein, deshalb werde ich ihn überspringen.(v1,v3)(v3,v1)G

Dies hat mich dazu gebracht, die folgenden Fragen zu stellen, auf die ich hier hoffentlich Antworten bekomme:

  1. Ist es möglich, dass ein gerichteter azyklischer Graph (DAG) alle Kanten umkehrt und dennoch eine DAG hat?
  2. Angenommen, eine DAG und Daten sind angegeben. Nun konstruieren wir die inverse DAG G inv . Für beide DAGs passen wir die Daten an die entsprechenden Bayes-Netzwerke an. Jetzt haben wir eine Reihe von Daten, für die wir das Bayes-Netzwerk verwenden möchten, um die fehlenden Attribute vorherzusagen. Könnte es für beide DAG unterschiedliche Ergebnisse geben? (Bonus, wenn Sie ein Beispiel finden)GGinv
  3. Ähnlich wie 2, aber einfacher: Angenommen, eine DAG und Daten werden angegeben. Sie können einen neuen Graphen G ' erstellen , indem Sie einen beliebigen Satz von Kanten invertieren, solange G ' azyklisch bleibt. Sind die Bayes-Netzwerke in Bezug auf ihre Vorhersagen gleichwertig?GG′G′
  4. Bekommen wir etwas, wenn wir Kanten haben, die Kausalität darstellen?
bayesian-networks Martin Thoma
quelle

Antworten:

6

TL; DR: Manchmal können Sie ein gleichwertiges Bayes'sches Netzwerk erstellen, indem Sie die Pfeile umkehren, und manchmal können Sie dies nicht.

Das einfache Umkehren der Richtung der Pfeile ergibt einen anderen gerichteten Graphen, aber dieser Graph ist nicht notwendigerweise der Graph eines äquivalenten Bayes'schen Netzwerks, da die Abhängigkeitsrelationen, die durch den umgekehrten Pfeilgraphen dargestellt werden, sich von denen unterscheiden können, die durch den ursprünglichen Graphen dargestellt werden. Wenn das Diagramm mit umgekehrten Pfeilen andere Abhängigkeitsrelationen als das Original darstellt, ist es in einigen Fällen möglich, ein äquivalentes Bayes'sches Netzwerk zu erstellen, indem weitere Pfeile hinzugefügt werden, um Abhängigkeitsrelationen zu erfassen, die im Diagramm mit umgekehrten Pfeilen fehlen. In einigen Fällen gibt es jedoch kein genau gleichwertiges Bayes'sches Netzwerk. Wenn Sie einige Pfeile hinzufügen müssen, um Abhängigkeiten zu erfassen,

Stellt beispielsweise a -> b -> cdieselben Abhängigkeiten und Abhängigkeiten dar wie a <- b <- cund dieselben wie a <- b -> c, jedoch nicht dieselben wie a -> b <- c. Diese letzte Grafik sagt das aund cist unabhängig, wenn bes nicht beobachtet wird, a <- b -> csagt aber aund cist in diesem Fall abhängig. Wir können eine Kante direkt von hinzufügen , aum cdas zu erfassen, aber dann aund cunabhängig ist, wenn bbeobachtet wird , nicht vertreten ist. Das bedeutet, dass es mindestens eine Faktorisierung gibt, die wir bei der Berechnung der posterioren Wahrscheinlichkeiten nicht ausnutzen können.

All dieses Zeug über Abhängigkeit / Unabhängigkeit, Pfeile und ihre Umkehrungen usw. wird in Standardtexten über Bayes'sche Netzwerke behandelt. Ich kann einige Referenzen ausgraben, wenn Sie wollen.

Bayesianische Netzwerke drücken keine Kausalität aus. Judea Pearl, die viel an Bayes'schen Netzwerken gearbeitet hat, hat auch an sogenannten Kausalnetzwerken gearbeitet (im Wesentlichen Bayes'sche Netzwerke, die mit Kausalzusammenhängen versehen sind).

Robert Dodier
quelle
Dies beantwortet die Fragen (2) und (3). Haben Sie auch eine Idee zu Frage (1) und (4)? (Ja, Referenzen wären nett)
Martin Thoma
(1) Betrachten Sie das Kontrapositive: Wenn das Diagramm mit dem umgekehrten Pfeil einen gerichteten Zyklus hat, muss das Folgen der Pfeile um den Zyklus rückwärts ein gerichteter Zyklus im ursprünglichen Diagramm sein. (4) Bayesianische Netzwerke sind Wahrscheinlichkeitsmodelle und stellen als solche keine Kausalität dar. Es ist möglich, dass sich einige Pfeile tatsächlich auf Kausalzusammenhänge beziehen, dies geht jedoch in einem Wahrscheinlichkeitsmodell verloren. Vielleicht aUrsachen b, aber a -> bund a <- bsind ebenso gültige Wahrscheinlichkeitsmodelle.
Robert Dodier
Einige einleitende Referenzen. Koller & Friedman: "Probabilistische grafische Modelle". Cowell, Dawid, Lauritzen und Spiegelhalter: "Probabilistische Netzwerke und Expertensysteme". Castillo, Gutierrez und Hadi: "Expertensysteme und probabilistische Netzwerkmodelle".
Robert Dodier
Sie können jeden Pfeil umkehren und ein äquivalentes Bayes'sches Netzwerk erhalten, solange Sie die v-Strukturen
beibehalten
1

Dies kann etwas unbefriedigend sein. Sie können diese Antwort also nicht akzeptieren und sich im Voraus entschuldigen.

In einem Bayes-Netz repräsentieren Knoten Zufallsvariablen und Kanten bedingte Abhängigkeiten. Wenn Sie die Knoten auf eine bestimmte Weise interpretieren, fließt die Konditionierung auf natürliche Weise. Eine willkürliche Umkehrung ist im Kontext der Modellierung von Daten nicht wirklich sinnvoll. Und viel Zeit repräsentieren die Pfeile Kausalität.

Taylor
quelle
1
Das ist ziemlich weit weg von der Marke. Die "natürliche" Interpretation wird dem Modell auferlegt, sie ist nicht Teil des Modells selbst. Sie können Abhängigkeiten umkehren (indem Sie nach Bedarf zusätzliche Kanten hinzufügen, um die vom Netzwerk dargestellten Abhängigkeiten beizubehalten), und es handelt sich immer noch um ein Bayes'sches Netzwerk. Ob dies sinnvoll ist, lässt sich nicht nur anhand des Netzwerks selbst beantworten. Übrigens hat Judea Pearl, eine der Hauptakteure hinter den Bayes'schen Netzwerken in den 80er und 90er Jahren, in jüngerer Zeit an formalen Modellen für die Kausalität gearbeitet, die kausale Beziehungen im Modell ausdrücken.
Robert Dodier
Sie sagen: "Ob es sinnvoll ist, lässt sich nicht nur anhand des Netzwerks selbst beantworten." Ich habe es nie gesagt. Ich sagte: "Wenn Sie die Knoten auf eine bestimmte Weise interpretieren, fließt die Konditionierung auf eine bestimmte Weise ..." Dies spiegelt wahrscheinlich meine Vorurteile wider. Sie können das Zeug nennen, das ich an einem Bayes-Netz arbeite, aber diese Frage würde für mich nie auftauchen. Wenn beispielsweise zwei Knoten dieselbe Variable zu unterschiedlichen Zeiten darstellen, steht außer Frage, in welche Richtung die Konditionierung fließt. Ich akzeptiere jedoch die Möglichkeit, dass es Situationen gibt, in denen Menschen diese Baye-Netze weniger starr benutzen.
Taylor
0

Frage 3

synergy.st-andrews.ac.uk/vannesmithlab behauptet, dass die Grafiken

G1 = o->o->o and
G2 = o<-o->o

sind in einer Äquivalenzklasse. Nach dieser Quelle repräsentieren die Modelle genau die gleiche gemeinsame Wahrscheinlichkeitsverteilung.

Martin Thoma
quelle
Das kann nicht richtig sein. Für G1 sind der erste und der letzte abhängig, wenn keine bekannten Werte vorliegen. Für G2 sind der erste und der letzte nicht abhängig, wenn keine bekannten Werte vorliegen. Wolltest du G2 = o <- o -> ostattdessen schreiben ? Auf jeden Fall sehe ich keinen Anspruch auf diese bestimmten Grafiken auf der Webseite, auf die Sie verwiesen haben. Vielleicht können Sie genauer sein.
Robert Dodier