Unterschied zwischen Bayes-Netzwerk, neuronalem Netzwerk, Entscheidungsbaum und Petri-Netzen

Was ist der Unterschied zwischen dem neuronalen Netzwerk , dem Bayes'schen Netzwerk , dem Entscheidungsbaum und den Petri-Netzen , obwohl sie alle grafische Modelle sind und die Ursache-Wirkung-Beziehung visuell darstellen?

Wow, was für eine große Frage! Die kurze Version der Antwort lautet: Nur weil Sie zwei Modelle mithilfe von diagrammartig ähnlichen visuellen Darstellungen darstellen können, bedeutet dies nicht, dass sie strukturell, funktional oder philosophisch miteinander in Beziehung stehen. Ich kenne mich nicht mit FCM oder NF aus, aber ich kann ein bisschen mit den anderen sprechen.

Bayesian Network

In einem Bayes'schen Netzwerk stellt das Diagramm die bedingten Abhängigkeiten verschiedener Variablen im Modell dar. Jeder Knoten repräsentiert eine Variable und jede gerichtete Kante repräsentiert eine bedingte Beziehung. Das grafische Modell ist im Wesentlichen eine Visualisierung der Kettenregel.

Neurales Netzwerk

In einem neuronalen Netzwerk ist jeder Knoten ein simuliertes "Neuron". Das Neuron ist im Wesentlichen ein- oder ausgeschaltet, und seine Aktivierung wird durch eine lineare Kombination der Werte jeder Ausgabe in der vorhergehenden "Schicht" des Netzwerks bestimmt.

Entscheidungsbaum

Angenommen, wir verwenden einen Entscheidungsbaum zur Klassifizierung. Der Baum liefert uns im Wesentlichen ein Flussdiagramm, das beschreibt, wie wir eine Beobachtung klassifizieren sollen. Wir beginnen an der Wurzel des Baumes und das Blatt, in dem wir landen, bestimmt die Klassifizierung, die wir vorhersagen.

Wie Sie sehen, haben diese drei Modelle im Grunde genommen überhaupt nichts miteinander zu tun, außer dass sie mit Kästchen und Pfeilen darstellbar sind.

Es ist leicht zu zeigen (siehe den Kurs von Daphne Koller ), dass die logistische Regression eine eingeschränkte Version von bedingten Zufallsfeldern ist, bei denen es sich um ungerichtete grafische Modelle handelt, während es sich bei Bayes'schen Netzwerken um gerichtete grafische Modelle handelt. Die logistische Regression kann dann auch als einschichtiges Perzeptron betrachtet werden. Dies ist die einzige Verbindung (die sehr locker ist), die meines Erachtens zwischen Bayes'schen Netzen und neuronalen Netzen bestehen könnte.

Ich muss noch eine Verbindung zwischen den anderen Konzepten finden, nach denen Sie gefragt haben.

Hervorragende Antwort von @David Marx. Ich habe mich gefragt, was der Unterschied zwischen Klassifizierungs- / Regressionsbaum und Bayes'schem Netzwerk ist. Einer baut auf Entropie auf, um ein Ergebnis in Klassen zu klassifizieren, die auf verschiedenen Prädiktoren basieren, und der andere baut ein grafisches Netzwerk auf, das bedingte Unabhängigkeit und probabilistische Parameterschätzungen verwendet.

Ich bin der Meinung, dass sich die Methode zum Aufbau des Bayes'schen Netzwerks von der des Regressions- / Entscheidungsbaums unterscheidet. Der Algorithmus für das strukturelle Lernen, die Verwendungsziele der Modelle sowie die Inferenzfähigkeit der Modelle sind unterschiedlich.

Der Score-basierte und Constrained-basierte Ansatz kann mit einigen Parallelen verstanden werden, die mit den Informationsgewinnkriterien in den Entscheidungsbaumfamilien gezogen wurden.

Zunächst versuchen wir, die Art des Problems anzugeben, das mit diesen Methoden gelöst werden soll. Wenn ein Problem unkompliziert ist (Polynom oder NP Complete), können Algorithmen eingesetzt werden, die eine deterministische Antwort liefern, indem die Axiome einfach nach logischen Regeln rekombiniert werden. Wenn dies jedoch nicht der Fall ist, müssen wir uns auf eine Argumentationsmethode verlassen, bei der wir versuchen, das Problem als heterogen zu behandeln und es an ein Netzwerk anzuschließen, wobei die Knoten Auswertungen und die Kanten Pfade zwischen den Komponenten sind .

Bei jeder Art von netzwerkbasiertem Denken schließen wir nicht deduktiv mit abstrakten Verallgemeinerungen und Kombinationen nach logischen Regeln in einem linearen Fluss, sondern lösen das Problem auf der Grundlage der Ausbreitung des Denkens in verschiedene Richtungen, so dass wir es lösen Das Problem wird Knoten für Knoten gelöst und ist offen für Verbesserungen bei der Entdeckung neuer Fakten zu zukünftigen Knoten. Lassen Sie uns nun sehen, wie jede dieser Techniken diese Methode der Problemlösung auf ihre eigene Weise angeht.

Neuronales Netzwerk: Das neuronale Netzwerk ist eine Black Box, bei der angenommen wird (von außerhalb des Systems nie überprüft werden konnte), dass Verbindungen zwischen einzelnen Knoten durch wiederholte externe Verstärkungen hergestellt und verstärkt werden. Es nähert sich dem Problem in einem konnektionistischen Paradigma. Das Problem ist wahrscheinlich gelöst, aber es gibt wenig Erklärbarkeit. Das neuronale Netz wird heute aufgrund seiner Fähigkeit, schnelle Ergebnisse zu erzielen, häufig verwendet, wenn das Problem der Erklärbarkeit übersehen wird.

Bayesian Network: Das Bayes'sche Netzwerk ist ein gerichteter azyklischer Graph, der eher dem Flussdiagramm ähnelt, nur dass das Flussdiagramm zyklische Schleifen aufweisen kann. Das Bayes'sche Netzwerk kann im Gegensatz zum Flussdiagramm mehrere Startpunkte haben. Grundsätzlich wird die Ausbreitung von Ereignissen über mehrere mehrdeutige Punkte verfolgt, an denen das Ereignis wahrscheinlich zwischen den Pfaden divergiert. Offensichtlich ist an jedem beliebigen Punkt im Netzwerk die Wahrscheinlichkeit, dass dieser Knoten besucht wird, von der gemeinsamen Wahrscheinlichkeit der vorhergehenden Knoten abhängig. Das Bayes'sche Netzwerk unterscheidet sich insofern vom Neuronalen Netzwerk, als es explizit begründet ist, obwohl es probabilistisch ist und daher mehrere stabile Zustände haben kann, basierend auf jedem Schritt, der innerhalb gesetzlicher Werte überprüft und modifiziert wird, genau wie ein Algorithmus. Es ist ein robuster Weg, probabilistisch zu argumentieren, aber es beinhaltet die Kodierung von Wahrscheinlichkeiten,

Entscheidungsbäume: Der Entscheidungsbaum ist wieder ein Netzwerk, das eher einem Flussdiagramm ähnelt und näher am Bayes'schen Netzwerk liegt als am neuronalen Netz. Jeder Knoten hat mehr Intelligenz als das neuronale Netz, und die Verzweigung kann durch mathematische oder probabilistische Auswertungen bestimmt werden. Die Entscheidungen sind einfache Auswertungen auf der Grundlage von Häufigkeitsverteilungen wahrscheinlicher Ereignisse, bei denen die Entscheidung probabilistisch ist. In Bayes'schen Netzwerken basiert die Entscheidung jedoch auf der Verteilung von „Beweisen“, die auf ein eingetretenes Ereignis hinweisen, und nicht auf der direkten Beobachtung des Ereignisses.

Ein Beispiel Wenn wir zum Beispiel die Bewegung eines menschenfressenden Tigers durch einige Himalaya-Dörfer vorhersagen würden, die sich zufällig am Rand eines Tigerreservats befinden, könnten wir dies wie folgt modellieren:

In einem Entscheidungsbaum würden wir uns auf Expertenschätzungen stützen, ob ein Tiger die Wahl zwischen offenen Feldern hätte oder ob Flüsse sich für letzteres entscheiden würden. In einem Bayesianischen Netzwerk verfolgen wir den Tiger anhand von Mops-Markierungen, begründen dies jedoch auf eine Weise, die anerkennt, dass diese Mops-Markierungen möglicherweise von einem Tiger ähnlicher Größe stammen, der routinemäßig auf seinem Territorium patrouilliert. Wenn wir ein neuronales Netz verwenden möchten, müssten wir das Modell wiederholt unter Verwendung verschiedener Verhaltensmerkmale des Tigers im Allgemeinen trainieren, z Lassen Sie das Netzwerk generell über den Kurs nachdenken, den der Tiger nehmen könnte.

In Bezug auf grafische Modelle formalisiert Petri Net ein Systemverhalten. , dass es sich stark von den übrigen genannten Modellen unterscheidet, die sich alle darauf beziehen, wie ein Urteil gebildet wird.

Es ist zu beachten, dass die meisten der zitierten Namen ziemlich umfangreiche KI-Konzepte bezeichnen, die häufig zusammenfallen: Beispielsweise können Sie ein neuronales Netzwerk verwenden, um einen Entscheidungsbaum zu erstellen, während das neuronale Netzwerk selbst, wie bereits erwähnt, möglicherweise von Bayesian abhängt Inferenz.

Es ist eine gute Frage und ich habe mich das gleiche gefragt. Es gibt mehr als zwei Arten von neuronalen Netzen, und es scheint, dass die vorherige Antwort den Wettbewerbstyp ansprach, während das Bayes'sche Netz Ähnlichkeiten mit dem Feed-Forward-, Back-Propagation- (FFBP) -Typ und nicht mit dem Wettbewerbstyp aufzuweisen scheint. Tatsächlich würde ich sagen, dass das Bayes'sche Netzwerk eine Verallgemeinerung des FFBP ist. Das FFBP ist also eine Art bayesianisches Netzwerk und funktioniert auf ähnliche Weise.