Welche Beziehung besteht zwischen hierarchischen Modellen, neuronalen Netzwerken, grafischen Modellen und bayesianischen Netzwerken?

34

Sie scheinen alle Zufallsvariablen durch die Knoten und (in) Abhängigkeit über die (möglicherweise gerichteten) Kanten darzustellen. Mich interessiert vor allem die Sichtweise eines Bayesianers.

cespinoza
quelle

Antworten:

30

Ein Bayes'sches Netzwerk ist eine Art grafisches Modell. Der andere "große" Typ eines grafischen Modells ist ein Markov Random Field (MRF). Grafische Modelle werden zur Folgerung, Schätzung und im Allgemeinen zur Modellierung der Welt verwendet.

Der Begriff hierarchisches Modell wird verwendet, um viele Dinge in verschiedenen Bereichen zu bedeuten.

Während neuronale Netze mit "Graphen" geliefert werden, kodieren sie im Allgemeinen keine Abhängigkeitsinformationen, und die Knoten repräsentieren keine Zufallsvariablen. NNs sind unterschiedlich, weil sie diskriminierend sind. Beliebte neuronale Netze werden zur Klassifizierung und Regression verwendet.

Kevin Murphy hat eine hervorragende Einführung in diese Themen finden Sie hier .

carlosdc
quelle
netter link. thx
suncoolsu
1
Danke für die Antwort. Wie der ursprüngliche Fragesteller frage ich mich jedoch auch, wo mehrstufige / hierarchische Regressionsmodelle in dieses Bild passen. (Hierarchisch ist wie hier definiert: en.wikipedia.org/wiki/Hierarchical_linear_modeling )
Yang
Es gibt aber auch generative neuronale Netzwerkmodelle. RNNs, GANs, etc.
Alexander Reshytko
9

Wie @carlosdc sagte, ist ein Bayes'sches Netzwerk eine Art grafisches Modell (dh ein gerichteter azyklischer Graph (DAG), dessen Struktur einen Satz von bedingten Unabhängigkeitseigenschaften definiert). Hierarchische Bayes-Modelle können auch als DAGs dargestellt werden. Hierarchische Naive Bayes-Klassifikatoren für unsichere Daten von Bellazzi et al. Bieten eine gute Einführung in die Klassifizierung mit solchen Modellen. Über hierarchische Modelle denke ich, dass viele Artikel durch googeln mit geeigneten Schlüsselwörtern abgerufen werden können; Ich habe zum Beispiel folgendes gefunden:

CH Jackson, NG Best und S. Richardson. Bayesianische Grafikmodelle für die Regression mehrerer Datensätze mit unterschiedlichen Variablen . Biostatistics (2008) 10 (2): 335 & ndash; 351.

Michael I. Jordan hat ein nettes Tutorial über grafische Modelle mit verschiedenen Anwendungen, die auf dem faktoriellen Hidden-Markov-Modell in der Bioinformatik oder der Verarbeitung natürlicher Sprache basieren . Lesenswert ist auch sein Buch Learning in Graphical Models (MIT Press, 1998) (Anwendung von GMs auf die Strukturmodellierung mit BUGS- Code, S. 575-598).

chl
quelle
0

Neuronale Netzwerke erfordern keine Prioritäten, aber jeder versteckte Knoten (Neuronen) eines neuronalen Netzwerks kann als CPD (Noisy OR / AND CPD) für einen linearen Knoten oder als Sigmoid CPD für einen logistischen Knoten betrachtet werden

Neuronale Netze können also als mehrere Schichten von versteckten Knoten mit jeweils linearen / sigmoidalen CPDs betrachtet werden

Kollers Kurs über Coursera ODER ihr Lehrbuch sollte eine gute Referenz für Arten von CPDs sein.

Raghu
quelle
Wofür steht CPD?
Gwr