Mathematische Modellierung neuronaler Netze als grafische Modelle

Ich habe Mühe, die mathematische Verbindung zwischen einem neuronalen Netzwerk und einem grafischen Modell herzustellen.

In grafischen Modellen ist die Idee einfach: Die Wahrscheinlichkeitsverteilung wird gemäß den Cliquen in der Grafik faktorisiert, wobei die Potentiale normalerweise aus der Exponentialfamilie stammen.

Gibt es eine äquivalente Begründung für ein neuronales Netzwerk? Kann man die Wahrscheinlichkeitsverteilung über die Einheiten (Variablen) in einer Restricted Boltzmann-Maschine oder einem CNN als Funktion ihrer Energie oder das Produkt der Energien zwischen Einheiten ausdrücken?

Wird die Wahrscheinlichkeitsverteilung auch von einem RBM- oder Deep-Believe-Netzwerk (z. B. mit CNNs) der Exponentialfamilie modelliert?

Ich hoffe, einen Text zu finden, der die Verbindung zwischen diesen modernen Arten neuronaler Netze und Statistiken auf die gleiche Weise formalisiert, wie es Jordan & Wainwright für grafische Modelle mit ihren grafischen Modellen, Exponentialfamilien und Variationsinferenzen getan hat . Alle Hinweise wären toll.

Eine weitere gute Einführung zu diesem Thema ist der CSC321- Kurs an der University of Toronto und der Neuralnets-2012-001- Kurs über Coursera, die beide von Geoffrey Hinton unterrichtet werden.

Aus dem Video über Glaubensnetze:

Grafische Modelle

Frühe grafische Modelle verwendeten Experten, um die Graphstruktur und die bedingten Wahrscheinlichkeiten zu definieren. Die Grafiken waren nur spärlich miteinander verbunden, und der Schwerpunkt lag auf der Durchführung korrekter Schlussfolgerungen und nicht auf dem Lernen (das Wissen stammte von den Experten).

Neuronale Netze

Für neuronale Netze stand das Lernen im Mittelpunkt. Das Wissen fest zu verdrahten war nicht cool (OK, vielleicht ein bisschen). Das Lernen kam vom Lernen der Trainingsdaten, nicht von Experten. Neuronale Netze zielten nicht auf die Interpretierbarkeit einer spärlichen Konnektivität ab, um die Inferenz zu vereinfachen. Trotzdem gibt es neuronale Netzwerkversionen von Glaubensnetzen.

Mein Verständnis ist, dass Glaubensnetze normalerweise zu dicht miteinander verbunden sind und ihre Cliquen zu groß sind, um interpretiert werden zu können. Glaubensnetze verwenden die Sigmoid-Funktion, um Eingaben zu integrieren, während kontinuierliche grafische Modelle normalerweise die Gauß-Funktion verwenden. Das Sigmoid erleichtert das Trainieren des Netzwerks, ist jedoch hinsichtlich der Wahrscheinlichkeit schwieriger zu interpretieren. Ich glaube, beide gehören zur exponentiellen Familie.

Ich bin kein Experte in diesem Bereich, aber die Vorlesungsunterlagen und Videos sind eine großartige Ressource.

Radford Neal hat in diesem Bereich gute Arbeit geleistet, die Sie interessieren könnte, einschließlich einiger direkter Arbeiten zur Gleichsetzung von Bayes'schen grafischen Modellen mit neuronalen Netzen. (Seine Dissertation befasste sich offenbar mit diesem speziellen Thema.)

Ich bin mit dieser Arbeit nicht vertraut genug, um eine intelligente Zusammenfassung zu liefern, aber ich wollte Ihnen den Zeiger geben, falls Sie ihn hilfreich finden.

Dies mag ein alter Thread sein, aber immer noch eine relevante Frage.

Das bekannteste Beispiel für die Verbindungen zwischen neuronalen Netzen (NN) und probabilistischen grafischen Modellen (PGM) ist das zwischen Boltzmann-Maschinen (und ihren Variationen wie Restricted BM, Deep BM usw.) und ungerichteten PGMs von Markov Random Field.

In ähnlicher Weise sind Glaubensnetzwerke (und ihre Variationen wie Deep BN usw.) eine Art gerichteter PGMs von Bayes'schen Graphen

Weitere Informationen finden Sie unter:

1. Yann Lecun, " Ein Tutorial zum energiebasierten Lernen " (2006)
2. Yoshua Bengio, Ian Goodfellow und Aaron Courville, "Deep Learning", Kapitel 16 und 20 (Buch in Vorbereitung, zum Zeitpunkt des Schreibens dieses Dokuments)