Gibt es eine Domäne, in der Bayes'sche Netzwerke neuronale Netzwerke übertreffen?

48

Neuronale Netze erzielen Spitzenergebnisse bei Computer Vision-Aufgaben (siehe MNIST , ILSVRC , Kaggle Galaxy Challenge ). Sie scheinen jeden anderen Ansatz in Computer Vision zu übertreffen. Es gibt aber auch andere Aufgaben:

Ich bin mir bei ASR (automatische Spracherkennung) und maschineller Übersetzung nicht sicher, aber ich glaube, ich habe auch gehört, dass (wiederkehrende) neuronale Netze andere Ansätze übertreffen.

Ich lerne gerade über Bayesian Networks und frage mich, in welchen Fällen diese Modelle normalerweise angewendet werden. Meine Frage lautet also:

Gibt es eine Herausforderung / (Kaggle-) Konkurrenz, bei der es sich nach dem Stand der Technik um Bayesian Networks oder zumindest um sehr ähnliche Modelle handelt?

(Randnotiz: Ich habe auch Entscheidungsbäume , 2 , 3 , 4 , 5 , 6 , 7 Siege in mehreren letzten Kaggle-Herausforderungen gesehen.)

Martin Thoma
quelle
Es ist keine Frage der Domain. Es geht darum, wie viele Daten Sie haben, wie gut Ihre Vorgesetzten sind und ob Sie Nachfolger wollen.
Emre
1
@Emre Das ist eine Frage der Domain ... (und natürlich des Geldes, wenn Sie die Möglichkeit haben, nicht nur vorhandene Datensätze zu verwenden, sondern auch Leute einzustellen, um neue Daten zu erstellen / zu kennzeichnen).
Martin Thoma
Es wäre eine Frage der Domäne, wenn es eine Eigenschaft der Daten, eine Struktur gäbe, die ein Algorithmus besser ausnutzt als der andere, aber das ist nicht das, was ich vorschlage.
Emre
2
Die Antwort auf Ihre Frage lautet dann: Nein . Richtig? Weil alle Antworten auf die Vorteile von Bayesian Networks gegenüber anderen Vorhersagemodellen hindeuten, habe ich keine Kaggle-Konkurrenz gesehen, bei der sie andere Modelle tatsächlich übertreffen. Kann mir jemand eine zur Verfügung stellen? Weil alle in den Antworten genannten Gründe und möglichen Vorteile, z. B. das Fehlen ausreichender Daten und die Auswahl guter Prioritäten, theoretisch großartig erscheinen, die Frage aber immer noch nicht mit mindestens einem Beispiel beantworten.
MNLR
Eine Sache, die Bayes'sche Netzwerke für unbeaufsichtigtes Lernen / Aufgaben nützlich sein können, bei denen die Datenmenge relativ begrenzt ist. Neuronale Netze übertreffen andere nur dann, wenn eine enorme Datenmenge zum Trainieren vorhanden ist.
xji

Antworten:

31

Einer der Bereiche, in denen häufig Bayes'sche Ansätze verwendet werden, ist der, in dem eine Interpretierbarkeit des Vorhersagesystems erforderlich ist. Sie möchten Ärzten kein neuronales Netz geben und sagen, dass es zu 95% genau ist. Sie möchten vielmehr die Annahmen Ihrer Methode sowie den von der Methode verwendeten Entscheidungsprozess erläutern.

Ein ähnlicher Bereich liegt vor, wenn Sie über fundierte Domain-Vorkenntnisse verfügen und diese im System verwenden möchten.

MLgeek
quelle
Siehe auch: Limette
Martin Thoma
18

Bayes'sche Netze und neuronale Netze schließen einander nicht aus. Tatsächlich sind Bayes'sche Netzwerke nur ein weiterer Begriff für "gerichtetes grafisches Modell". Sie können beim Entwerfen objektiver Funktionen neuronaler Netze sehr nützlich sein. Yann Lecun hat hier darauf hingewiesen: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Ein Beispiel.

p(x)=zp(x|z)p(z)dz.
p(x|z)q(z|x)p(z|x)
bayer
quelle
Können die beiden Teile gemeinsam trainiert werden?
nn0p
16

Ausgezeichnete Antworten schon.

Eine Domain, an die ich denken kann und in der ich intensiv arbeite, ist die Customer Analytics Domain.

Ich muss die Bewegungen und Motive der Kunden verstehen und vorhersagen, um sowohl die Kundenbetreuung, das Marketing als auch die Wachstumsteams zu informieren und zu warnen.

Hier leisten neuronale Netze also wirklich gute Arbeit bei der Abwanderungsvorhersage usw. Aber ich habe den Bayes'schen Netzstil gefunden und bevorzuge ihn, und hier sind die Gründe, warum ich ihn bevorzuge:

  1. Kunden haben immer ein Muster. Sie haben immer einen Grund zu handeln. Und dieser Grund wäre etwas, was mein Team für sie getan hat, oder sie haben selbst gelernt. Hier hat also alles Vorrang, und tatsächlich ist dieser Grund sehr wichtig, da er den größten Teil der vom Kunden getroffenen Entscheidungen antreibt.
  2. Jede Bewegung des Kunden und der Wachstumsteams im Marketing- / Verkaufstrichter ist Ursache-Wirkung. Vorwissen ist daher von entscheidender Bedeutung, wenn es darum geht, einen potenziellen Interessenten in einen Kunden umzuwandeln.

Daher ist das Konzept des Prior sehr wichtig, wenn es um Kundenanalysen geht, weshalb das Konzept der Bayes'schen Netzwerke für diese Domäne sehr wichtig ist.


Vorgeschlagenes Lernen:

Bayes'sche Methoden für neuronale Netze

Bayesianische Netzwerke in der Business Analytics

Dawny33
quelle
15

Manchmal ist es Ihnen genauso wichtig, das Ergebnis zu ändern wie es vorherzusagen.

Ein neuronales Netzwerk, das über genügend Trainingsdaten verfügt, kann das Ergebnis besser vorhersagen. Wenn Sie jedoch das Ergebnis vorhersagen können, möchten Sie möglicherweise die Auswirkungen von Änderungen an den Eingabemerkmalen auf das Ergebnis vorhersagen.

Ein Beispiel aus dem wirklichen Leben, das Wissen, dass jemand wahrscheinlich einen Herzinfarkt hat, ist nützlich, aber in der Lage zu sein, der Person mitzuteilen, dass ein um 30% geringeres Risiko von größerem Nutzen ist, wenn sie aufhört, XX zu machen.

Ebenso ist es für die Kundenbindung genauso wert, zu wissen, warum Kunden aufhören, mit Ihnen einzukaufen, wie die Kunden vorherzusagen, die wahrscheinlich aufhören, mit Ihnen einzukaufen.

Auch ein einfacheres Bayes'sches Netzwerk, das weniger gut vorhersagt, aber dazu führt, dass mehr Maßnahmen ergriffen werden, ist oftmals besser als ein „korrekteres“ Bayes'sches Netzwerk.

Der größte Vorteil von Bayes'schen Netzen gegenüber neuronalen Netzen besteht darin, dass sie zur kausalen Inferenz herangezogen werden können. Dieser Zweig ist für Statistik und maschinelles Lernen von grundlegender Bedeutung, und Judea Pearl wurde für diese Forschung mit dem Turing-Preis ausgezeichnet.

Ian Ringrose
quelle
Neuronale Netze können aber auch verwendet werden, um die Rolle und Wichtigkeit verschiedener Merkmale zu bestimmen, oder?
Hossein
7

Bayes'sche Netze können bei kleinen Datenmengen die Leistung neuronaler Netze übertreffen. Wenn die vorherigen Informationen ordnungsgemäß über die Netzwerkstruktur, Prioritäten und andere Hyperparameter verwaltet werden, haben sie möglicherweise einen Vorteil gegenüber neuronalen Netzwerken. Neuronale Netze, insbesondere solche mit mehr Schichten, sind bekanntermaßen datenhungrig. Fast per Definition sind viele Daten notwendig, um sie richtig zu trainieren.

Vladislavs Dovgalecs
quelle
4

Ich habe diesen Link auf Reddit gepostet und viel Feedback erhalten. Einige haben hier ihre Antworten gepostet, andere nicht. Diese Antwort sollte den reddit Beitrag zusammenfassen. (Ich habe es zu einem Community-Wiki gemacht, damit ich keine Punkte dafür bekomme.)

Elch
quelle
2

Bayesianische Netzwerke werden für die Genominterpretation bevorzugt. Siehe zum Beispiel diese Dissertation , in der Berechnungsmethoden für die Genominterpretation diskutiert werden.

Nathaniel Hendrix
quelle
2
Warum werden sie bevorzugt?
Ian Ringrose
2

Ich habe mal ein kleines Beispiel dafür gemacht. Von daher denke ich, dass Bayesianische Netzwerke bevorzugt werden, wenn Sie eine Distribution erfassen möchten, aber Ihr Input-Trainingssatz die Distribution nicht gut abdeckt. In solchen Fällen wäre selbst ein gut verallgemeinertes neuronales Netz nicht in der Lage, die Verteilung zu rekonstruieren.

Leela Prabhu
quelle
-3

Ich bin absolut nicht der Meinung, dass neuronale Netze besser sind als andere Lernende. Tatsächlich schneiden neuronale Netze im Vergleich zu anderen Methoden ziemlich schlecht ab. Es gibt auch keine Methodik, trotz einiger Ratschläge zur Auswahl von Parametern, die sehr oft zufällig gemacht werden. Es gibt auch einige Typen, die in Foren zufällig darüber reden, wie gut neuronale Netze sind, nicht weil sie Beweise dafür haben, sondern weil sie sich über das ausgefallene und beliebte Wort "neuronale" aufregen. Sie sind auch sehr instabil. Haben Sie versucht, ein neuronales Netz mit xgboost zu vergleichen? Ich werde kein neuronales Netz ausprobieren, bis es selbstbewusst ist. Also bis dahin frohes neuronales Netz :)

gm1
quelle
3
Dies ist zu vage und gesprächig, um eine gute Antwort zu geben. Einige Besonderheiten, Fakten und Bearbeitungen würden es verbessern.
Sean Owen
,, Spezifische Fakten '' sollten von Leuten angegeben werden, die Nachrichten wie diese posten, die sagen, dass neuronale Netze die besten sind. Man kann nicht sagen, dass neuronale Netze gut funktionieren, nur weil sie ausgefallen klingen. Es gibt auch Datensätze, in denen neuronale Netze dies wahrscheinlich tun schlecht in der art, dass man von weitaus besseren ergebnissen profitiert.
GM1
1
Ich bestreite Ihre Ansichten zwar nicht, aber Sie sollten auch nicht, dass Ihre Antwort die Frage nicht wirklich beantwortet. Bitte füge es als Kommentar hinzu. Und, bitte fügen Sie konkrete Beweise und Theorien hinzu, die Ihre Antwort stützen, sonst könnte sie von zukünftigen Zuschauern als
Schimpfwort angesehen werden
1
@ gm1 Ich denke, du meintest mich mit ",, Spezifische Fakten '' sollten von Leuten angegeben werden, die Nachrichten wie diese posten, die sagen, dass neuronale Netze die besten sind". Bitte beachten Sie, dass ich keine so allgemeine Erklärung verfasst habe. Ich habe geschrieben, dass NN bei vielen Wettbewerben / CV-Aufgaben gewinnt. Und ich habe ein paar Herausforderungen hinzugefügt, bei denen Ansätze für neuronale Netze gewonnen haben.
Martin Thoma
Hallo zusammen, es gibt natürlich einige Kaggle-Wettbewerbe, bei denen neuronale Netze gut abgeschnitten haben (vorausgesetzt, sie haben keine neuronalen Netze in Kombination mit anderen Modellen verwendet), aber dies ist ein kleiner Teil aller Kaggle-Wettbewerbe. Könnten Sie ein neuronales Netz verwenden? TOP 3 in kaggle TFI? Ich glaube, ich kann sowohl für öffentliche als auch für private LBs mit nichtlinearen Modellen arbeiten.
GM1