Variationsinferenzmaschinen

8

Nach einigen Recherchen zu diesem Thema habe ich ein überraschendes Defizit an Inferenzpaketen und Bibliotheken festgestellt, die auf Nachrichtenübermittlungs- oder Optimierungsmethoden für Python und R beruhen.

Nach meinem besten Wissen sind diese Methoden äußerst nützlich. Zum Beispiel sollte für ein Bayes-Netzwerk (gerichtet, azyklisch) die Glaubensausbreitung allein in der Lage sein, genaue Antworten zu geben. Die meisten online verfügbaren Inferenzsoftware (z. B. STAN, BUGS, PyMC) basieren jedoch auf MCMC-Methoden.

Im Fall von Python enthalten meines Wissens weder PyMC-, Scikit-Learn- noch Statistikmodelle Variationsinferenzalgorithmen wie Glaubensausbreitung, Nachrichtenübermittlungsmethoden oder eine ihrer Varianten.

Warum ist das so? Werden diese Methoden in der Praxis weniger angewendet, weil sie nicht so leistungsfähig oder generisch sind wie ihre MCMC-Gegenstücke? oder ist es einfach eine Frage des Mangels an Arbeitskräften und Zeit?

r python bayes variational-bayes Amelio Vazquez-Reina
quelle
Warum die engen Abstimmungen?
Amelio Vazquez-Reina
Wahrscheinlich, weil Ihre Frage eher Software als Statistik oder maschinelles Lernen betrifft. Wenn Sie bearbeiten, um es ganz klar , welche der CV Themen sind Sie eine Frage zu fragen (dh , warum es nicht ‚nur eine Software - Frage‘) die enge Abstimmung ist weniger wahrscheinlich , um erfolgreich zu sein (und auch wenn es nicht gelingt, wenn Sie bearbeiten, um dies zu verdeutlichen, ist es wahrscheinlicher, dass es durch eine erneute Abstimmung rückgängig gemacht wird). Wenn Ihre Frage also eindeutig als "Glaubensnetzwerk" oder "Variationsinferenz" -Frage erscheint (auch wenn es sich auch um Software handelt), sollte sie wahrscheinlich in Ordnung sein.
Glen_b -Rate State Monica
Vielen Dank, dass Sie @Glen_b. Das macht Sinn, verstehe ich. Ich habe die Frage aktualisiert. Hoffentlich liegt das mehr im Bereich der Website.
Amelio Vazquez-Reina
1
Das könnte ausreichen - wenn ich nicht bereits dafür gestimmt hätte, es offen zu halten, hätte ich wenig Bedenken, es jetzt zu tun. Auf der anderen Seite sind einige Leute viel strenger darüber, wo sie die Grenze zwischen "Dies ist eine Statistik- / ML-Frage" und "Dies ist eine Software-Frage" ziehen als ich. Sie sollten in keiner Weise persönlich enge Abstimmungen treffen, selbst wenn diese geschlossen oder auf eine andere SE-Site verschoben werden. Dies ist zum Teil, wie die Website funktionieren soll.
Glen_b -Rate State Monica
Dies ist ein Thema, ich hoffe, es wird irgendwann einen Abnehmer geben.
Vermutungen

Antworten:

2

Hast du Edward angesehen ? Die Inferenz-API unterstützt unter anderem Variationsinferenz:

  • Black-Box-Variationsinferenz
  • Stochastische Variationsinferenz
  • Variations-Auto-Encoder
  • Inklusive KL-Divergenz: KL(p∥q)
ruoho ruotsi
quelle
Vielen Dank! Ja, ich habe es kürzlich getestet. Ich denke, es ist sehr neu und es gab es nicht, als ich das Q fragte. Gut, dass es im Thread ist!
Amelio Vazquez-Reina
2
Wie hast du es gefunden mit Edward zu arbeiten? Wie in was hast du gedacht? Hat es Ihre Anforderungen erfüllt?
Ruoho Ruotsi