Was ist probabilistische Folgerung?

Ich lese Chris Bishops Lehrbuch zur Mustererkennung und zum maschinellen Lernen . Ich bin mehrmals auf den Begriff probabilistische Folgerung gestoßen. Ich habe ein paar Fragen.

Ist probabilistische Inferenz nur in einem grafischen Modellierungskontext anwendbar?
Was ist der Unterschied zwischen traditioneller statistischer Inferenz (p-Werte, Konfidenzintervalle, Bayes-Faktoren usw.) und probabilistischer Inferenz?
Ist dies ein Begriff, der spezifisch für die CS-Community ist, oder wird er auch in der Statistik-Community häufig verwendet?

machine-learning probability inference graphical-model discretetimeisnice
quelle

Meiner Meinung nach ist dies nur eine ausgefallene Bezeichnung (und ein Oxymoron), die die Tatsache reproduziert, dass die Statistik auf probabilistischer Modellierung basiert.

Xi'an

Vielen Dank an Xi'an, ich werde weiterhin statistische Schlussfolgerungen in meinen Beiträgen und Präsentationen verwenden.

discretetimeisnice

Antworten:

Die probabilistische Inferenz verwendet probabilistische Modelle , dh Modelle, die die statistischen Probleme in Bezug auf Wahrscheinlichkeitstheorie und Wahrscheinlichkeitsverteilungen beschreiben. Während die Statistik die Wahrscheinlichkeitstheorie ziemlich häufig verwendet, kann man nicht sagen, dass diese beiden Disziplinen dasselbe sind (siehe Diskussion in diesem Thread ). Beachten Sie, dass viele statistische und maschinelle Lernmethoden die Wahrscheinlichkeitstheorie nicht explizit verwenden, um die Probleme zu definieren, z. B. viele Clustering-Algorithmen oder Klassifizierungsmethoden, die durch Minimieren einer Verlustfunktion usw. funktionieren. Die Unterscheidung ist jedoch nicht so einfach. Nehmen Sie als Beispiel die ungefähre Bayes'sche Berechnung - Theoretisch basiert es auf der Bayes'schen (probabilistischen!) Inferenz, behandelt jedoch Fälle, in denen wir keine Wahrscheinlichkeitsfunktion haben, und verwendet stattdessen ein Abstandsmaß.

Tim
quelle

(+1): Ich bin weniger zuversichtlich in Bezug auf die Unterscheidung, da ich Statistiken nicht außerhalb der probabilistischen Modellierung klassifizieren würde. Angesichts der Tatsache, dass ein wesentlicher Grundsatz der Statistik darin besteht, eine Bewertung der Unsicherheit zu umfassen, und dass diese Unsicherheit durch eine Wahrscheinlichkeitsstruktur modelliert werden muss, sehe ich nicht, wie sich die Statistik diesem Rahmen entzieht.

Xi'an

Ich lehne auch den ABC-Link ab. Obwohl es schön zu sehen ist, dass es erwähnt wird, ist ABC im Gegenteil eine gute Illustration der probabilistischen Modellierung, da es die exakte Produktion einer Zufallsstichprobe gemäß einem gegebenen probabilistischen Modell nachbildet! Dass die Wahrscheinlichkeitsfunktion nicht numerisch berechnet werden kann, bedeutet nicht, dass das Wahrscheinlichkeitsmodell nicht beendet wird, sondern nur, dass es aus einer anderen Perspektive betrachtet werden muss.

Xi'an

@ Xi'an Ich stimme Ihren Kommentaren zu, aber wenn man eine solche Unterscheidung zwischen probabilistischen und nicht-probabilistischen Modellen machen möchte, dann könnte es wie oben definiert werden. Trotzdem ist die Unterscheidung aus den von Ihnen angegebenen Gründen ziemlich abstrakt, mehrdeutig und in vielen Fällen nutzlos. Was ABC betrifft, ist es nur ein Beispiel für einen Fall, in dem die Dinge verschwimmen und die Unterscheidung mehrdeutig wird.

Tim

Können Sie ein Beispiel für eine solche Methode nennen, die nicht als probabilistisches Modell formuliert werden kann?

nbro

@nbro Ich sagte "nicht explizit verwenden ...", nicht dass sie nicht so formuliert werden können.

Tim

Ich werde Ihre Fragen aus meiner Erfahrung mit dem Erlernen probabilistischer grafischer Modelle (PGM) an der Universität und der Art und Weise beantworten, wie mein PGM-Lehrer probabilistische Inferenz definiert hat . Da ich weiß, dass das Material dieser Klasse auf [1] basiert, kann man in diesem Buch vermutlich genauere Antworten finden.

Antwort auf 2: Probabilistische Inferenz ist eine Art statistische Inferenz. Aus [2] und [3] macht die statistische Inferenz statistische Aussagen über eine Population, die Punktschätzung , Intervallschätzung , Zurückweisung von Hypothesen , Clustering und Klassifizierung umfasst . "Probabilistische Inferenz" wurde eingeführt und im PGM-Kontext grob als jede Marginalisierungsaufgabe einer Wahrscheinlichkeitsfunktion definiert, unabhängig davon, ob es sich um eine Grenzwahrscheinlichkeitsberechnung handelt oder um das Finden des wahrscheinlichsten Ergebnisses (z. B. Klassifizierung). Es geht daher in die Definition der statistischen Inferenz ein, indem es einen Satz über die zugrunde liegende Wahrscheinlichkeitsverteilung der Bevölkerung macht.

Um einige Marginalisierungsaufgaben im Kontext von PGM mathematisch zu veranschaulichen, sei $\mathcal{X} = \{X_1, \ldots, X_n\}$ eine Menge von Zufallsvariablen sein. Für ein bestimmtes Bayes'sches Netzwerk $(\mathscr{G}, \mathbb{P}_{\theta})$ oder markovian Netzwerk $(\mathscr{H}, \mathbb{P}_{\theta})$ mit $\mathbb{P}_\theta$ Dann werden die folgenden Routinen als probabilistische Schlussfolgerungen betrachtet :

Berechnung einer marginalen oder bedingten Wahrscheinlichkeit: Für $\mathbf{E}, \mathbf{X} \subset \mathcal{X}$ wollen wir antworten:
$P_{θ} (X = x ∣ E = e) = ? .$ $\mathbb{P}_\theta(\mathbf{X} = \mathbf{x} \mid \mathbf{E} = \mathbf{e}) = ~?.$
Wahrscheinlichste Erkenntnis: Für $\mathbf{E}, \mathbf{X} \subset \mathcal{X}$ wollen wir antworten:
$a r g min_{x} P_{θ} (X = x ∣ E = e) = ? .$ ${\rm arg}\min_{\!\!\!\!\!\!\!\!\mathbf{x}}\mathbb{P}_\theta(\mathbf{X} = \mathbf{x} \mid \mathbf{E} = \mathbf{e}) = ~?.$

Antwort auf 1 und 3: Es war das erste Mal, dass ich diese Terminologie sah. Der Begriff ist sinnvoll, da Sie auf Fragen schließen, die in direktem Zusammenhang mit Wahrscheinlichkeiten stehen. Ich kann nicht antworten, ob es ausschließlich im CS- oder im PGM-Kontext verwendet wird.

[1] Koller, Daphne und Nir Friedman. 2009. Probabilistische grafische Modelle: Prinzipien und Techniken. MIT Press.
[2] https://en.wikipedia.org/wiki/Statistical_inference
[3] https://encyclopediaofmath.org/wiki/Statistical_inference

JuRien
quelle