Parameter gegen latente Variablen

13

Ich habe schon früher danach gefragt und mich wirklich schwer getan, herauszufinden, was einen Modellparameter ausmacht und was ihn zu einer latenten Variablen macht. Wenn man sich also verschiedene Themen zu diesem Thema auf dieser Website ansieht, scheint der Hauptunterschied zu sein:

Latente Variablen werden nicht beobachtet, haben aber eine zugehörige Wahrscheinlichkeitsverteilung, da sie Variablen und Parameter sind, die ebenfalls nicht beobachtet werden und mit denen keine Verteilung verbunden ist, die meines Wissens Konstanten sind und einen festen, aber unbekannten Wert haben, den wir versuchen finden. Außerdem können wir den Parametern Prioritäten zuweisen, um unsere Unsicherheit über diese Parameter darzustellen, obwohl nur ein einziger echter Wert damit verbunden ist oder zumindest das, was wir annehmen. Ich hoffe ich bin soweit richtig?

Nun habe ich mir dieses Beispiel für eine Bayesianische gewichtete lineare Regression aus einer Zeitschrift angesehen und mich wirklich bemüht, zu verstehen, was ein Parameter und was eine Variable ist:

yi=βTxi+ϵyi

Hier werden und y beobachtet, aber nur y wird als Variable behandelt, dh es ist eine Verteilung zugeordnet.xyy

Die Modellierungsannahmen lauten nun:

yN(βTxi,σ2/wi)

Die Varianz von wird also gewichtet.y

Es gibt auch eine vorherige Verteilung von und w , die Normal- bzw. Gammaverteilungen sind. βw

Die volle Log-Wahrscheinlichkeit ergibt sich also aus:

logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)

Nun, wie ich es verstehe, sind sowohl als auch w Modellparameter. In dem Artikel werden sie jedoch weiterhin als latente Variablen bezeichnet. Meine Argumentation ist β und w sind beide Teil der Wahrscheinlichkeitsverteilung für die Variable y und sie sind Modellparameter. Die Autoren behandeln sie jedoch als latente Zufallsvariablen. Ist das korrekt? Wenn ja, wie lauten die Modellparameter?βwβwy

Das Papier finden Sie hier ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Das Papier ist Automatic Outlier Detection: Ein Bayesianischer Ansatz von Ting et al.

Luca
quelle
2
Es kann hilfreich sein, ein Zitat zum Artikel (und möglicherweise einen Link) aufzulisten. Ein Teil des Problems ist, dass das, was genau das ist, sich von der häufigen und der bayesianischen Perspektive unterscheidet. Aus der Bayes - Sicht ein Parameter hat eine Verteilung hat - es ist nicht nur etwas auf Unsicherheit repräsentieren hinzugefügt ist.
gung - Reinstate Monica
Ich dachte, es wäre unfair, da die Leute denken würden, dass sie die Zeitung lesen, ohne die Dinge zu erklären, aber ich habe es jetzt gesagt.
Luca
Warum können Sie einer latenten Variablen keine Priorität zuweisen? Ich bin ein Bayesianischer Neuling, aber es scheint so, als ob Sie dazu in der Lage sein sollten.
robin.datadrivers
Ich denke man kann und muss das natürlich im Bayes'schen Setup. Ich bin mir jedoch nicht sicher, warum oder β in dieser Einstellung Variablen sind. Für mich sehen sie wie Parameter des Modells aus. Ich kann nicht sagen, was dazu führt, dass in diesem Setup " w" eine Variable und kein Parameter ist. Ich bin auch ein Neuling, wie Sie deutlich sehen können ...wβw
Luca
2
Vielen Dank, @Luca. Es wäre nicht gut, wenn die Leute die Zeitung lesen müssten , aber es ist schön, sie als Kontext zu haben. Ich denke, du hast das richtig gemacht.
gung - Reinstate Monica

Antworten:

6

In der Arbeit und im Allgemeinen sind (Zufalls-) Variablen alles, was aus einer Wahrscheinlichkeitsverteilung gezogen wird. Latente (zufällige) Variablen sind diejenigen, die Sie nicht direkt beobachten ( y wird beobachtet, β ist nicht, aber beide sind rv). Aus einer latenten Zufallsvariablen können Sie eine posteriore Verteilung erhalten, deren Wahrscheinlichkeitsverteilung von den beobachteten Daten abhängt.

Andererseits ist ein Parameter fest, auch wenn Sie seinen Wert nicht kennen. Die Maximum-Likelihood-Schätzung gibt beispielsweise den wahrscheinlichsten Wert Ihres Parameters an. Aber es gibt Ihnen einen Punkt, keine vollständige Verteilung, weil feste Dinge keine Verteilungen haben! (Sie können eine Verteilung festlegen, wie sicher Sie über diesen Wert sind oder in welchem ​​Bereich Sie sich befinden. Dies entspricht jedoch nicht der Verteilung des Werts selbst, der nur vorhanden ist, wenn es sich bei dem Wert tatsächlich um einen Zufallswert handelt Variable)

yβwyβwy

βw

In diesem Satz:

Diese Aktualisierungsgleichungen müssen iterativ ausgeführt werden, bis alle Parameter und die vollständige Protokollwahrscheinlichkeit zu konstanten Werten konvergieren

In der Theorie sprechen sie über die beiden Parameter und nicht über die Zufallsvariablen, da Sie in EM dies tun, um die Parameter zu optimieren.

alberto
quelle
Die Frage betraf latente Variablen.
Tim
behoben, ich hoffe es ist jetzt klarer.
Alberto