Bayesianische Regression mit Singular - Ist der Posterior gut definiert?

8

SE-Community, ich hoffe, einige Einblicke in das folgende Problem zu bekommen. Bei einem einfachen linearen Regressionsmodell ist Unter einer Gaußschen Wahrscheinlichkeitsfunktion mit homoskedastischen Fehlertermen nimmt die bedingte Verteilung der abhängigen Variablen die Form Ich weise ein bedingtes (nicht informatives) Konjugat vor und waren . Es ist ein Standardergebnis, dass die marginale posteriore Verteilung von multivariat ist mit Y | β , h ≤ N ( X β , h - 1 I ) . β h β | h ≤ N ( 0 , c I ) , h ≤ G ( s - 2 , v )

Y=Xβ+ϵ , where Y∈RT,X∈RT×N.
Y|β,h∼N(Xβ,h−1I).
βh
β|h∼N(0,cI),h∼G(s−2,v)
β β | D ∼ t N (c→∞,v→0β
β|D∼tN(β^,Σ^,T).
Was passiert, wenn singulär ist? In der Standardregression würde ich mich für die verallgemeinerte Moore-Penrose-Pseudoinverse anstatt . In diesem Fall wäre jedoch auch die posteriore Varianz singulär, und ich bezweifle, dass die Verteilung noch gut definiert ist. Ist das richtig?( X ' X ) + ( X ' X ) - 1 Σ : = C ( X ' X ) - 1 t(X′X)(X′X)+(X′X)−1Σ^:=c(X′X)−1t

Und noch weiter ablenkend für mich: Angenommen, ich interessiere mich nicht wirklich für die posteriore Verteilung von sondern nur für eine lineare Kombination wobei , und . Ich könnte aus dieser Distribution eine Stichprobe ziehen, obwohl ihre Konstruktion auf etwas basiert, das nicht wirklich definiert ist (die Distribution von ). Gibt es eine Möglichkeit, damit umzugehen? Oder gibt es einen wesentlichen Fehler in meiner Frage, der meinen ganzen Punkt überflüssig macht?z : = A β A ∈ R N - 1 × N | A Σ A ' | ≠ 0 ββz:=AβA∈RN−1×N|AΣ^A′|≠0β

regression bayesian variance posterior singular muffin1974
quelle
2
Im besten Fall liefern nicht informative Prioritäten hilfreiche Ergebnisse, wenn die Daten Modellparameter eindeutig identifizieren. Diese Beobachtung ist im Grunde der Grund, warum wir eine Gratregression und ihre Verwandten haben, anstatt uns ausschließlich auf OLS zu verlassen. Wenn die Daten jedoch nicht ausreichend informativ sind, wird normalerweise entweder die regulierte Regressionsroute (Grat usw.) oder die vollständig Bayes-Route gewählt. Definieren Sie auf der vollständigen Bayes-Route einfach die richtigen, informativen vorherigen Verteilungen über Ihre Daten, und das Problem kann behoben werden.
Sycorax sagt Reinstate Monica
1
Vielen Dank für Ihre bisherigen Kommentare! Ich verstehe, dass der hintere Teil von nicht richtig definiert ist. Verursacht dies jedoch wirklich Probleme für die Zufallsvariable die zumindest theoretisch gut definiert ist? zβz
Muffin1974
1
Gut. Was mich verwirrt ist, dass der hintere Teil von plausibel erscheint, obwohl der Weg zu einer Lösung überhaupt nicht zufriedenstellend ist. Ich suche derzeit nach einer Möglichkeit, die Regressionsgleichung neu zu schreiben, da ich optimistisch bin, dass es möglich ist, direkte Regressionsparameter anstatt Zeit mit der Suche nach verschwenden . Obwohl dies in meinem speziellen Fall möglich erscheint, bleibt mir immer noch die Frage, was es bedeutet, wenn ein "schlechtes" Modell in einem funktionierenden Modell verschachtelt ist ...z βzzβ
muffin1974

Antworten:

2

Das Hauptproblem bei Ihrer Frage ist, dass sich Grenzwerte nicht direkt auf Kennzahlen und Wahrscheinlichkeitsverteilungen erstrecken. Mit Maßnahmen sind viele verschiedene Arten der Konvergenz verbunden.

Betrachtet man also das Konjugat und lässt und auf gehen bzw. hat keine richtige oder eindeutige mathematische Bedeutung.

β|h∼N(0,cI),h∼G(s−2,ν)
νc0∞

Wenn Sie nun den falschen vorherigen ist keine posteriore Verteilung mit der Wahrscheinlichkeit da der potenzielle Posterior nicht in abhängig von . Es gibt auch kein weil die Umkehrung nicht existiert und keine genau definierte Verteilung in . L(β,h|X,y)=exp{-h(y-Xβ)T(y-Xβ)/

π(β,h)∝1h
β h
L(β,h|X,y)=exp⁡{−h(y−Xβ)T(y−Xβ)/2}hT/2
βhAβ
Σ^=(XTX)−1
Aβ
Xi'an
quelle