Bayes-Regression: Wie wird sie im Vergleich zur Standard-Regression durchgeführt?

Ich habe einige Fragen zur Bayes'schen Regression:

Bei einer Standardregression als $y = \beta_0 + \beta_1 x + \varepsilon$ . Wenn ich dies in eine Bayes'sche Regression umwandeln möchte, benötige ich vorherige Verteilungen sowohl für $\beta_0$ als auch für $\beta_1$ (oder funktioniert das nicht so)?
In der Standardregression würde man versuchen, die Residuen zu minimieren, um einzelne Werte für $\beta_0$ und $\beta_1$ . Wie geschieht dies bei der Bayes-Regression?

Ich habe hier wirklich viel zu kämpfen:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

Die Wahrscheinlichkeit stammt aus dem aktuellen Datensatz (also ist es mein Regressionsparameter, aber nicht als Einzelwert, sondern als Wahrscheinlichkeitsverteilung, oder?). Prior stammt aus einer früheren Forschung (sagen wir mal). Also habe ich diese Gleichung:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

mit $\beta_1$ ist meine Wahrscheinlichkeit oder nachträglich (oder ist das einfach total falsch)?

Ich kann einfach nicht verstehen, wie sich die Standard-Regression in eine Bayes-Regression verwandelt.

regression bayesian TinglTanglBob
quelle

Antworten:

Einfaches lineares Regressionsmodell

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

kann als probabilistisches Modell dahinter geschrieben werden

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

dh die abhängige Variable folgt einer Normalverteilung, die durch den Mittelwert parametrisiert ist, dh eine lineare Funktion von die durch und durch die Standardabweichung parametrisiert ist . Wenn Sie ein solches Modell mit gewöhnlichen kleinsten Quadraten schätzen , müssen Sie sich nicht um die probabilistische Formulierung kümmern, da Sie nach optimalen Werten für Parameter suchen indem Sie die Fehlerquadrate der angepassten Werte auf die vorhergesagten Werte minimieren. Auf der anderen Seite könnten Sie ein solches Modell unter Verwendung der Maximum-Likelihood-Schätzung schätzen $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$ , wo Sie nach optimalen Werten für Parameter suchen würden, indem Sie die Wahrscheinlichkeitsfunktion maximieren

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

wobei eine Dichtefunktion der Normalverteilung ist, die an -Punkten ausgewertet wird und mit und der Standardabweichung parametrisiert wird . $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

Beim Bayes'schen Ansatz würden wir, anstatt nur die Wahrscheinlichkeitsfunktion zu maximieren, vorherige Verteilungen für die Parameter annehmen und den Bayes'schen Satz verwenden

posterior \propto likelihood \times vor

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

Die Wahrscheinlichkeitsfunktion ist die gleiche wie oben, aber was sich ändert, ist, dass Sie einige vorherige Verteilungen für die geschätzten Parameter annehmen und diese in die Gleichung einbeziehen $\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"Welche Distributionen?" ist eine andere Frage, da es eine unbegrenzte Anzahl von Möglichkeiten gibt. Für - Parameter könnten Sie zum Beispiel Normalverteilungen annehmen von einigen parametrisiert Hyper oder -Verteilung , wenn Sie schwereren Schwanz zu übernehmen wollen, oder eine gleichmäßige Verteilung , wenn Sie nicht viel Annahmen machen wollen, aber Sie wollen davon ausgehen , dass die Parameter können a priori "irgendetwas in dem gegebenen Bereich" sein usw. Für Sie eine vorherige Verteilung annehmen , die begrenzt ist, um größer als Null zu sein, da die Standardabweichung positiv sein muss. Dies kann zu der Modellformulierung führen, wie sie nachstehend von John K. Kruschke dargestellt wird. $\alpha,\beta$ $t$ $\sigma$

(Quelle: http://www.indiana.edu/~kruschke/BMLR/ )

Während Sie höchstwahrscheinlich nach einem einzigen optimalen Wert für jeden der Parameter gesucht haben, erhalten Sie beim Bayes'schen Ansatz durch Anwendung des Bayes'schen Theorems die posteriore Verteilung der Parameter. Die endgültige Schätzung hängt von den Informationen ab, die aus Ihren Daten und von Ihren Vorgesetzten stammen . Je mehr Informationen in Ihren Daten enthalten sind, desto weniger Einfluss haben Vorgesetzte .

Beachten Sie, dass bei Verwendung von einheitlichen Prioren diese nach dem Löschen der Normalisierungskonstanten die Form annehmen . Dies macht den Bayes-Satz proportional zur Likelihood-Funktion, sodass die posteriore Verteilung genau zum gleichen Zeitpunkt wie die Maximum-Likelihood-Schätzung ihr Maximum erreicht. Was folgt, ist die Schätzung unter einheitlichen Prioritäten dieselbe wie unter Verwendung gewöhnlicher kleinster Quadrate, da das Minimieren der quadratischen Fehler dem Maximieren der normalen Wahrscheinlichkeit entspricht . $f(\theta) \propto 1$

Um ein Modell im Bayes'schen Ansatz abzuschätzen, können Sie in einigen Fällen konjugierte Priors verwenden , sodass die posteriore Verteilung direkt verfügbar ist (siehe Beispiel hier ). In den allermeisten Fällen ist die posteriore Verteilung jedoch nicht direkt verfügbar, und Sie müssen zur Schätzung des Modells die Markov-Chain-Monte-Carlo- Methoden verwenden (siehe dieses Beispiel für die Verwendung des Metropolis-Hastings-Algorithmus zur Schätzung der Parameter der linearen Regression). Schließlich, wenn Sie nur an Punktschätzungen von Parametern interessiert sind, könnten Sie maximal eine nachträgliche Schätzung verwenden , d. H

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Für eine detailliertere Beschreibung der logistischen Regression können Sie das Bayesianische Logit-Modell überprüfen - intuitive Erklärung? Faden.

Weitere Informationen finden Sie in den folgenden Büchern:

Kruschke, J. (2014). Bayesianische Datenanalyse: Ein Tutorial mit R, JAGS und Stan. Akademische Presse.

Gelman, A., Carlin, JB, Stern, HS und Rubin, DB (2004). Bayesianische Datenanalyse. Chapman & Hall / CRC.

Tim
quelle

+1 In Anbetracht der Art und Weise, in der die Frage gestellt wird, möchte ich diesen philosophischen Unterschied vielleicht noch ein wenig hervorheben: Bei der Schätzung der kleinsten Quadrate und der maximalen Wahrscheinlichkeit beginnen wir mit der Frage "Was sind die besten Werte für (vielleicht für später) verwenden)?" $\beta_i$ , während wir im vollständigen Bayes'schen Ansatz mit der Frage beginnen "Was können wir über die unbekannten Werte sagen ?" $\beta_i$ und dann vielleicht mit dem Maximum a posteriori oder dem posterioren Mittelwert fortfahren, wenn eine Punktschätzung erforderlich ist.

JiK

+1. Eine weitere Sache, die nützlich sein könnte, um die Beziehung zwischen Bayes'schen und OLS-Ansätzen zu verdeutlichen, ist, dass OLS als hinterer Mittelwert unter einem flachen Prior verstanden werden kann (zumindest soweit ich das verstehe). Wäre toll, wenn Sie dies in Ihrer Antwort etwas näher erläutern könnten.

Amöbe sagt Reinstate Monica

@amoeba es ist ein guter Punkt, ich werde darüber nachdenken. Auf der anderen Seite möchte ich die Antwort nicht zu lange halten, daher ist es wichtig, auf Details einzugehen.

Tim

@amoeba FYI, dazu habe ich einen kurzen Kommentar hinzugefügt.

Tim

Gegeben sei ein Datensatz , wo , ein Bayessches Linear Regression modelliert das Problem auf folgende Weise: $D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

Prior:

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

$Y_i \perp Y_j | w, i \neq j$

Im Moment verwenden wir die Genauigkeit anstelle der Varianz $a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

wobei $y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

Nach vielen Berechnungen entdecken wir das

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

$\Lambda$

Λ = ein {EIN}^{T} EIN + b {ich}_{d}

$\Lambda = a A^T A + b I_d$

μ = ein Λ^{- 1} {EIN}^{T} y

$\mu = a \Lambda^{-1} A^T y$

$\mu$ $w_{MAP}$

$\mu$ $\Lambda = aA^TA+bI_d$

μ = ({EIN}^{T} EIN + \frac{b}{ein} {ich}_{d})^{- 1} {EIN}^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

$w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

$\mu$ $\lambda = \frac{b}{a}$

Für die prädiktive posteriore Verteilung:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

es ist möglich, das zu berechnen

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Referenz: Lunn et al. Das BUGS-Buch

Wenn Sie ein MCMC-Tool wie JAGS / Stan verwenden möchten, lesen Sie Kruschkes Doing Bayesian Data Analysis

jpneto
quelle

Vielen Dank, jpneto. Ich denke, dass dies eine großartige Antwort ist, aber ich verstehe es noch nicht, weil es an mathematischen Kenntnissen mangelt. Aber ich werde es definitiv wieder lesen, nachdem ich einige mathematische Fähigkeiten erworben habe

TinglTanglBob

Das ist sehr schön, aber die Annahme, dass die Präzision bekannt ist, ist etwas ungewöhnlich. Ist es nicht viel üblicher, eine inverse Gamma-Verteilung für die Varianz anzunehmen, dh eine Gamma-Verteilung für die Präzision?

DeltaIV

w

$w$

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

@ DeltaIV: Sicher, wenn wir Unsicherheiten über einen Parameter haben, können wir dies mit einem Prior modellieren. Die Annahme bekannter Präzision besteht darin, die Suche nach einer analytischen Lösung zu vereinfachen. Normalerweise sind diese analytischen Lösungen nicht möglich und wir müssen Näherungswerte wie MCMC oder eine Variationstechnik verwenden.

Jpneto