Können Sie eine einfache intuitive Erklärung der IRLS-Methode zum Ermitteln der MLE eines GLM geben?

Hintergrund:

Ich versuche, Princetons Überprüfung der MLE-Schätzung für GLM zu folgen .

Verstehe ich die Grundlagen der MLE Schätzung: likelihood, score, beobachteten und erwarteten Fisher informationund die Fisher scoringTechnik. Und ich weiß, wie man eine einfache lineare Regression mit einer MLE-Schätzung rechtfertigt .

---

Die Frage:

Ich kann nicht einmal die erste Zeile dieser Methode verstehen :(

Welche Intuition steckt hinter den -Arbeitsvariablen, die wie folgt definiert sind:$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Warum werden sie anstelle von , um β zu schätzen ?$y_i$$\beta$

Und in welchem ​​Verhältnis stehen sie zu dem, response/link functionwas die Verbindung zwischen und $\eta$$\mu$

Wenn jemand eine einfache Erklärung hat oder mich auf einen grundlegenderen Text dazu verweisen kann, wäre ich dankbar.

Vor einigen Jahren habe ich einen Artikel darüber für meine Schüler geschrieben (auf Spanisch), damit ich versuchen kann, diese Erklärungen hier umzuschreiben. Ich werde IRLS (iterativ gewichtete kleinste Quadrate) anhand einer Reihe von Beispielen mit zunehmender Komplexität betrachten. Für das erste Beispiel benötigen wir das Konzept einer Location-Scale-Familie. Sei eine Dichtefunktion, die in gewisser Weise auf Null zentriert ist. Wir können eine Dichtefamilie konstruieren, indem wir f ( x ) = f ( x ; μ , σ ) = $f_0$ wobeiσ>0ein Skalenparameter undμeinOrtsparameterist. In dem Messfehlermodell, in dem der Fehlerterm gewöhnlich als Normalverteilung modelliert wird, können wir anstelle dieser Normalverteilung eine Ortsskalenfamilie wie oben konstruiert verwenden. Wennf0die Standardnormalverteilung ist, ergibt die obige Konstruktion dieN(μ,σ)-Familie.

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$$f_0$$\text{N}(\mu, \sigma)$

Jetzt werden wir IRLS an einigen einfachen Beispielen verwenden. Zunächst finden wir die ML-Schätzer (Maximum Likelihood) im Modell mit der Dichte f ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ die Cauchy-Verteilung der Ortsfamilie μ (also eine Ortsfamilie). Aber zuerst etwas Notation. Der Schätzer der gewichteten kleinsten Quadrate von μ ist gegeben durch μ ∗ = ∑ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ wowichbin einige Gewichte. Wir werden sehendass der MLSchätzer vonμkann in der gleichen Form ausgedrückt werden, wobeiwieine Funktion der Residuen & epsi;i=yi - μ . Die Wahrscheinlichkeitsfunktion ist gegeben durch L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ $$\epsilon_i = y_i-\hat{\mu}.$$ und die LogLikelihoodFunktion ist gegeben durch l(y)=-nlog(π)- n Σ i=1log(1+(yi-μ)2). Ihre Ableitung zuμist ∂ l ( y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ wobei ϵi=yi-μ. Schreibef0(ϵ)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ undf ′ 0 (ϵ)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ , wir erhalten f ′ 0 (ϵ$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ Wir finden ∂ l ( y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ wo wir die Definition wi= f ′ 0 ( ϵ i $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ Daran erinnernddass εi=yi-μwir die Gleichung erhalten Σwiyi=μΣwi, die die Schätzgleichung der IRLS ist. Beachten Sie, dass $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ $\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. Die Gewichte sind immer positiv.$w_i$
2. Wenn der Rest groß ist, geben wir der entsprechenden Beobachtung weniger Gewicht.

$\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$ konvergiert.

Jetzt untersuchen wir diesen Prozess mit einer allgemeineren Orts- und Maßstabsfamilie. $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$mit weniger Details. Lassen$Y_1,Y_2,\ldots,Y_n$sei unabhängig von der obigen Dichte. Definiere auch$\epsilon_i=\frac{y_i-\mu}{\sigma}$. Die Loglikelihood-Funktion ist

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ Schreiben $\nu=\sigma^2$, beachten Sie, dass $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ and $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ Calculating the loglikelihood derivative $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ and equaling this to zero gives the same estimating equation as the first example. Then searching for an estimator for $\sigma^2$: $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ leading to the estimator $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$ The iterative algorithm above can be used in this case as well.

In the following we give a numerical examle using R, for the double exponential model (with known scale) and with data y <- c(-5,-1,0,1,5). For this data the true value of the ML estimator is 0. The initial value will be mu <- 0.5. One pass of the algorithm is

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

with this function you can experiment with doing the iterations "by hand" Then the iterative algorithm can be done by

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

Exercise: If the model is a $t_k$ distribution with scale parameter $\sigma$ show the iterations are given by the weight

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ Exercise: If the density is logistic, show the weights are given by $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

For the moment I will leave it here, I will continue this post.