Informationen aus der Hutmatrix für die logistische Regression

Mir ist klar und an mehreren Stellen gut erklärt, welche Informationen die Werte auf der Diagonale der Hutmatrix für die lineare Regression liefern.

Die Hutmatrix eines logistischen Regressionsmodells ist mir weniger klar. Ist es identisch mit den Informationen, die Sie durch lineare Regression aus der Hutmatrix erhalten? Dies ist die Definition der Hutmatrix, die ich zu einem anderen Thema des Lebenslaufs gefunden habe (Quelle 1):

$H=VX ( X'V X)^-1 X' V$

mit X ist der Vektor der Prädiktorvariablen und V eine Diagonalmatrix mit .$\sqrt{(π(1−π))}$

Stimmt es mit anderen Worten auch, dass der bestimmte Wert der Hutmatrix einer Beobachtung nur die Position der Kovariaten im Kovariatenraum darstellt und nichts mit dem Ergebniswert dieser Beobachtung zu tun hat?

Dies steht im Buch "Kategoriale Datenanalyse" von Agresti:

Je größer die Hebelwirkung einer Beobachtung ist, desto größer ist ihr potenzieller Einfluss auf die Passform. Wie bei der normalen Regression fallen die Hebel zwischen 0 und 1 und addieren sich zur Anzahl der Modellparameter. Im Gegensatz zur normalen Regression hängen die Hutwerte sowohl von der Anpassung als auch von der Modellmatrix ab, und Punkte mit extremen Prädiktorwerten müssen keinen hohen Hebel aufweisen.

Ausgehend von dieser Definition können wir sie also nicht so verwenden, wie wir sie in der normalen linearen Regression verwenden.

Quelle 1: Wie berechnet man die Hutmatrix für die logistische Regression in R?

Lassen Sie mich die Notation ein wenig ändern und die als wobei eine diagonale symmetrische Matrix mit den allgemeinen Elementen . Bezeichne als die Gruppen von Individuen mit dem gleichen Kovariatenwert . Sie erhalten das Diagonalelement ( ) der als Dann ergibt die Summe von die Anzahl der Parameter wie bei der linearen Regression. Nun zu deiner Frage:

$$H = V^{\frac{1}{2}}X(X'VX)^{-1}X'V^{\frac{1}{2}}$$ $V$$v_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right]$$m_j$$x = x_j$$j^{th}$$h_j$ $$h_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right] x'_j (X'VX)^{-1}x'_j$$ $h_j$

Die Interpretation der Hebelwerte in der Hutmatrix hängt von der geschätzten Wahrscheinlichkeit . Wenn , können Sie die Hebelwerte auf ähnliche Weise wie im Fall der linearen Regression interpretieren. Wenn Sie also weiter vom Mittelwert entfernt sind, erhalten Sie höhere Werte. Wenn Sie sich am äußersten Ende der Wahrscheinlichkeitsverteilung befinden, messen diese Hebelwerte die Distanz möglicherweise nicht mehr im gleichen Sinne. Dies ist in der folgenden Abbildung aus Hosmer und Lemeshow (2000) dargestellt:$\pi$$0.1 < \pi < 0.9$

In diesem Fall können die extremsten Werte im Kovariatenraum den geringsten Hebel bewirken, was im Gegensatz zum linearen Regressionsfall steht. Der Grund dafür ist, dass die Hebelwirkung in der linearen Regression eine monotone Funktion ist, was für die nichtlineare logistische Regression nicht zutrifft. Bei der obigen Formulierung der diagonalen Elemente der Hutmatrix, die den Abstand vom Mittelwert darstellt, nimmt der Anteil monoton zu. Das ist der Teil , den Sie sich ansehen können, wenn Sie nur an der Entfernung per se interessiert sind. Die Mehrheit der Diagnosestatistiken für logistische Regressionen nutzt die volle Hebelwirkung , sodass dieser separate monotone Teil selten allein betrachtet wird.$x'_j (X'VX)^{-1}x'_j$$h_j$

Wenn Sie tiefer in dieses Thema einsteigen möchten, werfen Sie einen Blick auf die Arbeit von Pregibon (1981), der die logistische Hutmatrix abgeleitet hat, und auf das Buch von Hosmer und Lemeshow (2000).

• Pregibon, D. (1981) "Logistic regression diagnostics", Annals of Statistics. 9 (4), S. 705-724

• Hosmer, DW und Lemeshow, S. (2000) "Applied Logistic Regression", 2. Auflage, John Wiley and Sons, Inc.