Wo sind die Residuen in einem GLM?

Ich gehe gerade zu GLMs nach den Standardmodellen über.

Im Standardmodell

y = Xb + epsilon

und es wird angenommen, dass epsilon normal verteilt ist. Das heißt, wir können schreiben

y - Xb = epsilon

und dann können wir die lhs unter Verwendung einer geeigneten Norm unter der Annahme der Normalität minimieren.

In einem GLM sind diese Residuen nirgends zu sehen. Was sind also die Residuenannahmen? Das heißt, wenn Sie einen GLM anpassen und die Residuen bestimmen, wie überprüfen Sie Ihre Verteilungsannahme? Ein qqplot? Gegen was? Die normalen Quantile? Oder die Quantile der von Ihnen gewählten Verteilung?

Der GLM, wie ich ihn verstehe:

mu = Xb, mu = Ey, y follows some non-Gaussian distribution.

Die spezifischen Residuen hängen von der verwendeten Verteilung und von den Eigenschaften der abhängigen Variablen ab. Manchmal sind diese nicht sehr informativ und manchmal können sie nicht einfach berechnet werden.

Die Nützlichkeit von Residuen ist ebenfalls sehr unterschiedlich, wenn es darum geht, zu bewerten, wie gut das Modell funktioniert. Die logistische Regression einer binären Variablen ist ein gutes Beispiel. Alle Residuen können berechnet werden, aber ohne eine Zusammenfassung wie Kalibrierung und einen Hosmer-Lemeshow-Test ist es schwierig, sie zu verstehen. Zusammenfassungen anderer Art, z. B. durch eine andere kategoriale Variable, können ebenfalls nützlich sein. Manchmal können Sie aus dem Vergleich der geschätzten Wahrscheinlichkeiten aus zwei verschiedenen Modellen lernen.

• Für die ordinale oder nominale logistische Regression mit mehreren Kategorien können Sie für jede Beobachtung eine Reihe von Wahrscheinlichkeiten berechnen. Diese können nützlich sein, sind jedoch mit einfachen grafischen Methoden oder zusammenfassenden Statistiken schwer zu interpretieren.

• Residuen für zensierte Überlebensdaten sind nicht eindeutig definiert. Die geschätzte Überlebenszeit kann länger oder kürzer sein als die Zeit der Zensur.

• Residuen für stark verzerrte abhängige Variablen, z. B. Exponential, negatives Binom, Poisson usw., können in grafischen Anzeigen irreführend sein, da Modelle die Schiefe nicht verringern oder entfernen. Sie hinterlassen den Eindruck vieler großer Ausreißer. Manchmal ist es besser, diese in einem transformierten Maßstab zu untersuchen, z. B. in Protokollen.

Es gibt also keine allgemeine Antwort auf Ihre Frage. Die Verwendung von Residuen hängt vom Modell ab.

Für Gaußsche Residuen ist die Geschichte einfacher. Leider stellen wir häufig fest, dass es Probleme mit einem linearen Modell gibt, die nicht auf vereinfachte, algorithmische Weise gelöst werden können.

Zusätzlich zur Antwort von @ DavidSmith folgt eine formellere Terminologie:

Verallgemeinerte lineare Modelle rufen als Folge der Verknüpfungsfunktion eine Mittelwert-Varianz-Beziehung auf . In einem GLM gibt es keine Residuen, da die Varianz nur eine Funktion des Mittelwerts ist. Wenn wir also ein GLM schreiben, hat es die Form:

Wenn eine Verknüpfungsfunktion ist, sind die Terme die linearen Prädiktoren und die transformierten Werte sind die angepassten Werte. Im Allgemeinen ist der Fall, dass impliziert . Zum Beispiel, mit logistischer Regression, die inverse logit Link hat wobei der zweite Ausdruck leicht als Binomialvarianz erkannt wird.$g$$\beta X$$\nu$$g^{-1}(\beta X)$$E[Y] = g^{-1}(\beta X)$$var(Y) = \frac{\partial}{\partial \beta} g^{-1}(\beta X)$$g^{-1}(x) = \log(\frac{X}{1-X})$$g^{ \prime -1}(X) = \log(\frac{1}{1-X}) = g^{-1}(X)(1-g^{-1}(X))$

Wenn Sie die Schätzgleichungen für gängige Wahrscheinlichkeitsmodelle wie Binomial, Poisson oder Exponential schreiben, stellen Sie tatsächlich fest, dass die Informationen (oder Varianz) vom Mittelwert und nichts anderem abhängen. Diese Ein-Parameter-Modelle verwenden, wie der Name schon sagt, nur einen Parameter (wie eine logarithmische Quote oder eine logarithmische relative Rate), um das erwartete Ergebnis mit einer linearen Kombination von Prädiktoren und einer entsprechenden Verknüpfungsfunktion in Beziehung zu setzen. Die Einflussfunktion (Gradient oder Ableitung) der Verknüpfung bezieht den Mittelwert auf die Varianz.

Gaußsche Wahrscheinlichkeitsmodelle unterscheiden sich von binomialen (logistischen) Modellen darin, dass es sich um 2- Parameter-Modelle handelt, die einen Dispersionsterm (Sigma oder die Restvarianz) enthalten. Ein Gaußsches Modell unterscheidet sich auch von anderen 2-Parameter-Modellen (wie negatives Binomial oder Gamma), da Sie die Restvarianz als separaten Term in ein Modell schreiben können.

Grundsätzlich sind die gewöhnlichen kleinsten Quadrate mit normalem, unabhängigem Fehler der einzige Fall, von dem ich weiß, wo wir tatsächlich schreiben können: sinnvoll.$y = \beta X + \epsilon$

Die größere Frage, wie Sie erwartete Ergebnisse mit beobachteten Ergebnissen in Beziehung setzen, ist kompliziert. In einem normalen Modell ist dies ein einfacher Unterschied zwischen erwartet und beobachtet, um einen Rest zu erhalten. In GLMs ist die Varianz heteroskedastisch, da sich der Mittelwert als Funktion von ändert. Sie können also jedes Residuum standardisieren, indem Sie es durch den erwarteten Standardfehler dividieren, um Pearson-Residuen zu erhalten.$X$