Was ist der Unterschied zwischen einer "Linkfunktion" und einer "kanonischen Linkfunktion" für GLM?

65

Was ist der Unterschied zwischen den Begriffen "Link-Funktion" und "Canonical Link-Funktion"? Gibt es auch irgendwelche (theoretischen) Vorteile, wenn man eins gegenüber dem anderen verwendet?

Beispielsweise kann eine binäre Antwortvariable unter Verwendung vieler Verknüpfungsfunktionen wie logit , probit usw. modelliert werden. Logit wird hier jedoch als die "kanonische" Verknüpfungsfunktion betrachtet.

logistic generalized-linear-model link-function Steadyfish
quelle

10

Ich werde hier ausführlich auf Link-Funktionen eingehen: Unterschied zwischen Logit- und Probit-Modellen , wobei der Schwerpunkt auf der Regression für eine binäre Antwortvariable liegt. Obwohl sich nur ein kleiner Teil dieser Diskussion mit der Bedeutung der Kanonizität einer Link-Funktion befasst, kann das Lesen dennoch hilfreich sein. Beachten Sie, dass zum Verständnis der Unterscheidung zwischen b / t und den Vorteilen einer kanonischen und einer nichtkanonischen Verknüpfungsfunktion ein ziemlich tiefer Einblick in die dem GLiM zugrunde liegende Mathematik erforderlich ist.

gung - Wiedereinsetzung von Monica

68

Die obigen Antworten sind intuitiver, daher versuche ich es mit mehr Genauigkeit.

Was ist ein GLM?

Sei eine Menge einer Antwort und eines dimensionalen Kovariatenvektors mit dem erwarteten Wert . Für unabhängige Beobachtungen ist die Verteilung jedes eine Exponentialfamilie mit der Dichte Hier ist der interessierende Parameter (natürlicher oder kanonischer Parameter) , ist ein Skalenparameter (bekannt oder als störend angesehen) und und sind bekannte Funktionen. Die $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$ Vektoren fester Eingabewerte für die erklärenden Variablen werden mit . Wir gehen davon aus, dass der Eingangsvektoren Einfluss (1) nur über eine lineare Funktion, den linearen Prädiktor, , auf dem abhängt. Wie gezeigt werden kann, dass , wird diese Abhängigkeit hergestellt, indem der lineare Prädiktor und über den Mittelwert verbunden werden. Insbesondere wird der Mittelwert als eine invertierbare und glatte Funktion des linearen Prädiktors angesehen, dh

p

$p$

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$ Nun zur Beantwortung Ihrer Frage:

Die Funktion heißt Link-Funktion. Wenn die Funktion , und so verbindet, dass , dann heißt diese Verknüpfung kanonisch und hat die Form . $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

Das ist es. Dann gibt es eine Reihe wünschenswerter statistischer Eigenschaften für die Verwendung des kanonischen Links, z. B. ist die ausreichende Statistik mit den Komponenten für , die Newton-Methode und Fisher-Bewertung für Wenn der ML-Schätzer übereinstimmt, vereinfachen diese Verknüpfungen die Ableitung des MLE, stellen sicher, dass einige Eigenschaften der linearen Regression (z. B. die Summe der Residuen 0 ist) erhalten bleiben, oder stellen sicher, dass im Bereich der Ergebnisvariablen bleibt . $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Daher werden sie in der Regel standardmäßig verwendet. Beachten Sie jedoch, dass es keinen a priori Grund gibt, warum die Auswirkungen im Modell auf die Skala additiv sein sollten, die durch diesen oder einen anderen Link angegeben wird.

Momo
quelle

5

+1, das ist eine wirklich schöne Antwort, @Momo. Ich fand einige der Gleichungen schwieriger zu lesen, als sie in den Absätzen vergraben waren, deshalb habe ich sie mit doppelten Dollarzeichen (dh $ $) "ausgeblendet" . Ich hoffe, das ist in Ordnung (wenn nicht, können Sie mit meiner Entschuldigung ein Rollback durchführen).

gung - Wiedereinsetzung von Monica

1

@Momo Die ursprüngliche Frage hier enthält jedoch das, was Wei gefragt hat. Es lohnt sich also darauf hinzuweisen, dass diese Frage noch nicht eindeutig beantwortet wurde.

Glen_b

1

Ich hoffe , ich verstehe Ihre Verwirrung richtig: In der Exponentialfamilie Sie sprechen, die kanonischen Parameter und die kanonische Verbindung ist , wenn , das ist , wenn . Als auch (wenn Sie den erwarteten Wert der ersten Ableitung in Bezug auf der Wahrscheinlichkeitsfunktion berechnen ) der einzige Fall, wenn erscheint, wenn .

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

Momo

1

Vielen Dank. Im vorherigen Beispiel ist . Daher . Wie Sie sagten (ich formuliere es nur um), haben wir nur wenn Der kanonische Link ist, der das Logit ist. Dann haben wir . Die Gleichheit zwischen und dem Prädiktor existiert also nur, wenn wir die kanonische Verknüpfungsfunktion verwenden.

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$

Druss2k

2

Es scheint, dass der Schlüsselsatz der Antwort einen Tippfehler enthält: Sollte er nicht "Wenn die Funktion und st " lauten ?

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

Leo Alekseyev

16

gung's zitiert eine gute erklärung: die kanonische verbindung besitzt spezielle theoretische eigenschaften von minimaler ausrei- chung. Dies bedeutet, dass Sie ein bedingtes Logit-Modell definieren können (das von den Ökonomen als Modell mit festem Effekt bezeichnet wird), indem Sie die Anzahl der Ergebnisse festlegen. Sie können jedoch kein bedingtes Probit-Modell definieren, da für den Probit-Link keine ausreichenden Statistiken vorhanden sind.

StasK
quelle

Können Sie ein wenig über die minimale Suffizienz erläutern? Durch die obige Erklärung können wir immer noch ein Probit-Modell definieren, oder? Es wird sicher nicht die Canonical Link-Funktion sein, aber was schadet der Verwendung einer nicht-Canonical Link-Funktion?

Pikachuchameleon

9

Hier ist ein kleines Diagramm, das von der 18.650- Klasse des MIT inspiriert ist. Ich finde es sehr nützlich, da es die Beziehungen zwischen diesen Funktionen veranschaulicht . Ich habe die gleiche Schreibweise wie in @ momos Beitrag verwendet:

$\gamma(\theta)$ ist die kumulative Momenterzeugungsfunktion
$g(\mu)$ ist die Verknüpfungsfunktion

Die Verknüpfungsfunktion bezieht den linearen Prädiktor auf den Mittelwert und muss monoton ansteigend, kontinuierlich differenzierbar und invertierbar sein. $g$

Das Diagramm ermöglicht es, einfach von einer Richtung in die andere zu wechseln, zum Beispiel:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Canonical Link-Funktion

Eine andere Möglichkeit, das, was Momo konsequent beschrieben hat, zu erkennen, besteht darin, dass, wenn die kanonische Verknüpfungsfunktion ist, die Funktionszusammensetzung ist die Identität und so erhalten wir $g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

Xavier Bourret Sicotte
quelle

1

Die obigen Antworten haben bereits das abgedeckt, was ich sagen möchte. Um einige Punkte als Forscher des maschinellen Lernens zu verdeutlichen:

Die Verbindungsfunktion ist nichts anderes als die Umkehrung der Aktivierungsfunktion. Zum Beispiel ist logit das Inverse von Sigmoid, probit das Inverse der kumulativen Verteilungsfunktion von Gauß.
Wenn der Parameter des verallgemeinerten linearen Modells nur von abhängt , wobei der Gewichtsvektor und die Eingabe ist, wird die Verknüpfungsfunktion als kanonisch bezeichnet. $w^T x$ $w$ $x$

Die obige Diskussion hat nichts mit der exponentiellen Familie zu tun, aber eine nette Diskussion findet sich in Christopher Bishops PRML-Buch, Kapitel 4.3.6.

Guojun Zhang
quelle

Was ist der Unterschied zwischen einer "Linkfunktion" und einer "kanonischen Linkfunktion" für GLM?

Antworten:

Canonical Link-Funktion