Hat die Protokollwahrscheinlichkeit in GLM die Konvergenz zu globalen Maxima garantiert?

Meine Fragen sind:

Werden generalisierte lineare Modelle (GLMs) garantiert zu einem globalen Maximum konvergieren? Wenn ja warum?
Welche Einschränkungen gibt es für die Verbindungsfunktion, um die Konvexität sicherzustellen?

Mein Verständnis von GLMs ist, dass sie eine hochgradig nichtlineare Wahrscheinlichkeitsfunktion maximieren. Daher würde ich mir vorstellen, dass es mehrere lokale Maxima gibt und der Parametersatz, zu dem Sie konvergieren, von den Anfangsbedingungen für den Optimierungsalgorithmus abhängt. Nach einigen Recherchen habe ich jedoch keine einzige Quelle gefunden, die darauf hinweist, dass es mehrere lokale Maxima gibt. Außerdem bin ich mit Optimierungstechniken nicht so vertraut, aber ich weiß, dass die Newton-Raphson-Methode und der IRLS-Algorithmus für lokale Maxima sehr anfällig sind.

Bitte erläutern Sie möglichst sowohl intuitiv als auch mathematisch!

BEARBEITEN: dksahuji hat meine ursprüngliche Frage beantwortet, aber ich möchte die Anschlussfrage [ 2 ] oben hinzufügen . ("Welche Einschränkungen gibt es für die Verbindungsfunktion, um die Konvexität sicherzustellen?")

generalized-linear-model optimization convergence exponential-family DankMasterDan
quelle

Ich denke, dass einige Einschränkungen erforderlich sein müssen, bevor das so sein könnte. Was ist die Quelle für die Aussage?

Glen_b

Einige Seiten schienen darauf hinzudeuten, aber ich konnte nichts finden, was es direkt erwähnte, also begrüße ich auch seinen Disproof!

DankMasterDan

Solange die Wahrscheinlichkeit überall in der Domäne gut definiert ist (und einige tangentiale numerische Probleme ignoriert werden), denke ich, ja. Unter diesen Bedingungen ist das Hessische überall in der Domäne <0, sodass die Ähnlichkeit global konkav ist. Übrigens ist die Funktion in den Parametern nicht "hochgradig nichtlinear" , und darauf kommt es an.

user603

@ user603 was ist deine Quelle / der Beweis, dass der Hessische überall <0 ist?

DankMasterDan

Logistische, Poisson- und Gaußsche Regressionen sind bei einer "guten" Verknüpfungsfunktion häufig konvex. Bei einer beliebigen Verknüpfungsfunktion sind sie jedoch nicht konvex.

Memming

Antworten:

Die Definition der Exponentialfamilie lautet:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - EIN (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

wobei die Log-Partitionsfunktion ist. Nun kann man beweisen, dass die folgenden drei Dinge für 1D gelten (und sie verallgemeinern sich auf höhere Dimensionen - Sie können Eigenschaften von Exponentialfamilien oder Protokollpartitionen untersuchen): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Das obige Ergebnis beweist, dass konvex ist (da positiv semidefinit ist). Nun werfen wir einen Blick auf die Wahrscheinlichkeitsfunktion für MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N EIN (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Nun ist linear in Theta und konkav ist . Daher gibt es ein eindeutiges globales Maximum. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Es gibt eine verallgemeinerte Version, die als gekrümmte Exponentialfamilie bezeichnet wird und ebenfalls ähnlich wäre. Die meisten Beweise sind jedoch in kanonischer Form.

dksahuji
quelle

Bedeutet dies, dass GLM einen einzigartigen globalen Minima-Nomatter hat, für den die Verbindungsfunktion ausgewählt wurde (einschließlich der nicht-kanonischen)?

DankMasterDan

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

Beachten Sie, dass sich die Frage eher nach Konvergenz als nach bloßer Existenz richtet, aber mit ein paar Einschränkungen, die auch machbar sein können.

Glen_b -Reinstate Monica

@ Glen_b Können Sie näher darauf eingehen? Ich kenne solche Einschränkungen nicht. Möglicherweise gibt es Einschränkungen in Bezug auf die Schrittweite in einem gradientenbasierten Optimierer, um die Konvergenz im Falle einer konkaven Funktion zu gewährleisten.

Dksahuji

@ Glen_b Das mag im Allgemeinen zutreffen, aber ich kann keinen Grund dafür erkennen, dass die Konkavfunktion nicht innerhalb eines kleinen tolerierbaren Wertes zu Optima konvergiert. Aber ich würde sagen, dass ich keine praktischen Erfahrungen damit habe und gerade erst angefangen habe. :)

Dksahuji