Warum werden Beta / Dirichlet-Regressionen nicht als verallgemeinerte lineare Modelle betrachtet?

Voraussetzung ist dieses Zitat aus der Vignette des R-Pakets betareg¹ .

Darüber hinaus hat das Modell einige Eigenschaften (z. B. linearer Prädiktor, Verknüpfungsfunktion, Dispersionsparameter) mit verallgemeinerten linearen Modellen (GLMs; McCullagh und Nelder 1989) gemeinsam, ist jedoch kein Sonderfall dieses Frameworks (auch nicht für feste Dispersion) )

Diese Antwort spielt auch auf die Tatsache an:

[...] Dies ist eine Art von Regressionsmodell, das geeignet ist, wenn die Antwortvariable als Beta verteilt wird. Sie können es sich analog zu einem verallgemeinerten linearen Modell vorstellen. Es ist genau das, was Sie suchen [...] (Hervorhebung von mir)

Der Fragentitel sagt schon alles: Warum werden Beta / Dirichlet-Regression nicht als verallgemeinerte lineare Modelle betrachtet (oder nicht)?

Soweit ich weiß, definiert das verallgemeinerte lineare Modell Modelle, die auf der Erwartung ihrer abhängigen Variablen beruhen, die von den unabhängigen abhängig sind.

$f$ ist die Verknüpfungsfunktion, die die Erwartung abbildet, ist die Wahrscheinlichkeitsverteilung, die Ergebnisse und die Vorhersagen, sind lineare Parameter und die Varianz. $g$ $Y$ $X$ $\beta$ $\sigma^2$

f (E (Y ∣ X)) \sim g (β X, I σ^{2})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

Verschiedene GLMs legen die Beziehung zwischen Mittelwert und Varianz fest (oder lockern sie), aber muss eine Wahrscheinlichkeitsverteilung in der Exponentialfamilie sein, eine wünschenswerte Eigenschaft, die die Robustheit der Schätzung verbessern sollte, wenn ich mich richtig erinnere. Die Beta- und Dirichlet-Distributionen gehören jedoch zur exponentiellen Familie, daher habe ich keine Ideen mehr. $g$

[1] Cribari-Neto, F. & Zeileis, A. (2009). Beta-Regression in R.

generalized-linear-model beta-regression dirichlet-regression Firebug
quelle

(+1) Siehe auch : stats.stackexchange.com/a/189196 .

Amöbe sagt Reinstate Monica

@amoeba Danke für den Link, hatte diese Frage noch nie gesehen.

Firebug

Ich denke, das Problem ist, dass, wenn Sie die Betaverteilung mit den Standardparametern

schreiben (dh

impliziert Uniform (0,1)), die Betaverteilung in der Exponentialfamilie liegt, wenn Sie sie schreiben in Bezug auf

(Mittelwert) und

(Dispersion) ist dies nicht der

. Aber ich habe mich nie so sehr darum gekümmert, ob eine Verteilung in der exponentiellen Familie liegt.

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

Cliff AB

@CliffAB Nach dem Lesen der Kommentare unter Tims Antwort scheint die Parametrisierung der Beta zu einer Nichtorthogonalität der Parameter zu führen, was für McCullagh-Nelder-GLMs eine Voraussetzung zu sein scheint.

Firebug

Ich denke, diese kurze Antwort: stats.stackexchange.com/a/18812/28666 ist relevant und ergänzt die Antworten hier (was darauf hindeutet, warum GLMs ursprünglich mit exponentieller Dispersionsfamilie definiert wurden).

Amöbe sagt Reinstate Monica

Antworten:

Überprüfen Sie die Originalreferenz:

Ferrari, S. & Cribari-Neto, F. (2004). Beta-Regression für die Modellierung von Raten und Anteilen. Journal of Applied Statistics, 31 (7), 799-815.

Wie die Autoren bemerken, sind die Parameter der reparametrisierten Beta-Verteilung korreliert

Beachten Sie, dass die Parameter und nicht orthogonal sind, im Gegensatz zu dem, was in der Klasse der verallgemeinerten linearen Regressionsmodelle (McCullagh und Nelder, 1989) bestätigt wird. $\beta$ $\phi$

Während das Modell wie ein GLM aussieht und wie ein GLM quakt, passt es nicht perfekt zum Framework.

Tim
quelle

+1, aber es wäre toll, eine detailliertere Antwort zu haben. Ich persönlich verstehe das Zitat nicht (auch nach dem Öffnen des verlinkten Papiers). Warum sind diese Parameter nicht orthogonal in der Beta - Regression .. Warum dies für GLMs erforderlich ist .. Etc.?

Amöbe sagt wieder einzusetzen Monica

@amoeba ehrlich, ich bin nicht die Art von Person, die Ihnen eine detaillierte Antwort darauf geben kann. Ich war noch nie so sehr an der Theorie hinter GLM interessiert, um ein tiefes Verständnis für solche Feinheiten zu haben. McCullagh und Nelder erwähnen diese Anforderung, aber ich muss in ihrem Buch nachlesen, warum genau das wichtig ist. Wenn jemand ausführlich erklären würde, warum dies ein Problem ist, würde ich in Betracht ziehen, ein Kopfgeld für eine solche Antwort auszustellen.

Tim

Die Orthogonalitätsanforderung in GLMs ist wichtig:

bedeutet, dass Sie die Gleichung

ohne sich Gedanken darüber zu machen, dass der Rest der Wahrscheinlichkeit falsch angegeben wird. Parameterschätzungen sind konsistent, wenn die obige mittlere Gleichung korrekt angegeben ist. Inferenz ist gültig, wenn zusätzlich die Varianz korrekt angegeben ist. In der Beta-Regression können Sie die beiden Modellgleichungen jedoch nicht auf diese Weise trennen, selbst wenn

nur eine Konstante ist. Für konsistente Ergebnisse muss alles korrekt angegeben werden.

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

Achim Zeileis

@AchimZeileis Ich erinnere mich, dass ich Ihren Namen im Lebenslauf gesehen habe. Was Sie sagen, macht vollkommen Sinn. Vielleicht möchten Sie Ihren Kommentar in eine Antwort umwandeln, indem Sie weitere Gründe hinzufügen? Wie gesagt, ich würde gerne ein Kopfgeld für jemanden vergeben, der ausführlich genug Antwort auf die Frage gibt.

Tim

@Tim Ich werde es versuchen, wenn ich mehr Zeit habe. Deshalb dachte ich, ein kurzer Kommentar ist besser als nichts ...

Achim Zeileis

Die Antwort von @probabilityislogic ist auf dem richtigen Weg.

Die Beta-Verteilung liegt in der Zwei-Parameter-Exponentialfamilie . Die von Nelder und Wedderburn (1972) beschriebenen einfachen GLM-Modelle enthalten nicht alle Verteilungen in der Zwei-Parameter-Exponentialfamilie.

In Bezug auf den Artikel von N & W bezieht sich das GLM auf die Dichtefunktionen des folgenden Typs (dieser wurde später in Jørgensen 1987 als exponentielle Dispersionsfamilie bezeichnet ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - g (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

mit einer zusätzlichen Verknüpfungsfunktion und einem linearen Modell für den natürlichen Parameter . $f()$ $\theta = f(\mu) = f(X\beta)$

So könnten wir die obige Distribution auch umschreiben:

π (z; μ, ϕ) = e x p [z (f (μ) α (ϕ)) + h (z) α (ϕ) - g (f (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

Die Exponentialfamilie mit zwei Parametern ist:

f (z; θ_{1}, θ_{2}) = e x p [T_{1} (z) η_{1} (θ_{1}, θ_{2}) + T_{2} (z) η_{2} (θ_{1}, θ_{2}) - g (θ_{1}, θ_{2}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

Das sieht ähnlich aus, ist aber allgemeiner (auch wenn eines der konstant ist). $\theta$

Der Unterschied ist klar und es ist auch nicht möglich, die Beta-Distribution in eine Form als GLM zu bringen.

Es fehlt mir jedoch ein ausreichendes Verständnis, um eine intuitivere und fundiertere Antwort zu erstellen (ich habe das Gefühl, dass es viel tiefere und elegantere Beziehungen zu einer Vielzahl grundlegender Prinzipien geben kann). Der GLM verallgemeinert die Verteilung des Fehlers unter Verwendung eines einzelnen variablen Exponentialdispersionsmodells anstelle eines Modells der kleinsten Quadrate und verallgemeinert die lineare Beziehung im Mittel unter Verwendung einer Verknüpfungsfunktion.

Die beste und einfachste Intuition scheint die Dispersion- -Terme im Exponential zu sein, die mit allem multipliziert wird und daher die Dispersion nicht mit variiert . Während mehrere Zwei-Parameter-Exponentialfamilien und Quasi-Likelihood-Methoden ermöglichen, dass der Dispersionsparameter auch eine Funktion von . $\alpha(\phi)$ $\theta$ $\theta$

Sextus Empiricus
quelle

Der zweite Parameter

in der N & W-Definition df ist die Dispersion. Es erweitert die natürliche Exponentialfamilie mit einem Parameter

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

Sextus Empiricus

@amoeba beta ist eine bivariate exponentielle Familienverteilung, zB www2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

Tim

Ich bin mir nicht sicher, ob es auch mit fester Dispersion nicht ganz möglich ist. Zumindest nicht nach den Angaben von N & W (was ich weiß, ist, dass viele Leute viel schwierigere Dinge tun, um die Beta-Regression zu lösen). Ich werde die Antwort bearbeiten, um zu zeigen, was passiert und wo es schief geht, wenn wir versuchen, den gleichen Weg iterativ neu gewichteter kleinster Quadrate zu beschreiten.

Sextus Empiricus

Ich habe die Antwort etwas bearbeitet. 1) Meine anfängliche Beschreibung der Familien und Ausbreitungsmodelle war falsch. Der GLM enthält alle Verteilungen der Ein-Parameter-Exponentialfamilien, da es sich nicht nur um diese Dichtefunktion, sondern auch um eine Verknüpfungsfunktion handelt. 2) Im Sinne einer besseren intuitiven Ansicht konnte ich nicht weit kommen und erwarte nicht, bald weit zu kommen. Die GLM-Modelle beziehen sich auf das klassische Modell in verschiedenen Darstellungen, wobei der Matrixformulierung von Anpassungsprozeduren Gewichte hinzugefügt werden, Ableitungen der Log-Likelihood-Funktionen einschließlich Terme mit der Verknüpfungsfunktion und Varianz, .....

Sextus Empiricus,

Ich habe mir die Freiheit genommen, Ihre Antwort ein wenig zu bearbeiten. Ich hoffe, Sie sind mit den Änderungen einverstanden. Es sieht auch so aus, als ob diese Antwort stats.stackexchange.com/a/18812/28666 Hinweise darauf gibt, warum N & W diese bestimmte und keine umfassendere Distributionsfamilie verwendet hat.

Amöbe sagt Reinstate Monica

Ich glaube nicht, dass die Betaverteilung Teil der exponentiellen Dispersionsfamilie ist . Um dies zu erreichen, müssen Sie eine Dichte haben

f (y; θ, τ) = \exp (\frac{y θ - c (θ)}{τ} + d (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

für angegebene Funktionen und . Der Mittelwert wird als und die Varianz als . Der Parameter wird als kanonischer Parameter bezeichnet. $c ()$ $d ()$ $c'(\theta)$ $\tau c''(\theta)$ $\theta$

Die Betaverteilung kann nicht auf diese Weise geschrieben werden - eine Möglichkeit, dies zu sehen, besteht darin, festzustellen, dass die Log-Wahrscheinlichkeit keinen Ausdruck enthält -, sondern stattdessen und $y$ $\log [y]$ $\log [1-y]$

f_{b e t a} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [B (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

Ein weiterer Weg, um zu sehen, dass Beta keine exponentielle Dispersionsfamilie ist, besteht darin, dass es als wobeiundunabhängig sind und beide Gammaverteilungen mit dem gleichen Skalenparameter folgen (und Gamma die Exponentialfamilie ist). $y=\frac {x}{x+z}$ $x$ $z$

Wahrscheinlichkeitslogik
quelle

Diese Antwort ist nicht korrekt wie geschrieben. Ein Weg, dies zu sehen, ist, dass nach der vorgestellten Logik die Bernoulli- und Binomialverteilungen zum Beispiel auch nicht in der Klasse der Exponentialfamilien liegen würden.

Kardinal

Entschuldigung, Sie haben Recht, dass das von mir angegebene Beispiel falsch war. (Warnung: Die mentale Arithmetik und der mobile Einsatz von CrossValidated können gefährlich sein!) Mein Standpunkt bleibt jedoch bestehen. Diese Antwort ist falsch, weil sie sich für ein sehr eng definiertes Konzept der "Exponentialfamilie" entscheidet - viel enger als jede herkömmliche Quelle oder praktische Verwendung.

Kardinal

Hmm. Wikipedia listet Beta in der Liste der exponentiellen Familienverteilungen auf.

Amöbe sagt Reinstate Monica

Stimmt - ich dachte an die natürliche exponentielle Familie - was ein Sonderfall ist

Wahrscheinlichkeitslogik

θ

$\theta$