Schätzung der Parameter der Studentschen t-Verteilung

23

Was sind die Maximum-Likelihood-Schätzer für die Parameter der Student-t-Verteilung? Existieren sie in geschlossener Form? Eine schnelle Google-Suche ergab keine Ergebnisse.

Heute interessiert mich der univariate Fall, aber wahrscheinlich muss ich das Modell auf mehrere Dimensionen erweitern.

EDIT: Mich interessieren eigentlich vor allem die Standort- und Skalenparameter. Im Moment kann ich davon ausgehen, dass der Parameter Freiheitsgrade festgelegt ist, und möglicherweise ein numerisches Schema verwenden, um später den optimalen Wert zu finden.

estimation maximum-likelihood t-distribution Grzenio
quelle

Meines Wissens existieren sie nicht in geschlossener Form. Möglicherweise ist ein Ansatz mit Gradientenaufstieg erforderlich.

Pat

Obwohl der Student - t - Verteilung einen hat einzelnen Parameter finden Sie auf „Parameter“ im Plural. Schließen Sie vielleicht Standort- und / oder Skalenparameter ein?

Whuber

@whuber, danke für den Kommentar, mich interessieren in der Tat Standort- und Skalierungsparameter mehr als die Freiheitsgrade.

Grzenio

Mit Daten ist die Wahrscheinlichkeitsgleichung für den Ortsparameter algebraisch äquivalent zu einem Polynom vom Grad . Betrachten Sie eine Null eines solchen Polynoms als "geschlossen"?

n

$n$

2 n - 1

$2n-1$

Whuber

@whuber, gibt es Sonderfälle für kleines n, zB n = 3?

Grzenio

27

Für T gibt es keine geschlossene Form, aber ein sehr intuitiver und stabiler Ansatz ist der EM-Algorithmus. Da Student eine Mischung aus Normalen ist, können Sie Ihr Modell wie folgt schreiben

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

wo und $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Dies bedeutetdass auf bedingtdie MLE nur der gewichtete Mittelwert und Standardabweichung sind. Dies ist der "M" -Schritt $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Jetzt ersetzt der "E" -Schritt durch seine Erwartung, wenn alle Daten gegeben sind. Dies ist gegeben als: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

Sie iterieren einfach die obigen beiden Schritte und ersetzen die "rechte Seite" jeder Gleichung durch die aktuellen Parameterschätzungen.

$\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Eine zu beachtende Sache ist, dass die Log Likelihood-Funktion mehr als einen stationären Punkt haben kann, so dass der EM-Algorithmus zu einem lokalen Modus anstelle eines globalen Modus konvergieren kann. Die lokalen Modi werden wahrscheinlich gefunden, wenn der Standortparameter zu nahe an einem Ausreißer gestartet wird. Es ist also eine gute Möglichkeit, dies zu vermeiden, wenn Sie beim Median beginnen.

Wahrscheinlichkeitslogik
quelle

1

Das ist großartig. Ich habe eine Weile mit der Idee gespielt, Studenten-T's mit EM aus genau dem Grund anzupassen, dass es wie eine Mischung aus Gaußschen aussieht. Haben Sie ein Zitat / eine Referenz für die von Ihnen angegebenen Aktualisierungsgleichungen? Das würde die Attraktivität dieses Beitrags noch weiter steigern.

Pat

Eigentlich glaube ich, dass ich selbst eines gefunden habe, für ein Mischmodell von Student-ts (das ich so für Zeug verwenden werde): Die Mischungen von Student-t-Distributionen als robustes Framework für starre Registrierung. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Image and Vision Computing 27 (2009) 1285–1294.

Pat

Der Link in meiner Antwort auf diese Frage enthält ein sehr allgemeines EM-Framework für Lasten und Lasten von Wahrscheinlichkeitsfunktionen - Quantil, Student, Logistik und allgemeine Regression. Ihr spezieller Fall ist "Regression" ohne Kovariaten - nur abfangen - passt also gut in diesen Rahmen. Darüber hinaus gibt es eine Vielzahl von Strafbestimmungen, die Sie in dieses Framework integrieren können.

Wahrscheinlichkeitslogik

ν

$\nu$

Ich denke, dieser Verweis ist besser als bei Pat. "ML-SCHÄTZUNG DER VERTEILUNG UNTER VERWENDUNG VON EM UND SEINER ERWEITERUNGEN, ECM UND ECME." Sie müssen bei der Auswahl des anfänglichen Parameterwerts sehr vorsichtig sein, während Sie den EM-Algorithmus ausführen, da das Problem lokal optimal ist. Mit anderen Worten, Sie müssen etwas über Ihre Daten wissen. Normalerweise vermeide ich die Verwendung der t-Verteilung in meiner Forschung.

4

Im folgenden Artikel wird genau das Problem angesprochen, das Sie gemeldet haben.

Liu C. und Rubin DB 1995. "ML-Schätzung der t-Verteilung unter Verwendung von EM und seinen Erweiterungen, ECM und ECME." Statistica Sinica 5: 19–39.

Es bietet eine allgemeine multivariate Schätzung von t-Verteilungsparametern mit oder ohne Kenntnis des Freiheitsgrades. Die Prozedur befindet sich in Abschnitt 4 und ist der Wahrscheinlichkeitslogik für 1-Dimension sehr ähnlich.

mitchshih
quelle

7

Es hört sich so an, als ob der Artikel, auf den Sie sich beziehen, eine nützliche Antwort auf die Frage enthält. Antworten sind jedoch besser, wenn sie eigenständig sind und keine externen Ressourcen erfordern (hier ist es beispielsweise möglich, dass OP oder Leser keinen Zugriff auf diesen Artikel haben ). Könnten Sie Ihre Antwort ein wenig präzisieren, um sie eigenständiger zu machen?

Patrick Coulombe

3

Ich bezweifle, dass es in geschlossener Form existiert: wenn Sie einen der Faktoren der Wahrscheinlichkeit als schreiben

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$

Lucozade
quelle

1

Auch in der Gaußschen Einstellung ist die Log-Wahrscheinlichkeit in ihren Parametern nichtlinear :-).

Whuber

Eigentlich interessieren mich Standort- und Skalenparameter mehr als die Freiheitsgrade. Bitte sehen Sie sich die Bearbeitung der Frage an und entschuldigen Sie die Ungenauigkeit.

Grzenio

2

Ich habe kürzlich einen geschlossenen Schätzer für die Skala der t-Verteilung des Schülers entdeckt. Nach meinem besten Wissen ist dies ein neuer Beitrag, aber ich würde Kommentare begrüßen, die ähnliche Ergebnisse vorschlagen. Die Arbeit beschreibt die Methode im Kontext einer Familie von "gekoppelten Exponentialverteilungen". Das t des Schülers wird als gekoppelter Gauß bezeichnet, wobei der Kopplungsbegriff der Kehrwert des Freiheitsgrades ist. Die Statistik in geschlossener Form ist das geometrische Mittel der Stichproben. Unter der Annahme eines Kopplungswerts oder Freiheitsgrads wird eine Schätzung der Skala durch Multiplizieren des geometrischen Mittels der Abtastwerte mit einer die Kopplung betreffenden Funktion und einer Oberwellenzahl bestimmt.

https://arxiv.org/abs/1804.03989 Verwendung des geometrischen Mittels als Statistik für die Skala der gekoppelten Gaußschen Verteilungen, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

Kenric
quelle

Schätzung der Parameter der Studentschen t-Verteilung

Antworten: