Wie passe ich einen Datensatz an eine Pareto-Verteilung in R an?

Nun, wenn Sie eine Stichprobe von aus einer Paretoverteilung mit den Parametern und (wobei die Untergrenze und der Formparameter ist), ist dies die logarithmische Wahrscheinlichkeit Probe ist: $X_1, ..., X_n$ $m>0$ $\alpha>0$ $m$ $\alpha$

n Log (α) + n α Log (m) - (α + 1) \sum_{ich = 1}^{n} Log (X_{ich})

$n \log(\alpha) + n \alpha \log(m) - (\alpha+1) \sum_{i=1}^{n} \log(X_i)$

Dies ist eine monotone Zunahme in , sodass der Maximierer der größte Wert ist, der mit den beobachteten Daten übereinstimmt. Da der Parameter die Untergrenze der Unterstützung für die Pareto-Verteilung definiert, ist das Optimum $m$ $m$

\hat{m} = \underset{ich}{Mindest} X_{ich}

$\hat{m} = \min_{i} X_i$

was nicht von abhängt . Als nächstes muss das MLE für Verwendung gewöhnlicher Rechentricks erfüllen $\alpha$ $\alpha$

\frac{n}{α} + n Log (\hat{m}) - \sum_{ich = 1}^{n} Log (X_{ich}) = 0

$\frac{n}{\alpha} + n \log( \hat{m} ) - \sum_{i=1}^{n} \log(X_i) = 0$

eine einfache Algebra sagt uns, dass die MLE von ist $\alpha$

\hat{α} = \frac{n}{\sum_{ich = 1}^{n} Log (X_{ich} / \hat{m})}

$\hat{\alpha} = \frac{n}{\sum_{i=1}^{n} \log(X_i/\hat{m})}$

In vielerlei Hinsicht (z. B. optimale asymptotische Effizienz durch Erreichen der Cramer-Rao-Untergrenze) ist dies der beste Weg, um Daten an eine Pareto-Verteilung anzupassen. Der folgende R-Code berechnet die MLE für einen bestimmten Datensatz X.

pareto.MLE <- function(X)
{
   n <- length(X)
   m <- min(X)
   a <- n/sum(log(X)-log(m))
   return( c(m,a) ) 
}

# example. 
library(VGAM)
set.seed(1)
z = rpareto(1000, 1, 5) 
pareto.MLE(z)
[1] 1.000014 5.065213

Bearbeiten: Basierend auf den Kommentaren von @ cardinal und mir unten können wir auch feststellen, dass der Kehrwert des Stichprobenmittels der , die passieren haben eine exponentielle Verteilung. Wenn wir also Zugriff auf Software haben, die zu einer Exponentialverteilung passt (was wahrscheinlicher ist, da es bei vielen statistischen Problemen auftritt), kann eine Pareto-Verteilung angepasst werden, indem der Datensatz auf diese Weise transformiert und angepasst wird zu einer exponentiellen Verteilung auf der transformierten Skala. $\hat{\alpha}$ $\log(X_i /\hat{m})$

Makro
quelle

(+1) Wir können die Dinge etwas suggestiver schreiben, indem feststellen, dass exponentiell mit rate . Daraus und aus der Invarianz der transformierten MLE schließen wir sofort, dass , wobei wir im letzteren Ausdruck durch ersetzen . Dies weist auch darauf hin, wie wir Standardsoftware verwenden könnten, um ein Pareto anzupassen, selbst wenn keine explizite Option verfügbar ist.

Y_{i} = \log (X_{i} / m)

$Y_i = \log(X_i/m)$

α

$\alpha$

\hat{α} = 1 / \bar{Y}

$\hat\alpha = 1/\bar Y$

m

$m$

\hat{m}

$\hat m$

Kardinal

@cardinal - ist also der Kehrwert des Stichprobenmittels der , die zufällig eine Exponentialverteilung haben. Wie hilft uns das?

\hat{α}

$\hat{\alpha}$

\log (X_{i} / \hat{m})

$\log(X_i/\hat{m})$

Makro

Hi, Macro. Der Punkt, den ich anstrebte, war, dass das Problem der Schätzung der Parameter eines Paretos (im Wesentlichen) auf das der Schätzung der Rate eines Exponentials reduziert werden kann: Durch die obige Transformation können wir unsere Daten und unser Problem in ein konvertieren (vielleicht) vertrauter und extrahieren sofort die Antwort (vorausgesetzt, wir oder unsere Software wissen bereits, was mit einer Stichprobe von Exponentialen zu tun ist).

Kardinal

Wie kann ich den Fehler dieser Art von Passung messen?

Emanuele

@emanuele, die ungefähre Varianz eines MLE ist die Umkehrung der Fischerinformationsmatrix, für die Sie mindestens eine Ableitung der log-Wahrscheinlichkeit berechnen müssen. Sie können auch eine Art Bootstrap-Resampling verwenden, um den Standardfehler abzuschätzen.

Makro

Wie passe ich einen Datensatz an eine Pareto-Verteilung in R an?

Antworten: