Wie passt man eine Poisson-Verteilung an Tabellendaten an?

Mit "Anpassen der Verteilung an die Daten" meinen wir, dass eine gewisse Verteilung (dh eine mathematische Funktion) als Modell verwendet wird , das verwendet werden kann, um die empirische Verteilung Ihrer Daten zu approximieren. Wenn Sie die Verteilung an die Daten anpassen, müssen Sie die Verteilungsparameter aus den Daten ableiten. Sie können dies tun, indem Sie eine Software verwenden, die dies automatisch für Sie erledigt (z. B. fitdistrplusin R), oder indem Sie diese von Hand aus Ihren Daten berechnen, z. B. mit maximaler Wahrscheinlichkeit (siehe entsprechenden Eintrag in Wikipedia zur Poisson-Verteilung ).

Auf dem Diagramm unten sehen Sie Ihre Daten mit angepasster Poisson-Verteilung. Wie Sie sehen können, passt die Linie nicht perfekt, da es sich nur um eine Annäherung handelt.

Einer der Ansätze für dieses Problem besteht unter anderem darin, die maximale Wahrscheinlichkeit zu verwenden . Erinnern Sie sich daran, dass die Wahrscheinlichkeit eine Funktion der Parameter für die festen Daten ist. Durch Maximieren dieser Funktion können wir "wahrscheinlichste" Parameter finden, wenn wir die Daten haben, d. H.

L (λ | x_{1}, \dots, x_{n}) = \prod_{i} f (x_{i} | λ)

$L(\lambda|x_1,\dots,x_n) = \prod_i f(x_i|\lambda)$

wobei in Ihrem Fall die Poisson-Wahrscheinlichkeitsmassenfunktion ist. Der direkte numerische Weg, um ein geeignetes zu finden, wäre die Verwendung eines Optimierungsalgorithmus. Dazu definieren Sie zuerst die Wahrscheinlichkeitsfunktion und bitten dann den Algorithmus, den Punkt zu finden, an dem die Funktion ihr Maximum erreicht: $f$ $\lambda$

# negative log-likelihood (since this algorithm looks for minimum)
llik <- function(lambda) -sum(dpois(x, lambda, log = TRUE)*y)
opt.fit <- optimize(llik, c(0, 10))$minimum

Sie können etwas Seltsames an diesem Code bemerken: Ich multipliziere dpois()mit y. Die Daten, die Sie haben, werden in Form einer Tabelle bereitgestellt, in der für jeden Wert von die zugehörigen Zählwerte , während die Wahrscheinlichkeitsfunktion eher als Rohdaten als als solche Tabellen definiert ist. Sie könnten die Rohdaten aus diesen Werten neu erstellen, indem Sie jedes der genau mal (dh in R) wiederholen und dies als Eingabe für Ihre Statistiksoftware verwenden, aber Sie könnten einen klügeren Ansatz wählen. Die Wahrscheinlichkeit ist ein Produkt von . Das Multiplizieren von mit identischen -exakten Zeiten ist dasselbe wie Nehmen $x_i$ $y_i$ $x_i$ $y_i$ rep(x, y) $f(x_i|\lambda)$ $f(x_i|\lambda)$ $x_i$ $y_i$ $y_i$ te Potenz davon: . Hier maximieren wir die Log-Wahrscheinlichkeit (siehe hier, warum wir Log nehmen ), so dass zu: . Auf diese Weise haben wir die Wahrscheinlichkeitsfunktion für tabellarische Daten erhalten. $f(x_i|\lambda)^{y_i}$ $\prod_i f(x_i|\lambda)^{y_i}$ $\sum_i \log f(x_i|\lambda) \times y_i$

Es gibt jedoch einen einfacheren Weg. Wir wissen, dass der empirische Mittelwert von der Maximum-Likelihood-Schätzer von (dh er ermöglicht es uns, einen solchen Wert von zu schätzen, der die Wahrscheinlichkeit maximiert). Anstatt also eine Optimierungssoftware zu verwenden, können wir einfach den Mittelwert berechnen. Da Sie Daten in Form einer Tabelle mit Zählwerten haben, besteht der direkteste Weg darin, einfach den gewichteten Mittelwert des gewichteten Mittelwerts von , wobei als Gewichte verwendet werden. $x$ $\lambda$ $\lambda$ $x_i$ $y_i$

mx <- sum(x*(y/sum(y)))

Dies führt zu identischen Ergebnissen, als hätten Sie aus den Rohdaten das arithmetische Mittel berechnet. Sowohl die Maximierung der Wahrscheinlichkeit mithilfe des Optimierungsalgorithmus als auch die Ermittlung des Mittelwerts führen zu fast genau den gleichen Ergebnissen:

> mx
[1] 0.3995092
> opt.fit
[1] 0.3995127

So ‚s sind nicht überall in Ihre Notizen erwähnt , wie sie künstlich als eine Möglichkeit geschaffen werden , die Speicherung dieser Daten in aggregierter Form (als Tabelle), und nicht alle die Auflistung roh ‘ s. Wie oben gezeigt, können Sie Daten in diesem Format nutzen. $y$ $4075$ $x$

Mit den obigen Verfahren können Sie das "am besten passende" diese Weise passen Sie die Verteilung an die Daten an - indem Sie solche Parameter der Verteilung finden, die sie an die empirischen Daten anpassen . $\lambda$

Sie haben kommentiert, dass es für Sie immer noch unklar ist, warum als Gewichte betrachtet werden. Das arithmetische Mittel kann als Sonderfall des gewichteten Mittelwerts betrachtet werden, bei dem alle Gewichte gleich und gleich : $y_i$ $1/N$

\frac{x_{1} + \dots + x_{n}}{N} = \frac{1}{N} (x_{1} + \dots + x_{n}) = \frac{1}{N} x_{1} + \dots + \frac{1}{N} x_{n}

$\frac{x_1 + \dots + x_n}{N} = \frac{1}{N} \left( x_1 + \dots + x_n \right) = \frac{1}{N}x_1 + \dots + \frac{1}{N}x_n$

Überlegen Sie nun, wie Ihre Daten gespeichert werden. und bedeutet, dass Sie vier Fünfer haben. , und bedeutet usw. Wenn Sie den Mittelwert berechnen müssen Sie sie zuerst summieren, also: . Dies führt dazu, dass Zählungen als Gewichte für den gewichteten Mittelwert verwendet werden, was genau dem arithmetischen Mittelwert mit Rohdaten entspricht $x_6 = 5$ $y_6 = 4$ $x_6 = \{5,5,5,5\}$ $x_7 = 6$ $y_7 = 2$ $x_7 = \{6,6\}$ $5+5+5+5 = 5 \times 4 = x_6 \times y_6$

\frac{x_{1} y_{1} + \dots + x_{n} y_{n}}{y_{1} + \dots + y_{n}} = \frac{x_{1} y_{1}}{N} + \dots + \frac{x_{n} y_{n}}{N} = \overset{y_{1} times}{\overset{⏞}{\frac{x_{1}}{N} + \dots + \frac{x_{1}}{N}}} + \dots + \overset{y_{n} times}{\overset{⏞}{\frac{x_{n}}{N} + \dots + \frac{x_{n}}{N}}}

$\frac{x_1 y_1 + \dots + x_n y_n}{y_1 + \dots + y_n} = \\ \frac{x_1 y_1}{N} + \dots + \frac{x_n y_n}{N} = \\ \overbrace{ \frac{x_1}{N} + \dots + \frac{x_1}{N} }^{y_1 ~ \text{times}} + \dots + \overbrace{ \frac{x_n}{N} + \dots + \frac{x_n}{N} }^{y_n ~ \text{times}}$

wobei . Die gleiche Idee wurde auf die Wahrscheinlichkeitsfunktion angewendet, die durch Zählungen gewichtet wurde. Was hier irreführend sein könnte, ist, dass wir in einigen Fällen , um den ten beobachteten Wert von , während in Ihrem Fall ein spezifischer Wert von , der mal beobachtet wurde. Wie bereits erwähnt, ist dies nur eine alternative Methode zum Speichern derselben Daten. $N = \sum_i y_i$ $x_i$ $i$ $X$ $x_i$ $X$ $y_i$

Tim
quelle

x

$x$

k

$k$

y

$y$

P (X = x_{i})

$P(X=x_i)$

x_{i}

$x_i$

λ

$\lambda$

y

$y$

y

$y$

Wie passt man eine Poisson-Verteilung an Tabellendaten an?

Antworten: