Schätzen von Parametern für ein Binomial

Zunächst möchte ich präzisieren, dass ich kein Experte für dieses Thema bin.

Angenommen, zwei Zufallsvariablen und sind binomisch, bzw. Beachten Sie hier, dass gleich ist. Ich weiß, dass$X$$Y$$X\sim B(n_1,p)$$Y\sim B(n_2,p),$$p$$Z=X+Y \sim B(n_1+n_2,p).$

Sei eine Stichprobe für und eine Stichprobe für , gibt es eine Standardmethode zur Schätzung von und ?$\{x_1,\ldots,x_k\}$$X$$\{y_1,\ldots,y_k\}$$Y$$n=n_1+n_2$$p$

Folgendes haben wir getan:

1. nimm die "neue Probe" für gegeben durch ,$Z$$\{x_1+y_1,\ldots, x_k+y_k\}$
2. Mit dem Likelihood Estimator erhalten wir Schätzungen für und ,$n$$p$
3. Mit den Fisher-Informationen versuchen wir, die Fehler über und zu verstehen .$n$$p$

Die Methode scheint zu funktionieren, aber wir haben immer noch einige Zweifel. Sei die Gruppe der Permutation über Elemente. Für jedes wir die "Stichprobe" betrachten, die durchWenn wir den Likelihood Estimator für jede der "neuen Stichproben" anwenden (es gibt Unterschiedliche Summen), erhalten wir unterschiedliche Schätzungen für und .$S_k$$k$$\sigma\in S_k$$\{x_1+y_{\sigma(1)},\dots, x_k+y_{\sigma(k)}\}.$$k!$$(n_\sigma,p_\sigma)$$n$$p$

Was ist die Bedeutung davon? Wie korrelieren die neuen Werte ? Es kann zur Berechnung des Fehlers für ? Verwendet werden .$n_\sigma, p_\sigma$$n$

Einige Kommentare: Die Frage wurde zuvor hier gestellt , aber ein Benutzer schlägt mir vor, tats / crossvalidated SE zu verwenden.

In dem Beispiel, an das ich denke, ist die Anzahl der Vögel in einer bestimmten Region und die Sichtbarkeitswahrscheinlichkeit. Ich muss Regionen mit ähnlichem aggregieren , sonst sind die Daten zu klein. Insbesondere brauche ich, wenn möglich, eine Schätzung nur für , wobei a priori unbekannt istp p n $n$$p$$p$$n$$p$

Ein Beispiel Um klar zu sein und die Antwort von kjetil b halvorsen zu sehen, werde ich versuchen, hier ein praktisches Beispiel zu nennen. Angenommen, wir haben nur eine Region, die mit einer Wahrscheinlichkeit gleich einem festen in zwei Zonen unterteilt ist, und unsere Daten lauten wie folgt:$p$

Zone 1   Zone 2
  a1      b1
  a2      b2
  a3      b3
  a4      b4
  a5      b5
  a6      b6

Wir können dann Folgendes berücksichtigen:

Zone 1+2
c1=a1+b1
c2=a2+b2
c3=a3+b3
   c4
   c5
   c6

Dann können wir die Loglikelihood-Methode verwenden, um und auch zu schätzen, wobei der Parameter für das Binomial der beobachteten Variablen in Zone . Ist es richtig? p N i$N_1+N_2$$p$$N_i$$i$

Jetzt weiß ich, dass die Wahrscheinlichkeitsmethode nicht stabil ist (für mich bedeutet stabil nur gut). Können wir die Fisher-Informationen verwenden? Wenn ja, welche Informationen können wir haben?

Schließlich sei und zwei Permutationen über Elemente (es gibt verschiedene Paare), als wir die neuen Daten von betrachten könnenτ 6 ( 6 ! ) $\sigma$$\tau$$6$$(6!)^2$

Zone 1 + 2
c1 = a + b c2 = a + b c3 = a + b c4 = a + b c5 = a + b c6 = a + bτ ( 1 ) σ ( 2 ) τ ( 2 ) σ ( 3 ) τ ( 3 ) σ ( 4 ) τ ( 4 ) σ ( 5 ) τ ( 5 ) σ ( 6 ) τ ( 6 $\sigma(1)$$\tau(1)$
$\sigma(2)$$\tau(2)$
$\sigma(3)$$\tau(3)$
$\sigma(4)$$\tau(4)$
$\sigma(5)$$\tau(5)$
$\sigma(6)$$\tau(6)$

Wenn wir die Wahrscheinlichkeitsmethode mit diesen neuen Variablen , erhalten wir unterschiedliche Schätzungen für .$N_1+N_2$

Die Frage ist also: Gibt mir die Schätzung einige Informationen über die Fehler?

Ich werde eine Antwort versuchen, auch wenn mir die Situation nicht ganz klar ist. Formeln müssen angepasst werden! Das Problem der Schätzung von in der Binomialverteilung ist alt und es gibt mehrere relevante Arbeiten. Ich werde am Ende einige Referenzen geben. $N$

Es gebe Regionen (im OP-Beispiel ) mit Abtastwerten (aus disjunkten Zeitintervallen gleicher Länge) aus jeder Region. Die beobachteten Variablen sind die unabhängige binomische Zufallsvariablen sind, wobei die Verteilung beide unbekannt ist. Die Log-Likelihood-Funktion wird zu Beachten Sie, dass in dem üblichen Problem, wenn ist, so dass nur unbekannt ist, die Summe (oder der Mittelwert) des Binomials$R$$R=2$$T$$x_{it}$$\text{Bin}(N_i,p)$

$$\ell ( N_i , p ) = \sum \ln \binom{N_i}{x_{it}} + \ln p \cdot \sum x_{it} + \ln (1-p) \cdot \sum ( N_i - x_{it} )$$ $N_i$$p$$x_{it}$ist eine ausreichende Zusammenfassung, so dass die Analyse hinsichtlich der Binomialverteilung der Summe durchgeführt werden kann. In unserem Problem ist dies jedoch aufgrund des ersten Terms in der Log-Likelihood-Funktion nicht der Fall, und die Log-Likelihood hängt von jeder einzelnen Zählung ab! Also, was Sie vorschlagen, um auf die Summe der Zählungen (über ) zu reduzieren , sollte nicht getan werden, da dies Informationen verlieren wird (wie viel, ich weiß nicht, aber das kann untersucht werden ...). Versuchen wir das etwas besser zu verstehen. Zuerst sehen wir unten, dass ein konsistenter Schätzer von$i$$\max_t(x_{it})$$N_i$Dieser konsistente Schätzer ist jedoch keine Funktion der summierten Zählungen. Dies ist ein klarer Hinweis darauf, dass die Summierung Informationen verliert! Beachten Sie auch, dass der Mittelwert ein unvoreingenommener Schätzer seiner Erwartung ist, der , aber keine Informationen über und einzeln zu enthalten scheint , wenn nichts über den anderen Parameter bekannt ist. zeigt an, dass nützliche Informationen über in der Wahrscheinlichkeitsfunktion in der Streuung der Werte$N_i p$$N_i$$p$$N_i$$x_{i1}\dots, x_{iT}$Dies zeigt erneut an, dass die Summierung schlecht ist. Das unten erwähnte Papier von Olkin et al. Zeigt in der Tat, dass der Schätzer der Momentmethode in vielen Fällen besser ist als die maximale Wahrscheinlichkeit! und das nutzt die empirische Varianz der , konnte also nicht aus den summierten Daten berechnet werden.$x_{i1}\dots, x_{iT}$

Es ist bekannt, dass dieses Problem instabil ist. Versuchen wir zu verstehen warum. In dem üblichen Problem, bei dem geschätzt wird, wenn bekannt ist, kann die Schätzung aus einer der Daten, dem Mittelwert, erfolgen. Wenn wir versuchen, sowohl als auch zu schätzen , verwenden wir viel feinere Eigenschaften der Log-Likelihood-Funktion (also der Daten). Um zu sehen, warum, denken Sie daran, dass wir die Poisson-Verteilung als Grenze des Binomials erhalten können, wenn auf Null geht und ohne Grenzen mit einem konstant positiven Produkt wächst. Also, wenn klein ist und$p$$N_i$$N_i$$p$$p$$N$$p$$N$groß, wird die Binomialverteilung ziemlich nahe an dieser Grenze liegen. Nehmen Sie zwei Fälle: (A) , (B) . Zeichnen Sie Histogramme für die beiden (Binomial-) Verteilungen:$N=100, p=0.01$$N=20, p=0.05$

> zapsmall(cbind(0:20,pA,pB))
               pA       pB
 [1,]  0 0.366032 0.358486
 [2,]  1 0.369730 0.377354
 [3,]  2 0.184865 0.188677
 [4,]  3 0.060999 0.059582
 [5,]  4 0.014942 0.013328
 [6,]  5 0.002898 0.002245
 [7,]  6 0.000463 0.000295
 [8,]  7 0.000063 0.000031
 [9,]  8 0.000007 0.000003
[10,]  9 0.000001 0.000000
[11,] 10 0.000000 0.000000
[12,] 11 0.000000 0.000000
[13,] 12 0.000000 0.000000
[14,] 13 0.000000 0.000000
[15,] 14 0.000000 0.000000
[16,] 15 0.000000 0.000000
[17,] 16 0.000000 0.000000
[18,] 17 0.000000 0.000000
[19,] 18 0.000000 0.000000
[20,] 19 0.000000 0.000000
[21,] 20 0.000000 0.000000

Über einer Tabelle dieser Wahrscheinlichkeiten. Um anhand der beobachteten Daten zu erkennen, welche dieser beiden Verteilungen man hat, muss in diesem Fall entschieden werden, ob oder . Es ist offensichtlich ziemlich schwierig, und die Instabilität der resultierenden Schätzer ist nur zu erwarten. Dieses Beispiel zeigte auch, dass die Instabilität hauptsächlich für kleine . Sie sagen, Sie erwarten um 0,7, also könnte das Problem dann stabiler sein. Sie können dies für Ihre Daten untersuchen, indem Sie den Maximum-Likelihood-Schätzer als Funktion eines bekannten und diesen für zeichnen$N=100$$N=20$$p$$p$$p$$p$in einem gewissen Konfidenzintervall. Oder Sie könnten volle Bayes gehen, dies ist ein Fall, in dem sogar einige ziemlich vage vorherige Informationen hilfreich sein könnten.

Die Parameter sind tatsächlich schätzbar. Es ist klar, dass , so dass es möglich ist, diese maximale Anzahl als Schätzer für . Dieser Schätzer ist stark konsistent, und ein Parameter mit einem konsistenten Schätzer muss schätzbar sein. Wie das obige Beispiel zeigt, ist die Schätzbarkeit fast eine Formalität; In der Praxis sind Verteilungen mit sehr unterschiedlichen sehr eng, so dass sehr schwach abschätzbar ist.$N_i \ge \max_t(x_{it})$$N$$N$$N$

Ich werde hier keine Details zu den Schätzmethoden geben, aber einige Referenzen, die Sie überprüfen können:

Ingram Olkin, A John Petkau, James V Zidek: Ein Vergleich von N Schätzern für die Binomialverteilung. JASA 1981. Dies ist ein klassisches Papier, das ML- und Momentschätzer sowie einige stabilere Varianten entwickelt und analysiert. Interessanterweise zeigt sich auch, dass in vielen Fällen der Schätzer für die Momentmethode besser ist als der ML-Schätzer!

Raymond J Carrol und F Lombard: Ein Hinweis zu N Schätzern für die Binomialverteilung. JASA 1985.
Entwickelt einen alternativen, stabileren und vielleicht besseren Schätzer, der auf der Integration von aus der Wahrscheinlichkeit basiert . Stellt auch fest, dass die summierten Zählungen nicht ausreichen.$p$

J Andrew Royle: N_Mixture-Modelle zur Schätzung der Populationsgröße anhand räumlich replizierter Zählungen. Biometrics, 2004. Dies gibt einen anderen, alternativen Bayes'schen Ansatz, den Sie versuchen können.

Zurück zu Ihrer konkreten Frage. Sie sollten die Zählungen über Ihre beiden Regionen NICHT summieren! Das wird Informationen verlieren. Wenn Sie einführen, kann die Log-Likelihood-Funktion als Funktion von , und (oder ) geschrieben werden. Dann sollte der zusätzliche Parameter durch eine Prozedur eliminiert werden. Ich werde darauf zurückkommen, aber nein, es ist keine Zeit! $N=N_1 + N_2$$N$$p$$N_1$$N_2$$N_1$