Intuitiver Grund, warum die Fisher Information of Binomial umgekehrt proportional zu

Es verwirrt / verwirrt mich, dass das Binomial eine Varianz proportional zu $p(1-p)$ . Entsprechend ist die Fisher-Information proportional zu $\frac{1}{p(1-p)}$ . Was ist der Grund dafür? Warum wird die Fisher-Information beiminimiert$p=0.5$? Das heißt, warum ist die Inferenz beiam schwierigsten$p=0.5$?

Kontext:

Ich arbeite an einem Stichprobengrößenrechner, und die Formel für $N$ , die benötigte Stichprobengröße, ist ein zunehmender Faktor von $p(1-p)$ , das Ergebnis einer Varianzschätzung in der Ableitung.

Um intuitiv zu sehen, dass die Varianz bei maximiert ist , nehmen Sie p gleich 0,99 (bzw. p = 0,01 ). Dann wird eine Probe von X ~ Bernoulli ( p ) wird wahrscheinlich viele enthält 1 's (resp. 0 ' s) und nur ein paar 0 's (resp. 1 ' s). Da gibt es nicht viel Abwechslung.$p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

Die Folgerung ist „hart“ für ‚in der Mitte, weil eine Probe mit p in der Mitte mit einem breiteren Spektrum von konsistent ist p . In der Nähe der Enden kann es nicht so weit sein - weil die Enden "Barrieren" sind, über die p nicht hinausgehen kann.$p$$\hat p$$p$$p$

Ich denke jedoch, dass die Intuition bei abweichender Betrachtung einfacher ist.

Die Intuition, dass die Varianz eines Binomials in der Mitte groß und an den Enden klein ist, ist ziemlich einfach: In der Nähe der Endpunkte ist kein Platz für eine "Ausbreitung" der Daten. Betrachten Sie small - da der Mittelwert nahe bei 0 liegt, kann die Abweichung nicht groß sein -, damit die Daten gemittelt werden$p$ mitteln, kann sie nur so weit vom Mittelwert abweichen.$p$

Betrachten wir die Varianz eines Stichprobenanteils in einer Reihe von Bernoulli-Versuchen. Hier . Wenn Sie also n festhalten und p variieren , ist die Variation für p in der Nähe von 0 viel kleiner :$\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

Stichprobenanteil in Binomialstichproben - hier ist nur zufällig gleichförmig; Der blaue Fall hat einen Mittelwert von 0,03, der schwarze Mittelwert von 0,5 (etwas Jitter hinzugefügt, damit sich die Punkte nicht zu sehr häufen und Details verlieren). $y$

Die entsprechenden Wahrscheinlichkeitsfunktionen:

Achten Sie in jedem Fall auf die Linien, die den Mittelwert markieren. Wenn sich die Mittellinie mehr an der Barriere festsetzt, können Punkte unter dem Mittelwert nur einen kleinen Teil darunter liegen.

$p = \frac{1}{2}$

$\hat p$$p$ über dem Mittelwert, muss es unter dem Mittelwert , so weit entsprechend mehr Wahrscheinlichkeit über gestaucht sein , wie es gehen kann. Diese sich abzeichnende Barriere bei 0 begrenzt die Variabilität und führt zu einer Schräglage.

[Diese Form der Intuition sagt uns nicht, warum sie genau diese funktionale Form annimmt, aber sie macht deutlich, warum die Varianz in der Nähe der Enden klein sein und kleiner werden muss, je näher Sie den Enden kommen.]

Die Fisher-Information ist die Varianz der Bewertungsfunktion. Und es hängt mit der Entropie zusammen. Für einen Bernoulli-Versuch erhalten wir für jeden Versuch ein Bit. Diese Fisher-Information hat also ähnliche Eigenschaften wie die Shannon-Entropie, wie wir es erwarten würden. Insbesondere hat die Entropie ein Maximum bei 1/2 und die Information ein Minimum bei 1/2.