Erwartung der Summe von K Zahlen ohne Ersatz

Gegeben sind Zahlen, bei denen der Wert jeder Zahl unterschiedlich ist, bezeichnet als , und die Wahrscheinlichkeit, jede Zahl auszuwählen, ist . $n$ $v_1, v_2, ..., v_n$ $p_1, p_2, ..., p_n$

Wenn ich nun Zahlen basierend auf den gegebenen Wahrscheinlichkeiten auswähle , wobei , wie hoch ist die Erwartung der Summe dieser Zahlen? Beachten Sie, dass die Auswahl ersatzlos ist, sodass die Nummern keine doppelten Nummern enthalten dürfen. Ich verstehe, dass, wenn die Auswahl ersetzt wird, die Erwartung der Summe der Zahlen gleich , wobei $K$ $K \leq n$ $K$ $K$ $K$ $K \times E(V)$

E (V) = v_{1} \times p_{1} + v_{2} \times p_{2} + . . . + v_{n} \times p_{n} .

$E(V) = v_1 \times p_1 + v_2 \times p_2 + ... + v_n \times p_n.$

Was ist außerdem mit der Erwartung der Varianz dieser Zahlen? $K$

Ich bin ein CS-Doktorand, der an einem Big-Data-Problem arbeitet, und ich habe keinen statistischen Hintergrund. Ich erwarte, dass mir jemand eine Formel als Antwort geben kann. Wenn die Antwort jedoch zu kompliziert ist, um durch eine Formel beschrieben zu werden, oder eine intensive Berechnung erforderlich ist, ist eine ungefähre Antwort völlig akzeptabel.

Sie können davon ausgehen, dass hier ziemlich groß ist und die Wahrscheinlichkeit sehr unterschiedlich sein kann. In der Praxis stammen die Werte dieser Wahrscheinlichkeiten aus einem Abfrageprotokoll, das eine Reihe von Aggregationsabfragen aufzeichnet. Der Punkt ist, dass die Häufigkeit jeder an den Abfragen beteiligten Nummer ziemlich schief sein kann, dh einige werden selten abgefragt, während andere sehr häufig abgefragt werden. Sie können davon ausgehen, dass es sich bei der Wahrscheinlichkeitsverteilung um Normalverteilung, Zipf-Verteilung oder andere sinnvolle Alternativen handelt. $n$

Die Werteverteilung ist nur eine zusammenhängende Teilmenge einer möglichen Verteilung. Mit anderen Worten, wenn Sie ein Histogramm haben, das eine bestimmte Verteilung darstellt, sind alle an diesem Problem beteiligten Zahlen die Zahlen in einem einzigen Bucket.

In Bezug auf den Wert von K können Sie annehmen, dass er immer kleiner ist als die Anzahl der häufig abgefragten Elemente.

probability SciPioneer
quelle

Die Erwartung der Varianz der Summe wird ersatzlos unterschiedlich sein; Sie benötigen einen endlichen Populationskorrekturfaktor, wenn es keinen Ersatz gibt. (Um dies intuitiv zu sehen, ist zu beachten, dass bei K = n die Varianz der Summe Null ist, da sie immer dieselbe Zahl ist. Wenn sich K n nähert, ist die Varianz der Summe geringer.)

zbicyclist

Diese Frage könnte schwieriger sein, als es aussehen mag. Betrachten Sie den Fall und . Die erwartete Summe von zwei mit Ersetzung gezeichneten Werten ist was natürlich doppelt so ist wie die erwartete Summe eines Wertes; aber die erwartete Summe von zwei ersatzlos gezeichneten Werten ist offensichtlich außer wenn .

n = 2

$n=2$

(v_{1}, v_{2}) = (0, 1)

$(v_1,v_2)=(0,1)$

2 p_{2}

$2p_2$

v_{1} + v_{2} = 1 \neq 2 p_{2}

$v_1+v_2=1\ne 2p_2$

p_{1} = p_{2} = 1 / 2

$p_1=p_2=1/2$

whuber

@zbicyclist Vielleicht habe ich das Problem nicht klar angegeben. Wenn in meinem Szenario K = N ist, ist die Varianz dieser K-Zahlen eher die Varianz der Allgemeinbevölkerung als 0.

SciPioneer

(1) Dies sieht für mich nicht nach einer Frage zum Selbststudium aus : Es sieht nach einem echten Problem der angewandten Wahrscheinlichkeit aus. (2) Wie groß könnte sein? Genaue Lösungen sind nur dann praktikabel, wenn alle Teilmengen aufgelistet werden können. (3) Wenn viel größer als könnte , was eine schnelle Aufzählung ausschließt, was können Sie über sagen ? Könnten sie beispielsweise variieren oder liegen sie alle ziemlich nahe bei ? Dies könnte die Bemühungen um ungefähre Antworten beeinflussen.

n

$n$

n

$n$

20

$20$

p_{i}

$p_i$

1 / n

$1/n$

whuber

Danke für die Änderungen. Je mehr Sie uns über , , das und das erzählen können, desto besser. Wenn beispielsweise ist, sollten Formeln für die Abtastung mit Ersetzung gute Näherungswerte sein (da nur sehr wenige Werte, falls vorhanden, mehr als einmal ausgewählt würden). Ich glaube, die schwierigsten Fälle sind, in denen es einen weiten Wertebereich von gibt - so dass Sie die meisten nicht einfach durch Nullen und dennoch durch für eine nennenswerte Anzahl von - und ersetzen können .

N

$N$

K

$K$

v_{i}

$v_i$

p_{i}

$p_i$

K max (p_{i}) ≪ 1

$K\max(p_i)\ll 1$

p_{i}

$p_i$

p_{i} > 1 / K

$p_i\gt 1/K$

i

$i$

K \approx N / 2

$K\approx N/2$

whuber

Antworten:

Dies liegt wahrscheinlich in der Natur einer Antwort, die zwar genau, aber wahrscheinlich nicht so nützlich ist. Horvitz und Thompson (1952) liefern Ergebnisse, die diese Situation im Allgemeinen abdecken. Diese Ergebnisse werden in Form der zu erwartenden kombinatorischen Ausdrücke angegeben.

Lassen Sie mich einige Mengen neu definieren, um mit ihrer Notation in Einklang zu bleiben und auch besser mit der weiter verbreiteten Notation zu korrespondieren. Sei die Anzahl der Elemente in der Population und die Stichprobengröße. $N$ $n$

Sei , , die Elemente der Population mit gegebenen Werten , und Auswahlwahrscheinlichkeiten . Für eine gegebene Stichprobe der Größe seien die beobachteten Werte in der Stichprobe . $u_i$ $i=1,...,N$ $N$ $V_i$ $i=1,...,N$ $p_1,...,p_N$ $n$ $v_1,..., v_n$

Was gewünscht wird, sind der Mittelwert und die Varianz der Stichprobensumme

\sum_{i = 1}^{n} v_{i} .

$\sum_{i=1}^n v_i.$

Wie in den Kommentaren erwähnt, die Wahrscheinlichkeit der Auswahl einer bestimmten Stichprobe in dieser Reihenfolge wobei die anfängliche Wahrscheinlichkeit des Zeichnens durch , die zweite Wahrscheinlichkeit des Zeichnens abhängig ist, dass aus der Population entfernt wurde, und so weiter. Jede nachfolgende gezeichnete Einheit führt also zu einer neuen Wahrscheinlichkeitsverteilung für die nächste Einheit (daher die Auswahl verschiedener Kennbuchstaben, da jede eine andere Verteilung darstellt). $s = \{u_i, u_j, ..., u_t\}$

Pr (s) = p_{i_{1}} p_{j_{2}} \dots p_{t_{n}},

$\textrm{Pr}(s) = p_{i_1}p_{j_2}\cdots p_{t_n},$

p_{i_{1}}

$p_{i_1}$

u_{i}

$u_i$

p_{i}

$p_i$

p_{j_{2}}

$p_{j_2}$

u_{j}

$u_j$

u_{i}

$u_i$

Es gibt Stichproben der Größe , die aus der gesamten Population enthalten. Beachten Sie, dass dies das berücksichtigtPermutationen der Probe.

S^{(i)} = n! (\binom{N - 1}{n - 1})

$S^{(i)} = n! \binom{N-1}{n-1}$

n

$n$

u_{i}

$u_i$

n!

$n!$

Es sei eine bestimmte Stichprobe der Größe die . Dann ist die Wahrscheinlichkeit der Auswahl des Elements gegeben durch wobei die Summierung über der Menge der Größe von liegt alle möglichen Stichproben der Größe , die enthalten . (Ich habe die Notation ein wenig von der Zeitung geändert, da sie mir verwirrend erschien.) $s_n^{(i)}$ $n$ $u_i$ $u_i$

P (u_{i}) = \sum Pr (s_{n}^{(i)}),

$P(u_i) = \sum \textrm{Pr}(s_n^{(i)}),$

S^{(i)}

$S^{(i)}$

s_{n}^{(i)}

$s_n^{(i)}$

n

$n$

u_{i}

$u_i$

In ähnlicher Weise definieren Sie als Anzahl der Samples, die sowohl als auch . Dann können wir die Wahrscheinlichkeit einer Stichprobe definieren, die beide enthält: wobei die Summierung über der Menge der Größe aller möglichen Stichproben der Größe , die und .

S^{(i j)} = n! (\binom{N - 2}{n - 2})

$S^{(ij)} = n! \binom{N-2}{n-2}$

u_{i}

$u_i$

u_{j}

$u_j$

P (u_{i} u_{j}) = \sum Pr (s_{n}^{(i j)}),

$\textrm{P}(u_i u_j) = \sum \textrm{Pr}(s_n^{(ij)}),$

S^{(i j)}

$S^{(ij)}$

s_{n}^{(i j)}

$s_n^{(ij)}$

n

$n$

u_{i}

$u_i$

u_{j}

$u_j$

Der erwartete Wert wird dann abgeleitet als

E (\sum_{i = 1}^{n} v_{i}) = \sum_{i = 1}^{N} P (u_{i}) V_{i} .

$E \left( \sum_{i=1}^n v_i \right) = \sum_{i=1}^N \textrm{P}(u_i) V_i.$

Obwohl die Varianz in der Arbeit nicht explizit abgeleitet wird, könnte sie aus den Erwartungen des ten Moments und die Kreuzprodukte $q$

E (\sum_{i = 1}^{n} v_{i}^{q}) = \sum_{i = 1}^{N} P (u_{i}) V_{i}^{q}

$E \left( \sum_{i=1}^n v_i^q \right) = \sum_{i=1}^N \textrm{P}(u_i) V_i^q$

E (\sum_{i \neq j}^{n} v_{i} v_{j}) = \sum_{i \neq j} P (u_{i} u_{j}) V_{i} V_{j} .

$E \left( \sum_{i \ne j}^n v_iv_j \right) = \sum_{i \ne j} \textrm{P}(u_i u_j) V_i V_j.$

Mit anderen Worten, es sieht so aus, als müsste man alle möglichen Teilmengen durchgehen, um diese Berechnungen durchzuführen. Möglicherweise könnte dies jedoch für kleinere Werte von werden. $n$

Horvitz, DG und Thompson, DJ (1952) Eine verallgemeinernde Verallgemeinerung von Sampling aus einem endlichen Universum. Journal of the American Statistical Association 47 (260): 663 & ndash; 685.

jvbraun
quelle