Abstimmungssystem, das die Genauigkeit jedes Wählers und die damit verbundene Unsicherheit nutzt

Nehmen wir an, wir haben eine einfache "Ja / Nein" -Frage, auf die wir eine Antwort wissen möchten. Und es gibt N Leute, die für die richtige Antwort "stimmen". Jeder Wähler hat eine Historie - eine Liste von Einsen und Nullen, aus der hervorgeht, ob sie in der Vergangenheit in Bezug auf diese Art von Fragen richtig oder falsch waren. Wenn wir die Geschichte als Binomialverteilung annehmen, können wir die durchschnittliche Leistung der Wähler bei solchen Fragen, deren Variation, CI und jeder anderen Art von Vertrauensmetriken ermitteln.

Grundsätzlich lautet meine Frage: Wie kann man Vertrauensinformationen in das Abstimmungssystem integrieren ?

Wenn wir zum Beispiel nur die durchschnittliche Leistung jedes Wählers berücksichtigen, können wir ein einfaches gewichtetes Abstimmungssystem erstellen:

r e s u l t = s ich G n (\sum_{v \in v Ö t e r s} μ_{v} \times (- - 1)^{1 - - v Ö t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Das heißt, wir können nur die Gewichte der Wähler multiplizieren, entweder multipliziert mit (für "Ja") oder mit (für "Nein"). Es ist sinnvoll: Wenn Wähler 1 durchschnittlich richtige Antworten hat und Wähler 2 nur , sollte die Stimme der ersten Person wahrscheinlich als wichtiger angesehen werden. Wenn andererseits die erste Person nur 10 Fragen dieser Art beantwortet hat und die zweite Person 1000 solcher Fragen beantwortet hat, sind wir in Bezug auf das Können der zweiten Person viel sicherer als in Bezug auf die der ersten Person - es ist nur möglich, dass die erste Person Glück hatte und nach 10 relativ erfolgreichen Antworten wird er mit viel schlechteren Ergebnissen weitermachen. $+1$ $-1$ $.9$ $.8$

Eine genauere Frage mag also so klingen: Gibt es eine statistische Metrik, die sowohl die Stärke als auch das Vertrauen in bestimmte Parameter berücksichtigt?

accuracy uncertainty weighted-mean voting-system Freund
quelle

Antworten:

Sie sollten das Fachwissen eines Wählers als latente Variable Ihres Systems betrachten. Möglicherweise können Sie dann Ihr Problem mit Bayes'scher Inferenz lösen . Eine Darstellung als grafisches Modell könnte folgendermaßen aussehen:

graphical_model

$A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$ um zu berechnen

Pr (EIN ∣ {V.}_{ich}, {H.}_{ich}) = \int_{μ_{ich}} Pr (EIN, μ_{ich} ∣ {EIN}_{ich}, {H.}_{ich}) d μ_{ich}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Diese Systeme sind schwer zu lösen. Sie können den EM-Algorithmus als Annäherung verwenden oder ein vollständiges Wahrscheinlichkeitsmaximierungsschema verwenden, um eine exakte Bayes'sche Inferenz durchzuführen.

In diesem Artikel Variational Inference for Crowdsourcing , Liu, Peng und Ihler 2012 ( gestern auf der NIPS vorgestellt! ) Finden Sie detaillierte Algorithmen zur Lösung dieser Aufgabe.

Emile
quelle

Vielen Dank für Ihre Antwort, aber könnten Sie bitte etwas genauer darauf eingehen? Was meinen Sie insbesondere mit Fachwissen? Wenn es nur wahrscheinlich ist, dass die Person richtig antwortet, haben wir ihre Schätzung bereits als Durchschnitt der vorherigen Antworten, sodass sie nicht latent ist. Wenn Sie meinen, dass Fachwissen sowohl Durchschnitt als auch Vertrauen in unsere Schätzung beinhaltet, wie können wir dann Wahrscheinlichkeiten verbreiten, um Fachwissen und Ergebnisse zu erhalten?

Freund

Ja, Sie können mit dieser "Expertise" -Variablen und der Bayes'schen Inferenz sowohl Durchschnitt als auch Vertrauen darstellen. Ich habe einige Erklärungen und einen Verweis auf meine Antwort hinzugefügt. Ich hoffe, das hilft !

Emile