Wie kann ich die Fehlerquote in einem NPS-Ergebnis (Net Promoter Score) berechnen?

Ich werde Wikipedia erklären lassen, wie NPS berechnet wird:

Der Net Promoter Score wird erhalten, indem Kunden auf einer Bewertungsskala von 0 bis 10 eine einzelne Frage gestellt werden, wobei 10 "äußerst wahrscheinlich" und 0 "überhaupt nicht wahrscheinlich" ist: "Wie wahrscheinlich ist es, dass Sie unser Unternehmen einem empfehlen würden Freund oder Kollege? " Basierend auf ihren Antworten werden Kunden in eine von drei Gruppen eingeteilt: Promotoren (Bewertung 9–10), Passive (Bewertung 7–8) und Kritiker (Bewertung 0–6). Der Prozentsatz der Kritiker wird dann vom Prozentsatz der Promotoren abgezogen, um einen Netto-Promotor-Score (NPS) zu erhalten. Der NPS kann so niedrig wie -100 sein (jeder ist ein Kritiker) oder so hoch wie +100 (jeder ist ein Promoter).

Wir führen diese Umfrage seit mehreren Jahren regelmäßig durch. Wir erhalten jedes Mal mehrere hundert Antworten. Das Ergebnis hat sich im Laufe der Zeit um 20-30 Punkte verändert. Ich versuche herauszufinden, welche Punktebewegungen von Bedeutung sind, wenn überhaupt.

Wenn sich das einfach als zu schwierig herausstellt, möchte ich auch versuchen, die Fehlerquote anhand der Grundlagen der Berechnung zu ermitteln. Was ist die Fehlerquote jedes "Eimers" (Promotor, Passiv, Kritiker)? Vielleicht sogar, wie hoch ist die Fehlerquote, wenn ich nur den Mittelwert der Ergebnisse betrachte und die Daten auf nur eine Zahl pro Umfragelauf reduziere? Würde mich das weiterbringen?

Irgendwelche Ideen hier sind hilfreich. Außer "NPS nicht verwenden." Diese Entscheidung kann ich nicht ändern!

hypothesis-testing statistical-significance standard-error multinomial nps Dan Dunn
quelle

Antworten:

Angenommen, die Population, aus der wir annehmen, dass Sie eine Zufallsstichprobe erstellen, enthält die Anteile von Promotoren, von Passiven und von Kritikern mit . Stellen Sie sich zum Modellieren des NPS vor, Sie füllen einen großen Hut mit einer großen Anzahl von Tickets (eines für jedes Mitglied Ihrer Bevölkerung), die mit für Promotoren, für passive und für Kritiker in den angegebenen Anteilen beschriftet sind , und ziehen dann von ihnen zufällig. Der NPS- Beispielwert ist der Durchschnittswert der gezogenen Tickets. Der wahre NPS wird als Durchschnittswert aller Tickets im Hut berechnet: Es ist der $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ erwarteter Wert (oder Erwartung ) des Hutes.

Ein guter Schätzer des wahren NPS ist das NPS-Beispiel. Der Beispiel-NPS hat auch eine Erwartung. Es kann als der Durchschnitt aller möglichen Stichproben-NPS angesehen werden. Diese Erwartung entspricht dem wahren NPS. Der Standardfehler des NPS der Stichprobe ist ein Maß dafür, wie stark die NPS der Stichprobe typischerweise zwischen einer Zufallsstichprobe und einer anderen variieren. Glücklicherweise müssen wir nicht alle möglichen Stichproben berechnen, um die SE zu finden: Sie können sie einfacher ermitteln, indem Sie die Standardabweichung der Tickets im Hut berechnen und durch dividieren . (Eine kleine Anpassung kann vorgenommen werden, wenn die Stichprobe einen nennenswerten Teil der Bevölkerung ausmacht, dies ist hier jedoch wahrscheinlich nicht erforderlich.) $\sqrt{n}$

Betrachten Sie beispielsweise eine Population von Promotoren, 1/3 Passiven und 1/6 Kritikern. Der wahre NPS ist $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

Die Varianz ist also

\begin{aligned} Var(NPS) & = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

Die Standardabweichung ist die Quadratwurzel davon, ungefähr gleich $0.75.$

In einer Stichprobe von beispielsweise würden Sie daher einen NPS von % mit einem Standardfehler von etwa % erwarten . $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

Tatsächlich kennen Sie die Standardabweichung der Tickets im Hut nicht. Sie schätzen sie daher anhand der Standardabweichung Ihrer Stichprobe. Geteilt durch die Quadratwurzel der Stichprobengröße wird der Standardfehler des NPS geschätzt: Diese Schätzung ist die Fehlergrenze (MoE).

Vorausgesetzt, Sie beobachten eine beträchtliche Anzahl von Kunden (in der Regel reichen 5 oder mehr), ist die Verteilung des NPS der Stichprobe nahezu normal. Dies impliziert, dass Sie das MoE wie gewohnt interpretieren können. Insbesondere liegt ungefähr 2/3 der Zeit, in der das NPS der Probe innerhalb eines MoE des wahren NPS liegt, und ungefähr 19/20 der Zeit (95%), in der das NPS der Probe innerhalb von zwei MoEs des wahren NPS liegt. Wenn in diesem Beispiel die Fehlerspanne tatsächlich 4,1% betragen würde, hätten wir eine Sicherheit von 95%, dass das Umfrageergebnis (der NPS der Stichprobe) innerhalb von 8,2% des NPS der Bevölkerung liegt.

Jede Umfrage hat ihre eigene Fehlerquote. Um zwei solche Ergebnisse zu vergleichen, müssen Sie die Möglichkeit von Fehlern in jedem berücksichtigen. Wenn die Umfragegrößen ungefähr gleich sind, kann der Standardfehler ihrer Differenz durch ein pythagoreisches Theorem ermittelt werden: Berechnen Sie die Quadratwurzel aus der Summe ihrer Quadrate. Wenn beispielsweise in einem Jahr der MoE 4,1% und in einem anderen Jahr der MoE 3,5% beträgt, ergibt sich für die Differenz zwischen diesen beiden Ergebnissen eine grobe Fehlerquote um 5,4%. In diesem Fall können Sie zu 95% davon ausgehen, dass sich der NPS der Grundgesamtheit von einer Erhebung zur nächsten geändert hat, sofern der Unterschied zwischen den beiden Erhebungsergebnissen 10,8% oder mehr beträgt. $\sqrt{3.5^2+4.1^2}$

Beim Vergleich vieler Umfrageergebnisse im Laufe der Zeit können ausgefeiltere Methoden hilfreich sein, da Sie mit vielen unterschiedlichen Fehlergrenzen umgehen müssen. Wenn die Fehlergrenzen alle ziemlich ähnlich sind, ist es eine grobe Faustregel, eine Änderung von drei oder mehr MoEs als "signifikant" zu betrachten. In diesem Beispiel sollte eine Änderung von 12% oder mehr über einen Zeitraum von mehreren Umfragen Ihre Aufmerksamkeit erregen, und kleinere Änderungen könnten als Umfragefehler abgetan werden. Unabhängig davon bieten die hier bereitgestellten Analysen und Faustregeln in der Regel einen guten Einstieg, wenn Sie darüber nachdenken, was die Unterschiede zwischen den Umfragen bedeuten könnten.

Beachten Sie, dass Sie nicht können die Fehlerquote aus den beobachteten NPS allein berechnen: es hängt von den beobachteten Zahlen von jedem der drei Typen der Befragten. Wenn zum Beispiel fast jeder "passiv" ist, wird der NPS der Umfrage nahe und eine winzige Fehlerquote aufweisen. Wenn die Population zwischen Promotoren und Kritikern gleich polarisiert ist, ist der NPS der Umfrage zwar immer noch nahe , weist jedoch die größtmögliche Fehlerquote auf (gleich in einer Stichprobe von Personen). $0$ $0$ $1/\sqrt{n}$ $n$

whuber
quelle

Das war eine fantastische Antwort. Ich schätze es sehr.

Dan Dunn

Wird "Fehlerquote" nicht allgemein als 95% -Konfidenzintervall für eine Statistik aus einer Stichprobe interpretiert? dh ungefähr 1,96 des Stichprobenstandardfehlers (oder der Standardabweichung) dieser Statistik. Sie verwenden die Fehlertoleranz als Synonym für "Standardabweichung der Statistik" oder "Standardfehler".

Peter Ellis

Danke @whuber. Ich versuche, niemals über Terminologie zu streiten, solange diese klar definiert ist (das Humpty Dumpty-Prinzip), und ich denke, das Pferd hat eine konsequente Konvention in Bezug auf diese getroffen. Der einzige Beweis, den ich habe, ist eine Antwort auf meine Frage unter stats.stackexchange.com/questions/21139/… , in der richtig angegeben ist, dass die Fehlerquote häufig (nicht allgemein) als Prozentsatz der Schätzung angegeben wird.

Peter Ellis

@ Charles, ich denke, whuber macht eine grundlegende Varianz einer diskreten Zufallsvariablen. Siehe stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

B_Miner

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

Sie können den Varianzschätzer auch für kontinuierliche Variablen verwenden. Eigentlich würde ich es dem Varianzschätzer für die diskrete Zufallsvariable vorziehen, da es eine bekannte Korrektur für die Berechnung der Stichprobenvarianz gibt: https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation Wie andere angemerkt, Whubers Lösung basiert auf Populationsformeln. Da Sie jedoch eine Umfrage durchführen, bin ich mir ziemlich sicher, dass Sie eine Stichprobe gezogen haben. Daher würde ich die Verwendung des unverzerrten Schätzers empfehlen (Division der Quadratsumme durch n-1, nicht nur durch n). Bei großen Stichproben ist der Unterschied zwischen dem verzerrten und dem unverzerrten Schätzer natürlich praktisch nicht vorhanden.

Ich würde auch empfehlen, ein T-Test-Verfahren zu verwenden, wenn Sie mittlere Stichprobengrößen haben, anstatt den Z-Score-Ansatz zu verwenden: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: da haben andere auch gefragt: wie würde man den unverzerrten Stichprobenschätzer für varianz / sd für deinen zufallsdiskreten variablen ansatz berechnen? Ich habe versucht, es selbst zu finden, war aber nicht erfolgreich. Vielen Dank.

deschen
quelle

Sie können möglicherweise Bootstrap verwenden, um Ihre Berechnungen zu vereinfachen. In R wäre der Code:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

k-zar
quelle

Könnten Sie Ihre Antwort erweitern, indem Sie zu Beginn erläutern, was der Ansatz ist - und zwar so detailliert, dass jemand, der Ihren R-Code überhaupt nicht versteht, dem folgen kann, was Sie sagen möchten - und hoffentlich auch, dass er dies könnte versuchen sie es in ihrer lieblingssprache umzusetzen?

Glen_b