Umfragen: Sind 25% einer großen Nutzerbasis vertreten?

Mein Arbeitgeber führt derzeit eine unternehmensweite Umfrage zur Einstellung gegenüber dem Büro durch, z. B. zur Stimmung. In der Vergangenheit haben sie die Umfrage für alle Geschäftsbereiche (wir nehmen an, 10 sehr unterschiedliche Abteilungen) und alle Mitarbeiter in ihnen (insgesamt 1000 Mitarbeiter im gesamten Unternehmen) geöffnet. Die Anzahl der Mitarbeiter in jeder Abteilung ist ungleich und eine Bestimmte Abteilung ist wahrscheinlich 50% der Gesamtbevölkerung der Organisation.

In diesem Jahr wird die Umfrage nur für 25% der Gesamtbelegschaft geöffnet und die Auswahl erfolgt nach dem Zufallsprinzip.

Daher habe ich zwei Fragen:

• Wenn es sich um eine wirklich zufällige Auswahl des gesamten Mitarbeiterstamms handelt, wie ist dies eine statistisch gültige Stichprobe, bei der angenommen wird, dass alle Mitarbeiter geantwortet haben?

• Wenn es auf Abteilungsebene zufällig ist, z. B. 25% jeder Abteilung, wie kommt es, dass eine gültige Stichprobe, die eine Abteilung berücksichtigt, mehr als 50% der Gesamtbevölkerung ausmacht?

Ich wäre davon ausgegangen, dass man zur Bestimmung der Mehrheitsstimmung in einem Unternehmen mindestens 50% der Belegschaft in jeder Abteilung benötigt, um eine echte Lesestimmung zu erzielen.

Update : Die Umfrage wird nicht erzwungen. Es kann keine Garantie für eine 100% ige Rücklaufquote bei den ausgewählten 25% gegeben werden. Es gibt keine Anreize oder Strafmaßnahmen, wenn die Umfrage ausgefüllt ist oder nicht.

Denken Sie an Umfragen in der Bevölkerung der USA. Wenn wir 50% der Bevölkerung benötigen, um die Mehrheitsmeinung zu ermitteln, benötigen wir eine Stichprobe von etwa 160 Millionen, was wirklich unerschwinglich ist. Sogar eine 1% -Stichprobe ist extrem (ungefähr 3,2 Millionen) und wird selten durchgeführt. Eine wichtige Umfrage in den USA Die Allgemeine Sozialumfrage hat Stichprobengrößen zwischen 1.500 und fast 3.000. Eine Probe von 25% ist also an sich kein Problem.

Denken Sie daran, dass eine Umfrage keine Wahl oder ein Referendum ist. Damit letztere legitim sind, muss jeder Berechtigte die Möglichkeit haben, sich zu äußern. Der Zweck der Umfrage ist es, eine gute Schätzung der Durchschnittsmeinung zu erhalten, die Sie anhand einer Zufallsstichprobe erhalten können. Das Unternehmen muss also entscheiden, zu welchem ​​Zweck die Umfrage durchgeführt werden soll: Können Mitarbeiter ihre Meinung äußern und sich am Unternehmen beteiligen, oder erhalten die Manager Informationen?

Beide Stichprobenentwürfe stellen sicher, dass 25% der Mitarbeiter befragt werden. Letzteres stellt sicher, dass kleinere Abteilungen in der Umfrage vertreten sind. Wenn Sie sich für Standardfehler interessieren, sollten Sie die Verschachtelung der Stichproben berücksichtigen, obwohl ich nicht vermute, dass dies in diesem Fall von großer Bedeutung ist.

Etymologisch bedeutet " Umfrage " ( sur-von "Super", wie in "von oben" und -veyvon "Ansicht"), sich einen Überblick zu verschaffen , nicht das Gesamtbild.

Solange die 25% wirklich zufällig waren und nicht selbst ausgewählt wurden (Opt-in), entspricht dies durchaus der Definition des Begriffs. Wenn die Umfrage optional ist, sind die Antworten nur für diejenigen repräsentativ, die eine Antwort benötigen. Stellen Sie sich zum Beispiel ein Restaurant vor, in dem Sie nach dem Essen eine Feedback-Karte ausfüllen können. Selbst wenn die meisten Gäste zufrieden sind, wird das Feedback meist negativ ausfallen, da die zufriedenen Kunden keinen Grund sehen, Feedback zu geben.

Ein weiterer Gesichtspunkt ergibt sich aus der Theorie der Versuchsplanung.

Die statistische Aussagekraft ist die Wahrscheinlichkeit, einen Effekt zu finden, wenn er real ist ( Quelle )

Vier Faktoren beeinflussen die Leistung:

1. Größe des Effekts
2. Standardabweichung des Merkmals
3. Größere Stichprobengröße
4. Wichtigkeitsgrad erwünscht

Basierend auf diesen Elementen können Sie eine formale mathematische Gleichung schreiben, die Leistung, Stichprobengröße, Effektgröße, Standardabweichung und Signifikanzniveau ( Quelle ) in Beziehung setzt.

Unter einer Reihe von Annahmen können Sie Ihre Umfrage als Experiment charakterisieren und auf die Gestaltung des Experiment-Frameworks zurückgreifen ( hier einige Beispiele). Es müssen eine Reihe von Vermutungen angestellt werden. Ein unvollkommenes Modell ist jedoch möglicherweise besser als gar kein Modell.

Ich spüre zwei Fragen. Eine über die Stichprobengröße (25%, warum nicht die Mehrheit) und eine andere über die Stichprobenmethode (ist wirklich zufällig, Stichprobe 25% zufällig im gesamten Unternehmen, Stichprobe 25% zufällig in jeder Abteilung oder andere Verteilung).

1) Der Stichprobenumfang muss nicht mehrheitlich sein. Die erforderliche Stichprobengröße kann je nach der erforderlichen Genauigkeit für ein bestimmtes Konfidenz- oder Wahrscheinlichkeitsverhältnis zwischen 0 und 100% liegen.

Eine 100% ige Sicherheit wird niemals erreicht (auch nicht mit einer Teilmenge von 50% oder mehr). Das Erreichen einer derart hohen Genauigkeit ist auch nicht der Punkt des Abtastens und Schätzens.

Weitere Informationen zu Stichprobengrößen finden Sie unter https://en.wikipedia.org/wiki/Sample_size_determination

Wenn Sie das Gesetz der großen Zahlen kennen, haben Sie möglicherweise auch eine intuitive Idee.

Die Verteilung der Durchschnittswerte aller möglichen Teilmengen (und Ihre Stichprobe wird eine davon sein) wird kleiner und liegt näher am Mittelwert der ursprünglichen Verteilung, wenn die Größe der Teilmenge zunimmt. Wenn Sie eine Person auswählen, besteht eine vernünftige Wahrscheinlichkeit, dass Sie eine Ausnahme finden. Es ist jedoch weniger wahrscheinlich, dass Sie dieselbe Ausnahme zweimal in dieselbe Richtung finden. Und so weiter, je größer die Stichproben-Teilmenge ist, desto geringer ist die Wahrscheinlichkeit einer außergewöhnlichen Teilmenge.

$n$

Wichtige Notiz! Ihre Schätzung hängt nicht von der Größe der Population ab, aus der Sie eine Stichprobe erstellen , sondern von der Verteilung dieser Population.

Im Falle Ihrer 500er Abteilung. Die Abweichung der Mittelwerte von zufälligen Teilmengen (der Größe 125) ist 11-mal kleiner als die ursprüngliche Abweichung. Beachten Sie, dass der Fehler in der Messung (die Abweichung des Durchschnitts der zufällig ausgewählten Teilmengen) unabhängig von der Größe der Abteilung ist. Es könnte 500, 5000 oder 50000 sein, in allen Fällen wäre die Schätzung unbeeinträchtigt, solange sie dieselbe Verteilung haben (jetzt kann eine kleine Abteilung eine seltsame Verteilung haben, die jedoch für größere Gruppen allmählich verschwindet).

2) Die Stichprobe muss nicht vollständig zufällig sein. Sie können die Demografie berücksichtigen.

Schließlich würden Sie jede Abteilung in dieser Art von Analyse separat behandeln und Abweichungen zwischen den Abteilungen und die Art und Weise, in der Sie in diesen unterschiedlich großen Abteilungen Stichproben genommen haben, korrigieren.

Bei dieser Korrektur gibt es zwei wichtige Unterscheidungen. Man könnte die Verteilung auf Gruppen als Zufallsvariable annehmen oder nicht. Wenn Sie es als Zufallsvariable behandeln, wird die Analyse stärker (wobei einige Freiheitsgrade im Modell herausgenommen werden), aber es kann eine falsche Annahme sein, wenn die verschiedenen Gruppen nicht als zufällige Entitäten ohne spezifischen Effekt austauschbar sind (was zu sein scheint) in Ihrem Fall, da ich mir vorstelle, dass die Abteilungen unterschiedliche Funktionen haben und möglicherweise ein sehr unterschiedliches Gefühl haben, das in Bezug auf die Abteilung nicht zufällig ist).

Ihre Frage bezieht sich auf die Stichprobengröße für eine endliche Population. Das erste, was Sie benötigen, ist die Stichprobengröße, die in einer unendlichen Population benötigt wird. Diese kann dann verwendet werden, um die Stichprobengröße für eine endliche Population zu berechnen.

$n=(z^2pq)/d^2$
$n$
$z^2$
$p$
$q=1-p$
$d^2$

$(1.96 \times 0.5 \times 0.5)/0.03^2=1,068$

$m=n / (1+((n-1)/N))$
$m$
$n$
$N$, endliche Populationsgröße

Am Beispiel von $N=1,000$würde die Stichprobengröße bei 3% Fehler betragen $1068 / (1+((1068-1)/1000))=517$oder 51,7% der Bevölkerung.

Wenn Sie 25% der Bevölkerung verwendet haben, ergibt sich eine Fehlerquote von 5,4%. Diese Fehlerstufe kann aufgrund früherer Umfragen in Ordnung sein. Bei Umfragen besteht immer ein Kompromiss zwischen der Fehlerquote, die Sie akzeptieren möchten, und den Kosten für die Durchführung der Umfrage.

Keiner dieser Faktoren beeinflusst die Rücklaufquote (bei Verwendung einer einfachen Zufallsstichprobe). Um herauszufinden, wie viele Personen kontaktiert werden müssen, dividieren Sie die Stichprobengröße durch die erwartete Rücklaufquote. Wenn die vorherige Antwortrate beispielsweise 65% betrug, müssten Sie das Umfrageinstrument an senden$517/0.65=796$ Menschen.

Komplexer wird es, wenn Sie die Bevölkerung nach Abteilungen aufteilen möchten (so genannte Stratifikation). Grundsätzlich müssen Sie jede Abteilung als eine separate endliche Grundgesamtheit behandeln, wenn Sie möchten, dass die Daten für jede Abteilung genau sind, was möglicherweise nicht praktikabel ist. Sie könnten jedoch eine geschichtete Zufallsstichprobe anstelle einer einfachen Zufallsstichprobe durchführen, bei der 50% der Stichprobe zufällig aus der Abteilung mit 50% der Bevölkerung ausgewählt und geeignete Prozentsätze zufällig aus anderen Abteilungen ausgewählt werden. Dies bedeutet, dass Ihre Stichprobengröße geringfügig zunimmt, da Sie alle Dezimalstellen aufrunden müssen (Sie können nicht 0,1 einer Person erfassen). Die Ergebnisse sollten jedoch auf Bevölkerungsebene (Unternehmensebene) und nicht auf Abteilungsebene untersucht werden, da nicht genügend Antworten von jeder Abteilung vorliegen, um genau zu sein.

Wenn von einer gültigen Stichprobe die Rede ist, handelt es sich in der Regel um einen Repräsentationsbegriff. Repräsentiert die Stichprobe die Bevölkerung angemessen? Um eine repräsentative Stichprobe zu erhalten, muss sichergestellt werden, dass die Stichprobengröße angemessen ist (um die Varianz der Schätzung zu verringern) und dass die Stichprobe Mitglieder enthält, die zu den Untergruppen der Grundgesamtheit mit unterschiedlichen Verhaltensweisen gehören unter Berücksichtigung.

Erstens ist der Anteil der für die Umfrage ausgewählten Benutzer im Vergleich zur absoluten Anzahl der ausgewählten Benutzer geringer. Die erforderliche Stichprobengröße hängt von der Genauigkeit oder dem Konfidenzintervall der gegebenen Antwort ab. Sie können diesen Artikel für weitere Informationen lesen .

Sie erwähnen, dass das Unternehmen aus mehreren Abteilungen besteht. Ist es wahrscheinlich, dass die Abteilungen unterschiedlich auf die Umfrage reagieren? Wenn dies der Fall ist (oder Sie es nicht genau wissen), ist es eine gute Idee, Ihre Stichprobe abteilungsübergreifend zu "schichten". In seiner einfachsten Form bedeutet dies, aus jeder Abteilung einen gleichen Anteil an Mitarbeitern auszuwählen. ZB: Die Unternehmensgröße ist 1000 und die ausgewählte Stichprobengröße ist 100. Dann würden Sie 50 aus einer Abteilung mit der Größe 500, 10 aus einer Abteilung mit der Größe 100 usw. auswählen. Dies soll eine Unterrepräsentation einer bestimmten Abteilung in vermeiden eine bestimmte "zufällige" Stichprobe.

Sie erwähnen auch, dass möglicherweise nicht jeder an der Umfrage teilnimmt. Wenn Sie wissen, dass ungefähr die Hälfte der Personen antwortet, müssen Sie die Umfrage an 200 Personen senden, um 100 Antworten zu erhalten. Sie müssen die Möglichkeit in Betracht ziehen, dass solche Antworten voreingenommen sein können. Personen mit einer bestimmten Antwort sind möglicherweise eher oder weniger geneigt zu antworten.

Wenn es sich um eine wirklich zufällige Auswahl des gesamten Mitarbeiterstamms handelt , wie ist dies eine statistisch gültige Stichprobe, bei der angenommen wird, dass alle Mitarbeiter geantwortet haben?

Es ist eine gültige Stichprobe, solange sie aus der Grundgesamtheit stammt, die sie beschreiben soll. Das heißt, wenn Sie nur Chefs befragen, kann nichts über die anderen Mitarbeiter gesagt werden. Dies wird in der von Ihnen beschriebenen Einstellung nicht passieren. Es kann jedoch vorkommen, dass das Gerät nicht reagiert (mehr dazu hier unten).

Wenn es auf Abteilungsebene zufällig ist, z. B. 25% jeder Abteilung, wie kommt es, dass eine gültige Stichprobe, die eine Abteilung berücksichtigt, mehr als 50% der Gesamtbevölkerung ausmacht?

Dies ist keine Frage der Stichprobengültigkeit mehr, sondern des Stichprobenfehlers. Offensichtlich würden die genauesten Schätzungen aus einer geschichteten Zufallsziehung erhalten, wobei die Schicht mindestens die Abteilungsebene umfasst. In einer solchen Einstellung haben Sie eine gültige Stichprobe für jede Abteilung, aber die Schätzungen für kleine Abteilungen sind im Allgemeinen weniger genau als die Schätzungen für große Abteilungen, da die absolute Stichprobengröße für letztere höher ist. Für die Gesamtorganisation spiegelt die höhere Stichprobendarstellung größerer Abteilungen lediglich die Realität der Organisation wider und beeinträchtigt in keiner Weise die Gültigkeit der Stichprobe.

Die Umfrage wird nicht erzwungen. Es kann keine Garantie für eine 100% ige Rücklaufquote bei den ausgewählten 25% gegeben werden. Es gibt keine Anreize oder Strafmaßnahmen, wenn die Umfrage ausgefüllt ist oder nicht.

Sie werden niemanden zwingen können, eine gute Antwort zu geben, aber das Implementieren eines Reaktionserinnerungsplans ist ein Minimum. Außerdem sollten Sie den Mitarbeitern erläutern, welche Relevanz die Umfrage für sie hat und welche Auswirkungen sie dank der Umfrage auf die Organisation haben können: zB wann werden die Ergebnisse veröffentlicht? Welche potenziellen Maßnahmen werden von der Organisation auf der Grundlage der Umfrage ergriffen? Warum ist jede Antwort wichtig?

Sobald die Daten erfasst wurden, sollte das Problem der Nichtbeantwortung behoben werden. Der Umgang damit bedeutet, dass Sie zuerst das Nicht-Antwort-Verhalten analysieren sollten, um mögliche Muster zu erkennen: Hat kein Chef geantwortet? Hat eine bestimmte Abteilung überhaupt nicht geantwortet? Nehmen Sie dann die erforderliche Strategie an (Nachstrafifizierung, Neugewichtung, Imputation usw.).

Ich möchte die Antwort von @ICannotFixThis anhand eines Beispiels erläutern, wie die vier Faktoren eine Rolle spielen:

1. Größe des Effekts
2. Standardabweichung des Merkmals
3. Größere Stichprobengröße
4. Wichtigkeitsgrad erwünscht

Wie sich diese Faktoren auf Ihre Ergebnisse auswirken, hängt von der verwendeten Statistik ab. Wenn Sie beispielsweise den Mittelwert einer Variablen erraten möchten, können Sie den Student-T-Test verwenden .

Angenommen, Sie möchten mit dieser Umfrage die durchschnittliche Größe Ihrer Mitarbeiter ermitteln. Sie kennen die Standardabweichung der Größe aller Mitarbeiter in Ihrem Unternehmen nicht (ohne alle zu messen), aber Sie könnten einige Nachforschungen anstellen und 3 Zoll erraten (dies ist ungefähr die Standardabweichung der Größe von Männern in den USA).

Wenn Sie nur 5 Personen befragt haben, liegt die durchschnittliche Körpergröße, die Sie in Ihrer Umfrage beobachten, in 95% der Fälle innerhalb von 3,72 Zoll der tatsächlichen durchschnittlichen Körpergröße.

Wie beeinflussen unsere Faktoren dies:

1. Wenn Sie die durchschnittliche Höhe sehr genau kennen müssen (z. B. die Effektgröße ist sehr klein), benötigen Sie eine große Anzahl von Samples. Um beispielsweise die wahre Durchschnittsgröße innerhalb von 2,5 cm zu ermitteln, müssten 100 Personen befragt werden.

2. Wenn die Standardabweichung groß ist, ist die Genauigkeit, die Sie erhalten können, begrenzt. Wenn die Standardabweichung 6 Zoll statt 3 Zoll wäre und Sie immer noch 5 Antworten hätten, würden Sie nur innerhalb von 7,44 Zoll statt 3,72 Zoll die wahre Durchschnittshöhe kennen.

3. Überspringen Sie diesen Punkt, da er im Mittelpunkt der gesamten Diskussion steht.

4. Wenn Sie wirklich sicher sein müssen, dass Sie die richtige Antwort haben, müssen Sie mehr Personen befragen. In unserem Beispiel haben wir gesehen, dass wir mit 5 Antworten innerhalb von 3,72 Zoll 95% der Zeit erhalten konnten. Wenn wir sichergehen wollen, dass unsere Antwort zu 99% im richtigen Bereich liegt, liegt unser Bereich bei 6,17 Zoll und nicht bei 3,72 Zoll.