Wie kann man Laien davon abhalten, ungenaue Schlussfolgerungen über ihre Daten zu ziehen?

Ich arbeite als Datenanalyst, hauptsächlich in SQL, und versorge interne Kunden mit Betriebsdaten. Ich mache selten statistische Analysen.

In letzter Zeit kamen interne Kunden mit Daten aus schlecht gestalteten Projekten (keine Kontrollgruppe, keine geplante Methodik usw.) zu mir und baten mich, Daten zu ihren Ergebnissen zu analysieren, damit sie ihre Geschäftspraktiken gestalten können.

Die "Studien" sind sehr rudimentär, werden von Personen durchgeführt, die keine Kenntnisse über Forschungsmethoden oder Statistiken haben und versuchen, wichtige Geschäftspraktiken zu beeinflussen. Ich kann keine statistische Analyse durchführen, da es nicht von Anfang an entwickelt wurde.

Auf welche Ressourcen könnte ich sie hinweisen, um sie wissen zu lassen, dass ihre "Studien" nicht über die betroffene Bevölkerung hinaus verallgemeinert werden können? Welche Sprache verwende ich dafür?

Ich wünschte, Sie hätten in Ihrer Frage mehr Details angegeben, aber ich werde sie nur mit den von Ihnen angegebenen Informationen beantworten.

Ich denke, es ist unwahrscheinlich, dass sie zurückkehren und die von Ihnen vorgeschlagenen "Ressourcen" tatsächlich durchlesen. Daher ist es möglicherweise besser, wenn Sie selbst darüber lesen und versuchen, sie anhand von Beispielen zu erklären. Sie können sie darüber informieren, wie sie das Experiment überhaupt hätten gestalten können, vielleicht anhand eines Beispiels für A / B-Tests (siehe Wikipedia) und wie wichtig es ist, dass die Stichprobe für die Bevölkerung repräsentativ ist. Links: https://en.wikipedia.org/wiki/Design_of_experiments

Das Auflisten einiger möglicher Fallstricke beim Ziehen von Schlussfolgerungen aus statistisch nicht fundierten Experimenten sollte ihnen auch helfen, Ihren Standpunkt zu verstehen. Link: http://www.ch.embnet.org/CoursEMBnet/Arrays06/files/arrays06_ExpDes2.pdf