Kann man Daten aus der Forschung weglassen, weil sie nicht signifikant sind?

9

Ich bin auf diesen Satz gestoßen, als ich einen Artikel auf sciencemag.org gelesen habe .

Am Ende wurden nur Antworten von 7600 Forschern aus 12 Ländern berücksichtigt, da die verbleibenden Daten nicht als statistisch signifikant angesehen wurden.

Ist dies ein angemessener Weg, um Forschung zu betreiben? Ergebnisse weglassen, weil sie nicht als statistisch signifikant angesehen wurden?

hoch oben
quelle
Ein Leser stellt fest, dass ein Bericht unter eurodoc.net/index.php?s=file_download&id=122 verfügbar ist, und verweist uns speziell auf S. 104-5 des vollständigen Berichts (aber ich weiß nicht, wo dieser verfügbar ist).
whuber
1
Das ist der Link für den vollständigen Bericht.
Aaron verließ Stack Overflow
@ Aaron Danke. Aus irgendeinem Grund ergab mein erster Versuch nur eine 6-seitige Zusammenfassung, aber jetzt funktioniert der Link einwandfrei.
whuber

Antworten:

6

In dem in Whubers Kommentar zitierten Bericht heißt es auf Seite 104 [S. 114 im PDF]:

Die Umfrage hat es geschafft, die Teilnahme von rund 8.900 Doktoranden aus mehr als 30 Ländern zu aktivieren ...

Auf den Seiten 104-105 heißt es dann:

Während der Durchführung von Datenbereinigungsverfahren entschied sich das Eurodoc-Umfrageexperten-Team, eine Leistungstestanalyse durchzuführen. Basierend auf der Annahme vollständig ausgefüllter Fragebögen, die zu einer Mehrfachnormalverteilung führen, wurde ein Leistungstest zur Schätzung des Konfidenzintervalls verwendet. Dies wurde durchgeführt, um die Genauigkeit der Daten zu testen. Es wurde beschlossen, maximal 6% Fehler in einem 95% -Konfidenzintervall zu akzeptieren. Ein Verlust von 16% der Stichprobengröße führte zu einer Stichprobe von 12 teilnehmenden Ländern mit 7.600 Teilnehmern.

Es ist also nicht genau klar, warum der Verlust von 16% in der Stichprobe liegt, aber die Annahme unvollständiger Antworten ist wahrscheinlich richtig. (Und Sie können sehen, warum der Reporter verwirrt war.)

Karl
quelle
5
Der Absatz von den Seiten 104-105 spricht für sich selbst, wenn es darum geht, Unsinn zu dokumentieren.
Frank Harrell
13

Dieser Satz macht eigentlich keinen Sinn und ist eindeutig falsch.

Daten können nicht statistisch signifikant oder nicht signifikant sein. In diesen Begriffen kann nur über Beziehungen zwischen Daten gesprochen werden, die das Produkt statistischer Tests sind.

Wenn die Frage lautet: Können wir Daten aus unseren Analysen löschen, weil die Einbeziehung dieser Daten bedeutet, dass wir die Nullhypothese nicht ablehnen können? Die Antwort ist - natürlich hoffe ich! - nein . Die Nachricht, die Sie zitiert haben, ist ein Nachrichtenbericht, kein wissenschaftliches Papier. Wäre es ein Papier gewesen, das rezensiert wurde, wäre es nie reingekommen.

Wahrscheinlich wurden Daten nicht aufgenommen, da es wesentliche Gründe gibt, diese Daten nicht aufzunehmen. Wie andere vorgeschlagen haben, waren die ausgeschlossenen Daten wahrscheinlich unvollständig oder wurden mit anderen oder unvergleichlichen Methoden gesammelt.

Benjamin Mako Hill
quelle
Ich hoffe... ;) .
FairMiles
7

Nein.

Ich vermute, der Reporter wollte sagen, dass die anderen Personen ausgelassen wurden, weil die Umfragen unvollständig oder intern inkonsistent waren.

Harvey Motulsky
quelle
1
Das habe ich auch vermutet, aber dieser Satz ist eindeutig irreführend.
bis zum
2

Nein, aber Reporter können Fachjargon völlig unsinnig verwenden.

John
quelle