Kann man Daten aus der Forschung weglassen, weil sie nicht signifikant sind?

Ich bin auf diesen Satz gestoßen, als ich einen Artikel auf sciencemag.org gelesen habe .

Am Ende wurden nur Antworten von 7600 Forschern aus 12 Ländern berücksichtigt, da die verbleibenden Daten nicht als statistisch signifikant angesehen wurden.

Ist dies ein angemessener Weg, um Forschung zu betreiben? Ergebnisse weglassen, weil sie nicht als statistisch signifikant angesehen wurden?

In dem in Whubers Kommentar zitierten Bericht heißt es auf Seite 104 [S. 114 im PDF]:

Die Umfrage hat es geschafft, die Teilnahme von rund 8.900 Doktoranden aus mehr als 30 Ländern zu aktivieren ...

Auf den Seiten 104-105 heißt es dann:

Während der Durchführung von Datenbereinigungsverfahren entschied sich das Eurodoc-Umfrageexperten-Team, eine Leistungstestanalyse durchzuführen. Basierend auf der Annahme vollständig ausgefüllter Fragebögen, die zu einer Mehrfachnormalverteilung führen, wurde ein Leistungstest zur Schätzung des Konfidenzintervalls verwendet. Dies wurde durchgeführt, um die Genauigkeit der Daten zu testen. Es wurde beschlossen, maximal 6% Fehler in einem 95% -Konfidenzintervall zu akzeptieren. Ein Verlust von 16% der Stichprobengröße führte zu einer Stichprobe von 12 teilnehmenden Ländern mit 7.600 Teilnehmern.

Es ist also nicht genau klar, warum der Verlust von 16% in der Stichprobe liegt, aber die Annahme unvollständiger Antworten ist wahrscheinlich richtig. (Und Sie können sehen, warum der Reporter verwirrt war.)

Dieser Satz macht eigentlich keinen Sinn und ist eindeutig falsch.

Daten können nicht statistisch signifikant oder nicht signifikant sein. In diesen Begriffen kann nur über Beziehungen zwischen Daten gesprochen werden, die das Produkt statistischer Tests sind.

Wenn die Frage lautet: Können wir Daten aus unseren Analysen löschen, weil die Einbeziehung dieser Daten bedeutet, dass wir die Nullhypothese nicht ablehnen können? Die Antwort ist - natürlich hoffe ich! - nein . Die Nachricht, die Sie zitiert haben, ist ein Nachrichtenbericht, kein wissenschaftliches Papier. Wäre es ein Papier gewesen, das rezensiert wurde, wäre es nie reingekommen.

Wahrscheinlich wurden Daten nicht aufgenommen, da es wesentliche Gründe gibt, diese Daten nicht aufzunehmen. Wie andere vorgeschlagen haben, waren die ausgeschlossenen Daten wahrscheinlich unvollständig oder wurden mit anderen oder unvergleichlichen Methoden gesammelt.

Nein.

Ich vermute, der Reporter wollte sagen, dass die anderen Personen ausgelassen wurden, weil die Umfragen unvollständig oder intern inkonsistent waren.

Nein, aber Reporter können Fachjargon völlig unsinnig verwenden.