In einem Übersichtsartikel aus dem Jahr 2013 in Nature Neuroscience haben Button et al. Stromausfall: Warum eine kleine Stichprobengröße die Zuverlässigkeit der Neurowissenschaften untergräbt , wurde festgestellt, dass:
Die durchschnittliche statistische Aussagekraft von Studien in den Neurowissenschaften ist sehr gering
Sie suchten nach Metaanalysen, berechneten die Post-hoc-Leistung in jeder von ihnen und kombinierten die Ergebnisse, indem sie die mittlere Post-hoc-Leistung nahmen. Der Median betrug 20%. Ich verstehe es einfach nicht. Post-hoc-Leistung ist immer inhärent mit den erreichten p-Werten verbunden. Ist es nicht dasselbe wie zu schreiben, dass der mittlere p-Wert so etwas wie ~ 0,3 war, was der Post-hoc-Leistung von 20% entspricht?
Wie untergräbt dieses Ergebnis die Qualität der neurowissenschaftlichen Forschung? Es scheint, dass sie Studien mit vielen nicht signifikanten p-Werten veröffentlicht haben.
Diese Rezension ist eine Studie der Naturneurowissenschaften mit sehr berühmten Autoren, daher denke ich, dass meine Interpretation eher fehlerhaft ist.
EDIT: Ich würde irgendwann sehen, wenn sie nur Studien mit nominaler Bedeutung enthalten würden. In diesem Fall würde die mittlere Leistung die mittlere Replikationswahrscheinlichkeit signifikanter Befunde angeben.
quelle
Antworten:
Ich bin mit dieser speziellen Studie nicht vertraut, aber mit der Abschätzung der Leistungsfähigkeit eines Forschungsbereichs mithilfe einer Metaanalyse. Ihre Aussage, dass "Post-hoc-Leistung immer inhärent mit den erreichten p-Werten verbunden ist", legt für mich nahe, dass Sie davon ausgehen, dass die Post-hoc-Leistung für jede einzelne Studie, die zu einer einzelnen Metaanalyse beiträgt, auf der Annahme basiert, dass der beobachtete Effekt entspricht dem wahren Bevölkerungseffekt. Nur mit dieser Annahme wird die Post-Hoc-Leistung mit dem p-Wert in Beziehung gesetzt (ich persönlich finde diese Form der Post-Hoc-Leistungsanalyse sinnlos, aber das ist ein bisschen unangebracht).
Ich glaube, dass die Autoren dieses Papiers angesichts der typischen Vorgehensweise davon ausgehen, dass der metaanalytische Mittelwert der wahre Bevölkerungseffekt ist, und die Leistung der Studien, die zu diesem Mittelwert beitragen, anhand dieses Werts abschätzen die beobachtete Wirkung jeder Studie. Somit ist die mittlere Leistung innerhalb einer Metaanalyse eine Funktion des gesamten metaanalytischen mittleren Effekts und der Stichprobengrößen (oder Standardfehler) der einzelnen Studien. Sie haben dies für jede Metaanalyse durchgeführt und die Medianleistung über sie berechnet.
quelle