Wann (wenn überhaupt) ist es eine gute Idee, eine Post-Hoc-Leistungsanalyse durchzuführen?

Nach meinem Verständnis ist eine Leistungsanalyse genau dann post hoc, wenn die beobachtete Effektgröße als Zielpopulationseffektgröße verwendet wird.

power-analysis user1205901 - Monica wiederherstellen
quelle

Antworten:

In meinem Bereich sehe ich Leute, die Post-hoc-Leistungsanalysen durchführen, wenn der Zweck des Papiers darin besteht, zu zeigen, dass ein Effekt, von dem man erwartet hätte, dass er vorhanden ist (entweder aufgrund früherer Literatur, des gesunden Menschenverstandes usw.), zumindest nicht übereinstimmt zu einem Signifikanztest.

In diesen Situationen befindet sich der Forscher jedoch in einer schwierigen Situation - er oder sie hat möglicherweise ein nicht signifikantes Ergebnis erzielt, entweder weil der Effekt in der Bevölkerung tatsächlich nicht vorhanden ist oder weil die Studie nicht ausreichend leistungsfähig war, um das zu erkennen Wirkung auch wenn es vorhanden wäre. Der Zweck der Leistungsanalyse besteht also darin, zu zeigen, dass die Studie selbst bei einem geringfügig geringen Effekt in der Bevölkerung eine hohe Wahrscheinlichkeit gehabt hätte, diesen Effekt zu erkennen.

Ein konkretes Beispiel für diese Verwendung der Post-hoc-Leistungsanalyse finden Sie in diesem verknüpften Dokument.

Patrick S. Forscher
quelle

Das klingt sicherlich vernünftig. Aufgrund Ihrer Antwort würde ich zu dem Schluss kommen, dass es manchmal einen guten Grund gibt, Post-hoc-Leistungsanalysen durchzuführen. Es sei denn, es gibt eine überlegene Methode, um zu zeigen, dass eine Studie selbst bei einem geringfügig geringen Bevölkerungseffekt eine hohe Wahrscheinlichkeit hat, diesen Effekt zu erkennen. Kennen Sie eine solche Methode?

user1205901

Ich denke, diese Methode ist genau eine Post-hoc-Leistungsanalyse. Ich nehme an, eine alternative Methode könnte die Verwendung von Bayes'schen Methoden anstelle von Pearson'schen Hypothesentests sein, aber in meinem Bereich (Psychologie) ist das Testen von Pearson'schen Hypothesen immer noch das vorherrschende statistische Paradigma.

Patrick S. Forscher

Es gibt ein großes Problem mit dem beschriebenen Ansatz. Die Mittelwerte sind aufgrund von Stichprobenvariationen immer unterschiedlich, sodass praktisch jeder Test bei einer großen Stichprobe sogar einen trivial kleinen Effekt erkennen kann (erhöhen Sie Ihr n auf 99999999999 und alles könnte signifikant sein). Auch im Fall einer abgelehnten Hypothese bin ich mir nicht ganz sicher, aber es ist wahrscheinlich, dass die "erhaltene Leistung" immer (oder zumindest zumindest) <0,5 sein wird. Es kam also immer zu dem Schluss, dass die Stichprobe nicht ausreichte.

Bruno

Bruno, Ihre Aussage ist nicht wahr, es sei denn, der Bevölkerungseffekt ist ungleich Null. Wenn der Populationseffekt Null ist, erhalten Sie zwar geringfügige Schwankungen Ihres beobachteten Effekts, diese sind jedoch gering und werden vollständig durch die Stichprobenverteilung des interessierenden Parameters beschrieben, was zu einem signifikanten Effekt mit einer durch bestimmten Rate führt

α

$\alpha$

Patrick S. Forscher

Sie können jederzeit die Wahrscheinlichkeit berechnen, dass eine Studie für eine bestimmte a priori-Effektgröße ein signifikantes Ergebnis erbracht hätte. Theoretisch sollte dies vor der Durchführung einer Studie erfolgen, da es keinen Sinn macht, eine Studie mit geringer Leistung durchzuführen, bei der die Wahrscheinlichkeit gering ist, dass ein signifikantes Ergebnis erzielt wird, wenn ein Effekt vorliegt. Sie können die Leistung jedoch auch nach der Studie berechnen, um festzustellen, dass eine Studie eine geringe oder wahrscheinlich eine hohe Leistung aufweist, um auch nur einen kleinen Effekt zu erkennen.

Der Begriff post-hoc oder beobachtete Leistung wird für die Leistungsanalyse verwendet, bei der beobachtete Effektgrößen in einer Stichprobe verwendet werden, um die Leistung unter der Annahme zu berechnen, dass die beobachtete Effektgröße eine vernünftige Schätzung der tatsächlichen Effektgröße ist. Viele Statistiker haben darauf hingewiesen, dass die beobachtete Leistung in einer einzelnen Studie nicht sehr informativ ist, da die Effektgrößen nicht mit ausreichender Genauigkeit geschätzt werden, um informativ zu sein. In jüngerer Zeit haben Forscher begonnen, die beobachtete Leistung für eine Reihe von Studien zu untersuchen, um zu untersuchen, wie leistungsfähig Studien im Durchschnitt sind und ob Studien signifikantere Ergebnisse liefern, als die tatsächliche Leistung von Studien rechtfertigen würde.

https://replicationindex.wordpress.com/tag/observed-power/

Dr. R.
quelle

Also, @ Dr-r, wie könnte sich jemand auf die erstgenannte Art von Studie beziehen? Gibt es dafür einen korrekten Namen? Ich habe die "Post-hoc" -Funktion von G * Power verwendet, aber ich habe die Größe des A-priori-Effekts verwendet. Der Grund, warum ich das mache, ist, dass ich zunächst geplant habe, eine "erratene" mittlere Differenz und eine "erratene" Standardabweichung zu verwenden, und sie sich stark von den erhaltenen unterschieden haben. Außerdem konnte ich meine geplante Stichprobengröße in beiden Gruppen nicht erreichen. Ich möchte den Begriff "Post-hoc" in meiner Arbeit nicht verwenden, weil die Leute ihn falsch verstehen könnten. Hast du einen Vorschlag?

Bruno