Berechnung der statistischen Leistung

22

Nach meinem Verständnis muss ich mindestens drei Aspekte (von vier) meiner vorgeschlagenen Studie kennen, um eine Leistungsanalyse durchführen zu können:

  • Art des Tests - Ich beabsichtige Pearson's R und ANCOVA / Regression - GLM zu verwenden
  • Signifikanzniveau (Alpha) - Ich beabsichtige, 0,05 zu verwenden
  • Erwartete Effektgröße - Ich beabsichtige, eine mittlere Effektgröße (0,5) zu verwenden.
  • Stichprobengröße

Kann mir jemand einen guten Online-Leistungsrechner empfehlen, mit dem ich eine Priori- Leistungsberechnung durchführen kann ? (Kann SPSS eine A-priori- Leistungsberechnung durchführen?)

Ich bin auf GPower gestoßen, suche aber ein einfacheres Tool!

power-analysis Adhesh Josh
quelle
Leider enthält das SPSS-Paket kein Modul für die Leistungsanalyse. Das Unternehmen IBM SPSS verkauft ein separates Programm für die Leistungsanalyse.
TTNPHNS
6
Ich würde GPower eine Chance geben. Wenn Sie es in 20 oder 30 Minuten erkunden, werden Sie wahrscheinlich feststellen, dass es sehr überschaubar ist - zumindest für Verfahren wie Korrelation, nicht unbedingt für ein kompliziertes Regressionsmodell.
Rolando2
Vielen Dank! Gibt es eine benutzerfreundliche Anleitung für GPower?
Adhesh Josh
Dies sieht so aus, als ob es sich um einen Zuschussantrag handelt. Diese sind lästig zu produzieren und zu bewerten. Für gut verwendete experimentelle Designs (zum Beispiel genomweite Assoziationsstudien) gibt es möglicherweise gut dokumentierte spezialisierte Taschenrechner. Ansonsten denke ich, dass die Antwort von G. Jay Kern der richtige Weg ist, um folgende Ergänzung zu verwenden: Wenn Sie dabei sind, sollten Sie einen Bereich der wichtigsten Parameter simulieren und eine Grafik präsentieren.
Leo Schalkwyk

Antworten:

43

Ich fürchte, Sie werden diese Antwort nicht hören wollen, aber ich werde sie trotzdem sagen: Versuchen Sie, der Versuchung von Online-Taschenrechnern zu widerstehen (und sparen Sie Ihr Geld, bevor Sie proprietäre Taschenrechner kaufen).

Hier einige Gründe: 1) Alle Online-Rechner verwenden eine andere Schreibweise und sind häufig schlecht dokumentiert. Es ist Zeitverschwendung. 2) SPSS bietet einen Stromrechner an, aber ich habe ihn noch nie ausprobiert, da er für meine Abteilung zu teuer war! 3) Sätze wie "mittlere Effektgröße" sind bestenfalls irreführend und im schlimmsten Fall einfach falsch für alle außer den einfachsten Forschungsdesigns. Es gibt zu viele Parameter und zu viel Zusammenspiel, um die Effektgröße auf eine einzelne Zahl in [0,1] zu reduzieren. Selbst wenn Sie es in eine einzelne Zahl setzen könnten, gibt es keine Garantie dafür, dass Cohens 0,5 im Kontext des Problems "mittel" entspricht.

Glauben Sie mir - es ist auf lange Sicht besser, in die Kugel zu beißen und sich selbst beizubringen, wie Sie die Simulation zu Ihrem Vorteil einsetzen (und zum Vorteil der Person (en), die Sie konsultieren). Setzen Sie sich mit ihnen und führen Sie die folgenden Schritte aus:

1) Entscheiden Sie sich für ein Modell, das im Kontext des Problems angemessen ist (es hört sich so an, als hätten Sie bereits an diesem Teil gearbeitet).

2) Wenden Sie sich an sie, um zu entscheiden, wie die Nullparameter lauten sollen und wie sich die Kontrollgruppe verhält, unabhängig davon, was dies im Zusammenhang mit dem Problem bedeutet.

3) Wenden Sie sich an sie, um festzustellen, welche Parameter erforderlich sind, damit der Unterschied praktisch aussagekräftig wird . Wenn es Einschränkungen bei der Stichprobengröße gibt, sollte dies auch hier angegeben werden.

4) Simulieren Sie die Daten gemäß den beiden Modellen in 2) und 3) und führen Sie den Test durch. Sie können dies mit Software in Hülle und Fülle tun - wählen Sie Ihren Favoriten aus und entscheiden Sie sich dafür. Sehen Sie, ob Sie abgelehnt haben oder nicht.

np^p^(1-p^)/n

Wenn Sie Ihre Leistungsanalyse auf diese Weise durchführen, werden Sie mehrere Dinge feststellen: A) Es liefen viel mehr Parameter herum, als Sie jemals erwartet hatten. Sie werden sich fragen, wie es auf der Welt möglich ist, alle zu einer einzigen Zahl wie "Medium" zusammenzufassen - und Sie werden feststellen, dass dies nicht möglich ist, zumindest nicht auf einfache Weise. B) Ihre Leistung wird viel geringer sein als die der anderen Taschenrechner. C) Sie können die Leistung erhöhen, indem Sie die Stichprobengröße erhöhen. Achten Sie jedoch darauf! Sie können feststellen, wie ich das habe, um einen Unterschied zu erkennen, der "praktisch bedeutsam" ist, benötigen Sie eine Stichprobe, die unerschwinglich groß ist.

Wenn Sie Probleme mit den oben genannten Schritten haben, können Sie Ihre Gedanken sammeln, eine Frage für CrossValidated formulieren und die Leute hier werden Ihnen helfen.

BEARBEITEN: Falls Sie feststellen, dass Sie unbedingt einen Online-Rechner verwenden müssen, ist der beste, den ich gefunden habe, Russ Lenths Seite zu Leistung und Sample-Größe . Es gibt es schon seit langer Zeit, es verfügt über eine relativ vollständige Dokumentation, es hängt nicht von den Effektgrößen in Dosen ab und es gibt Links zu anderen relevanten und wichtigen Artikeln.

ANOTHER EDIT: Zufälligerweise war ich gerade dabei, einen Blog-Post zu schreiben, um einige dieser Ideen zu konkretisieren (andernfalls hätte ich möglicherweise nicht so schnell geantwortet). Wie auch immer, ich habe es letztes Wochenende fertiggestellt und du kannst es hier finden . Es ist nicht für SPSS geschrieben, aber ich wette, wenn eine Person klug wäre, könnte sie Teile davon in die SPSS-Syntax übersetzen.


quelle
8
+1 Gute Antwort. Es lohnt sich, auf die Nachteile der Simulation hinzuweisen. (Die Alternative besteht darin, dass Leistungskurven mathematisch berechnet werden können.) Die Simulation wird unhandlich, wenn viele Parameter (wie die Effektgröße und die Stichprobengröße) manipuliert werden müssen oder wenn Sie einen Schwellenwert (wie eine minimale Stichprobengröße) suchen. Sogar ein ungefährer exakter Ausdruck für die Leistung kann wertvoll sein, um allgemein anzuzeigen, wie sich die Leistung verhält, und um anfängliche Lösungen zu identifizieren, die mit ein wenig Simulation poliert werden können.
whuber
2
@whuber Danke, und du hast absolut recht. Ihr Kommentar erinnert mich daran, dass die Null- / Alt-Parameter (spärliche Informationen, miese Pilotstudien usw.) häufig eine zusätzliche Unsicherheit aufweisen, die den Simulationsansatz noch komplexer macht. Dies ist ein weiterer Vorteil des mathematischen Ansatzes.
2
Anstatt die Werte der unbekannten Parameter zu fixieren, ist es nützlich, sie zu simulieren, indem diesen Parametern eine vorherige Verteilung zugewiesen wird und dann eine "vorherige Potenz" erhalten wird (dies ist trotz des Konzepts der vorherigen Verteilung kein Bayes'scher Ansatz, weil wir simulieren das Ergebnis des Frequentistentests)
Stéphane Laurent
6
Es gibt zwei Probleme bei der Simulation: Lernen (dieses ist lösbar) und Ausführen von Schritt 3. Nach meiner Erfahrung würde keiner meiner Kunden bereit sein, 3) zu tun. Vielen fällt es schwer, eine beliebige Effektgröße anzugeben. Sie zu bitten, die Parameter in (sagen wir) einer multiplen Regressionsgleichung zu spezifizieren, wäre ... nun, sie würden nicht antworten können, selbst wenn sie die Bedeutung kennen, würden sie nicht bereit sein, dies zu spezifizieren.
Peter Flom - Reinstate Monica
2
Stephane, ja, Sie haben Recht, und das habe ich mit der zusätzlichen Ebene gemeint, die ich zu kommunizieren versuchte. @ Peter Seufzer! Ja, ich bin auch darauf gestoßen. Ich versuche über Mittelwerte, Standardfehler usw. zu sprechen und dann so viel wie möglich von der Mathematik zu lernen. Ein Teil davon ist eine Kommunikationsbarriere, die manchmal eine Herausforderung darstellt. Der Teil der Abneigung ist jedoch noch härter. Früher habe ich aufgegeben und versucht, die Lücken selbst zu füllen, aber es hat selten gut geklappt. Das heißt, die Antwort ist im Wesentlichen ein Schuss in die Dunkelheit mit einer verbundenen Augen und rückwärts stehend.