Kann ich bei vielen positiven, unbedeutenden Ergebnissen testen, ob mindestens dieser Ergebnisse positiv sind?

Angenommen, ich habe dieselbe Regression für 100 verschiedene Personen separat durchgeführt. Meine interessierenden Koeffizienten sind positiv (und sehr unterschiedlich), aber in allen 100 Ergebnissen statistisch nicht signifikant (sagen wir, jeder p-Wert = 0,11).

Gibt es eine Möglichkeit, diese p-Werte zu kombinieren, um zu dem Schluss zu gelangen, dass "mindestens 80 dieser Ergebnisse positiv sind" mit einer größeren Bedeutung als p = 0,11? Meine Online-Suche hat mir nur gezeigt, wie ich durch einen Fisher- oder ähnlichen Test sagen kann, dass "mindestens 1 dieser Ergebnisse positiv ist", aber ich konnte dieses Ergebnis nicht verallgemeinern. Ich möchte "H0 = alle 100 Effekte sind bei 0 gleich" gegen "HA = mindestens 80 Effekte sind positiv" testen.

Mein Ziel ist es nicht zu sagen, dass es im Durchschnitt einen positiven Koeffizienten gibt, und es ist auch nicht, den Koeffizienten spezifisch zu messen. Mein Ziel ist es, mit Bedeutung zu zeigen, dass mindestens 80 Personen einzeln einen positiven Effekt hatten, unabhängig davon, welche 80 und unabhängig von der Stärke des Effekts, den jeder Einzelne spürt.

Sie sollten alle 100 Analysen als ein einzelnes Mischeffektmodell mit Ihren interessierenden Zufallsvariablen selbst durchführen. Auf diese Weise können Sie eine Verteilung für diese Koeffizienten einschließlich ihres Gesamtmittelwerts schätzen, wodurch Sie die Art von Interpretation erhalten, nach der Sie suchen.

Wenn Sie, wie ich vermute, eine Zeitreihe für jede Person haben, müssen Sie auch die Autokorrelation der Residuen korrigieren.

Am einfachsten wäre wahrscheinlich ein Zeichentest. Die Nullhypothese lautet, dass jedes Ergebnis die gleiche Wahrscheinlichkeit hat, positiv oder negativ zu sein (wie das Werfen einer fairen Münze). Ihr Ziel ist es festzustellen, ob die beobachteten Ergebnisse unter dieser Nullhypothese unwahrscheinlich genug sind, dass Sie sie ablehnen können.

Wie hoch ist die Wahrscheinlichkeit, 80 oder mehr Köpfe aus 100 Flips einer fairen Münze herauszuholen? Sie können dies anhand der Binomialverteilung berechnen. In Rwird die entsprechende Funktion aufgerufen pbinom, und Sie können mithilfe der folgenden Codezeile einen (einseitigen) p-Wert erhalten:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Nach diesem Test ist Ihre Intuition korrekt. Es ist äußerst unwahrscheinlich, dass Sie zufällig 80 positive Ergebnisse erzielen, wenn die Behandlung keine Wirkung hätte.

Eine eng verwandte Option wäre die Verwendung eines von Wilcoxon signierten Rang-Tests .

Ein besserer Ansatz, wenn Sie tatsächlich die Größe des Effekts abschätzen möchten (anstatt nur zu bestimmen, ob er tendenziell größer als Null ist oder nicht), wäre wahrscheinlich ein hierarchisches ("gemischtes") Modell.

Hier sagt das Modell, dass die Ergebnisse Ihrer 100 Personen aus einer Verteilung stammen, und Ihr Ziel ist es, zu sehen, wo der Mittelwert dieser Verteilung liegt (zusammen mit den Konfidenzintervallen).

Bei gemischten Modellen können Sie einiges mehr über Ihre Effektgrößen sagen: Nach der Anpassung des Modells können Sie beispielsweise sagen: "Wir schätzen, dass unsere Behandlung die Ergebnisse tendenziell um durchschnittlich drei Einheiten verbessert, obwohl die Daten mit dem tatsächlichen Durchschnitt übereinstimmen." Die Effektgröße liegt zwischen 1,5 und 4,5 Einheiten. Außerdem gibt es einige Unterschiede zwischen den einzelnen Personen, sodass eine bestimmte Person möglicherweise einen Effekt zwischen -0,5 und +6,5 Einheiten sieht. "

Das ist eine sehr präzise und nützliche Reihe von Aussagen - viel besser als nur "der Effekt ist im Durchschnitt wahrscheinlich positiv", weshalb dieser Ansatz von Statistikern bevorzugt wird. Aber wenn Sie nicht all diese Details benötigen, könnte der erste Ansatz, den ich erwähnte, auch in Ordnung sein.

Vielleicht verstehe ich das völlig falsch, aber es scheint mir, dass Sie versuchen, ANOVA mit wiederholten Messungen durchzuführen. Definieren Sie einfach diesen "Dummy" als subjektinternen Faktor, und das Modell würde den Rest erledigen. Die Bedeutung selbst ist nicht sehr informativ; es ist erforderlich, aber nicht ausreichend; Jedes Modell würde bei einer ausreichend großen Anzahl von Beobachtungen signifikant werden. Möglicherweise möchten Sie die Größe von Effekten wie (teilweise) Eta-Quadrat erhalten, um eine Vorstellung davon zu erhalten, wie "groß" Ihr Effekt ist. Meine 2 Cent.

Es mag so einfach sein wie eine normale ANCOVA-Berechnung, aber die geeignete Methode zur Analyse Ihrer Daten hängt von der physischen Situation ab, und Sie haben diese Details nicht angegeben.