Lehrbücher / Lesungen darüber, was zu tun ist, wenn Sie kein ideales Experiment erstellen können?

Meine statistische Ausbildung ist in der mathematischen Statistik verwurzelt, und diese Methodenklassen in meiner MS zu belegen, ist im Moment ein kleiner Schock. es ist derzeit schwierig für mich, einige dieser "angewandten" methoden zu verstehen, da mir die erfahrung in der branche fehlt.

Eines der Themen, über die wir in meinen Methodenklassen gesprochen haben, ist die Idee des experimentellen Designs.

Angenommen, ich möchte ein Experiment zur Wirksamkeit eines Bildungsprogramms durchführen, das behauptet, die Testergebnisse von K-12-Schülern zu erhöhen.

In den Methodenklassen haben sie Folgendes gelehrt, um einem solchen Problem nachzugehen: Stellen Sie sicher, dass Sie eine gute Forschungsfrage, eine gute Datenerfassungsmethode, ein randomisiertes Experiment und homogene Behandlungsgruppen haben (dh eine, die mit diesem Programm behandelt wurde, vielleicht eine nicht) idealerweise von gleicher Größe, und führen Sie dann einen Test (oder eine Art nichtparametrischen Hypothesentest) durch, und alles ist in Ordnung und gut, oder?$t$

Ich habe wenig Vertrauen, dass dies in der Realität funktioniert.

Ich habe erfahren, dass Sie möglicherweise eine Probeentnahme durchführen müssen. Abgesehen davon habe ich keine Ahnung, wie ich experimentelles Design implementieren soll, außer dem, was ich aus einem Lehrbuch gelernt habe.

Gibt es Lehrbücher, Lesungen usw., die diese Themen in der Praxis untersuchen (und im Idealfall die Mathematik nicht beschönigen - ich brauche keine detaillierten Beweise für alles, aber ich möchte nicht wissen, dass alles " offensichtlich, "zum Beispiel)?

Es gibt zwei Bereiche, in denen randomisierte Experimente fast immer unmöglich sind: Sozial- und Wirtschaftswissenschaften. In diesen Fällen können Sie nur "Quasi-Experimente" durchführen. Versuchen Sie es mit Stichwörtern wie Experimenten, Beobachtungsstudien und Sozialwissenschaften . Sie erhalten einige gute Lehrbücher. Ich kann zwei ausgezeichnete Bücher zu diesem Thema empfehlen: Das zweite Buch von Shadish and Cook ist ein Klassiker:

1. Counterfactuals and Causal Inference: Methoden und Prinzipien für die Sozialforschung Von Morgan und Winship
2. Experimentelle und quasi-experimentelle Entwürfe für generalisierte kausale Folgerungen von William R. Shadish und Thomas D. Cook

Ein klassisches Papier, das eine Technik namens "Propensity Score Matching" in einem nicht experimentellen Umfeld für die kausale Inferenz von Dehejia und Wahba verwendet, wird ebenfalls dringend empfohlen.

Zusätzliche Empfehlungen:

1. Design of Observational Studies von Paul R. Rosenbaum.
2. Kausale Folgerung für Statistik, Sozial- und Biomedizinwissenschaften: Eine Einführung von Imbens und Rubin.

Wenn Sie Zeitreihen quasi Experimente suchen, haben die oben genannten Bücher einige Kapitel ihnen gewidmet, aber ein spezielles Buch von Gene v. Glass Design und Analyse von Zeitreihen Experimente und ich würde seinem Artikel überprüfen Interrupted Zeitreihe .

Wissenswertes: Gene V Glass hat den Begriff " Meta-Analyse " geprägt.

Hier können quasiexperimentelle Designs hilfreich sein. In vielen Situationen in der Praxis sind experimentelle Designs nicht praktikabel, da Sie, obwohl Sie eine Behandlung haben, keine zufällige Zuordnung zu Gruppen vornehmen können oder vielleicht nur eine Gruppe haben.

In Ihrem Bildungsbeispiel haben Sie möglicherweise keine Kontrolle darüber, wer die Behandlung erhält, da Sie beabsichtigen, die Intervention für alle Kinder in einer Schule durchzuführen. Sie können jedoch möglicherweise ihre Ergebnisse mit Ergebnissen aus früheren Jahren vergleichen oder Klassenzimmer nach dem Zufallsprinzip sortieren, sodass einige Klassen die Intervention vor anderen erhalten, oder mehrere Schulen vergleichen, einschließlich derer, die die Intervention nicht erhalten haben.

Es kann sinnvoll sein, ein unterbrochenes Zeitreihendesign durchzuführen, bei dem Sie nur eine Gruppe haben, aber ständig Messungen durchführen und die Behandlung in der Mitte Ihrer Studiendauer durchführen. Auf diese Weise können Sie sehen, ob sich die Steigung der abhängigen Variablen über die Zeit direkt nach der Behandlung im Verhältnis zur Gesamtsteigung über die gesamte Studie geändert hat. Die Anzahl der Messungen kann nur 3 betragen, aber je mehr desto besser.

Mein Vorschlag ist also, sich über quasiexperimentelle Studiendesigns zu informieren.

Die gründlichste, allgemeinste und präziseste Behandlung der Kausalität ist Judea Pearl 2009, "Causality", 2. Aufl., Cambridge University Press.

Insbesondere wird deutlich, dass Kausalität kein statistisches Problem ist - selbst unbegrenzte Daten lösen es nicht. Es wird eine präzise Sprache eingeführt, um qualitatives und theoretisches Wissen auszudrücken, das für kausale Schlussfolgerungen benötigt wird, wenn etwas an den Daten nicht optimal ist. Sie werden sehen, dass die fehlgeschlagene Randomisierung nur ein Problem unter vielen ist. Sie fasst auch alle anderen mathematischen Rahmen zusammen, z. B. die von Imbens, Rubin und Rosenbaum. Ich kann nicht übertreiben, wie zugänglich, elegant und kraftvoll sein Ansatz ist.

Ich kann es nur empfehlen. Sie sollten es jedoch nichtlinear lesen (Kapitel 5 und 11 sind zugänglicher, und Sie können dann die Kapitel 1, 3 und 7 rückwärts durcharbeiten, um die allgemeine Theorie zu verstehen).

Wenn Sie die Grundlagen verstanden haben, können Sie leicht nach neueren Fortschritten suchen, zum Beispiel, wann es möglich ist, kausale Befunde von einem Kontext in einen anderen zu "transportieren", was selbst mit Randomisierung (Pearl, Judea und Elias) nicht unbedingt möglich ist Bareinboim 2014, "Externe Validität: Vom Do-Kalkül zur Transportierbarkeit durch Populationen." Statistical Science).

Vielleicht sind das, was Sie suchen ...

Statistik für Experimentatoren

Versuchsplanung und Versuchsanalyse

Design und Analyse von Experimenten mit R (nicht im Zusammenhang mit dem vorherigen Titel)

Prozessverbesserung mit Daten (kostenlos online oder als PDF, Kapitel 5 behandelt DoE)