Es gibt verschiedene gängige Resampling-Techniken, die in der Praxis häufig verwendet werden, z. B. Bootstrapping, Permutationstest, Jackknife usw. In zahlreichen Artikeln und Büchern werden diese Techniken erläutert, z. B. Philip I Good (2010) Permutation, Parametric und Bootstrap Tests von Hypothesen
Meine Frage ist, welche Resampling-Technik hat an Popularität gewonnen und ist einfacher zu implementieren? Bootstrapping oder Permutationstests?
Antworten:
Beide sind beliebt und nützlich, aber hauptsächlich für verschiedene Zwecke. Der Permutationstest eignet sich am besten zum Testen von Hypothesen und das Bootstrapping zum Schätzen von Konfidenzintervallen.
Permutationstests testen eine bestimmte Nullhypothese der Austauschbarkeit, dh dass nur die zufällige Stichprobe / Randomisierung den Unterschied erklärt. Dies ist der übliche Fall für Dinge wie T-Tests und ANOVA. Es kann auch auf Dinge wie Zeitreihen (Nullhypothese, dass es keine serielle Korrelation gibt) oder Regression (Nullhypothese ohne Beziehung) erweitert werden. Permutationstests können verwendet werden, um Konfidenzintervalle zu erstellen. Es sind jedoch viel mehr Annahmen erforderlich, die möglicherweise vernünftig sind oder nicht (daher werden andere Methoden bevorzugt). Der Mann-Whitney / Wilcoxon-Test ist eigentlich ein Sonderfall eines Permutationstests, weshalb er weitaus beliebter ist, als manche vermuten.
Der Bootstrap schätzt die Variabilität des Abtastprozesses und eignet sich gut zum Schätzen von Konfidenzintervallen. Auf diese Weise können Sie einen Hypothesentest durchführen, der jedoch in der Regel weniger aussagekräftig ist als der Permutationstest für Fälle, für die die Annahmen des Permutationstests gelten.
quelle
Wenn Sie R verwenden, sind sie alle einfach zu implementieren. Siehe zum Beispiel http://www.burns-stat.com/pages/Tutor/bootstrap_resampling.html
Ich würde sagen, es gibt eine dritte wichtige Technik: die Kreuzvalidierung. Dies wird verwendet, um die Vorhersagekraft von Modellen zu testen.
quelle
Beim Bootstrapping geht es hauptsächlich darum, große Beispielstandardfehler oder Konfidenzintervalle zu generieren. Wie der Name schon sagt, handelt es sich bei Permutationstests hauptsächlich um Tests. (Jeder kann angepasst werden, um für die andere Aufgabe verwendet zu werden.)
Wie würden wir die Popularität beurteilen? Wenn wir uns Bereiche wie Psychologie und Erziehung ansehen, können wir viele rangbasierte Tests wie Wilcoxon-Mann-Whitney, den signierten Rangtest, Rangkorrelationstests und so weiter finden. Dies sind alles Permutationstests (auf der anderen Seite gibt es viele Fälle, in denen Permutationstests der Originaldaten verwendet werden könnten, dies jedoch normalerweise nicht der Fall sind). In einigen anderen Anwendungsbereichen würden Permutationstests selten verwendet, aber die unterschiedliche Beliebtheit in den Anwendungsbereichen sagt manchmal mehr über die lokale Kultur des jeweiligen Bereichs als über die Nützlichkeit aus.
In vielen Fällen - besonders in einfacheren Fällen - sind sie fast genauso einfach - es ist im Wesentlichen der Unterschied zwischen der Probenahme mit Austausch und der Probenahme ohne Austausch.
In einigen der komplexeren Fälle ist das Bootstrapping einfacher durchzuführen, da es (aus der Sicht der Tests) alternativ und nicht null ausgeführt wird (zumindest bei naiven Implementierungen ist dies so, dass es gut funktioniert) kann viel komplizierter sein).
Genaue Permutationstests können in den komplexeren Fällen schwierig sein, da eine geeignete austauschbare Menge möglicherweise nicht beobachtbar ist - häufig kann eine nahezu austauschbare Menge zum Preis der Genauigkeit (und der tatsächlichen Verteilungsfreiheit) ersetzt werden.
Bootstrapping verzichtet von Anfang an im Wesentlichen auf das entsprechende Genauigkeitskriterium (exakte Abdeckung von Intervallen) und konzentriert sich stattdessen auf den Versuch, in großen Stichproben eine einigermaßen gute Abdeckung zu erzielen (manchmal mit weniger Erfolg, als man vielleicht versteht; wenn Sie dies nicht überprüft haben, ziehen Sie an Ich gehe nicht davon aus, dass Ihr Bootstrap die Abdeckung bietet, die Sie erwarten.
Permutationstests können mit kleinen Stichproben durchgeführt werden (obwohl die eingeschränkte Auswahl von Signifikanzstufen bei sehr kleinen Stichproben manchmal ein Problem sein kann), während der Bootstrap eine Technik mit großen Stichproben ist (wenn Sie ihn mit kleinen Stichproben verwenden, sind die Ergebnisse in vielen Fällen möglicherweise nicht so sehr nützlich sein).
Ich sehe sie selten als Konkurrenten mit dem gleichen Problem und habe sie bei (verschiedenen) realen Problemen eingesetzt - oft gibt es eine natürliche Auswahl, die ich mir ansehen kann.
Es gibt Vorteile für beide, aber weder in einem Panacaea. Wenn Sie den Lernaufwand reduzieren möchten, indem Sie sich nur auf einen von ihnen konzentrieren, werden Sie wahrscheinlich enttäuscht sein - beides sind wesentliche Bestandteile der Resampling-Toolbox.
quelle