Was ist die .632+ -Regel beim Bootstrapping?

Hier verweist @gung auf die Regel .632+. Eine schnelle Google-Suche liefert keine leicht verständliche Antwort darauf, was diese Regel bedeutet und für welchen Zweck sie verwendet wird. Würde jemand bitte die .632+ -Regel erläutern?

Ich werde zum 0.632-Schätzer kommen, aber es wird eine etwas lange Entwicklung sein:

Angenommen, wir wollen mit Verwendung der Funktion vorhersagen , wobei von einigen Parametern abhängen kann, die unter Verwendung der Daten geschätzt werden , z. B.X f f ( Y , X ) f ( X ) = X $Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Eine naive Schätzung des Vorhersagefehlers ist wobei eine Verlustfunktion ist, zB quadratischer Fehlerverlust. Dies wird oft als Trainingsfehler bezeichnet. Efron et al. nennt es offensichtliche Fehlerrate oder Resubstitutionsrate. Es ist nicht sehr gut, da wir unsere Daten , um zu passen . Dies führt dazu, dass nach unten vorgespannt ist. Sie möchten wissen, wie gut Ihr Modell neue Werte vorhersagt.L(xi,yi)f¯err

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Oft verwenden wir die Kreuzvalidierung als einfache Methode, um den erwarteten Vorhersagefehler für zusätzliche Stichproben abzuschätzen (wie gut funktioniert unser Modell mit Daten, die nicht in unserem Trainingssatz enthalten sind?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Ein beliebter Weg, dies zu tun, ist die fache Kreuzvalidierung. Teilen Sie Ihre Daten in Gruppen auf (zB 10). Passen Sie für jede Gruppe Ihr Modell an die verbleibenden Gruppen an und testen Sie es an der ten Gruppe. Unser Vorhersagefehler für zusätzliche Stichproben ist nur der durchschnittliche wobei eine Indexfunktion ist, die die Partition angibt, der die Beobachtung ist, und der vorhergesagte Wert von wobei Daten verwendet werden, die nicht in der -ten Menge enthalten sind.K K K - 1 k E r r C V = $K$$K$$k$$K-1$$k$kif-k(i)(xi)xik(i

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Dieser Schätzer ist für den wahren Vorhersagefehler, wenn ist, ungefähr unverzerrt und weist eine größere Varianz auf und ist für größere rechenintensiver . Wir sehen also wieder einmal den Kompromiss zwischen Voreingenommenheit und Varianz.$K=N$$K$

Anstelle einer Kreuzvalidierung könnten wir den Bootstrap verwenden, um den Vorhersagefehler für zusätzliche Stichproben abzuschätzen. Bootstrap-Resampling kann verwendet werden, um die Stichprobenverteilung einer Statistik zu schätzen. Wenn unsere Trainingsdaten , können wir uns vorstellen, Bootstrap-Samples (mit Ersetzung) aus dieser Menge zu nehmen wobei jedes eine Menge von Abtastwerten ist. Jetzt können wir unsere Bootstrap-Beispiele verwenden, um den Vorhersagefehler für zusätzliche Stichproben zu schätzen: wobei der vorhergesagte Wert bei aus der Modellanpassung an istB Z 1 , ... , Z B Z i N E r r B o o t = $\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ Bootstrap-Datensatz. Leider ist dies kein besonders guter Schätzer weil Bootstrap - Proben verwendet produzieren enthalten kann . Der Leave-one-out - Bootstrap - Schätzer bietet eine Verbesserung durch die Nachahmung von Kreuzvalidierung und ist definiert als: wobei die Menge von Indizes für die Bootstrap-Beispiele ist, die Enthält keine Beobachtung undist die Anzahl solcher Proben. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$löst das Überanpassungsproblem, ist aber immer noch voreingenommen (dieses ist nach oben voreingenommen). Die Verzerrung ist auf nicht eindeutige Beobachtungen in den Bootstrap-Samples zurückzuführen, die sich aus dem Sampling mit Ersetzung ergeben. Die durchschnittliche Anzahl unterschiedlicher Beobachtungen in jeder Stichprobe beträgt ungefähr (in dieser Antwort wird erklärt, warum im Durchschnitt jede Bootstrap-Stichprobe ungefähr zwei Drittel der Beobachtungen enthält ). Um das Bias-Problem zu lösen, schlugen Efron und Tibshirani den 0.632-Schätzer vor: wobei$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ ist die naive Abschätzung des Vorhersagefehlers, die oft als Trainingsfehler bezeichnet wird. Die Idee ist, eine abwärtsgerichtete Schätzung und eine aufwärtsgerichtete Schätzung zu mitteln.

Wenn wir jedoch eine Vorhersagefunktion für eine hohe Überanpassung haben (dh ), ist sogar der .632-Schätzer nach unten vorgespannt. Der Schätzer .632+ ist als weniger voreingenommener Kompromiss zwischen und . mit wobei die No-Information-Fehlerrate ist, geschätzt durch Auswertung des Vorhersagemodells für alle möglichen Kombinationen von Ziele und Prädiktoren .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Hier misst die relative Überpassungsrate. Wenn keine Überanpassung (R = 0, wenn ), entspricht dies dem Schätzer .632.$R$$Err_{boot(1)} = \overline{err}$

Sie finden weitere Informationen in Abschnitt 3 dieses finden ¹ Papier. Aber zusammenzufassen, wenn Sie anrufen eine Stichprobe von Zahlen von gezogen zufällig und mit Ersatz, im Mittel etwa einzigartige Elemente.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Die Argumentation ist wie folgt. Wir füllen indem wir mal (zufällig und mit Ersetzung) aus abtasten . Betrachten Sie einen bestimmten Index . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Dann:

$$P(s_i=m)=1/n$$

und

$$P(s_i\neq m)=1-1/n$$

und das ist wahr (intuitiv, da wir mit Ersatz probieren, hängen die Wahrscheinlichkeiten nicht von )$\forall 1\leq i \leq n$$i$

somit

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Sie können auch diese kleine Simulation durchführen, um die Qualität der Approximation (die von abhängt ) empirisch zu überprüfen :$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron und Robert Tibshirani (1997). Verbesserungen bei der Kreuzvalidierung: Die .632+ Bootstrap-Methode . Journal of the American Statistical Association , Bd. 92, Nr. 438, S. 548–560.

Nach meiner Erfahrung, die hauptsächlich auf Simulationen beruhte, wurden die Bootstrap-Varianten 0.632 und 0.632+ nur aufgrund schwerwiegender Probleme benötigt, die durch die Verwendung einer Regel zur Bewertung der falschen Genauigkeit verursacht wurden, nämlich des Anteils, der korrekt "klassifiziert" wurde. Wenn Sie die richtigen (z. B. devianzbasierten oder Brier-Score) oder halb-richtigen (z. B. Index = AUROC) Bewertungsregeln verwenden, funktioniert der standardmäßige Efron-Gong-Optimismus-Bootstrap einwandfrei.$c$

Diese Antworten sind sehr nützlich. Ich konnte keine Möglichkeit finden, es mit Mathematik zu demonstrieren, also habe ich etwas Python-Code geschrieben, der allerdings recht gut funktioniert:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)