Wenn wir die Qualität einer zufälligen Gesamtstruktur beurteilen, zum Beispiel mithilfe der AUC, ist es angemessener, diese Mengen anhand der Out-of-Bag-Proben oder anhand des Hold-out-Satzes der Kreuzvalidierung zu berechnen.

Ich habe gehört, dass die Berechnung über die OOB-Samples eine pessimistischere Einschätzung ergibt, aber ich verstehe nicht, warum.

Hinweis: Während ich der Meinung bin, dass meine Antwort wahrscheinlich richtig ist, bin ich auch zweifelhaft, weil ich mir das alles ausgedacht habe, indem ich über dieses Problem nach ca. 30-60 Minuten nachgedacht habe. Seien Sie also skeptisch und hinterfragen Sie dies genauer und lassen Sie sich nicht von meinem möglicherweise zu selbstbewussten Schreibstil täuschen (große Wörter und ausgefallene griechische Symbole bedeuten nicht, dass ich Recht habe).

Zusammenfassung

Dies ist nur eine Zusammenfassung. Alle Einzelheiten sind in den nachfolgenden Abschnitten $\S1$ und $\S2$ .

Nehmen wir den Fall der Klassifikation an (kann auch auf die Regression ausgedehnt werden, aber der Kürze halber weglassen). Im Wesentlichen ist es unser Ziel, den Fehler eines Waldes von Bäumen abzuschätzen. Sowohl der Out-of-Bag-Fehler als auch die k-fache Kreuzvalidierung versuchen, die Wahrscheinlichkeit zu ermitteln, dass:

• Die Gesamtstruktur gibt die richtige Klassifizierung an (die k-fache Kreuzvalidierung sieht so aus).

Welches ist identisch mit der Wahrscheinlichkeit, dass:

• Das Mehrheitsvotum der Waldbäume ist das richtige (OOBE sieht es so).

Und beide sind identisch. Der einzige Unterschied besteht darin, dass die k-fache Kreuzvalidierung und OOBE eine unterschiedliche Größe der Lernstichproben voraussetzen. Beispielsweise:

• Bei der 10-fachen Kreuzvalidierung beträgt der Lernsatz 90%, während der Testsatz 10% beträgt.
• Wenn jedoch in OOBE jeder Beutel Proben enthält, so dass n = Gesamtzahl der Proben im gesamten Probensatz ist , bedeutet dies, dass der Lernsatz praktisch etwa 66% (zwei Drittel) und der Testsatz etwa 33% beträgt ( ein Drittel).$n$$n =$

Meiner Ansicht nach ist der einzige Grund, warum OOBE eine pessimistische Schätzung des Waldfehlers ist, nur der, dass normalerweise eine geringere Anzahl von Stichproben trainiert wird als normalerweise bei der k-fachen Kreuzvalidierung (wobei 10-fache häufig sind).

Aus diesem Grund denke ich auch, dass die zweifache Kreuzvalidierung eine pessimistischere Einschätzung des Gesamtstrukturfehlers sein wird als die dreifache Kreuzvalidierung, die ungefähr genauso pessimistisch ist wie die OOBE.

1. Grundlegendes zum Out-of-Bag-Fehler

1.1 Gemeinsame Sicht auf das Absacken

Jeder Baum in RF wird durch eine Liste von Stichproben gezüchtet , die zufällig aus dem Lernsatz X mit Ersetzung gezogen werden. Auf diese Weise können die n vielen Stichproben Duplikate haben, und wenn n = $n$$\mathcal{X}$$n$dann kann festgestellt werden, dass ungefähr ein Drittel der Proben in X wahrscheinlich nicht in der Liste von n Proben enthalten ist, die zum Züchten eines bestimmten Baums verwendet werden (dies sind die Out-of-Bag-Proben dieses bestimmten Baums). Dieser Vorgang wird für jeden Baum unabhängig wiederholt, sodass für jeden Baum ein anderer Satz von Out-of-Bag-Proben vorhanden ist.$n = |\mathcal{X}|$$\mathcal{X}$$n$

1.2. Ein anderer Blick auf das Absacken

Lassen Sie uns nun das Absacken ein wenig anders beschreiben, in der Hoffnung, eine gleiche Beschreibung zu finden, die hoffentlich einfacher zu handhaben ist.

Ich tue dies, indem ich sage, dass der Baum durch die eingepackten Proben in der Menge X t ⊆ X trainiert wird$t$$\mathcal{X}_t \subseteq \mathcal{X}$ . Dies trifft jedoch nicht genau zu, da die Menge keine duplizierten Samples enthält (so funktionieren Sets), während die Liste n von Samples Duplikate enthalten kann.$\mathcal{X}_t$$n$

Daher kann man sagen, dass ein Baum durch Analysieren der Proben X t plus einer Anzahl zufällig ausgewählter Duplikate, die aus X t gezogen wurden , nämlich X t , 1 , X t , 2 , ... , X t , r ≤ X t , wie z dass: | X t | + r ∑ i = 1 | $t$$\mathcal{X}_t$ $\mathcal{X}_t$$\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

$$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$$

Es ist trivial zu sehen, dass aus dieser Sammlung von Mengen $\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ wir eine Liste von vielen Stichproben definieren können, die Duplikate enthalten, indem wir einfach die Elemente in jeder Menge anhängen setze C i ∈ C auf ein Array a . Auf diese Weise, für jeden 1 ≤ p ≤ n , gibt es wenigstens einen Wert von i , so daß ein [ p ] ∈ C$n$$\mathcal{C}_i \in \mathcal{C}$$a$$1 \le p \le n$$i$$a[p] \in \mathcal{C}_i$.

$n$$a$$\mathcal{X}_t$$\S2$$a$

1.3. Bagging vereinfachen

Anstatt Baum wachsen zu lassen$t$$a$$\mathcal{X}_t$

$n$$t$$\mathcal{X}_t$$t'$$a$

$\mathcal{X}_t$

Und der Grund, aus dem ich glaube, dass sich Entropien für eine bestimmte Teilung nicht systematisch ändern werden, ist, dass sich die empirisch gemessene Wahrscheinlichkeit, dass eine Stichprobe eine bestimmte Bezeichnung in einer Teilmenge aufweist (nach Anwendung einer Entscheidungsaufteilung), ebenfalls nicht ändert.

$\mathcal{X}_t$$d$

1.4 Messung von Out-of-Bag-Fehlern

$\mathcal{O}_t$$t$$\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$$t$

$$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$$ $n_t$ $$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$$

2. Verstehen der k-fach Kreuzvalidierung

$\mathcal{X}$$n_k$$\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$$\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$$\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$$\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

$$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$$

$f$