Random Forests Out-of-Bag-Stichprobengröße

Ich lese die Beschreibung von RF hier .

Im Abschnitt "Wie zufällige Wälder funktionieren" steht:

Wenn der Trainingssatz für den aktuellen Baum durch Stichproben mit Ersatz gezogen wird, wird etwa ein Drittel der Fälle aus der Stichprobe herausgelassen. Diese oob-Daten (out-of-bag) werden verwendet, um eine laufende unvoreingenommene Schätzung des Klassifizierungsfehlers zu erhalten, wenn Bäume zum Wald hinzugefügt werden

Ich kann nicht verstehen, ob das Drittel der Fälle (Stichprobengröße aus der Tasche) wie folgt ist:

• ein beliebiger Wert, der im Algorithmus definiert ist
• eine Schätzung (z. B. wird bei Stichproben mit Ersatz ein Drittel der Fälle ausgelassen)

oder etwas anderes.

Es stammt aus der Konstruktion eines Bootstrap-Beispiels: Sie nehmen Beobachtungen mit Ersatz durch eine Stichprobengröße von . Die Wahrscheinlichkeit, dass eine Beobachtung ausgelassen wird, ist* Betrachten Sie nun die Definition von und beobachten Sie, dass$n$$n$$(1-\frac{1}{n})^n.$$\exp(-1)=\lim \limits_{n\to\infty}(1-\frac{1}{n})^n$$\exp(-1)=0.3678...\approx\frac{1}{3}.$

* Um dies zu überprüfen, definiere ich den Wahrscheinlichkeitsraum des Bootstraps: wobei jedes ist eine Beobachtung, . Wir werden die Boostrap-Probe als . Beachten Sie, dass wir dieses Feld da wir eine endliche Anzahl von Beobachtungen haben müssen. Wenn wir unsere Bootstrap-Stichprobe einzeln beobachten, tritt unser Ereignis von Interesse auf, wenn eine Beobachtung für die Bootstrap-Stichprobe ausgewählt wird, und wir müssen ein Wahrscheinlichkeitsmaß dafür definieren. Das heißt, .$\Omega=\{x_1, x_2, x_3, \dots, x_n\}$$x_{i\in I=\{i\in\mathbb{N}:i\le n\}}$$\mathcal{F}=2^\Omega$$B$$\sigma$$\mathcal{F}$$E$$x_i$$P(E)=P(\{x_i \in B\})$

Wir können uns das Zeichnen eines Bootstrap-Beispiels als Experiment vorstellen, bei dem es Versuche gibt. In jedem Versuch wird eine unserer Beobachtungen gleichmäßig zufällig mit Ersetzung ausgewählt, sodass entweder mit der Wahrscheinlichkeit oder schließe mit der WahrscheinlichkeitUnser Wahrscheinlichkeitsraum ist jetzt vollständig definiert. Das Experiment, das wir durchführen, hat Versuche, daher ist die Wahrscheinlichkeit, dass in allen weggelassen wird, .$n$$x_i$$P(E)=\frac{|E|}{|\Omega|}=\frac{1}{n},$$x_i$$P(E^c)=\frac{|\Omega|-|E|}{|\Omega|}=1-\frac{1}{n}.$$(\Omega, \mathcal{F}, P)$$n$$x_i$$(\bigcup_{i=1}^n P(E))^c=\bigcap_{i=1}^n P(E^c)=(1-\frac{1}{n})^n$