Was ist Bayes Error beim maschinellen Lernen?

http://www.deeplearningbook.org/contents/ml.html In diesem Abschnitt wird der Bayes-Fehler wie folgt erläutert

Das ideale Modell ist ein Orakel, das einfach die wahre Wahrscheinlichkeitsverteilung kennt, die die Daten erzeugt. Sogar ein solches Modell wird bei vielen Problemen immer noch Fehler verursachen, da möglicherweise immer noch Rauschen in der Verteilung vorhanden ist. Im Fall des überwachten Lernens kann die Abbildung von x auf y inhärent stochastisch sein, oder y kann eine deterministische Funktion sein, die andere Variablen als die in x enthaltenen einbezieht. Der Fehler, der von einem Orakel verursacht wird, das Vorhersagen aus der wahren Verteilung p (x, y) macht, wird als Bayes-Fehler bezeichnet.

Fragen

1. Bitte erläutern Sie den Bayes-Fehler intuitiv.
2. Wie unterscheidet es sich von irreduziblen Fehlern?
3. Kann ich Total Error = Bias + Varianz + Bayes Error sagen?
4. Was bedeutet "y kann von Natur aus stochastisch sein"?

$y$

Wenn wir zum Beispiel eine faire Münze werfen, wissen wir genau, welcher Prozess das Ergebnis erzeugt (eine Binomialverteilung). Wenn wir jedoch das Ergebnis einer Reihe von Münzwürfen vorhersagen würden, würden wir immer noch Fehler machen, da der Prozess von Natur aus zufällig (dh stochastisch) ist.

Um Ihre andere Frage zu beantworten, sind Sie der Meinung, dass der Gesamtfehler die Summe aus (quadratischer) Abweichung, Varianz und irreduziblem Fehler ist. Weitere Informationen zu diesen drei Konzepten finden Sie auch in diesem Artikel.

Von https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Für die Klassifizierungsaufgabe ist der Bayes-Fehler wie folgt definiert:

$min_f=Cost(f)$

$argmin_f=Cost(f)$

$\not\equiv$

$y=f(x)=sin(x)$$\tilde{y}=y+t$$t\sim N(0, \sigma^2)$ Sie haben also keine Möglichkeit, reales y zu kennen, und die Kostenschätzung, die Sie haben, ist inhärent verschmutzt. Sogar Oracle gibt Ihnen die richtige Antwort, Sie denken, dass sie falsch sind.