Ein bisschen zu spät zur Party, aber ich glaube, dass diese Frage eine Antwort mit konkreten Beispielen gebrauchen könnte.
Ich werde eine Zusammenfassung dieses hervorragenden Artikels schreiben : Bias-Varianz-Kompromiss , der mir geholfen hat, das Thema zu verstehen.
Der Vorhersagefehler für jeden Algorithmus für maschinelles Lernen kann in drei Teile unterteilt werden:
- Vorspannungsfehler
- Abweichungsfehler
- Irreduzibler Fehler
Irreduzibler Fehler
Wie der Name schon sagt, handelt es sich um eine Fehlerkomponente, die wir unabhängig vom Algorithmus und der Parameterauswahl nicht korrigieren können. Irreduzierbarer Fehler ist auf Komplexitäten zurückzuführen, die im Trainingssatz einfach nicht erfasst werden. Dies können Attribute sein, die wir nicht in einem Lernsatz haben, die sich jedoch auf das Ergebnis der Zuordnung auswirken.
Vorspannungsfehler
Der Vorspannungsfehler beruht auf unseren Annahmen über die Zielfunktion. Je mehr Annahmen (Einschränkungen) wir über Zielfunktionen treffen, desto mehr Verzerrungen führen wir ein. Modelle mit hoher Verzerrung sind weniger flexibel, weil wir den Zielfunktionen mehr Regeln auferlegt haben.
Abweichungsfehler
Varianzfehler ist die Variabilität der Form einer Zielfunktion in Bezug auf verschiedene Trainingssätze. Modelle mit kleinen Varianzfehlern ändern sich kaum, wenn Sie einige Proben im Trainingssatz ersetzen. Modelle mit hoher Varianz können bereits bei kleinen Änderungen des Trainingssatzes betroffen sein.
Betrachten Sie die einfache lineare Regression:
Y=b0+b1x
Dies ist offensichtlich eine ziemlich restriktive Definition einer Zielfunktion, und daher weist dieses Modell eine hohe Verzerrung auf.
Auf der anderen Seite ist es aufgrund der geringen Varianz, wenn Sie einige Datenstichproben ändern, unwahrscheinlich, dass dies zu größeren Änderungen in der Gesamtzuordnung führt, die die Zielfunktion ausführt. Andererseits haben Algorithmen wie k-Nearest-Neighbours eine hohe Varianz und eine niedrige Vorspannung. Es ist leicht vorstellbar, wie sich unterschiedliche Proben auf die KNN-Entscheidungsoberfläche auswirken könnten.
Im Allgemeinen weisen parametrische Algorithmen einen hohen Bias und eine niedrige Varianz auf und umgekehrt.
Eine der Herausforderungen des maschinellen Lernens besteht darin, das richtige Gleichgewicht zwischen Bias- und Varianzfehlern zu finden.
Entscheidungsbaum
Nachdem wir diese Definitionen eingeführt haben, ist es auch einfach zu erkennen, dass Entscheidungsbäume ein Beispiel für ein Modell mit geringer Verzerrung und hoher Varianz sind. Der Baum macht fast keine Annahmen über die Zielfunktion, ist jedoch sehr anfällig für Datenabweichungen.
Es gibt Ensemble-Algorithmen wie Bootstrapping-Aggregation und Random Forest, die darauf abzielen, die Varianz bei geringen Verzerrungskosten im Entscheidungsbaum zu verringern.
