Kürzlich wurde ein Freund von mir in einem Interview gefragt, ob Entscheidungsbaumalgorithmen lineare oder nichtlineare Algorithmen sind. Ich habe versucht, nach Antworten auf diese Frage zu suchen, konnte aber keine zufriedenstellende Erklärung finden. Kann jemand die Lösung dieser Frage beantworten und erklären? Was sind noch andere Beispiele für nichtlineare Algorithmen für maschinelles Lernen?
21
Antworten:
Ein Entscheidungsbaum ist eine nichtlineare Abbildung von
X
bisy
. Dies ist leicht zu erkennen, wenn Sie eine beliebige Funktion übernehmen und einen Baum mit maximaler Tiefe erstellen.Beispielsweise:
Natürlich ist dies ein vollständig überpassender Baum und wird nicht verallgemeinern. Aber es zeigt, warum ein Entscheidungsbaum eine nichtlineare Abbildung ist.
quelle
Entscheidungsbäume sind nichtlineare Klassifizierer wie neuronale Netze usw. Sie werden im Allgemeinen zum Klassifizieren nichtlinear trennbarer Daten verwendet.
Selbst wenn Sie das Regressionsbeispiel betrachten, ist der Entscheidungsbaum nicht linear.
Zum Beispiel würde eine lineare Regressionslinie ungefähr so aussehen:
Die roten Punkte sind die Datenpunkte.
Und ein Entscheidungsbaum-Regressionsdiagramm würde ungefähr so aussehen:
Entscheidungsbäume sind also eindeutig nicht linear
quelle
Entscheidungsbäume sind nicht linear. Im Gegensatz zur linearen Regression gibt es keine Gleichung, um die Beziehung zwischen unabhängigen und abhängigen Variablen auszudrücken.
Ex:
Lineare Regression - Fruchtpreis = b0 + b1 * Frische + b2 * Größe
Entscheidungsbaum - Knoten: Reif - Ja oder Nein | Frisch - ja oder nein | Größe - <5,> 5, aber <10 und> 10 |
Im zweiten Fall gibt es keine lineare Beziehung zwischen unabhängigen und abhängigen Variablen.
quelle
Wie viele betonten, ist ein Regressions- / Entscheidungsbaum ein nicht lineares Modell. Beachten Sie jedoch, dass es sich um ein stückweise lineares Modell handelt: In jeder Nachbarschaft (nicht linear definiert) ist es linear. Tatsächlich ist das Modell nur eine lokale Konstante.
quelle
ID3
C4.5
quelle