Ist ein Entscheidungsstumpf ein lineares Modell?

Entscheidungsstumpf ist ein Entscheidungsbaum mit nur einer Teilung. Es kann auch als stückweise Funktion geschrieben werden.

Angenommen, ist ein Vektor und ist die erste Komponente von . Bei der Regressionseinstellung kann es sich um einen Entscheidungsstumpf handeln $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Aber ist es ein lineares Modell? wo kann geschrieben werden als ? Diese Frage mag seltsam klingen, denn wie in den Antworten und Kommentaren erwähnt, ist es keine Linie, wenn wir die stückweise Funktion zeichnen. Im nächsten Abschnitt erfahren Sie, warum ich diese Frage stelle. $f(x)=\beta^T x$

BEARBEITEN:

Der Grund, warum ich diese Frage stelle, ist, dass die logistische Regression ein (verallgemeinertes) lineares Modell ist und die Entscheidungsgrenze eine Linie ist, auch für den Entscheidungsstumpf. Beachten Sie, dass wir auch folgende Frage haben: Warum ist die logistische Regression ein lineares Modell? . Andererseits scheint es nicht wahr zu sein, dass der Entscheidungsstumpf ein lineares Modell ist.

Ein weiterer Grund, warum ich dies gefragt habe, ist die folgende Frage: Wenn der Grundschüler ein lineares Modell ist, ist das endgültige Modell dann nur ein einfaches lineares Modell? Wenn wir ein lineares Modell als Basislerner verwenden, erhalten wir nichts weiter als eine lineare Regression. Aber wenn wir den Grundschüler als Entscheidungsgrund wählen, bekommen wir ein sehr interessantes Modell.

Hier ist ein Beispiel für die Steigerung des Entscheidungsstumpfs bei Regression mit zwei Merkmalen und einer kontinuierlichen Reaktion.

machine-learning cart linear boosting Haitao Du
quelle

Warum halten Sie es für linear?

Tim

@ hxd1011 wichtig, um hier zwischen der Entscheidungsgrenze und der Entscheidungsfunktion zu unterscheiden

shadowtalker

Ich könnte es ein Polynom 1000. Ordnung nennen, bei dem alle Ordnungen von 1 bis 1000 gleich Null sind. Ich könnte es als Modell nullter Ordnung (auch als konstantes Modell bezeichnet) bezeichnen und es würde die Hauptmerkmale prägnanter kommunizieren. Ein klassischer Baum ist stückweise konstant. Der Trivialbaum, ein Stumpf, ist eine einzelne Spalte in dem Raum, in dem das Modell auf der einen Seite konstant ist und die andere eine andere Konstante. Es ist nicht global konstant, aber es ist auch nicht poly1. Die "kubistische" Bibliothek in R passt zu tatsächlichen linearen (poly1) Modellen anstelle von konstanten Modellen. Sie könnten das versuchen.

EngrStudent

Wenn Sie eine Linie in der Ebene zeichnen (sagen wir y = 0) und eine beliebige Funktion annehmen , hat Konturlinien, die tatsächliche Linien sind (parallel zur Achse) ), aber es wird keine lineare Funktion sein.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Matthew Drury

Das ist eine seltsame Frage. Können Sie die Funktion aus Ihrem Beispiel zeichnen (was für x <2 gleich 3 und für x> 2 gleich 5 ist)? Schau es dir an - ist es eine gerade Linie? Wenn es keine gerade Linie ist, dann ist es keine lineare Funktion.

Amöbe sagt Reinstate Monica

Antworten:

Nein, es sei denn, Sie transformieren die Daten.

Es ist ein lineares Modell, wenn Sie mit der Indikatorfunktion transformieren : $x$

x^{'} = ich ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Dann ist $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Bearbeiten: Dies wurde in den Kommentaren erwähnt, aber ich möchte es auch hier hervorheben. Jede Funktion, die die Daten in zwei Teile aufteilt, kann in ein lineares Modell dieser Form mit einem Schnittpunkt und einer einzelnen Eingabe umgewandelt werden (ein Indikator für die "Seite" der Partition, auf der sich der Datenpunkt befindet). Es ist wichtig , Kenntnis von dem Unterschied zwischen einer Entscheidung zu treffen , Funktion und einer Entscheidung Grenze .

Shadowtalker
quelle

"Transformation" ist schwierig, ich denke, neuronales Netzwerk (MLP) ist nicht linear, aber nach der Transformation ist es linear ..

Haitao Du

x^{'}

$x'$

x \leq 2

$x \leq 2$

@ hxd1011 Die Antwort lautet "Nein, es sei denn, Sie transformieren die Daten"

shadowtalker

Ich würde vorschlagen, dass Sie Ihre Antwort so bearbeiten, dass sie "Nein, es sei denn, Sie transformieren die Daten" (aus Ihrem letzten Kommentar) enthält. Derzeit lauten Ihre Eröffnungswörter "Es ist ein lineares Modell", und die Leute können verwirrt werden.

Amöbe sagt Reinstate Monica

Antworten auf Ihre Fragen:

Ein Entscheidungsstumpf ist kein lineares Modell.
Die Entscheidungsgrenze kann eine Linie sein, auch wenn das Modell nicht linear ist. Die logistische Regression ist ein Beispiel.
Das Boosted-Modell muss nicht mit dem Basismodell des Lernenden identisch sein. Wenn Sie darüber nachdenken, beweist Ihr Beispiel für Boosting und die damit verknüpfte Frage, dass der Entscheidungsstumpf kein lineares Modell ist.

Flunder
quelle

Diese Antwort ist ausführlicher als zur Beantwortung der Frage erforderlich. Ich hoffe, einige Kommentare von echten Experten zu provozieren.

Ich war einmal in einem Gerichtssaal und der Richter fragte (aus gutem Grund im Zusammenhang), ob wir einen Hundeschwanz ein Bein nennen, bedeutet das, dass ein Hund 5 Beine hat? Was ist ein lineares Modell?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ mit der wichtigen Einschränkung, dass die Fehlerausdrücke unabhängig und normalverteilt sind. Mit dieser Definition kann man nicht sagen, ob Ihr Modell linear ist, da Sie keine Informationen zum Fehlerterm angegeben haben. Wenn man die Fehlerbedingung fallen lässt, ist sie in der von Ihnen angegebenen Funktion oder in der von ssdecontrol angegebenen Funktion tautologisch linear. Dies kann jedoch naiv im Zusammenhang mit dieser Frage unbefriedigend sein. Jede Funktion kann in diesem Sinne als Grundlage einer Linearität angesehen werden. Das liegt daran, dass jeder Raum von Funktionen in einen Vektorraum von Funktionen umgewandelt werden kann.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

meh
quelle

Linearität hat nichts mit Fehlerbegriffen zu tun. Dies hat damit zu tun, dass es sich um eine lineare Kombination der Parameter handelt . Dies stellt eine gerade Linie im 2D-Raum dar (im Allgemeinen jedoch eine Ebene).

Shadowtalker

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Die Funktion wäre jedoch linear

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

Wenn er darauf besteht, dann ist das seine Meinung und keine harte Tatsache. Soweit mir bekannt ist, gibt es keine streng akzeptierte Definition für ein "lineares Modell", und ich habe auch keine Notwendigkeit dafür. Für mich verwandelt die Tatsache, dass es sich um einen Fehlerterm handelt, das Modell von einem "linearen Modell" in ein "statistisches lineares Modell". Ich sehe nichts inhärent Lineares an ihren Begriffen, noch sehe ich etwas inhärent Statistisches an linearen Modellen.

Shadowtalker

Die IMO, die auf dem Vorhandensein eines Fehlerbegriffs besteht, reduziert lediglich das, was beispielsweise ein Ingenieur oder Physiker als "lineares Modell" eines deterministischen physikalischen Prozesses ansieht.

Shadowtalker