Berechnen und zeichnen Sie die LDA-Entscheidungsgrenze

Ich habe eine grafische Darstellung der linearen Diskriminanzanalyse (LDA) mit Entscheidungsgrenzen aus den Elementen des statistischen Lernens gesehen : Bildbeschreibung hier eingeben

Ich verstehe, dass Daten auf einen unterdimensionalen Unterraum projiziert werden. Ich möchte jedoch wissen, wie wir die Entscheidungsgrenzen in der ursprünglichen Dimension erhalten, so dass ich die Entscheidungsgrenzen auf einen unterdimensionalen Unterraum projizieren kann (wie die schwarzen Linien im obigen Bild).

Gibt es eine Formel, mit der ich die Entscheidungsgrenzen in der ursprünglichen (höheren) Dimension berechnen kann? Wenn ja, welche Eingaben benötigt diese Formel?

r references discriminant-analysis mein Name ist Jeff
quelle

Anstelle von Entscheidungsgrenzen werden Sie wahrscheinlich mehr Nutzen darin finden, die hinteren Wahrscheinlichkeiten einer Klassenmitgliedschaft zu berücksichtigen. Dies kann mit weniger Annahmen unter Verwendung einer polytomen (multinomialen) logistischen Regression erfolgen, kann aber auch mit LDA (posterior Probabilities) erfolgen.

Frank Harrell

Innerhalb der LDA bilden diese Klassifizierungsgrenzen eine so genannte territoriale Karte . Ich arbeite mit SPSS und es zeichnet es , obwohl im Textformat. Laut einem SPSS-Designer lassen sich die Grenzen leicht durch einen praktischen Ansatz ermitteln:

ttnphns

(Forts.) Jeder Punkt eines feinen Gitters ist nach LDA klassifiziert. Wenn ein Punkt als Nachbarn klassifiziert wurde, wird dieser Punkt nicht angezeigt. Somit bleiben am Ende nur Grenzen als "Banden der Mehrdeutigkeit" übrig. Zitat:

they (bondaries) are never computed. The plot is drawn by classifying every character cell in it, then blanking out all those surrounded by cells classified into the same category

TTNPHNS

Diese besondere Figur in Hastie et al. wurde ohne Berechnung von Gleichungen von Klassengrenzen hergestellt. Stattdessen wurde der in den Kommentaren durch @ttnphns umrissene Algorithmus verwendet, siehe Fußnote 2 in Abschnitt 4.3, Seite 110:

Für diese Figur und viele ähnliche Figuren im Buch berechnen wir die Entscheidungsgrenzen mit einer erschöpfenden Konturierungsmethode. Wir berechnen die Entscheidungsregel anhand eines feinen Punktgitters und verwenden dann Konturierungsalgorithmen, um die Grenzen zu berechnen.

Ich werde jedoch mit der Beschreibung fortfahren, wie Gleichungen von LDA-Klassengrenzen erhalten werden.

Beginnen wir mit einem einfachen 2D-Beispiel. Hier sind die Daten aus dem Iris-Datensatz . Ich verwerfe die Blütenblattmessungen und berücksichtige nur die Kelchblattlänge und -breite. Drei Klassen sind rot, grün und blau markiert:

Iris-Datensatz

Lassen Sie uns Klassenmittel (Zentroide) als . Die LDA geht davon aus, dass alle Klassen innerhalb der Klasse die gleiche Kovarianz aufweisen. Wenn die Daten gegeben sind, wird diese gemeinsame Kovarianzmatrix (bis zur Skalierung) als , wobei die Summe über alle Datenpunkte und den Schwerpunkt des jeweiligen ist Klasse wird von jedem Punkt abgezogen. $\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$ $\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$

Für jedes Klassenpaar (zB Klasse und ) gibt es eine Klassengrenze zwischen ihnen. Es ist offensichtlich, dass die Grenze durch den Mittelpunkt zwischen den beiden Klassenschwerpunkten . Eines der zentralen LDA-Ergebnisse ist, dass diese Grenze eine zu orthogonale Gerade ist . Es gibt mehrere Möglichkeiten, um dieses Ergebnis zu erhalten, und obwohl dies nicht Teil der Frage war, möchte ich im Anhang unten drei davon kurz erwähnen. $1$ $2$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

Beachten Sie, dass das, was oben geschrieben wurde, bereits eine genaue Spezifikation der Grenze ist. Wenn man eine Geradengleichung in der Standardform haben möchte , dann können die Koeffizienten und berechnet werden und werden durch einige unordentliche Formeln angegeben. Ich kann mir kaum eine Situation vorstellen, in der dies nötig wäre. $y=ax+b$ $a$ $b$

Wenden wir diese Formel nun auf das Beispiel Iris an. Für jedes Klassenpaar finde ich einen Mittelpunkt und zeichne eine Linie senkrecht zu : $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

LDA des Iris-Datensatzes, Entscheidungsgrenzen

Wie zu erwarten, schneiden sich drei Linien in einem Punkt. Entscheidungsgrenzen werden durch Strahlen gegeben, die vom Schnittpunkt ausgehen:

LDA des Iris-Datensatzes, endgültige Entscheidungsgrenzen

$K\gg 2$ $K(K-1)/2$

$D>2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $D-1$

Blinddarm

$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$\mathbf{W}^{-1}$ $\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$
$\mathbf x$ $k$ $(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$ $1$ $2$ $\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$
$\mathbf{W}$ $\boldsymbol \mu_1 - \boldsymbol \mu_2$ $\mathbf{W}$ $\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$ $\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$ $\mathbf S$ $\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S^{-1}$ $\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S$

Amöbe sagt Reinstate Monica
quelle

Ich habe deine Antwort nicht studiert. Es scheint raffiniert und kann richtig sein. Was ist mit dem praktischen und einfacheren Ansatz "Punkte streuen, klassifizieren und dann Grenzen ableiten", den ich in einem Kommentar skizziert habe? Ist Ihr Ansatz mit den Ergebnissen vergleichbar (die offensichtlich korrekt sind)? Was denkst du?

TTNPHNS

@ttnphns: Der einzige technische Teil meiner Antwort (eine nummerierte Liste mit 3 Elementen) besteht darin, einige Beweise zu liefern, die ohne Bedenken übersprungen werden können. Der Rest ist meiner Meinung nach nicht besonders raffiniert! Vielleicht sollte ich diesen "zusätzlichen" Teil als Anhang nach unten verschieben? Zu Ihren Kommentaren: Ich halte dies für einen gültigen Ansatz, und ich mag die ASCII-Darstellung der SPSS-Gebietskarte. Vielleicht könnten Sie Ihre Kommentare in eine separate Antwort verschieben (und dort ein beispielhaftes Bild der SPSS-Karte geben), ich denke, es wäre hilfreich für zukünftige Referenzen. Die Ergebnisse sollten natürlich gleichwertig sein.

Amöbe sagt Reinstate Monica

@ttnphns: Es stellt sich heraus, dass Hastie et al. wendeten genau die Methode an, die Sie hier beschrieben haben, um ihre Zahlen zu zeichnen, einschließlich der im OP wiedergegebenen. Genau das fand ich in einer Fußnote (und aktualisierte meine Antwort, wobei ich sie am Anfang zitierte).

Amöbe sagt Reinstate Monica

Waouh! ausgezeichnete Antwort (3 Jahre später!) Darf ich fragen, wie Sie die Segmente in diesem speziellen Problem zeichnen müssen?

Xavier Bourret Sicotte

Berechnen und zeichnen Sie die LDA-Entscheidungsgrenze

Antworten: