Wie reduziert die lineare Diskriminanzanalyse die Dimensionen?

18

Es gibt Wörter aus "Die Elemente des statistischen Lernens" auf Seite 91:

Die K-Schwerpunkte im p-dimensionalen Eingangsraum überspannen höchstens den K-1-dimensionalen Unterraum, und wenn p viel größer als K ist, ist dies ein beträchtlicher Dimensionsabfall.

Ich habe zwei Fragen:

  1. Warum überspannen die K-Schwerpunkte im p-dimensionalen Eingaberaum höchstens den K-1-dimensionalen Unterraum?
  2. Wie befinden sich die K-Zentroide?

Es gibt keine Erklärung in dem Buch und ich habe die Antwort von verwandten Artikeln nicht gefunden.

jerry_sjtu
quelle
3
Die Zentren liegen in einem höchstens dimensionalen affinen Unterraum. Zum Beispiel liegen zwei Punkte auf einer Linie, einen dimensionalen Unterraum. Dies ist nur die Definition eines affinen Unterraums und einer elementaren linearen Algebra. K - 1 2 - 1KK121
Deinst
Eine sehr ähnliche Frage: stats.stackexchange.com/q/169436/3277 .
TTNPHNS

Antworten:

16

Diskriminanten sind die Achsen und die latenten Variablen, die die Klassen am stärksten unterscheiden. Die Anzahl der möglichen Diskriminanten beträgt . Zum Beispiel können mit k = 3 Klassen im p = 2-dimensionalen Raum höchstens 2 Diskriminanten existieren, wie in der folgenden Grafik. (Beachten Sie, dass Diskriminanten nicht notwendigerweise als Achsen orthogonal sind, die im ursprünglichen Raum gezeichnet wurden, obwohl sie als Variablen nicht korreliert sind.) Die Schwerpunkte der Klassen befinden sich innerhalb des Diskriminantensubraums entsprechend ihren senkrechten Koordinaten auf den Diskriminanten.min(k1,p)

Bildbeschreibung hier eingeben

Die Algebra der LDA in der Extraktionsphase ist da .

ttnphns
quelle
Nizza Grafik, welche Software / Paket haben Sie verwendet, um es zu erstellen?
Michelle
SPSS. Selbstgeschriebenes Makro für SPSS.
TTNPHNS
Bedeutet dies, dass Sie in einer LDA mit beispielsweise drei Klassen mit Überlappung keine gute Klassentrennung sehen, bis Sie die Achse neu skalieren? Ich meine, ich führe eine LDA und meine Klassen sind getrennt ... aber sie liegen in jeder Diskriminierungsachse übereinander, mit Ausnahme der ersten ... und diese ist riesig.
donlan
14

Während "The Elements of Statistical Learning" ein brillantes Buch ist, erfordert es ein relativ hohes Maß an Wissen, um das Beste aus ihm herauszuholen. Es gibt viele andere Ressourcen im Web, die Ihnen helfen, die Themen im Buch zu verstehen.

Nehmen wir ein sehr einfaches Beispiel für eine lineare Diskriminanzanalyse, bei der Sie einen Satz zweidimensionaler Datenpunkte in K = 2 Gruppen gruppieren möchten. Der Dimensionsverlust wird nur K-1 = 2-1 = 1 sein. Wie @deinst erklärt, kann der Dimensionsverlust mit elementarer Geometrie erklärt werden.

Zwei Punkte in einer beliebigen Dimension können durch eine Linie verbunden werden, und eine Linie ist eindimensional. Dies ist ein Beispiel für einen K-1 = 2-1 = 1-dimensionalen Unterraum.

In diesem einfachen Beispiel wird die Menge der Datenpunkte nun im zweidimensionalen Raum gestreut. Die Punkte werden durch (x, y) dargestellt, sodass Sie beispielsweise Datenpunkte wie (1,2), (2,1), (9,10), (13,13) haben können. Wenn Sie nun die lineare Diskriminanzanalyse verwenden, um zwei Gruppen A und B zu erstellen, werden die Datenpunkte als zu Gruppe A oder zu Gruppe B gehörig klassifiziert, sodass bestimmte Eigenschaften erfüllt sind. Die lineare Diskriminanzanalyse versucht, die Varianz zwischen den Gruppen im Vergleich zur Varianz innerhalb der Gruppen zu maximieren.

Mit anderen Worten, die Gruppen A und B sind weit voneinander entfernt und enthalten Datenpunkte, die nahe beieinander liegen. In diesem einfachen Beispiel ist es klar, dass die Punkte wie folgt gruppiert werden. Gruppe A = {(1,2), (2,1)} und Gruppe B = {(9,10), (13,13)}.

Nun werden also die Zentroide als die Zentroide der Datenpunktgruppen berechnet

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Die Centroids sind einfach 2 Punkte und überspannen eine eindimensionale Linie, die sie miteinander verbindet.

Abbildung 1

Sie können sich die lineare Diskriminanzanalyse als Projektion der Datenpunkte auf einer Linie vorstellen, so dass die beiden Gruppen von Datenpunkten so "getrennt wie möglich" sind.

Wenn Sie drei Gruppen hätten (und dreidimensionale Datenpunkte sagen), würden Sie drei Zentroide erhalten, einfach drei Punkte, und drei Punkte im 3D-Raum definieren eine zweidimensionale Ebene. Wieder die Regel K-1 = 3-1 = 2 Dimensionen.

Ich schlage vor, Sie durchsuchen das Web nach Ressourcen, die Ihnen helfen, die einfache Einführung, die ich gegeben habe, zu erklären und zu erweitern. Zum Beispiel http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf

martino
quelle
1
Willkommen auf unserer Seite, Martino!
whuber
danke @whuber, nettes Diagramm, ich hatte keine solchen Werkzeuge zur Hand :(
martino
Ich hätte nicht gedacht, dass du den Ruf hast, ein Bild zu posten, Martino. Deshalb habe ich eines für dich gemacht. Aber jetzt - oder bald - wirst du genug Repräsentanten haben. Wenn nichts praktisch ist, können Sie frei verfügbare Software mit Funktionen zum Zeichnen von Geometrien wie R oder Geogebra verwenden . (Sie werden feststellen, dass illustrierte Antworten mehr Aufmerksamkeit erhalten: Sie sind attraktiver und lesbarer.)
whuber
Warum die Gegenstimme? Wenn es ein Problem mit der Antwort gibt, wäre es hilfreich, darauf hinzuweisen - ich kann es nicht sehen
martino