Durch lokales lineares Einbetten (Local Linear Embedding, LLE) muss der Abstand zwischen entfernten Objekten nicht mehr geschätzt werden, und die globale nichtlineare Struktur wird durch lokale lineare Anpassungen wiederhergestellt. LLE ist vorteilhaft, weil es keine Parameter wie Lernraten oder Konvergenzkriterien enthält. LLE skaliert auch gut mit der intrinsischen Dimensionalität von Y . Die Zielfunktion für LLE ist
ζ(Y)=(Y−WY)2=Y⊤(I−W)⊤(I−W)Y
Die GewichtungsmatrixW Elementewij für Objektei undj werden auf Null gesetzt, wennj kein nächster Nachbar voni , andernfalls die Gewichte für die K- nächste Nachbarn des Objektsi überkleinsten Quadrate bestimmt werden Anfälle von
U=Gβ
wobei der abhängigen VariableU aK×1 - Vektor von Einsen,G aK×K Gramm-Matrix für alle nächsten Nachbarn des Objekts i , und β ist ein K×1 Vektor von Gewichten, die Summen-zu-Einheits-Beschränkungen folgen. Sei D eine symmetrisch positive semidefinite K×K Distanzmatrix für alle Paare der K-nächsten Nachbarn des p dimensionalen Objekts xi . Es kann gezeigt werden, dass G gleich der doppelt zentrierten Distanzmatrix τ mit Elementen
τlm=−12(d2lm−1K∑ld2lm−1K∑md2lm+∑l∑md2lm).
DieKRegressionskoeffizienten werden unter Verwendungnumerisch bestimmt
βK×1=(τ⊤τ)K×K−1τ⊤UK×1,
und überprüftum sie auf Eins summieren zu bestätigen. Die Werte vonβsind in die ReiheivonWeingebettetW an den verschiedenen Spaltenpositionen, die den K-nächsten Nachbarn des Objekts entsprecheni , sowie den Transponierungselementen. Dies wird für jedesi te Objekt im Datensatzwiederholt. Es ist zu beachten, dass W spärlich sein kann, wenn die Anzahl der nächsten NachbarnK zu gering ist,was dazu führt, dass die Eigenanalyse schwierig wird. Es wurde beobachtet, dass K = 9 nächste Nachbarn zu W- Matrizen führten, die während der Eigenanalyse keine Pathologien enthielten. Die Zielfunktion wird minimiert, indem die kleinsten Nicht-Null-Eigenwerte von
( I - W ) ⊤ ( I - W ermittelt werdenWK=9W(I−W)⊤(I−W)E=ΛDE.
Die reduzierte Form vonX wird durchY=E wobeiE Dimensionenn×2 die auf den zwei niedrigsten Eigenwerten vonΛ basieren.