Ist der nächste Nachbar mit t-SNE sinnvoll?

Die Antworten hier haben festgestellt, dass die Dimensionen in t-SNE bedeutungslos sind und dass die Abstände zwischen Punkten kein Maß für die Ähnlichkeit sind .

Können wir jedoch etwas über einen Punkt sagen, der auf seinen nächsten Nachbarn im t-SNE-Raum basiert? Diese Antwort darauf , warum Punkte, die genau gleich sind, nicht gruppiert werden, legt nahe, dass das Verhältnis der Abstände zwischen Punkten zwischen niedrig- und höherdimensionalen Darstellungen ähnlich ist.

Das folgende Bild zeigt beispielsweise t-SNE in einem meiner Datensätze (15 Klassen).

Kann ich sagen, dass cro 479(oben rechts) ein Ausreißer ist? Ist fra 1353(unten links) ähnlicher cir 375als die anderen Bilder in der fraKlasse usw.? Oder könnten dies nur Artefakte sein, z. B. fra 1353auf der anderen Seite einiger Cluster stecken bleiben und sich nicht in die andere fraKlasse durchsetzen können?

Nein, es ist nicht notwendig, dass dies der Fall ist, dies ist jedoch in verschlungener Weise das Ziel von T-SNE.

Bevor wir uns mit der Antwort befassen, werfen wir einen Blick auf einige grundlegende Definitionen, sowohl mathematisch als auch intuitiv.

$\mathbb{R}^d$$X_1, ..., X_n \in \mathbb{R}^d$$x \in \mathbb{R}^d$$|| X_1 - x || \le ... \le ||X_n - x ||$$\mathbb{R}^d$

$d$$y$$x$$d$$d$$d + k$. Wir haben also unsere Intuition, dass der Abstand über verschiedene Dimensionen hinweg eingehalten wird, oder zumindest ist es das, was wir anstreben. Versuchen wir es mit etwas Mathematik zu rechtfertigen.

$p_{j | i} = \frac{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}{\sum_{k \neq i}{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}}$$\mathbb{R}^k$

Nun endlich ein ordentliches Codierungsbeispiel, das auch dieses Konzept demonstriert.

from sklearn.manifold import TSNE
from sklearn.neighbors import KNeighborsClassifier
X = [[0],[1],[2],[3],[4],[5],[6],[7],[8],[9]]
y = [0,1,2,3,4,5,6,7,8,9]
neighs = KNeighborsClassifier(n_neighbors=3)
neighs.fit(X, y)
X_embedded = TSNE(n_components=1).fit_transform(X)
neighs_tsne = KNeighborsClassifier(n_neighbors=3)
neighs_tsne.fit(X_embedded, y)
print(neighs.predict([[1.1]]))
>>>[0]
print(neighs_tsne.predict([[1.1]]))
>>>[0]

Obwohl dies ein sehr naives Beispiel ist und nicht die Komplexität widerspiegelt, funktioniert es experimentell für einige einfache Beispiele.

EDIT: Wenn Sie einige Punkte in Bezug auf die Frage selbst hinzufügen, ist es nicht erforderlich, dass dies der Fall ist. Eine Rationalisierung durch Mathematik könnte jedoch beweisen, dass Sie kein konkretes Ergebnis haben (kein definitives Ja oder Nein). .

Ich hoffe, dies hat einige Ihrer Bedenken gegenüber TSNE ausgeräumt.