Intuitive Erklärung der Funktionsweise von UMAP im Vergleich zu t-SNE

Ich habe einen Doktortitel in Molekularbiologie. Meine Studien haben vor kurzem begonnen, hochdimensionale Datenanalysen zu beinhalten. Ich hatte die Idee, wie t-SNE funktioniert (dank eines StatQuest-Videos auf YouTube ), kann mich aber nicht um UMAP kümmern (ich habe mir den Vortrag des UMAP-Erstellers online angehört, fand ihn aber nicht leicht zu verstehen). Ich ging zurück zum Originalpapier, in dem es beschrieben wurde, aber es war zu viel Mathematik für mich.

Kann jemand etwas Licht in das Thema bringen? Ich suche oder eine intuitive Erklärung, ähnlich dem oben verlinkten StatQuest-Video.

Sie sagten, dass Ihr Verständnis von t-SNE auf https://www.youtube.com/watch?v=NEaUSP4YerM basiert und Sie nach einer Erklärung für UMAP auf einer ähnlichen Ebene suchen.

Ich habe dieses Video gesehen und es ist ziemlich genau in dem, was es sagt (ich habe ein paar kleine Nitpicks, aber insgesamt ist es in Ordnung). Komischerweise trifft es fast so auf UMAP zu, wie es ist. Hier sind Dinge, die nicht zutreffen:

1. Ähnlichkeiten werden aus Entfernungen unter Verwendung eines anderen Kernels berechnet; es ist nicht Gaußsch, aber es fällt auch exponentiell ab und es hat auch eine adaptive Breite, wie in t-SNE.
2. Ähnlichkeiten werden nicht auf 1 normiert, sondern am Ende auf einen konstanten Wert normiert.
3. Ähnlichkeiten werden symmetrisiert, aber nicht nur durch Mittelung.
4. Der Ähnlichkeitskern im Einbettungsraum ist nicht genau ein t-Verteilungskern, sondern ein sehr sehr ähnlicher Kernel.

Ich denke, all diese Unterschiede sind nicht sehr wichtig und nicht sehr folgenreich. Der eigentlich wichtige Teil ist der Teil, in dem der Erzähler im Video sagt (10m40s):

Wir möchten, dass diese Zeile wie diese Zeile aussieht [...]

Das Video erklärt nicht, wie t-SNE quantifiziert, ob sie ähnlich sind oder nicht, und wie weiterhin erreicht wird, dass sie ähnlich aussehen. Beide Teile sind in UMAP unterschiedlich. Die zitierte Aussage kann aber auch für UMAP gelten.

Die Art und Weise, wie das UMAP-Papier geschrieben ist, die rechnerischen Ähnlichkeiten mit t-SNE sind nicht sehr offensichtlich. Scrollen Sie nach unten zu Anhang C unter https://arxiv.org/pdf/1802.03426.pdf und / oder suchen Sie hier https://jlmelville.github.io/uwot/umap-for-tsne.html , wenn Sie eine sehen möchten Nebeneinander Vergleich der oben aufgeführten Berechnungen und der Verlustfunktionen von t-SNE und UMAP.

Der Hauptunterschied zwischen t-SNE und UMAP ist die Interpretation des Abstands zwischen Objekten oder "Clustern". Ich benutze die Anführungszeichen, da beide Algorithmen nicht für das Clustering gedacht sind - sie sind hauptsächlich für die Visualisierung gedacht.

t-SNE behält die lokale Struktur in den Daten bei.

UMAP behauptet, sowohl die lokale als auch den größten Teil der globalen Struktur in den Daten beizubehalten.

Dies bedeutet, dass Sie mit t-SNE den Abstand zwischen den Clustern A und B an verschiedenen Enden Ihres Diagramms nicht interpretieren können. Sie können nicht schließen, dass diese Cluster unterschiedlicher sind als A und C, wobei C im Diagramm näher an A liegt. Innerhalb von Cluster A können Sie jedoch sagen, dass nahe beieinander liegende Punkte ähnlichere Objekte sind als Punkte an verschiedenen Enden des Clusterbilds.

Mit UMAP sollten Sie in der Lage sein, sowohl die Abstände zwischen / Positionen von Punkten als auch von Clustern zu interpretieren.

Beide Algorithmen sind sehr stochastisch und hängen stark von der Wahl der Hyperparameter ab (t-SNE sogar mehr als UMAP) und können in verschiedenen Läufen sehr unterschiedliche Ergebnisse liefern, sodass Ihr Diagramm möglicherweise Informationen in den Daten verschleiert, die ein nachfolgender Lauf möglicherweise enthüllt.

Gute alte PCA hingegen ist deterministisch und mit Grundkenntnissen der linearen Algebra (Matrixmultiplikation und Eigenprobleme) leicht verständlich, aber nur eine lineare Reduktion im Gegensatz zu den nichtlinearen Reduktionen von t-SNE und UMAP.