Adjusted Rand Index vs Adjusted Mutual Information

9

Ich versuche, die Clusterleistung zu bewerten. Ich habe die Skiscit-Learn-Dokumentation zu Metriken gelesen . Ich verstehe den Unterschied zwischen ARI und AMI nicht. Es scheint mir, dass sie dasselbe auf zwei verschiedene Arten tun.

Zitieren aus der Dokumentation:

Angesichts der Kenntnis der Zuordnungen der Grundwahrheitsklassen Labels_true und unserer Clustering-Algorithmus-Zuweisungen derselben Stichproben Labels_pred ist der angepasste Rand-Index eine Funktion, die die Ähnlichkeit der beiden Zuweisungen misst , Permutationen ignoriert und zufällig normalisiert.

vs.

Angesichts der Kenntnis der Zuordnungen der Grundwahrheitsklassen Labels_true und unserer Zuordnungen von Clustering-Algorithmen für dieselben Stichproben label_pred ist die gegenseitige Information eine Funktion, die die Übereinstimmung der beiden Zuweisungen misst und Permutationen ignoriert ... AMI wurde kürzlich vorgeschlagen und gegen normalisiert Chance.

Sollte ich beide in meiner Clustering-Bewertung verwenden oder wäre dies redundant?

clustering python scikit-learn al27091
quelle
Mr. Rand ist nicht zufällig.
Hat aufgehört - Anony-Mousse

Antworten:

2

Es sind zwei von einem Dutzend, die alle versuchen, Cluster zu vergleichen.

Aber sie sind nicht gleichwertig. Sie verwenden unterschiedliche Theorien.

Manchmal bevorzugt ARI ein Ergebnis und das AMI ein anderes. Aber oft stimmen sie bevorzugt überein (nicht in den Zahlen).

Hat aufgehört - Anony-Mousse
quelle
Was meinst du mit: "sie stimmen bevorzugt überein (nicht in den Zahlen)?"
al27091
Wenn Sie mehrere Ergebnisse vergleichen.
Hat aufgehört - Anony-Mousse
9

Als Faustregel gilt:

  • Verwenden Sie ARI, wenn das Clustering der Grundwahrheit große Cluster gleicher Größe aufweist
  • USA AMI, wenn das Clustering der Grundwahrheit unausgeglichen ist und kleine Cluster existieren

Ich habe an diesem Thema gearbeitet. Referenz: Anpassen von Vergleichsmaßnahmen für zufällige Cluster

Simone
quelle
Ich habe HDBSCAN und KMeans auf einige meiner Datensätze mit der richtigen Anzahl von Clustern für KMeans und der richtigen minimalen Clustergröße für HDBSCAN angewendet. Mein Problem ist, dass eine Progression bei AMI nicht mit einer Progression bei ARI korreliert. Ich bekomme einen Mittelwert von 0,3 und 0,35 in AMI, was niedrig ist. Ich erhalte ARI-Ergebnisse nahe 0: 0,07 bzw. 0,01 Mittelwert. Selbst in den Fällen, in denen ich mit HDBSCAN einen besseren AMI erhalten habe, lagen meine ARI-Werte sehr nahe bei 0, dh HDBSCAN erzeugt einen niedrigeren ARI als KMeans, selbst in Fällen, in denen der AMI höher ist.
Ryuzakinho
Welche Art von Clustering-Ergebnissen bedeuten 0,3 und 0,35 für AMI?
Simone
1
pastebin.com/raw/WHvTxbLm Dies ist einer der Fälle, die ich nicht verstehe: Besseres AMI bedeutet nicht besseres ARI und umgekehrt. Gibt es einen Grund, warum ich der relativen Verbesserung des einen oder anderen vertrauen würde? Ich bin mir nicht sicher, welche Metrik ich betrachten soll, um meine Ergebnisse zu verbessern (aus dem von Ihnen verlinkten Artikel geht hervor, dass es angesichts meiner Klassenverteilung AMI sein sollte, aber ich bin immer noch verwirrt).
Ryuzakinho
1
In Ihrem Fall zeigt das HDBSCAN-Ergebnis einen sehr großen und viele kleine Cluster, was per Definition eine unausgeglichene Lösung ist. Daher ist AMI mit DBSCAN größer. Ihre Grundwahrheit ist ausgewogener als diese Lösung. Daher würde ich ARI verwenden, um die Lösung hier zu wählen. Trotzdem scheinen die von Ihnen erhaltenen Clustering-Lösungen nicht so gut zu sein. Vielleicht liegt es daran, dass Sie viele Cluster haben. Könnten Sie die Anzahl der gewünschten Cluster reduzieren? Oder müssen Sie Funktionen berücksichtigen, anstatt ein rein entfernungsbasiertes Clustering zu verwenden?
Simone
1
Nach mehr qualitativen Tests stellte sich heraus, dass AMI für meinen Anwendungsfall zuverlässiger war. In der Tat sagte AMI, dass der HDBSCAN besser sei, und ich fand ihn in der Tat besser. Obwohl ich einen großen Rauschcluster hatte, waren die anderen Cluster reiner als die KMEANS-Cluster.
Ryuzakinho