Was ist der Hauptunterschied zwischen Korrelation und gegenseitiger Information?

Antworten:

25

Die Korrelation misst die lineare Beziehung (Pearson-Korrelation) oder die monotone Beziehung (Spearman-Korrelation) zwischen zwei Variablen, X und Y.

Die gegenseitige Information ist allgemeiner und misst die Verringerung der Unsicherheit in Y nach Beobachtung von X. Sie ist der KL-Abstand zwischen der Fugendichte und dem Produkt der einzelnen Dichten. So kann MI nicht-monotone Beziehungen und andere kompliziertere Beziehungen messen.

Rob Hyndman
quelle
3
Die Korrelation ist nicht unbedingt linear - Spearmans Rho beruht auf der monotonen Funktion, und dennoch bezeichnen wir sie als "Korrelationskoeffizienten" und nicht als "Koeffizienten der gegenseitigen Information". Und das aus gutem Grund: Es enthält Informationen zur Zuordnung zwischen zwei Variablen. Gegenseitige Information, redundante Information, gegenseitige Varianz, Korrelation - diese Begriffe sind so ähnlich, und diese Frage bezieht sich auf die Netzwerkrekonstruktion. Ich denke, dass wir mit der richtigen Terminologie im falschen Bereich gelandet sind. Dies ist eine ganz bestimmte Frage ...
aL3xa
1
Guter Punkt. Ich habe meine Antwort so bearbeitet, dass sie monotone Beziehungen enthält. Ich weiß nichts über Netzwerkrekonstruktion.
Rob Hyndman
4

Um Robs Antwort zu ergänzen: In Bezug auf das Reverse Engineering eines Netzwerks wird MI möglicherweise der Korrelation vorgezogen, wenn Sie kausale Links in Ihrem Netzwerk extrahieren möchten, anstatt assoziative. Korrelationsnetzwerke sind rein assoziativ. Für MI benötigen Sie jedoch mehr Daten und Rechenleistung.

ars
quelle