Entfernungskorrelation versus gegenseitige Information

15

Ich habe einige Zeit mit der gegenseitigen Information gearbeitet. Aber ich habe in der "Korrelationswelt" ein sehr neues Maß gefunden, das auch zur Messung der Verteilungsunabhängigkeit verwendet werden kann, die sogenannte "Distanzkorrelation" (auch Brownsche Korrelation genannt): http://en.wikipedia.org/wiki/Brownian_covariance . Ich habe die Papiere überprüft, in denen diese Maßnahme eingeführt wurde, ohne jedoch einen Hinweis auf die gegenseitige Information zu finden.

Meine Fragen lauten also:

  • Lösen sie genau das gleiche Problem? Wenn nicht, wie unterscheiden sich die Probleme?
  • Und wenn die vorherige Frage positiv beantwortet werden kann, welche Vorteile hat die Verwendung des einen oder anderen?
correlation mutual-information distance-covariance dsign
quelle
Versuchen Sie, für ein einfaches Beispiel explizit "Entfernungskorrelation" und "gegenseitige Information" aufzuschreiben. Im zweiten Fall erhalten Sie Logarithmen, im ersten Fall nicht.
Piotr Migdal
@PiotrMigdal Ja, mir ist dieser Unterschied bewusst. Könnten Sie bitte erklären, warum es wichtig ist? Bitte beachten Sie, dass ich kein Statistiker bin ...
10.01.12
Ein Standardwerkzeug zur Messung der gegenseitigen Abhängigkeit von Wahrscheinlichkeitsverteilungen ist für ma die gegenseitige Information. Es hat viele schöne Eigenschaften und seine Interpretation ist unkompliziert. Es kann jedoch spezifische Probleme geben, bei denen die Distanzkorrelation bevorzugt wird (aber ich habe sie in meinem Leben noch nie verwendet). Welches Problem möchten Sie lösen?
Piotr Migdal
2
Dieser Kommentar ist ein paar Jahre zu spät, aber die Statistikabteilung der Columbia University hat das akademische Jahr 2013-2014 zu einem Jahr der Fokussierung auf Maßnahmen der Abhängigkeit gemacht. Von April bis Mai 2014 fand ein Workshop statt, an dem die besten Wissenschaftler auf diesem Gebiet teilnahmen, darunter die Brüder Reshef (MIC), Gabor Szekely (Entfernungskorrelationen) und Subhadeep Mukhopadhay, um nur einige zu nennen. Hier ist ein Link zum Programm, der viele PDFs aus den Präsentationen enthält. dependence2013.wikischolars.columbia.edu/…
Mike Hunter

Antworten:

9

Information / gegenseitige Information hängt nicht von den möglichen Werten ab, sie hängt nur von den Wahrscheinlichkeiten ab, daher ist sie weniger empfindlich. Die Entfernungskorrelation ist leistungsfähiger und einfacher zu berechnen. Zum Vergleich siehe

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf

gabor J Szekely
quelle
2
Hallo, danke für deine Antwort! In dem Artikel, auf den Sie sich beziehen, geht es um MIC, was meiner Meinung nach etwas mehr ist als MI. Ich habe das Entfernungskorrelationsmaß implementiert und glaube nicht, dass es für den elementaren Fall diskreter kategorialer Variablen einfacher ist als das MI. Andererseits habe ich gelernt, dass DCM für kontinuierliche Variablen gut definiert ist und sich gut verhält, aber bei MI müssen Sie Binning oder ausgefallene Dinge als MIC ausführen.
dsign
3
DCM scheint jedoch quadratische Matrizen zu benötigen, deren Seite die Anzahl der Abtastwerte ist. Mit anderen Worten, die Raumkomplexität skaliert quadratisch. Zumindest ist das mein Eindruck, ich möchte mich irren. MIC macht es besser, weil Sie es auf eine Art Kompromiss zwischen Präzision und Leistung abstimmen können.
24.02.12