Wann ist Distanzkovarianz weniger geeignet als lineare Kovarianz?

21

Ich bin gerade (vage) mit Brownian / Distanz-Kovarianz / Korrelation bekannt geworden . Es scheint in vielen nichtlinearen Situationen besonders nützlich zu sein, wenn auf Abhängigkeit getestet wird. Es scheint jedoch nicht sehr häufig verwendet zu werden, obwohl Kovarianz / Korrelation häufig für nichtlineare / chaotische Daten verwendet wird.

Das lässt mich denken, dass die Distanz-Kovarianz einige Nachteile haben könnte. Also, was sind sie und warum verwendet nicht jeder immer Distanz-Kovarianz?

naught101
quelle
6
Als Referenz habe ich eine Distanzkorrelationsversion des Korrelationsgraphen auf Wikipedia erstellt
naught101
Ich habe gelesen, dass Sie mit dcov nichtlineare Zeitreihen vergleichen und mit Gewicht kombinieren. Ich habe mich gefragt, ob Sie eine gewichtete Distanz-Kovarianz verwenden. Das heißt, Sie haben Ihre Daten mit einem Gewichtsvektor unterschiedlich gewichtet, um sie zu berechnen die Distanzkorrelation? Ich versuche das zu tun, bin mir aber nicht sicher, ob die Einführung eines Gewichtsvektors in die Distanzkorrelationsformeln der richtige Weg ist.
user3757561
Nein, sorry @ user3757561, ich habe nur versucht, Distanzkorrelation als Ersatz für Korrelation zu verwenden und dann Gewichte basierend darauf zu erstellen. Aber ich habe es trotzdem nicht benutzt ...
naught101

Antworten:

18

Ich habe versucht, einige Anmerkungen zur Distanz-Kovarianz zu sammeln, die auf meinen Eindrücken beim Lesen der unten aufgeführten Referenzen beruhen. Ich betrachte mich jedoch nicht als Experte für dieses Thema. Kommentare, Korrekturen, Vorschläge usw. sind willkommen.

Die Anmerkungen sind (stark) auf mögliche Nachteile ausgerichtet, wie in der ursprünglichen Frage gefordert .

Die möglichen Nachteile sind meines Erachtens folgende:

  1. Die Methodik ist neu . Ich vermute, dass dies der größte Faktor in Bezug auf die mangelnde Popularität zu diesem Zeitpunkt ist. Die Arbeiten zur Distanz-Kovarianz beginnen Mitte der 2000er Jahre und dauern bis heute an. Das oben zitierte Papier hat die meiste Aufmerksamkeit auf sich gezogen (Hype?) Und ist weniger als drei Jahre alt. Demgegenüber haben die Theorie und die Ergebnisse zu Korrelation und korrelationsähnlichen Maßen bereits über ein Jahrhundert Arbeit hinter sich.
  2. Die Grundkonzepte sind anspruchsvoller . Die Produkt-Moment-Korrelation von Pearson auf operativer Ebene lässt sich für Studienanfänger ohne einen kalkulatorischen Hintergrund ziemlich leicht erklären. Ein einfacher "algorithmischer" Gesichtspunkt kann entworfen werden und die geometrische Intuition ist leicht zu beschreiben. Im Gegensatz dazu ist im Fall der Distanz-Kovarianz sogar der Begriff der Summe von Produkten paarweiser euklidischer Distanzen etwas schwieriger, und der Begriff der Kovarianz in Bezug auf einen stochastischen Prozess geht weit über das hinaus, was einem solchen Publikum vernünftigerweise erklärt werden könnte .
  3. Es ist rechenintensiver . Der grundlegende Algorithmus zur Berechnung der Teststatistik ist in der Stichprobengröße im Gegensatz zu O ( n ) für Standardkorrelationsmetriken. Für kleine Stichprobengrößen ist dies keine große Sache, aber für größere wird es wichtiger.O(n2)O(n)
  4. XY.XY.χ12
  5. |ρ|
  6. Unbekannte Leistungseigenschaften . Die Übereinstimmung mit allen Alternativen garantiert im Wesentlichen, dass die Distanz-Kovarianz gegenüber einigen Alternativen nur eine sehr geringe Stärke aufweist. In vielen Fällen ist man bereit, auf die Allgemeinheit zu verzichten, um zusätzliche Macht gegen bestimmte interessante Alternativen zu erlangen. Die Originalarbeiten zeigen einige Beispiele, in denen sie eine hohe Aussagekraft in Bezug auf Standardkorrelationsmetriken beanspruchen, aber ich glaube, dass das Verhalten gegenüber Alternativen, wenn man auf (1.) zurückgeht, noch nicht gut verstanden ist.

Um es noch einmal zu wiederholen, diese Antwort ist wahrscheinlich ziemlich negativ. Aber das ist nicht die Absicht. Es gibt einige sehr schöne und interessante Ideen im Zusammenhang mit der Distanz-Kovarianz, und die relative Neuheit eröffnet auch Forschungsmöglichkeiten für ein umfassenderes Verständnis.

Referenzen :

  1. GJ Szekely und ML Rizzo (2009), Brownsche Distanzkovarianz , Ann. Appl. Statist. vol. 3, nein. 4, 1236–1265.
  2. GJ Szekely, ML Rizzo und NK Bakirov (2007), Messen und Testen der Unabhängigkeit durch Korrelation von Entfernungen , Ann. Statist. vol. 35, 2769–2794.
  3. R. Lyons (2012), Distanzkovarianz in metrischen Räumen , Ann. Probab. (erscheinen).
Kardinal
quelle
Ausgezeichnete Antwort, danke. Einiges davon geht mir etwas über den Kopf, aber ich denke, ich werde das selbst beheben können :)
naught101
1
Siehe auch Zusammenfassung und Diskussion von: “Brownian Distance Covariance” Statistik Journal Club, 36-825 Benjamin Cowley und Giuseppe Vinci 27. Oktober 2014 stat.cmu.edu/~ryantibs/journalclub/dcov.pdf
Felipe G. Nievinski
2
O(nLogn)
3

Ich könnte etwas vermissen, aber nur eine Quantifizierung der nichtlinearen Abhängigkeit zwischen zwei Variablen scheint sich nicht auszahlen zu lassen. Es wird Ihnen nicht die Form der Beziehung sagen. Es gibt Ihnen keine Möglichkeit, eine Variable von der anderen vorherzusagen. Analog dazu verwendet man bei der explorativen Datenanalyse manchmal eine Lösskurve (lokal gewichtete Streudiagramme) als ersten Schritt, um festzustellen, ob die Daten am besten mit einer geraden, quadratischen, kubischen usw. Linie modelliert werden können an sich ist kein sehr nützliches Vorhersagewerkzeug. Es ist nur eine erste Annäherung auf dem Weg zu einer praktikablen Gleichung zur Beschreibung einer bivariaten Form. Diese Gleichung kann im Gegensatz zum Löss (oder dem Distanz-Kovarianz-Ergebnis) die Grundlage eines Bestätigungsmodells bilden.

rolando2
quelle
Für meine Zwecke hat es eine Auszahlung. Ich verwende dcov () nicht, um etwas vorherzusagen, sondern um mehrere nichtlineare Zeitreihen in einem Ensemble zu vergleichen und sie anhand ihrer Abhängigkeit mit Gewichten zu kombinieren. In dieser Situation hat dcov () möglicherweise große Vorteile.
Naught101
@ naught101 Kannst du ein paar Infos eingeben, wenn du "Kombinieren" sagst? Das klingt für mich hinsichtlich der Gewichtung aufgrund der nichtlinearen Abhängigkeit interessant. Meinen Sie, die Zeitreihen in Gruppen zu kategorisieren? Auch - was betonen hohe und niedrige Gewichte in diesem Szenario?
Leichenwagen
2
@ PraneethVepakomma: Schau
dir
1
Auch, wenn Sie die allgemeine Form der Abhängigkeit (zB Polynom - Gleichung) kennen, dann können Sie die Stärke der Abhängigkeit mit dem Determinationskoeffizient quantifizieren, siehe zB Computing Bereinigtes R2 für Polynomial Regressionen
Felipe G. Nievinski