Auf der Suche nach einem robusten, verteilungsfreien / nichtparametrischen Abstand zwischen multivariaten Stichproben

Es gibt viele Distanzfunktionen für Verteilungen, aber es fällt mir schwer, sie alle zu durchsuchen, um eine zu finden, die

1. ist "verteilungsfrei" oder "nichtparametrisch", womit ich nur meine, dass es nur wenige / schwache Annahmen über die zugrunde liegenden Verteilungen macht (insbesondere keine Normalität annimmt);
2. ist robust gegenüber Ausreißern.

(Von diesen beiden gewünschten Eigenschaften ist (1) wesentlich wichtiger als (2).)

Mir ist klar, dass die oben genannten Merkmale wahrscheinlich die Unterscheidungskraft einer Maßnahme verringern würden, aber sie spiegeln die Realität der Daten wider, mit denen ich arbeite ¹ .

Wenn es hilft, das Problem zu klären, könnte ich eine kleine Teilstichprobe der Daten veröffentlichen, deren Funktionen angemessen getarnt sind (dies sind unveröffentlichte Daten, die meinen Mitarbeitern gehören). Die einzige Sorge, die ich habe, ist, dass jede Teilstichprobe, die klein genug ist, um als Teil eines CrossValidated-Posts "postbar" zu sein, zu klein ist, um den gesamten Datensatz angemessen darzustellen. Ich würde mich über eine Anleitung in dieser Angelegenheit freuen.

Hintergrund (aka tl; dr)

Ich wollte ursprünglich den Bhattacharyya-Abstand , um Abstände zwischen den Stichprobenverteilungen verschiedener Paare von Teilstichproben in meinem zu messen Datensatz, aber ich stieß schnell auf das Problem, dass die Matrix , deren Inverse erforderlich ist, um ² ist für viele dieser Paare schlecht konditioniert .$D_B(\mathbf{x}, \mathbf{y})$$(\mathbf{x}, \mathbf{y})$$(\mathrm{cov}(\mathbf{x}) + \mathrm{cov}(\mathbf{y}))/2$$D_B(\mathbf{x}, \mathbf{y})$$(\mathbf{x}, \mathbf{y})$

Dies führte mich dazu, mehr über die Theorie hinter zu lesen , aus der ich zusammenfasste, dass die Formel, die ich zur Berechnung verwendet hatte, davon ausgeht, dass die zugrunde liegenden Verteilungen alle normal sind. Ich nahm an, dass zwischen den numerischen Problemen, auf die ich gestoßen bin, und der Tatsache, dass die Verteilungen, mit denen ich arbeite, möglicherweise nicht annähernd diese Normalitätsbedingung erfüllen, ein gewisser (jedoch schwacher) Zusammenhang besteht.$D_B$

Meine Intuition (die jemand mit mehr Mathe-Fu als ich möglicherweise mehr oder weniger rigoros rechtfertigen kann) ist, dass die klassischen analytischen Verteilungen gerade wegen der starken analytischen Einschränkungen, die zu ihrer "feinen / lokalen Struktur" führen, mächtig sind, und daher zu all den tiefgreifenden, weitreichenden Theoremen, die wir über sie haben. Es ist diese Theorie, die diese Verteilungen "mächtig" macht. Wenn diese Vermutung überhaupt zutrifft, würde man erwarten, dass aus solchen Verteilungen abgeleitete Analyseergebnisse tendenziell sehr empfindlich auf numerische Unvollkommenheiten (Ausreißer, Kollinearität usw.) in den Daten reagieren.

Auf jeden Fall interpretierte ich die numerischen Probleme, auf die ich stieß, möglicherweise als einen barmherzigen Hinweis der Götter der Statistik, dass ich das falsche Werkzeug für den Job verwendete.

Dies hat mich dazu gebracht, nach einer "verteilungsfreien" / "nichtparametrischen" Alternative zu zu .$D_B$

_{¹ Die Daten bestehen aus ~ 500 automatisch gesammelten Merkmalen einzelner kultivierter Zellen. Alle Merkmale haben positive Werte. Ich habe mir Histogramme mehrerer zufällig ausgewählter Merkmale angesehen, die auf zufälligen Teilstichproben der Daten basierten, und kein einziges gefunden, das normal verteilt aussah. diejenigen, die unimodal glockenförmig waren, hatten alle einen signifikanten Versatz. Einige Merkmale hatten extreme Ausreißer (daher enthielten die Histogramme nur ein oder zwei Behälter, die groß genug waren, um vom leeren Behälter unterschieden zu werden).}

_{Die Zellen wurden aus Patientenbiopsien kultiviert, die in ~ 2500 Subkulturen unterteilt waren, die eine von ~ 800 verschiedenen möglichen Behandlungen erhielten, einschließlich einer Kontrolle ohne Behandlung. Die Behandlungen selbst fallen in ~ 200 verschiedene Gruppen. Stellen Sie sich daher vor, Sie teilen alle Beobachtungen in ~ 200 Teilproben auf, eine für jede dieser ~ 200 Behandlungsgruppen. Im Moment bin ich daran interessiert, die Abstände zwischen den (multivariaten) Probenverteilungen, die jeder dieser Teilproben entsprechen, und der Kontroll-Teilprobe (keine Behandlung) zu messen.}

_{² Genauer gesagt ist diese Umkehrung erforderlich, um mit der Formel zu berechnen , die ich dafür habe. In der Ableitung dieser speziellen Formel und nicht in der Definition von an sich erscheint die Normalitätsannahme. Ich habe die Formel aus Kailaths Arbeit von 1967 erhalten (Kailath, Thomas. "Die Divergenz- und Bhattacharyya-Entfernungsmaße bei der Signalauswahl." Communication Technology, IEEE Transactions on 15.1 (1967): 52-60.).$D_B$$D_B$}

Zunächst rate ich Ihnen, sich die Encyclopedia of Distances von Michel und Elena Deza anzusehen . Beim schnellen Durchsuchen des PDF-Dokuments (z. B. S. 327-330) sehen Sie bereits eine Vielzahl möglicher statistischer Kennzahlen für multivariate Populationen. Obwohl einfach, könnte eine davon gut genug sein, um die statistische Divergenz zwischen den verschiedenen Populationen anzunähern. Darüber hinaus gibt es viele weitere " vereinfachte " statistische Entfernungen, die Sie möglicherweise berücksichtigen möchten. Sie können beispielsweise den Begriff googeln Nonparametric multivariate distanceund viele Entfernungsmessungen werden angezeigt.

In einer komplizierteren Weise könnte eine erste Intuition darin bestehen, zuerst die Behandlungsklassifikation in den Daten beizubehalten und dann die Abstände zwischen zwei möglichen Hierarchien / Klassifikationen zu schätzen, da das Problem multivariate Daten betrifft, die in verschiedene Untergruppen klassifiziert werden können. Ein solches Maß ist der Abstand in geteilter Ordnung, wie im folgenden Artikel zu finden ist:

Zhang et al. (2009), Split-Order Distance für Clustering- und Klassifikationshierarchien, Lecture Notes in Computer Science , Vol. 5566, S. 517-534. Hier herunterladen

Diese Technik (und ähnliche Techniken) versuchen, die Daten nach verschiedenen möglichen Hierarchien zu klassifizieren. Ich bin mir nicht ganz sicher, ob dies auf die von Ihnen erwähnte Subkulturstruktur zutrifft, aber es könnte interessant sein, einen Blick darauf zu werfen. Diese Art der Schätzung der statistischen Entfernung hängt jedoch stark von der Implementierung von Algorithmen (und damit der Informatik) ab.

Eine statistischere Art , das Problem zu betrachten, besteht darin, die Daten einfach so zu verwenden, als ob sie kategorisiert wären, wenn Sie die Behandlungsklassifizierung als Aufteilung zwischen verschiedenen Subpopulationen verwenden. Daher wird keine spezifische Hierarchie angenommen. Die nichtparametrischen Maßnahmen, die dann nützlich wären, basieren entweder auf Bootstrapping oder auf der Annäherung der Momente der zugrunde liegenden Verteilung, wobei die bekannteste die Methode der Momente ist . Die darauf basierenden Abstandsmaße beruhen häufig auf der einfachen Annahme, dass der erste und der zweite Moment endlich sind. Ein gutes Beispiel für eine solche Maßnahme ist das folgende Papier:

Székely, GJ, Rizzo, ML, (2004), Testen auf gleichmäßige Verteilungen in hoher Dimension, Interstat 2004 . Hier herunterladen

Wobei die Gleichheit zweier multivariater Verteilungen nichtparametrisch getestet wird. Ein weiterer interessanter nichtparametrischer Test, der auf der Datentiefe basiert, ist zu finden in:

Chenouri, S., Farrar, TJ (2012), Ein nichtparametrischer multivariater Skalentest mit zwei Stichproben basierend auf der Datentiefe, Electronic Journal of Statistics , Vol. 3, No. 6, S. 760-782. Hier herunterladen

Abgesehen davon, dass Sie die Unterschiede zwischen zwei Stichproben testen, möchten Sie möglicherweise nur einen statistischen Unterschied zwischen ihnen interpretieren. In diesem Fall möchten Sie möglicherweise Divergenzmaße wie die Bhattacharyya-Distanz oder f- Divergenzen wie die Hellinger-Distanz untersuchen .

Alle diese Maßnahmen haben unterschiedliche Vor- und Nachteile und sollten unter bestimmten Bedingungen angewendet werden. Achten Sie immer auf die Skalierung Ihrer Variablen, da große Skalierungen überproportional zu jeder Messung beitragen. Wenn also Variablen auf verschiedenen Skalen gemessen werden, verwenden Sie standardisierte Werte, bevor Sie Entfernungen berechnen. Daher sollten für Stichproben (Gruppen) die Variablen über alle Gruppen auf den Mittelwert Null und die Einheitsvarianz standardisiert werden. Viel Glück!$n$$n$

_{PS Beachten Sie, dass robuste Statistiken häufig eine andere Bestrafungsfunktion wie die mittlere absolute Abweichung verwenden, anstatt den Abstand zwischen der Beobachtung und dem Mittelwert zu quadrieren. Dies kann Ihnen bei der Suche nach einer robusten Maßnahme helfen.}

Kennen Sie die T-SNE-Methode? Es wird häufig nur für diese Art von Problem (Zellmarker) verwendet, um eine Gruppierung durchzuführen.

http://en.wikipedia.org/wiki/T-distributed_stochastic_neighbor_embedding

http://lvdmaaten.github.io/tsne/