Wie kann die Wiederholbarkeit multivariater und methodenspezifischer Ergebnisse bewertet werden?

8

Methode "A" beschreibt biologische Proben unter Verwendung multivariater "Fingerabdrücke", die aus etwa 30 verschiedenen Variablen bestehen. Unterschiedliche Variablen weisen unterschiedliche typische Verteilungen auf und viele von ihnen korrelieren eng miteinander. Aus früheren Erfahrungen wird angenommen, dass wir viele der Variablen nicht in eine Normalverteilung umwandeln können.

Die Methode "B" ist als verbesserte Version der Methode "A" konzipiert, und wir möchten die Wiederholbarkeit dieser beiden Methoden vergleichen. Wenn wir uns mit einer einzelnen Variablen befassen würden, würden wir unabhängige Analysen mehrerer Proben durchführen und ANOVA verwenden, um die Variabilität innerhalb der Methode mit der Variabilität zwischen den Methoden zu vergleichen. Hier handelt es sich jedoch um multivariate Ausgaben, und wir möchten nicht eine Analyse pro Variable durchführen. Was sind die richtigen Ansätze für diese Frage?

Auflösung

Die Antwort von gui11aume Die Antwort liefert nützliche und wertvolle Informationen. Ich werde die „Downstream - Anwendung“ von gui11aume der Anpassung Antwort von 7 Einweg-Analysen nach wie vorgeschlagen von Adamo.

David D.
quelle
(Hier ist mein Ansatz. Bitte lassen Sie mich wissen, wie legitim er ist.) Wie wäre es mit einer robusten Methode zur Reduzierung der Dimensionalität, um die multivariaten Daten auf eine einzige Dimension zu reduzieren und zu analysieren?
David D
1
David, dieses Problem klingt so, als ob Sie eine Varianzzerlegung für ein multivariates Ergebnis durchführen möchten, aber der Titel scheint darauf hinzudeuten, dass Sie nach etwas anderem suchen. Könntest Du das erläutern? Können Sie noch etwas zu den Daten sagen, die Sie analysieren?
Makro
David, können Sie genauer erklären, was Sie unter "Wiederholbarkeit" verstehen? Ich vermute, es ähnelt dem, was wir (mein Gebiet ist die chemometrische Analyse von spektroskopischen Datensätzen [biologische Proben]) normalerweise Stabilität (von etw. Für etw.) Nennen, z. B.: Stabilität von Vorhersagen oder Modellparametern (zwei sehr unterschiedliche Arten von Stabilität!) wrt. zu neuen Proben / Austausch von 10% der Proben, ...
cbeleites unglücklich mit SX
1
Sind die 30 Ausgabevariablen (theoretisch) für beide Methoden gleich?
cbeleites unglücklich mit SX
1
Wrt. zu Ihrer Dimensionsreduktion: Sie laufen Gefahr, mehr die Eigenschaften der Dimensionalitätsreduktionsmethode als die Eingabe zu messen. Sicherlich verlieren Sie alle Informationen, die orthogonal zu der Richtung sind, die von der einen beibehaltenen Dimension erfasst wird.
cbeleites unglücklich mit SX

Antworten:

7

Dies erinnert mich an die Krebsdiagnostik, bei der alte Genexpressionssignaturen durch neuere ersetzt werden, die natürlich besser sein sollen. Aber wie kann man zeigen, dass sie besser sind?

Hier einige Vorschläge zum Vergleich der Wiederholbarkeit der Methoden.

1. Verwenden Sie die Co-Trägheitsanalyse (CIA).
CIA sollte mehr beworben werden, leider ist es nicht weit verbreitet (zum Beispiel keine Wikipedia-Seite). CIA ist eine Zwei-Tabellen-Methode, die nach dem gleichen Prinzip wie die kanonische Analyse (CA) arbeitet, bei der nach einem Paar linearer Scores mit maximaler Korrelation zwischen zwei Sätzen mehrdimensionaler Messungen gesucht wird. Der Vorteil gegenüber CA besteht darin, dass Sie dies auch dann tun können, wenn Sie mehr Dimensionen als Beobachtungen haben. Sie können beide Methoden an denselben Stichproben messen, um zwei gekoppelte Tabellen mit 30 Spalten undnBeobachtungen. Das erste Paar von Hauptkomponenten sollte stark korreliert sein (wenn Methoden wirklich dasselbe messen). Wenn Methode B besser ist, sollte die Restvarianz kleiner sein als die Restvarianz von Methode A. Mit diesem Ansatz sprechen Sie sowohl die Übereinstimmung der Methoden als auch deren Nichtübereinstimmung an, die Sie als Rauschen interpretieren.

2. Verwenden Sie einen Abstand .
Sie können den euklidischen Abstand in 30 Dimensionen zwischen dem Test und dem erneuten Test verwenden, um die Wiederholbarkeit einer Methode zu messen. Sie generieren für jede Methode eine Stichprobe dieser Punktzahl und können die Stichproben mit dem Wilcoxon-Test vergleichen.

3. Verwenden Sie die nachgeschaltete Anwendung.
Sie erhalten wahrscheinlich diese Fingerabdrücke, um eine Entscheidung zu treffen oder Patienten oder biologisches Material zu klassifizieren. Sie können die Übereinstimmungen und Meinungsverschiedenheiten zwischen Tests und erneuten Tests für beide Methoden zählen und mit dem Wilcoxon-Test vergleichen.

Methode 3 ist die einfachste, aber auch die bodenständigste. Selbst für hochdimensionale Eingaben sind Entscheidungen normalerweise recht einfach. Und wie komplex unser Problem auch sein mag, denken Sie daran, dass Statistik die Wissenschaft der Entscheidung ist.

Bezüglich der Frage in Ihrem Kommentar.

Wie wäre es mit einer robusten Methode zur Reduzierung der Dimensionalität, um die multivariaten Daten auf eine einzige Dimension zu reduzieren und zu analysieren?

Eine Verringerung der Dimensionalität, wie robust sie auch sein mag, ist mit einem Varianzverlust verbunden. Wenn es eine Möglichkeit gibt, Ihren multivariaten Fingerabdruck in eine einzige Partitur umzuwandeln, die fast die gesamte Varianz erfasst, ist dies bei weitem das Beste. Aber warum ist der Fingerabdruck dann überhaupt multivariat?

Aus dem Kontext des OP ging ich davon aus, dass der Fingerabdruck genau deshalb multivariat ist , weil es schwierig ist, seine Dimensionalität weiter zu reduzieren, ohne Informationen zu verlieren. In diesem Fall muss ihre Wiederholbarkeit für eine einzelne Punktzahl kein guter Indikator für die allgemeine Wiederholbarkeit sein, da Sie möglicherweise den größten Teil der Varianz vernachlässigen (im schlimmsten Fall nahe 29/30).

gui11aume
quelle
1. Sie haben fast Recht mit der Anwendung dieses Tests. 2. In Bezug auf die Mahalanobis-Distanz verstehe ich nicht, wie sie zur Beurteilung der Wiederholbarkeit verwendet werden kann. Schlagen Sie vor, die Kovarianzmatrix für alle Punkte in allen Methoden ZUSAMMEN zu berechnen und dann die Methoden zu vergleichen, indem Sie MD mit dieser Matrix abtasten? 3. Downstream-Anwendung ist in der Tat eine wertvolle Option, wird jedoch die Dimensionalität nicht verringern
David D
In Bezug auf Punkt 2 haben Sie Recht, dass es schwierig ist, den Mahalanobis-Abstand anzuwenden. Ich habe es aus der Antwort entfernt.
gui11aume
@ gui11aume: Der multivariate Eingang kann multivariat sein, da es sich um gemessene Rohdaten handelt, dh Variablen = Messkanäle (eines Sensorarrays, Spektrometers, ...). In diesem Fall ergibt sich die multivariate Natur aus der Art der Messung (obwohl unter einem anderen Gesichtspunkt normalerweise bereits eine bestimmte Dimensionsreduktion in Form der Auswahl dieses Sensorchips oder dieses bestimmten Spektralbereichs
angewendet wird
@ gui11aume: Verwenden Sie auch Ihren 3. Ansatz, um Klassifikatoren zu vergleichen. Aber: las ich von der Frage und der Kommentar Reduzierung der Dimensionalität , dass diese Downstream - Anwendung (die in der Tat ist eine drastische Reduktion dimenasionality) ist wahrscheinlich nicht vorhanden (oder zumindest die 30 variates sollte sich verglichen werden).
cbeleites unglücklich mit SX
@ gui11aume: Eine Disktanz misst die Ähnlichkeit, aber meiner Meinung nach müssen Sie auch die Richtung der Abweichungen überprüfen, die durch die Entfernung verloren gehen.
cbeleites unglücklich mit SX
3

Ich gehe von Ihrer Frage und Ihrem Kommentar aus, dass die 30 Ausgabevariablen nicht (einfach) oder nicht in eine einzelne Variable transformiert werden können.

Eine Idee, um mit Daten von ist, dass Sie eine Regression von und umgekehrt. Zusätzliches Wissen (z. B. dass die Variation in Satz A der Variation auch in Satz B entspricht) kann dazu beitragen, das Mapping-Modell und / oder die Interpretation einzuschränken.X A ( n × p A ) X B ( n × p B ) iiXA(n×pA)XB(n×pB)XA(n×pA)XB(n×pB)ii

Was ist also mit Multi-Block-PCA (oder -PLS), die diese Idee weiterführen? Bei diesen Methoden werden beide multivariaten Fingerabdrücke für dieselben Proben (oder dieselben Personen) zusammen als unabhängige Variablen mit oder ohne einen dritten abhängigen Block analysiert.

R. Brereton: "Chemometrie für die Mustererkennung" beschreibt einige Techniken im letzten Kapitel ("Vergleichen verschiedener Muster") und das Googeln führt Sie zu einer Reihe von Artikeln, auch Einführungen. Beachten Sie, dass Ihre Situation ähnlich klingt wie Probleme, bei denen z. B. spektroskopische und genetische Messungen zusammen analysiert werden (zwei Matrizen mit zeilenweiser Entsprechung im Gegensatz zur Analyse von z. B. Zeitreihen von Spektren, bei denen ein Datenwürfel analysiert wird).

Hier ist ein Artikel über die Mehrblockanalyse : Sahar Hassani: Analyse von Omics-Daten: Grafische Interpretations- und Validierungswerkzeuge in Mehrblockmethoden .

Vielleicht ist dies auch ein guter Ausgangspunkt in eine andere Richtung: Hoefsloot et al., Multiset-Datenanalyse: ANOVA Simultaneous Component Analysis und verwandte Methoden, in: Umfassende Chemometrie - Chemische und biochemische Datenanalyse (ich habe keinen Zugriff darauf habe gerade die Zusammenfassung gesehen)

cbeleites unzufrieden mit SX
quelle
1

30 Einweganalysen sind sicherlich eine Option und wären ein idealer Analysetyp "Tabelle 2", bei dem eine Gesamtleistung auf logische Weise zusammengefasst wird. Es kann der Fall sein, dass Methode B die ersten 20 Faktoren mit leicht verbesserter Genauigkeit erzeugt, während die letzten 10 wesentlich variabler sind. Sie haben das Problem der Inferenz unter Verwendung eines teilweise geordneten Raums: Wenn alle 30 Faktoren in B genauer sind, ist B sicherlich eine bessere Methode. Aber es gibt eine "Grauzone" und mit der großen Anzahl von Faktoren ist es fast garantiert, dass sie in der Praxis auftaucht.

Wenn das Ziel dieser Forschung darin besteht, auf einer einzigen Analyse zu landen, ist es wichtig, das Gewicht jedes Ergebnisses und seine Endpunktanwendung zu berücksichtigen. Wenn diese 30 Variablen für die Klassifizierung, Vorhersage und / oder Clusterbildung von Beobachtungsdaten verwendet werden, würde ich mir eine Validierung dieser Ergebnisse und einen Vergleich von A / B bei der Klassifizierung wünschen (unter Verwendung von Risikostratifizierungstabellen oder mittlerer prozentualer Verzerrung). , Vorhersage (unter Verwendung der MSE) und Clustering (unter Verwendung einer Kreuzvalidierung). Dies ist die richtige Art, mit der Grauzone umzugehen, in der man nicht sagen kann, dass B analytisch besser ist, aber in der Praxis viel besser funktioniert.

AdamO
quelle
1

Ich werde eine multivariate ANOVA versuchen, die auf Permutationstests ( PERMANOVA ) basiert . Eine Ordinationsanalyse (basierend auf dem Ergebnis der Gradientenlängenanalyse) könnte ebenfalls hilfreich sein.

AnastD
quelle
1
In R gibt es die Funktion adonis im Paket Vegan, die eine permutative multivariate ANOVA ausführt. Dadurch wird ein statistischer Test erstellt, um festzustellen, ob sich Methode A von Methode B unterscheidet. Dieses Paket stammt aus der Pflanzenökologie, bei der Sie mehrere Arten (die Variablen) in verschiedenen kleinen Parzellen zählen. Im Zusammenhang damit steht AMOVA, eine Analyse der molekularen Varianz , bei der es sich bei den Variablen um molekulare Daten handelt. Hierfür können Sie das R-Paket ade4 verwenden, es gibt jedoch auch andere kostenlose und Online-Software, die Sie unter dem Link finden.
Jdub
0

Wenn Sie eine multivariate Normalität annehmen könnten (von der Sie sagten, dass Sie dies nicht könnten), könnten Sie einen Hotelling T2-Test der Gleichheit der mittleren Vektoren durchführen, um festzustellen, ob Sie Unterschiede zwischen Verteilungen beanspruchen könnten oder nicht. Obwohl Sie dies nicht tun können, können Sie die Verteilungen theoretisch vergleichen, um festzustellen, ob sie sich stark unterscheiden. Teilen Sie den 30-dimensionalen Raum in rechteckige Gitter. Verwenden Sie diese als 30-dimensionale Behälter. Zählen Sie die Anzahl der Vektoren, die in jeden Behälter fallen, und wenden Sie einen Chi-Quadrat-Test an, um festzustellen, ob die Verteilungen gleich aussehen. Das Problem bei diesem Vorschlag besteht darin, dass die Behälter sorgfältig ausgewählt werden müssen, um die Datenpunkte auf angemessene Weise abzudecken. Auch der Fluch der Dimensionalität macht es schwierig, Unterschiede zwischen den multivariaten Verteilungen zu identifizieren, ohne eine sehr große Anzahl von Punkten in jeder Gruppe zu haben. Ich halte Vorschläge, die gui11aume gemacht hat, für sinnvoll. Ich glaube nicht, dass die anderen es sind. Da ein Vergleich der Verteilungen in 30 Dimensionen mit einer typischen Stichprobe nicht möglich ist, erscheint mir eine Form eines gültigen Vergleichs der mittleren Vektoren angemessen.

Michael R. Chernick
quelle
1
230>109χ2
Außerdem ist Ihrem Vorschlag zufolge nicht klar, wie das Binning durchgeführt werden soll: Sollte jeder Behälter die gleiche Anzahl von Fällen, den gleichen Bereich, den gleichen Protokollbereich usw. haben?
Boris Gorelik
@cardinal Nein, was ich gesagt habe, war 30 dimensionale rechteckige Behälter zu konstruieren. Ich mache den üblichen Chi-Quadrat-Test, um zwei Verteilungen zu vergleichen.
Michael R. Chernick
2
Nachdem ich mir diese Gedanken mehr gemacht habe, denke ich, dass meine Empfehlung in hohen Dimensionen nicht funktionieren würde, weil (1) obwohl eine vernünftige Auswahl von Behältern in 1, 2 und möglicherweise 3 Dimensionen praktikabel ist, scheint es mir nicht, dass solche Behälter in 30 Dimensionen identifiziert werden könnte aufgrund des Fluches der Dimensionalität durchgeführt werden (2), selbst wenn eine solche Auswahl von Punkten in 30 Dimensionen erreicht werden könnte, die so verteilt sind, dass es schwierig wäre, Unterschiede zwischen den Verteilungen ohne eine sehr große Anzahl von Punkten zu erkennen. Kardinal macht also einige gute Punkte.
Michael R. Chernick
1
Ich hätte genauer sein sollen; Mit "naiver Anwendung" meinte ich, dass man den Standardtest nicht einfach sofort anwenden kann. Zumindest müssen einige Anpassungen für Freiheitsgrade vorgenommen werden, obwohl es manchmal nicht ganz einfach ist, die Freiheitsgrade zu bestimmen.
Kardinal