Analoga der Sensitivität und Spezifität für kontinuierliche Ergebnisse

8

Wie kann ich die Sensitivität und Spezifität (oder analoge Maßnahmen) eines kontinuierlichen diagnostischen Tests zur Vorhersage eines kontinuierlichen Ergebnisses (z. B. Blutdruck) berechnen, ohne das Ergebnis zu dichotomisieren? Irgendwelche Ideen?

Es scheint, dass Forscher dies mithilfe der Modellierung gemischter Effekte getan haben (siehe Link unten), aber ich bin mit ihrer Verwendung der Technik nicht vertraut: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3026390/

Übrigens bin ich mit R am besten vertraut, daher wäre es ideal für die Implementierung, die Sie vorschlagen, mit einer R-Funktion begleitet zu werden (aber es ist in Ordnung, wenn nicht).

Vielen Dank im Voraus für alle Vorschläge!

classification mixed-model predictive-models roc continuous-data itpetersen
quelle

1

Da die Frage immer noch nicht beantwortet wird, hier meine 2ct:
Ich denke, hier sind zwei verschiedene Themen, die in diese Frage eingemischt sind:

Wie kann ich die Sensitivität und Spezifität (oder analoge Maßnahmen) eines kontinuierlichen diagnostischen Tests berechnen, um ein kontinuierliches Ergebnis (z. B. Blutdruck) vorherzusagen, ohne das Ergebnis zu dichotomisieren?

Ich gehe davon aus, dass Sie die Leistung des Modells messen möchten. Das Modell sagt ein kontinuierliches (metrisches) Ergebnis aus einer Eingabe voraus (zufällig auch in Ihrem Beispiel, aber das spielt hier keine Rolle). Dies ist ein Regressionsszenario, keine Klassifizierung. Suchen Sie also besser nach Leistungsmaßstäben für Regressionsmodelle. Sensitivität und Spezifität sind nicht das, wonach Sie suchen *.
Einige Regressionsprobleme haben eine "natürliche" Gruppierung in Vorhandensein und Nichtvorhandensein von etwas, die einen Zusammenhang mit der Klassifizierung herstellt. Dafür haben Sie möglicherweise eine bimodale Verteilung: viele Fälle ohne Abwesenheit und eine metrische Verteilung der Werte für Fälle mit Anwesenheit. Stellen Sie sich zum Beispiel eine Substanz vor, die ein Produkt kontaminiert. Viele der Produktproben enthalten keine Verunreinigungen, aber für diejenigen, die dies tun, wird ein Konzentrationsbereich beobachtet.

Dies ist jedoch bei Ihrem Beispiel für Blutdruck nicht der Fall (das Fehlen von Blutdruck ist hier kein vernünftiges Konzept). Ich würde sogar vermuten, dass der Blutdruck unimodal verteilt ist. All dies deutet auf ein Regressionsproblem ohne enge Verbindung zur Klassifizierung hin.

* Mit dem Vorbehalt, dass beide Wörter in der analytischen Chemie für die Regression (Kalibrierung) verwendet werden, jedoch mit einer anderen Bedeutung: Dort ist die Empfindlichkeit die Steigung der Kalibrierungs- / Regressionsfunktion, und spezifisch bedeutet manchmal, dass die Methode vollständig selektiv ist ist es unempfindlich gegenüber anderen Substanzen als dem Analyten und es treten keine Querempfindlichkeiten auf.
AD McNaught und A. Wilkinson, Hrsg.: Compendium of Chemical Terminology (das „Gold Book“). Blackwell Scientific, 1997. ISBN: 0-9678550-9-8. DOI: doi: 10.1351 / Goldbook. URL: http://goldbook.iupac.org/ .

Analoga der Sensitivität und Spezifität für kontinuierliche Ergebnisse

Wenn die zugrunde liegende Natur des Problems jedoch eine Klassifizierung ist, können Sie es dennoch durch eine Regression besser beschreiben:

Die Regression beschreibt einen Grad der Zugehörigkeit zu den Klassen (wie in Fuzzy-Mengen).
die Regressionsmodelle (posterior) Wahrscheinlichkeit, zu den Klassen zu gehören (wie bei der logistischen Regression )
Ihre Fälle können als Mischungen der reinen Klassen beschrieben werden (sehr nahe an der "normalen" Regression, das obige Kontaminationsbeispiel).

In diesen Fällen ist es sinnvoll, die Konzepte hinter Sensitivität und Spezifität auf "kontinuierliche Ergebnisklassifikatoren" auszudehnen. Die Grundidee besteht darin, jeden Fall nach seinem Zugehörigkeitsgrad zur betreffenden Klasse zu gewichten. Für die Sensitivität und Spezifität, die sich auf das Referenzetikett bezieht, für die Vorhersagewerte für die vorhergesagten Klassenmitgliedschaften. Es stellt sich heraus, dass dies zu einer sehr engen Verbindung mit Leistungsmessungen vom Regressionstyp führt.

Wir haben dies kürzlich in C. Beleites, R. Salzer und V. Sergo beschrieben:
Validierung von Soft-Klassifizierungsmodellen unter Verwendung von
Teilklassenmitgliedschaften : Ein erweitertes Konzept von Sensitivity & Co., das auf die Einstufung von Astrocytoma Tissues Chemom angewendet wird. Intell. Labor. Syst., 122 (2013), 12 - 22.
Der Link verweist auf die Homepage des R-Pakets, in dem die vorgeschlagenen Leistungsmaßnahmen umgesetzt werden.

Auch hier wird das Blutdruckbeispiel IMHO nicht ausreichend als Klassifizierungsproblem beschrieben. Vielleicht möchten Sie das Papier dennoch lesen - ich denke, die Formulierung der dortigen Referenzwerte wird deutlich machen, dass der Blutdruck nicht sinnvoll in einer für die Klassifizierung geeigneten Weise beschrieben wird.

(Wenn Sie einen kontinuierlichen Grad an "Bluthochdruck" formulieren, wäre dies selbst ein Modell und ein anderes als das von Ihnen beschriebene Problem.)

Ich hatte nur einen kurzen Blick auf das von Ihnen verlinkte Papier, aber wenn ich es richtig verstanden habe, verwenden die Autoren Schwellenwerte (dichotomize) für beide Modellierungsstrategien: Für die kontinuierliche Vorhersage wird weiterverarbeitet: Ein Vorhersageintervall wird berechnet und mit einem bestimmten Schwellenwert verglichen. Am Ende haben sie eine dichotome Vorhersage und erzeugen den ROC durch Variieren der Spezifikation für das Intervall.
Wenn Sie angeben, dass Sie dies vermeiden möchten, scheint das Papier nicht übermäßig relevant zu sein.

cbeleites unzufrieden mit SX
quelle

Klingt so, als wären die Methoden in diesem Artikel sehr problematisch. Die ursprüngliche Frage wurde nicht beantwortet, da die Frage die Verwendung fragwürdiger Methoden impliziert.

Frank Harrell

@FrankHarrell: Ja, zumindest die Benennung der Methode im Artikel ist irreführend, da die endgültige Vorhersage nicht kontinuierlich ist. Aber verstand ich die Erwähnung des Papiers als die zeigt , dass die OP Blick in der Literatur tat und dachte , dass das Papier kann helfen - was es nicht tut.

cbeleites unglücklich mit SX

2

Der Versuch, dies mit kontinuierlichen Variablen zu tun, wird die schwerwiegenden Probleme mit Rückwärts-Zeitordnungsmaßen auch im binären Fall aufdecken (dh X von Y im Allgemeinen vorhersagen).

Frank Harrell
quelle

Es muss sich nicht um rückwärts gerichtete Zeitreihenfolgen handeln. Ich suche nur nach einem Analogon von Sensitivität und Spezifität für den Fall, dass das Ergebnis oder die abhängige Variable kontinuierlich ist.

Itpetersen

X

$X$

Y

$Y$

2

R^{2}

$R^2$

D_{x y}

$D_{xy}$

2

D_{x y}

$D_{xy}$

Y

$Y$

X

$X$

Y

$Y$

c

$c$

Y

$Y$

Y

$Y$

Frank Harrell

2

Meine R Hmiscund rmsPakete kümmern sich darum. In Hmiscsiehe die rcorr.censFunktion.

Frank Harrell

0

Locker genommen bedeutet Sensitivität die Fähigkeit, auf etwas zu reagieren, wenn es vorhanden ist, und Spezifität bedeutet die Fähigkeit, das Reagieren zu unterdrücken, wenn es nicht vorhanden ist. Für kontinuierliche Variablen entspricht die Empfindlichkeit der Steigung der Regression der erhaltenen Maße auf die wahren Werte der gemessenen Variablen, und die Spezifität entspricht dem Standardmessfehler (dh der Standardabweichung der erhaltenen Maße bei der gemessenen Menge) variiert nicht).

EDIT, Antwort auf Kommentare von Frank Harrell und cbeleites. Ich habe versucht, konzeptionelle Analoga von Sensitivität und Spezifität zu geben. Für kontinuierliche Variablen besteht die Grundidee der Empfindlichkeit darin, dass sich unsere erhaltenen Maße ebenfalls unterscheiden sollten, wenn sich zwei Objekte (oder dasselbe Objekt zu unterschiedlichen Zeiten oder unter unterschiedlichen Bedingungen usw.) in der Variablen unterscheiden, die wir messen möchten Unterschiede, die zu größeren gemessenen Unterschieden führen.

$Y$ $X$ $\mathrm{E}\,Y|X$ $X$ $Y$ $X$ $X$ $X$ $X$

$Y$ $X$ $Y$ $X$ $Y$ $X$ $Y$ $Y|X$ $X$ - ist ein inverses Maß für die Spezifität. Das Verhältnis der bedingten Steigung über das bedingte sd ist ein Signal-Rausch-Verhältnis, und sein Quadrat wird in der Psychometrie als Informationsfunktion bezeichnet.

Ray Koopman
quelle

Das klingt nicht ganz richtig. Die Spezifität beinhaltet keine Varianzen und Sens. und spez. gelten nur für binäre Größen.

Frank Harrell

@ Ray: Die Bedeutung / Definition beider Begriffe für Regression (chemische Kalibrierung) unterscheidet sich so sehr von ihrer Bedeutung in der Klassifizierung, dass dies meiner Meinung nach stärker betont werden sollte. Ich habe jedoch noch nie von Ihrer Definition von Spezifität gehört. Können Sie eine Referenz geben?

cbeleites unglücklich mit SX

Analoga der Sensitivität und Spezifität für kontinuierliche Ergebnisse

Antworten: