Funktionsbedeutung / Auswirkung für individuelle Vorhersagen

Auf Modellebene können wir zur Bewertung des Beitrags / der Bedeutung von Prädiktoren Folgendes verwenden:

• Modellspezifische Techniken - z. B. Reinheit (Gini-Index) für ein baumbasiertes Modell, gegebenenfalls Modellkoeffizienten usw.
• Modellunabhängige Techniken - z. B. Bedeutung von Permutationsmerkmalen, partielle Abhängigkeit usw.

Was dies nicht vermittelt, ist für eine bestimmte Vorhersage (z. B. eine binäre Klassifikation, die eine Wahrscheinlichkeit von 92% für die Zugehörigkeit zur Klasse 1 liefert), welche Prädiktoren bei der Erstellung dieser Vorhersage am „einflussreichsten“ waren.

Nachdem ich ein wenig über dieses Problem nachgedacht habe, scheint es mir einige Ansätze zu geben, die gewählt werden könnten:

• Modellspezifische Techniken - z. B. Koeffizienten anwendbarer linearer Modelle, Techniken wie hier für beispielsweise XGBoost beschrieben ( https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211 )
• Modellunabhängige Techniken - z. B. eine Art „Störungsmethode“ ähnlich der partiellen Abhängigkeit, um zu verstehen, wie sich die Vorhersage ändert, wenn wir den Prädiktor stören und möglicherweise modellieren? Oder Techniken wie LIME, die in diesem Artikel beschrieben werden ( https://arxiv.org/) pdf / 1602.04938.pdf und https://github.com/marcotcr/lime ), eine modifizierte Permutation Importance-Technik?

Es scheint mir, dass der wertvollste Ansatz eine modellunabhängige Technik wäre, da viele Algorithmen etwas „Black-Box“ -Natur sind und neuartige und neue Algorithmen und Techniken interpretieren können.

Eine hier beschriebene naive Methode ( http://amunategui.github.io/actionable-instights/index.html ) besteht darin, jeden Prädiktor zu nehmen, seine Auswirkungen zu „neutralisieren“, indem beispielsweise der Mittelwert der „Bevölkerung“ unterstellt wird, und die Vorhersage erneut auszuführen einen Unterschied zwischen der ursprünglichen Vorhersage und der neutralisierten Version zu erhalten, die ein wichtiges Maß darstellt. Dies scheint ein Sonderfall einer Art "Störungs" -Methode zu sein, auf die oben hingewiesen wurde. Ein paar Fehler, die ich darin sehe, sind: 1) Es scheint zu implizieren, dass eine Vorhersage, die den „Mittelwert“ (oder ein Äquivalent) jedes Merkmals hat, notwendigerweise eine „mittlere“ Vorhersage ist, und 2) dass Merkmale „Mittelwerte“ sind ”(Oder gleichwertig) sind notwendigerweise nicht wirkungsvoll?

Im Allgemeinen müsste jede Technik Folgendes berücksichtigen:

• Umgang mit verschiedenen Datentypen (numerisch, kategorial usw.)
• Umgang mit fehlenden Daten
• Wie man mit bedingter Wichtigkeit umgeht (dh dass Prädiktoren nur paarweise wichtig sein können usw.)
• Recheneffizienz (ist es wirklich praktisch, eine Vorhersage mal auszuführen, wobei die Anzahl der Prädiktoren ist, oder für eine Störungsmethode wobei die Anzahl der Vorhersagen pro Prädiktor usw. ist)p k p $p$$p$$kp$$k$

Angesichts dieser losen und vielleicht falschen Gedanken zu diesem Thema frage ich mich, welche Herangehensweisen an das Problem die Menschen kennen, in Betracht gezogen, verwendet, beraten usw. haben.

Das Thema, das Sie ansprechen, wird als Modellerklärung oder Modellinterpretation bezeichnet und ist ein ziemlich aktives Thema in der Forschung. Die allgemeine Idee ist herauszufinden, welche Merkmale zum Modell beigetragen haben und welche nicht.

Sie haben bereits einige beliebte Techniken erwähnt, z. B. Partial Dependence Plots (PDP) oder LIME. In einem PDP wird der Einfluss des Werts eines Features auf die Modellausgabe angezeigt, indem aus den Daten mit einem geänderten Feature-Wert neue Instanzen erstellt und vom Modell vorhergesagt werden. LIME erstellt eine lokale Annäherung des Modells, indem Instanzen um eine angeforderte Instanz herum abgetastet und ein einfacheres, besser interpretierbares Modell gelernt werden.

Bei der von Ihnen beschriebenen naiven Methode wird die Auswirkung eines Features neutralisiert, indem es auf den Populationsmittelwert gesetzt wird. Sie haben absolut Recht, dass dies keine geeignete Methode ist, da die Vorhersage des Mittelwerts wahrscheinlich nicht die Mittelwertvorhersage ist. Außerdem spiegelt es nicht die Feature-Verteilung wider und funktioniert nicht für kategoriale Attribute.

Robnik-Sikonja und Kononenko [1] haben dieses Problem angesprochen. Ihre Grundidee ist dieselbe: der Vorhersageunterschied zwischen der unveränderten Instanz und einer Instanz mit einem neutralisierten Merkmal. Anstatt jedoch den Mittelwert zu verwenden, um die Auswirkungen der Features zu beseitigen, erstellen sie mehrere Instanzkopien mit jeweils einem anderen Wert. Bei kategorialen Werten durchlaufen sie alle möglichen Kategorien. Für numerische Werte diskretisieren sie die Daten in Bins. Die zerlegten Instanzen werden mit der Häufigkeit der Merkmalswerte in den Daten gewichtet. Fehlende Daten können ignoriert werden, indem Klassifizierer verwendet werden, die damit umgehen können, oder indem sie eingegeben werden, z. B. indem die Werte auf den Mittelwert gesetzt werden. Bedingte Bedeutungwurde in einer zweiten Veröffentlichung von Strumbelj et al. [2] angesprochen. Sie erweiterten den ursprünglichen Ansatz, indem sie nicht nur zerlegte Instanzen eines einzelnen Merkmals erstellten, sondern auch beobachteten, wie sich die Vorhersage für jede Teilmenge des Leistungssatzes von Merkmalswerten ändert. Dies ist natürlich rechenintensiv (wie sie selbst erwähnen und durch intelligentere Stichproben in Strumbelj und Kononenko zu verbessern versuchten [3]).

Übrigens: Bei Binärdaten wird dieses Problem viel einfacher, da Sie nur die Vorhersage zwischen Attribut vorhanden und nicht vorhanden vergleichen müssen . Martens und Provost [4] diskutierten dies für die Klassifizierung von Dokumenten.

Ein anderer Ansatz zum Auffinden von Gruppen bedeutungsvoller Merkmale wurde von Andreas Henelius in [5] und [6] vorgeschlagen. Die Idee seines GoldenEye-Algorithmus besteht darin, die Daten innerhalb der Klasse und der Feature-Gruppe zu permutieren. Stellen Sie sich eine Datentabelle vor, in der jede Zeile eine Instanz darstellt und jede Spalte ein Feature ist. In jeder Spalte werden alle Zeilen mit derselben Klasse permutiert. Features werden gruppiert, dh zusammen permutiert. Wenn die Klassifizierung der permutierten Daten sehr unterschiedlich (schlechter) als die Originaldaten ist, spiegelte die aktuelle Gruppierung nicht die wahre Gruppierung wider. Schauen Sie sich die Veröffentlichungen an, die dort besser beschrieben sind. Dieser Ansatz wird auch rechenintensiv .

Ich möchte auch auf die Veröffentlichungen von Josua Krause [7], [8] verweisen. Er entwickelte interaktive visuelle Analyse-Workflows zur Analyse binärer instanzbasierter Klassifizierungsprobleme, einschließlich eines erweiterten PDP. Sie sind gut geschrieben und eine interessante Lektüre.

[1] Robnik-Šikonja, M. (2004, September). Zufällige Wälder verbessern. In der europäischen Konferenz über maschinelles Lernen (S. 359-370). Springer, Berlin, Heidelberg.

[2] E. Štrumbelj, I. Kononenko & MR Šikonja (2009). Erläutern von Instanzklassifizierungen mit Interaktionen von Teilmengen von Feature-Werten. Data & Knowledge Engineering, 68 (10), 886-904.

[3] Štrumbelj, E. & Kononenko, I. (2014). Erklären von Vorhersagemodellen und individuellen Vorhersagen mit Feature-Beiträgen. Wissens- und Informationssysteme, 41 (3), 647-665.

[4] Martens, D. & Provost, F. (2013). Erklären datengesteuerter Dokumentklassifizierungen.

[5] Henelius, A., Puolamäki, K., Boström, H., Asker, L. & Papapetrou, P. (2014). Ein Blick in die Black Box: Erkundung von Klassifikatoren durch Randomisierung. Data Mining und Wissensentdeckung, 28 (5-6), 1503-1529. #

[6] Henelius, A., Puolamäki, K., Karlsson, I., Zhao, J., Asker, L., Boström, H. & Papapetrou, P. (2015, April). Goldeneye ++: Ein genauerer Blick in die Black Box. Im Internationalen Symposium für statistisches Lernen und Datenwissenschaften (S. 96-105). Springer, Cham.

[7] Krause, J., Perer, A. & Ng, K. (2016, Mai). Interaktion mit Vorhersagen: Visuelle Überprüfung von Black-Box-Modellen für maschinelles Lernen. In Proceedings der CHI-Konferenz 2016 über Human Factors in Computersystemen (S. 5686-5697). ACM.

[8] Krause, J., Dasgupta, A., Swartz, J., Aphinyanaphongs, Y. & Bertini, E. (2017). Ein Workflow für die visuelle Diagnose von Binärklassifizierern mithilfe von Erläuterungen auf Instanzebene. arXiv-Vorabdruck arXiv: 1705.01968.

Zwei weitere erwähnenswerte Methoden sind:

1) Der SHAP- Algorithmus von Lundberg & Lee , eine Erweiterung des spieltheoretischen Ansatzes von Štrumbelj & Kononenko, von dem sie behaupten, dass er LIME und eine Reihe anderer lokaler Wichtigkeitsmaßnahmen vereint; und

2) Die kontrafaktische Methode von Wachter et al., Die auf generativen kontradiktorischen Netzwerken basiert.

Beide Methoden haben Vor- und Nachteile. SHAP ist sehr schnell und wird mit einer benutzerfreundlichen Python-Implementierung geliefert . Leider werden Punkte immer mit dem Datenschwerpunkt verglichen, was in einigen Fällen möglicherweise nicht der relevante Kontrast ist. Ebenso wie LIME und eine Reihe anderer Algorithmen wird eine lokale Linearität angenommen (oder erzwungen), was zu instabilen oder nicht informativen Ergebnissen führen kann, wenn sich unser interessierender Fall in der Nähe eines deutlich nichtlinearen Bereichs der Entscheidungsgrenze oder der Regressionsfläche befindet.

Die Lösung von Wachter et al. Ist in dieser Hinsicht flexibler, eine erfrischende Abweichung von dem, was Lundberg & Lee das Paradigma der "additiven Merkmalszuweisung" nennt. Mir ist jedoch keine Open Source-Implementierung bekannt. Der zusätzliche Aufwand für GAN-Schulungen kann für einige Datensätze auch äußerst belastend sein.