Was ist eine Ablationsstudie? Und gibt es eine systematische Möglichkeit, dies durchzuführen?

Was ist eine Ablationsstudie? Und gibt es eine systematische Möglichkeit, dies durchzuführen? Zum Beispiel habe ich Prädiktoren in einer linearen Regression, die ich als mein Modell bezeichnen werde.$n$

Wie werde ich dazu eine Ablationsstudie durchführen? Welche Metriken soll ich verwenden?

Eine umfassende Quelle oder ein Lehrbuch wäre willkommen.

Die ursprüngliche Bedeutung von "Ablation" ist die chirurgische Entfernung von Körpergewebe . Der Begriff „Ablationsstudie“ hat seine Wurzeln im Bereich der experimentellen Neuropsychologie der 1960er und 1970er Jahre, wo Teile des Gehirns von Tieren entfernt wurden, um die Auswirkungen zu untersuchen, die dies auf ihr Verhalten hatte.

Im Zusammenhang mit maschinellem Lernen und insbesondere komplexen tiefen neuronalen Netzen wurde eine „Ablationsstudie“ durchgeführt, um ein Verfahren zu beschreiben, bei dem bestimmte Teile des Netzwerks entfernt werden, um das Verhalten des Netzwerks besser zu verstehen.

Der Begriff hat seit einem Tweet von Francois Chollet , Hauptautor des Keras Deep Learning Frameworks, im Juni 2018 Beachtung gefunden :

Ablationsstudien sind für die Deep-Learning-Forschung von entscheidender Bedeutung - können dies nicht genug betonen. Das Verständnis der Kausalität in Ihrem System ist der einfachste Weg, um verlässliches Wissen zu generieren (das Ziel jeder Forschung). Und die Ablation ist ein sehr müheloser Weg, um die Kausalität zu untersuchen.

Wenn Sie einen komplizierten Deep-Learning-Versuchsaufbau durchführen, können Sie wahrscheinlich einige Module entfernen (oder einige trainierte Funktionen durch zufällige ersetzen), ohne dass die Leistung beeinträchtigt wird. Beseitigen Sie den Lärm im Forschungsprozess: Führen Sie Ablationsstudien durch.

Sie können Ihr System nicht vollständig verstehen? Viele bewegliche Teile? Möchten Sie sicherstellen, dass der Grund, warum es funktioniert, wirklich mit Ihrer Hypothese zusammenhängt? Versuchen Sie, Sachen zu entfernen. Verbringen Sie mindestens ~ 10% Ihrer Experimentierzeit mit ehrlichen Bemühungen, Ihre These zu widerlegen.

Als Beispiel beschreiben Girshick und Kollegen (2014) ein Objekterkennungssystem, das aus drei „Modulen“ besteht: Das erste schlägt Bereiche eines Bildes vor, in denen mit dem Selective Search-Algorithmus nach einem Objekt gesucht werden soll ( Uijlings und Kollegen 2012 ) wird in ein großes neuronales Faltungsnetzwerk (mit 5 Faltungsschichten und 2 vollständig verbundenen Schichten) eingespeist, das eine Merkmalsextraktion durchführt, die wiederum zur Klassifizierung in einen Satz von Unterstützungsvektormaschinen eingespeist wird. Um das System besser zu verstehen, führten die Autoren eine Ablationsstudie durch, bei der verschiedene Teile des Systems entfernt wurden. Beispielsweise führte das Entfernen einer oder beider vollständig verbundenen Schichten des CNN zu einem überraschend geringen Leistungsverlust, woraus die Autoren schließen konnten

Ein Großteil der Repräsentationskraft des CNN kommt von seinen Faltungsschichten und nicht von den viel größeren, dicht verbundenen Schichten.

Das OP bittet um Einzelheiten zur Durchführung einer Ablationsstudie und um umfassende Referenzen. Ich glaube nicht, dass es eine Antwort auf diese Frage gibt. Die Metriken unterscheiden sich wahrscheinlich je nach Anwendung und Modelltyp. Wenn wir das Problem einfach auf ein tiefes neuronales Netzwerk eingrenzen, ist es relativ einfach zu sehen, dass wir Schichten auf prinzipielle Weise entfernen und untersuchen können, wie dies die Leistung des Netzwerks verändert. Darüber hinaus ist in der Praxis jede Situation anders und in der Welt der großen komplexen Anwendungen für maschinelles Lernen bedeutet dies, dass wahrscheinlich für jede Situation ein einzigartiger Ansatz erforderlich ist.

Im Kontext des Beispiels im OP - lineare Regression - ist eine Ablationsstudie nicht sinnvoll, da nur einige der Prädiktoren aus einem linearen Regressionsmodell "entfernt" werden können. Dies "prinzipiell" zu tun, ist einfach ein umgekehrtes schrittweises Auswahlverfahren, das im Allgemeinen verpönt ist - siehe hier , hier und hier für Details. Ein Regularisierungsverfahren wie das Lasso ist eine viel bessere Option für die lineare Regression.

Refs:

Girshick, R., Donahue, J., Darrell, T. und Malik, J., 2014. Reichhaltige Merkmalshierarchien für genaue Objekterkennung und semantische Segmentierung. In Proceedings der IEEE-Konferenz über Computer Vision und Mustererkennung (S. 580-587).

Uijlings, JR, Van De Sande, KE, Gevers, T. und Smeulders, AW, 2013. Selektive Suche nach Objekterkennung. Internationales Journal of Computer Vision, 104 (2), S. 154-171.