In Decision Trees können wir die Ausgabe der Baumstruktur verstehen und visualisieren, wie der Decision Tree Entscheidungen trifft. Entscheidungsbäume sind also erklärbar (ihre Ausgabe kann leicht erklärt werden.)
Haben wir Erklärbarkeit in neuronalen Netzen wie bei Entscheidungsbäumen?
neural-network
navya
quelle
quelle
Antworten:
Ich bin mit der vorherigen Antwort und Ihrem Vorschlag aus zwei Gründen nicht einverstanden:
1) Entscheidungsbäume basieren auf einfachen logischen Entscheidungen, die zusammen komplexere Entscheidungen treffen können. ABER wenn Ihre Eingabe 1000 Dimensionen hat und die erlernten Funktionen sehr unlinear sind, erhalten Sie einen wirklich großen und schweren Entscheidungsbaum, den Sie nicht lesen / verstehen können, wenn Sie nur die Knoten betrachten.
2) Neuronale Netze sind in dem Sinne ähnlich, dass die Funktion, die sie lernen, nur verständlich ist, wenn sie sehr klein sind. Wenn du groß wirst, brauchst du andere Tricks, um sie zu verstehen. Wie @SmallChess vorschlug, können Sie diesen Artikel mit dem Titel Visualisieren und Verstehen von Faltungsnetzwerken lesen. Er erklärt für den speziellen Fall von neuronalen Faltungsnetzwerken, wie Sie die Gewichte lesen können, um Dinge wie "es hat ein Auto in diesem Bild erkannt, hauptsächlich wegen der Räder, nicht der Rest der Komponenten ".
Diese Visualisierungen halfen vielen Forschern, Schwachstellen in ihren neuronalen Architekturen zu verstehen und die Trainingsalgorithmen zu verbessern.
quelle
Nein. Neuronales Netz ist im Allgemeinen schwer zu verstehen. Sie tauschen Vorhersagekraft gegen Modellkomplexität. Obwohl es möglich ist, die NN-Gewichte grafisch darzustellen, sagen sie Ihnen nicht genau, wie eine Entscheidung getroffen wird. Viel Glück beim Versuch, ein tiefes Netzwerk zu verstehen.
Es gibt ein populäres Python-Paket (und es hat ein Paper), das einen NN lokal mit einem einfacheren Modell modellieren kann. Vielleicht möchten Sie einen Blick darauf werfen.
quelle
https://arxiv.org/abs/1704.02685 bietet ein NN-spezifisches lokales Erklärungstool: Deep Lift. Es funktioniert, indem der Aktivierungsunterschied zwischen der zu erklärenden Instanz und einer Referenzinstanz propagiert wird. Eine Referenz zu finden ist etwas schwierig, aber das Tool scheint insgesamt interpretierbar und skalierbar zu sein. Wir verwenden es für tabellarische Daten.
quelle