Bedeutung eines neuronalen Netzwerks als Black-Box?

19

Ich höre oft Leute, die über neuronale Netze als eine Art Black-Box sprechen, die Sie nicht verstehen, was sie tun oder was sie bedeuten. Ich kann eigentlich nicht verstehen, was sie damit meinen! Wenn Sie verstehen, wie Backpropagation funktioniert, wie ist es dann eine Blackbox?

Bedeuten sie, dass wir nicht verstehen, wie und was die berechneten Gewichte sind?

Jack Twain
quelle
1
Vielleicht würde dies helfen: colah.github.io/posts/2014-03-NN-Manifolds-Topology Dieser Artikel versucht, den zugrunde liegenden Mechanismus neuronaler Netze aus topologischer Sicht aufzudecken Neuronale Netze.
Sol
Ich möchte Jack noch etwas hinzufügen, wenn wir MLP aus Sicht des maschinellen Lernens betrachten, sind neuronale Netze keine Blackbox mehr. Mit der einfachen Sigmoidfunktion werden wir in der Lage sein, die Eingabe- und Ausgabebeziehung mit einer Gleichung zu interpretieren.

Antworten:

37

Ein neuronales Netzwerk ist eine Black Box in dem Sinne, dass das Studieren seiner Struktur keine Einsicht in die Struktur der zu approximierenden Funktion gibt, obwohl es jede Funktion approximieren kann.

Beispielsweise besteht eine häufige Verwendung neuronaler Netze im Bankgeschäft in der Klassifizierung von Kreditgebern nach "guten Zahlern" und "schlechten Zahlern". Sie haben eine Matrix mit Eingabemerkmalen (Geschlecht, Alter, Einkommen usw.) und einen Ergebnisvektor ("Standard", "Nicht Standard" usw.). Wenn Sie dies mit einem neuronalen Netzwerk modellieren, nehmen Sie an, dass es eine Funktion im eigentlichen Sinne einer mathematischen Funktion gibt. Diese Funktion kann beliebig komplex sein und sich je nach Geschäftsentwicklung ändern, sodass Sie sie nicht manuell ableiten können.CRf(C)=R

Dann verwenden Sie das neuronale Netzwerk, um eine Approximation von zu erstellen , die eine für Ihre Anwendung akzeptable Fehlerrate aufweist. Dies funktioniert und die Genauigkeit kann beliebig klein sein. Sie können das Netzwerk erweitern, die Trainingsparameter optimieren und mehr Daten abrufen, bis die Genauigkeit Ihre Ziele erreicht.f

Die Black-Box-Frage lautet: Die durch das neuronale Netz gegebene Annäherung gibt Ihnen keinen Einblick in die Form von f. Es gibt keine einfache Verbindung zwischen den Gewichten und der zu approximierenden Funktion. Sogar die Analyse, welche Eingabeeigenschaft irrelevant ist, ist ein offenes Problem (siehe diesen Link ).

Außerdem ist ein neuronales Netzwerk aus Sicht der herkömmlichen Statistik ein nicht identifizierbares Modell: Bei einem bestimmten Datensatz und einer bestimmten Netzwerktopologie können zwei neuronale Netze mit unterschiedlicher Gewichtung und gleichem Ergebnis vorhanden sein. Dies macht die Analyse sehr schwierig.

Als Beispiel für "Nicht-Black-Box-Modelle" oder "interpretierbare Modelle" stehen Regressionsgleichungen und Entscheidungsbäume zur Verfügung. Die erste gibt Ihnen eine geschlossene Näherung von f, wobei die Wichtigkeit jedes Elements explizit ist, die zweite eine grafische Beschreibung einiger relativer Risiken / Gewinnchancen-Verhältnisse.

Lucas Gallindo
quelle
Da dies eine alte Antwort ist, kann es für einige nützlich sein, einige neu entwickelte Werkzeuge bereitzustellen: "Die vom neuronalen Netz gegebene Annäherung gibt Ihnen keinen Einblick in die Form von f" - ich würde sagen, dass SHAP jetzt a tut Hervorragende Modellerklärung, auch für neuronale Netze. "Sogar die Analyse, welche Eingabecharakteristik irrelevant ist, ist ein offenes Problem" - Motten wie Permutationsbedeutung sowie SHAP gehen dieses Problem nun ziemlich gut an.
Bobson Dugnutt
3

Google hat Inception-v3 veröffentlicht . Es ist ein neuronales Netzwerk (NN) für den Bildklassifizierungsalgorithmus (das Erkennen einer Katze von einem Hund).

In der Zeitung wird über den aktuellen Stand der Bildklassifizierung gesprochen

Zum Beispiel verwendete GoogleNet nur 5 Millionen Parameter, was einer 12-fachen Reduzierung gegenüber seinem Vorgänger AlexNet entspricht, der 60 Millionen Parameter verwendete. Darüber hinaus verwendete VGGNet etwa 3-mal mehr Parameter als AlexNet

und das ist im Grunde, warum wir NN für Black Boxes nennen. Wenn ich ein Bildklassifizierungsmodell - mit 10 Millionen Parametern - trainiere und es Ihnen übergebe. Was kannst du damit machen?

Sie können es auf jeden Fall ausführen und Bilder klassifizieren. Es wird großartig funktionieren! Sie können jedoch keine der folgenden Fragen beantworten, indem Sie alle Gewichte, Vorspannungen und Netzwerkstrukturen untersuchen.

  • Kann dieses Netzwerk einen Husky von einem Pudel unterscheiden?
  • Welche Objekte sind für den Algorithmus einfach zu klassifizieren, welche sind schwierig?
  • Welcher Teil eines Hundes ist am wichtigsten, um ihn richtig einordnen zu können? Der Schwanz oder der Fuß?
  • Wenn ich eine Katze auf einen Hund fotografiere, was passiert dann und warum?

Sie können die Fragen möglicherweise beantworten, indem Sie einfach den NN ausführen und das Ergebnis anzeigen (Black Box), aber Sie können nicht verstehen, warum es sich so verhält, wie es sich in Randfällen verhält.

Abfüller
quelle
Ich denke, mindestens eine der Fragen ('Welcher Teil eines Hundes ist der wichtigste, um ihn richtig klassifizieren zu können? Der Schwanz oder der Fuß?') Ist ziemlich beantwortbar, wenn man sich Matt Zeilers Artikel und sein Video zu deconvolutitonal ansieht networks
Alex