Ich versuche, ein Äquivalent zu Hinton-Diagrammen für mehrschichtige Netzwerke zu finden, um die Gewichte während des Trainings zu zeichnen.
Das trainierte Netzwerk ähnelt in gewisser Weise einem Deep SRN, dh es hat eine hohe Anzahl von Mehrfachgewichtungsmatrizen, was die gleichzeitige Darstellung mehrerer Hinton-Diagramme visuell verwirrend machen würde.
Kennt jemand eine gute Möglichkeit, den Gewichtungsaktualisierungsprozess für wiederkehrende Netzwerke mit mehreren Ebenen zu visualisieren?
Ich habe nicht viele Artikel zu diesem Thema gefunden. Ich habe darüber nachgedacht, stattdessen zeitbezogene Informationen zu den Gewichten pro Schicht anzuzeigen, wenn mir nichts einfällt. ZB das Gewichts-Delta über die Zeit für jede Schicht (ohne die Verwendung jeder einzelnen Verbindung). PCA ist eine andere Möglichkeit, obwohl ich nicht viele zusätzliche Berechnungen erstellen möchte, da die Visualisierung während des Trainings online erfolgt.
Aufgrund meines flüchtigen Verständnisses der mit Ihrer Frage verbundenen Themen denke ich, dass Gephi ( https://gephi.github.io ; die ursprüngliche Weiterleitung von gephi.org) in der Lage sein sollte, die dynamische Visualisierung von neuronalen Netzen zu handhaben . Es scheint, dass Sie, um Ihr Ziel zu erreichen, Ihre Grafiken mit entsprechenden Gewichten streamen müssen ( https://forum.gephi.org/viewtopic.php?t=1875 ). Zum Streamen benötigen Sie höchstwahrscheinlich dieses Plug-In : https://marketplace.gephi.org/plugin/graph-streaming .
UPDATE : Möglicherweise finden Sie auch nützliche SoNIA-Software: http://web.stanford.edu/group/sonia .
quelle