Effekt, dass die Filtergewichte von CNN während des Backprop NICHT geändert werden

9

Was bewirkt es, die Filtergewichte eines CNN während der Backpropagation NICHT zu ändern? Ich habe beim Training des MNIST-Datensatzes nur die vollständig verbundenen Schichtgewichte geändert und trotzdem eine Genauigkeit von fast 99 Prozent erreicht.

machine-learning cnn mnist Abhisek Dash
quelle
Interessant, haben Sie mit zufälligen Gewichten begonnen oder Gewichte aus einem früheren Netzwerk verwendet? Ist Ihr Genauigkeitsmaß auch aus dem Trainingsset oder aus einem Hold-Out-Test-Set?
Neil Slater
@ Neil Slater: Ich habe mit zufälligen Gaußschen Gewichten begonnen. Das Genauigkeitsmaß befindet sich im Testsatz.
Abhisek Dash
@Neil Slater: Die Genauigkeit bleibt auch bei unterschiedlichen Initialisierungen der Filter nahezu gleich. Ich habe 2 Faltungs- und Max-Pool-Schichten und eine FC-Schicht mit 256 versteckten Neuronen verwendet
Abhisek Dash

Antworten:

11

Indem Sie die Gewichte der Faltungsschichten eines CNN nicht ändern, füttern Sie im Wesentlichen zufällige Merkmale Ihres Klassifikators (der vollständig verbundenen Schicht) (dh nicht die optimalen Merkmale für die jeweilige Klassifizierungsaufgabe).

MNIST ist eine so einfache Bildklassifizierungsaufgabe, dass Sie die Eingabepixel so gut wie ohne Merkmalsextraktion einem Klassifizierer zuführen können, und es wird immer noch in den hohen 90ern punkten. Außerdem helfen vielleicht die Pooling-Schichten ein bisschen ...

Versuchen Sie, einen MLP (ohne die Conv / Pool-Ebenen) auf dem Eingabebild zu trainieren, und sehen Sie, wie es rangiert. Hier ist ein Beispiel, in dem ein MLP (1 versteckte & 1 Ausgabeschicht) ohne Vorverarbeitung / Merkmalsextraktion 98 +% erreichte.

Djib2011
quelle