Wie kann man eine Überanpassung im Faltungs-Neuronalen Netz identifizieren?

Ich verstehe, dass Dropout verwendet wird, um Überanpassungen im Netzwerk zu reduzieren. Dies ist eine Verallgemeinerungstechnik.

Wie kann ich im Faltungsnetzwerk eine Überanpassung erkennen?

Eine Situation, an die ich denken kann, ist, wenn die Trainingsgenauigkeit im Vergleich zur Test- oder Validierungsgenauigkeit zu hoch ist. In diesem Fall versucht das Modell, sich an die Trainingsmuster anzupassen, und zeigt eine schlechte Leistung an den Testmustern.

Ist dies die einzige Möglichkeit, die angibt, ob ein Ausfall angewendet werden soll oder ob ein Ausfall blind zum Modell hinzugefügt werden soll, in der Hoffnung, dass dies die Test- oder Validierungsgenauigkeit erhöht

machine-learning overfitting conv-neural-network dropout Kapes
quelle

Soweit ich weiß, könnte ein Ausfall niemals schaden. Eine andere Möglichkeit, das Überanpassungspotential zu überwachen, besteht darin, die Größe Ihrer Gewichte grafisch darzustellen. Höhere Gewichte führen zu Überanpassung.

Frobot

Antworten:

Wie kann ich im Faltungsnetzwerk eine Überanpassung erkennen?

Der Vergleich der Leistung beim Training (z. B. Genauigkeit) mit der Leistung beim Testen oder Validieren ist der einzige Weg (dies ist die Definition von Übermaß).

Sollte das Modell blind um Dropout erweitert werden, in der Hoffnung, dass es die Test- oder Validierungsgenauigkeit erhöht?

Dropout hilft oft, aber die optimale Dropout-Rate hängt vom Datensatz und Modell ab. Dropout kann auch auf verschiedene Ebenen im Netzwerk angewendet werden. Beispiel aus der Optimierung von Hyperparametern neuronaler Netze mit Gaußschen Prozessen zur Klassifizierung von Dialogakten , IEEE SLT 2016.:

Möglicherweise möchten Sie auch frühzeitig anhalten:

Franck Dernoncourt
quelle