Wie kann ich nachweisen, dass die Engpassschicht meines CNN-Auto-Encoders nützliche Informationen enthält?

7

Ich verwende den CNN-Autoencoder, um eine Zustandsrepräsentationsschicht zu erstellen, die ich später in meinen Verstärkungsagenten einspeisen werde. Also habe ich meinen CNN-Autoencoder trainiert und er gibt nette Zustandsdarstellungen. Aber ich habe folgende Fragen:

  1. Kann meine Autoencoder-Schicht überpasst werden?
  2. Wenn es eine Überanpassung gibt, führt dies zu Abfallinformationen in meiner Engpassschicht?
deep-learning autoencoder Shamane Siriwardhana
quelle

Antworten:

7

Ja zu Ihren beiden Fragen. Ihr Autoencoder kann überanpassen und dies führt dazu, dass Ihr Engpass nutzlose Informationen speichert (neben allen nützlichen Informationen, die er bereits speichert).

Einige Möglichkeiten, dies zu verhindern, sind:

  • Suchen Sie einen größeren Datensatz oder erweitern Sie den aktuellen.
  • Fügen Sie dem Eingang Rauschen hinzu (siehe Entrauschen von Autoencodern).
  • Regularisierung (zB frühes Stoppen, Sparsity-Einschränkungen )
cat91
quelle
Gibt es eine Möglichkeit zur Überprüfung? Mein Auto-Encoder kann nur den Status verwenden, der durch ein Bild im Simulator dargestellt wird. Welches ist nur ein Indoor-Szenario? Es gibt also nicht viel Muster zwischen Staaten. Es ist Küche, es hat ähnliche Sachen wie in der Küche. Training mit Hilfsverlusten kann helfen, Überanpassung loszuwerden oder nicht?
Shamane Siriwardhana
Was meinst du auch mit "neben nützlichen Informationen, die bereits gespeichert sind", was bedeutet, dass durch die Rekonstruktion des Engpasses nützliche Informationen richtig bleiben? obwohl überpassend
Shamane Siriwardhana
2
@ShamaneSiriwardhana Ja, wenn Sie Daten beschriftet haben, können Sie einen Hilfsausgang mit einem Hilfsverlust haben, der dem Autoencoder hilft, zu identifizieren, welche Elemente aus dem Eingabebild für die Klassifizierung erforderlich sind. Mit "nützlichen Informationen" meine ich alle nützlichen Beziehungen, die der Autoencoder extrahieren konnte und die in der Engpassschicht gespeichert sind. Neben diesen könnte der Autoencoder auch das "Geräusch" im Trainingsset modellieren, was dazu führen wird, dass es überpasst
cat91