Darüber hinaus stellen wir fest, dass Moduskollaps, der traditionell GANs plagt, im Verlauf eines Dutzend Minibatches sehr schnell auftritt. Üblicherweise beginnen sie, wenn der Diskriminator überschießt, was zu übertriebenen Gradienten führt, und es folgt eine ungesunde Konkurrenz, bei der die Signalgrößen in beiden Netzwerken eskalieren. Wir schlagen einen Mechanismus vor, um zu verhindern, dass der Generator an einer solchen Eskalation teilnimmt, um das Problem zu lösen (Abschnitt 4.2).
Was bedeuten sie, wenn der Diskriminator überschießt? Der Diskriminator wird zu schnell gut? Und Signalgrößen eskalieren in beiden Netzwerken?
Meine derzeitige Intuition ist, dass der Diskriminator zu früh zu gut wird, was dazu führt, dass der Generator ansteigt und versucht, aufzuholen. Das wäre die ungesunde Konkurrenz, von der sie sprechen. Der Modellkollaps ist der Nebeneffekt, bei dem der Generator Probleme beim Aufholen hat und auf Nummer sicher geht, indem er leicht unterschiedliche Bilder erzeugt, um die Genauigkeit zu erhöhen. Ist diese Art der Interpretation des obigen Absatzes korrekt?
quelle
Ja, deine Intuition ist richtig. Dieses Problem hat zur Folge, dass der Generator seine Leistung nicht mehr verbessern kann, um den Diskriminator geringfügig zu täuschen - der Diskriminator kauft keine der erzeugten Ausgaben. In diesem Fall bleibt der Generator in einem lokalen Minimum stecken und erzeugt normalerweise unsinnige Ergebnisse.
quelle
Ich denke, deine Intuition ist nicht ganz richtig. Zu Beginn des Trainings könnte der Diskriminator überschießen. Daher kann es zu einer Eskalation des Backpropagation-Signals kommen.
quelle