GANs (Generative Adversarial Networks) auch für Text möglich?

Sind GANs - generative kontradiktorische Netzwerke - nur für Bilder geeignet oder können sie auch für Text verwendet werden?

Trainieren Sie ein Netzwerk, um aussagekräftige Texte aus einer Zusammenfassung zu generieren.

UPD - Zitate des GAN-Erfinders Ian Goodfellow.

GANs wurden nicht auf NLP angewendet, da GANs nur für realwertige Daten definiert werden. ( 2016 ) Quelle

Es ist keine grundsätzlich fehlerhafte Idee. Es sollte möglich sein, mindestens eine der folgenden ... (2017) -Quellen zu erstellen

Ja, GANs können für Text verwendet werden. Es gibt jedoch ein Problem bei der Kombination der Funktionsweise von GANs und der normalen Textgenerierung durch neuronale Netze:

• GANs wirken durch die Ausbreitung von Gradienten durch die Zusammensetzung von Generator und Diskriminator.
• Text wird normalerweise erzeugt, indem eine letzte Softmax-Schicht über dem Token-Raum liegt, d. H. Die Ausgabe des Netzwerks entspricht normalerweise den Wahrscheinlichkeiten für die Erzeugung jedes Tokens (dh einer diskreten stochastischen Einheit).

Diese beiden Dinge funktionieren für sich allein nicht gut, weil Sie keine Verläufe durch diskrete stochastische Einheiten propagieren können. Es gibt zwei Hauptansätze, um damit umzugehen: den REINFORCE-Algorithmus und die Gumbel-Softmax-Neuparametrisierung (auch als Betonverteilung bekannt ). Berücksichtigen Sie, dass REINFORCE bekanntermaßen eine hohe Varianz aufweist, sodass Sie große Datenmengen benötigen, um gute Gradientenschätzungen zu erhalten.

Als Beispiel für REINFORCE für Text-GANs können Sie den SeqGAN-Artikel lesen . Ein Beispiel für Gumbel-Softmax können Sie in diesem Artikel nachlesen .

Eine andere völlig andere Option besteht darin, keine diskrete stochastische Einheit als Ausgang des Generators zu haben (z. B. Token deterministisch im eingebetteten Raum zu generieren), wodurch das ursprüngliche Problem der Rückübertragung durch sie beseitigt wird.

Zu diesem Thema gibt es noch genauere Untersuchungen:

Der geschulte Generator ist in der Lage, Sätze mit einem bestimmten Grad an Grammatik und Logik zu produzieren.

Xuerong Xiao, "Texterstellung mit generativem Adversarial Training"

Diese Frage bezieht sich auf dieses Problem: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

Ja, GANs können jetzt auch für diskrete Daten verwendet werden. Das erste Beispiel für diese Intuition war die Gründung der Wasserstein GANs (WGAN). Ian Goodfellow befasste sich mit einer Verstärkung Learning Ansatz für dieses Problem in den NIPS 2016 Conference Auch Dieser Artikel befasst sich mit Fortschritten in der GAN in Bezug auf diskreten Daten.