Warum erfordert die Wiedergabe von Erfahrungen einen Algorithmus, der außerhalb der Richtlinien liegt?

In dem Artikel, in dem DQN " Atari spielen mit tiefem Verstärkungslernen " vorgestellt wurde, wurde Folgendes erwähnt:

Beachten Sie, dass beim Lernen durch Wiederholung von Erfahrungen das Lernen außerhalb der Richtlinien erforderlich ist (da sich unsere aktuellen Parameter von denen unterscheiden, die zum Generieren der Stichprobe verwendet wurden), was die Wahl von Q-Learning motiviert.

Ich habe nicht ganz verstanden, was es bedeutet. Was ist, wenn wir SARSA verwenden und uns die Aktion a'für die Aktion merken, die wir s'in unserem Speicher ausführen sollen, und dann Stapel daraus abtasten und Q aktualisieren, wie wir es in DQN getan haben? Und können schauspieler-kritische Methoden (A3C) Erfahrungswiedergaben verwenden? Wenn nein, warum?

Bei den Richtlinienmethoden wie SARSA wird erwartet, dass die Aktionen in jedem Status auf der Grundlage der aktuellen Richtlinien des Agenten ausgewählt werden, die normalerweise die Belohnungen ausnutzen.

Dadurch wird die Richtlinie verbessert, wenn wir unsere Richtlinie basierend auf den letzten Belohnungen aktualisieren. Insbesondere aktualisieren sie hier die Parameter des NN, die den Wert eines bestimmten Zustands / einer bestimmten Aktion vorhersagen.

Wenn wir jedoch unsere Richtlinie basierend auf gespeicherten Übergängen aktualisieren, wie in der Erfahrungswiedergabe, bewerten wir tatsächlich Aktionen von einer Richtlinie, die nicht mehr die aktuelle ist, da sie sich im Laufe der Zeit weiterentwickelt hat, sodass sie nicht mehr auf der Richtlinie basiert.

Die Q-Werte werden basierend auf den zukünftigen Belohnungen bewertet, die Sie von einem Status erhalten, der der aktuellen Agentenrichtlinie folgt.

Dies gilt jedoch nicht mehr, da Sie jetzt eine andere Richtlinie verfolgen. Aus diesem Grund verwenden sie eine gemeinsame Methode, die auf der Grundlage eines Epsilon-Greedy-Ansatzes untersucht wird.

$a$$s$