Warum gibt es beim Q-Learning (Bestärkungslernen) keine Übergangswahrscheinlichkeit?

Unser Ziel beim Bestärkungslernen ist es, die Zustandswertfunktion oder die Aktionswertfunktion zu optimieren, die wie folgt definiert sind:

$V^{\pi}_s = \sum p(s'|s,\pi(s))[r(s'|s,\pi(s))+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s]$

$Q^{\pi}(s,a) = \sum p(s'|s,s)[r(s'|s,a)+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s,a_0=a]$

Wenn wir jedoch die Q-Learning-Methode verwenden, um die optimale Strategie zu erhalten, sieht die Aktualisierungsmethode wie folgt aus:

$Q(S,A) \leftarrow \ Q(S,A) + \alpha [R+\gamma max_a(Q(s',a)) -Q(S,A)]$

Meine Frage ist:

warum gibt es beim Q-Learning keine Übergangswahrscheinlichkeit . Bedeutet das, dass wir dieses bei der Modellierung von MDP nicht benötigen ? $p(s'|s,a)$ $p$

reinforcement-learning q-learning hokies
quelle

Antworten:

Algorithmen, die die Zustandsübergangswahrscheinlichkeitsfunktion nicht lernen, werden als modellfrei bezeichnet . Eines der Hauptprobleme bei modellbasierten Algorithmen besteht darin, dass es häufig viele Zustände gibt und ein naives Modell in der Anzahl der Zustände quadratisch ist. Das stellt einen enormen Datenbedarf.

Q-Learning ist modellfrei. Es lernt keine Zustandsübergangswahrscheinlichkeitsfunktion.

Neil G.
quelle

In MDP gibt es jedoch immer eine Wahrscheinlichkeit. Wenn es keine Übergangswahrscheinlichkeit gibt, bedeutet dies, dass dies ein Widerspruch zur Grundannahme im Reinforcement Learning ist, da RL davon ausgeht, dass der Prozess Markov ist.

Hokies

@FzLbMj Natürlich existieren die Übergangswahrscheinlichkeiten irgendwo. Der Punkt ist - wie gesagt -, dass sie nicht gelernt werden .

Neil G

@nbro Modellbasiert bedeutet, die Dynamik der Umgebung zu lernen. Hier ist ein Modell, das das macht: Kuvayev, D. und Richard S. Sutton. Modellbasiertes Bestärkungslernen. Technik. rept. Universität von Massachusetts, Fakultät für Informatik, 1997. Als Referenz können Sie Google Scholar verwenden, wenn Sie etwas nicht wissen.

Neil G

Ich habe Ihnen gerade ein Papier geschickt, das Sie lesen können und in dem ein Algorithmus die Übergangswahrscheinlichkeiten lernt. Siehe Abschnitt 5.

Neil G

@nbro Wir sind uns offensichtlich nicht einig über Definitionen. Wenn Sie also überzeugen möchten, unterstützen Sie Ihre Behauptung bitte mit einem Verweis.

Neil G

Aus Gründen der Klarheit denke ich, dass Sie durch ersetzen sollten, da es nur eine Aktionswertfunktion gibt. Wir bewerten nur Q für Aktionen in der nächste Zustand. Diese Notation weist auch darauf hin, wo das liegt. $max_a(Q', a)$ $max_a(Q(S', a))$ $p(s'|s, a)$

Intuitiv ist eine Eigenschaft der Umgebung. Wir kontrollieren nicht, wie es funktioniert, sondern probieren es einfach aus. Bevor wir dieses Update aufrufen, müssen wir zuerst eine Aktion A in Status S ausführen. Der Vorgang dazu gibt uns eine Belohnung und schickt uns in den nächsten Status. Der nächste Zustand, in dem Sie landen, wird per Definition aus . Im Q-Learning-Update nehmen wir also im Wesentlichen an, dass 1 ist, weil wir dort gelandet sind. $p(s'|s, a)$ $p(s'|s, a)$ $p(s'|s, a)$

Dies ist in Ordnung, da es sich um eine iterative Methode handelt, bei der die optimale Aktionswertfunktion geschätzt wird, ohne die vollständige Dynamik der Umgebung und insbesondere den Wert von . Wenn Sie zufällig ein Modell der Umgebung haben, das Ihnen diese Informationen liefert, können Sie das Update ändern, um es einzuschließen, indem Sie einfach die Rückkehr zu ändern . $p(s|s', a)$ $\gamma p(S'|S, A)max_a(Q(S', a))$

Alex
quelle

Vielen Dank für Ihre Antwort. Wenn wir also Q-Learning verwenden, gehen wir einfach davon aus, dass alle Aktionen die gleiche Wahrscheinlichkeit haben. Übrigens, haben Sie eine Idee, welche Methode ( SARSAoder Q-learning) Sie im Umgang mit verschiedenen Situationen anwenden sollten? Vielen Dank.

Hokies

Wir gehen nicht davon aus, dass alle Aktionen die gleiche Wahrscheinlichkeit haben. Wir gehen davon aus, dass die Übergangsfunktion für unsere Berechnung deterministisch ist. Das heißt, wenn Sie dieselbe Aktion aus demselben Status ausführen, gelangen Sie in denselben nächsten Status. Für Sarsa vs Q-Learning schauen Sie hier: stackoverflow.com/questions/6848828/…

Alex

Darüber hinaus ist Q-Learning ein modellfreier Algorithmus, dh unser Agent kennt nur die Zustände, die die Umgebung ihm gibt. Mit anderen Worten, wenn ein Agent eine Aktion auswählt und ausführt, wird der nächste Status nur von der Umgebung bestimmt und an den Agenten weitergegeben. Aus diesem Grund denkt der Agent nicht über die Zustandsübergangswahrscheinlichkeiten nach.

mustafamuratcoskun
quelle