Die Bedeutung des Rabattfaktors für das verstärkte Lernen

Nachdem ich die Erfolge von Google Deepmind in Ataris Spielen gelesen habe , versuche ich, das Q-Learning und die Q-Netzwerke zu verstehen, aber ich bin ein bisschen verwirrt. Die Verwirrung entsteht im Konzept des Abzinsungsfaktors. Kurze Zusammenfassung dessen, was ich verstehe. Ein tiefes Faltungs-Neuronales Netzwerk wird verwendet, um den Wert des optimalen erwarteten Werts einer Aktion zu schätzen. Das Netzwerk hat die Verlustfunktion zu minimieren wobei E s ' [ y | s , a ] ist E [ r + & ggr; m a x a ' Q ( s ' , a ' ; & thgr ; - i ) | s,a] WobeiQein kumulativer Bewertungswert ist undrder Bewertungswert für die ausgewählte Aktion ist. s,aund

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ $\mathbb{E}_{s'}\left[y|s,a\right]$ $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ $Q$$r$$s,a$ sind jeweils der Zustand und die Aktion wählen zum Zeitpunkt t und der Zustand und die Aktion zum Zeitpunkt t ' . Die θ - i sind die Gewichte des Netzwerks bei der vorherigen Iteration. Das γ ist ein Abzinsungsfaktor, der die zeitliche Differenz der Bewertungswerte berücksichtigt. DerIndex i ist der zeitliche Schritt. Das Problem hierbei ist zu verstehen, warum γ nicht von θ abhängt.$s',a'$$t$$t'$$\theta^-_i$$\gamma$$i$$\gamma$$\theta$

Aus mathematischer Sicht ist der Abzinsungsfaktor und repräsentiert die Wahrscheinlichkeit, den Zustand s ' aus dem Zustand s zu erreichen .$\gamma$$s'$$s$

$Q$$\gamma$$\gamma=1$

$s′$$s$$p(s'|s,a)$$γ$$y$$s$$s$$γ < 1$

Ich schlage vor, dass Sie das Sutton & Barto-Buch lesen, bevor Sie Deep-Q ausprobieren, um reines Reinforcement Learning außerhalb des Kontexts neuronaler Netze zu lernen, was Sie möglicherweise verwirren kann.