Vortrag / Buch über AlphaGo / AlphaZero

8

Ich bin sehr interessiert daran, wie AlphaGo resp. AlphaZero funktioniert. Mir scheint, die zugehörigen Google Papers sind sehr dicht und nicht leicht zu lesen.

Gibt es ein Lehrbuch oder eine Vorlesung, die auf technischer Ebene erklärt, wie das alles funktioniert? Dh beginnend mit neuronalen Netzen / Deep Learning, Monte-Carlo-Baumsuche bis zum Erreichen von AlphaGo / AlphaZero?

Ich habe einen Master in Informatik, aber ich habe nie mit künstlicher Intelligenz / maschinellem Lernen gearbeitet.

Im Moment scheint es mir, dass alle zugehörigen Informationen verstreut sind und ich keine Zeit habe, (Online-) Vorlesungen über maschinelles Lernen anzuhören, die vielleicht nur 10% darüber enthalten, was für das Verständnis von AlphaGo relevant ist ...

Kann mich jemand in die richtige Richtung weisen?

chess-algorithms alphazero ndbd
quelle
2
AlphaGo von Google DeepMind: Wie es funktioniert
unutbu
2
danke für den Link, aber diese Präsentation ist wirklich sehr, sehr oberflächlich
ndbd

Antworten:

10

BEARBEITEN

Der Link von @ unutbu im Kommentar ist eine gute Einführung.

Solides Verständnis für AlphaZero erfordert höchstwahrscheinlich einen quantitativen Abschluss (PhD?). Fragen Sie nach einem Crashkurs in AlphaZero?

Bitte beachten Sie , dass nichts, was ich sage, funktioniert , wenn Sie nicht einen erheblichen Teil Ihrer Zeit investieren . Es gibt kein Buch, das möglicherweise alles abdecken kann. Sie müssen sehr hart arbeiten.

Probieren wir es aus. Crashkurs für AlphaZero.

1. Grundlegendes Verständnis beim maschinellen Lernen

Unzählige Bücher. Aber wenn Sie keine Zeit haben, würde ich Professor Andrew Ngs Kurse zum maschinellen Lernen auf Coursera empfehlen.

Ihre Schlüsselwörter: Trainingssätze, Testsätze, stochastischer Gradientenabstieg, Lernrate, GPU, Kostenfunktion, Kreuzentropie .

2. Tief neutrale Netzwerke

Sie müssen sich mit neuronalen Netzen auskennen. Ich würde Professor Ian Goodfellow das Deep-Learning-Buch empfehlen, wenn Sie es ernst meinen. Wenn Sie keine Zeit haben, folgen Sie bitte erneut dem Online-Kurs von Professor Andrew Ng über Coursera. Sie müssen nicht alle Kapitel durchgehen (aber Sie sollten!).

YouTube bietet viele schnelle Einführungen in neuronale Netze. Probieren Sie sie aus.

Ihre Schlüsselwörter: Neuron, Schichten, Gewichte, Voreingenommenheit, Mini-Batch, Aktivierung .

3. Monte-Carlo-Baumsuche

Sie sollten verstehen, was Monte Carlo ist. Bücher über Monte Carlo gibt es überall bei Amazon. Lesen Sie die Wikipedia über MCTS, wenn Sie keine Zeit haben.

Ihre Schlüsselwörter: Sampling, Erweiterung, Simulation, Rollouts, Backpropagation .

3. Verstärkungslernen

Ihre Schlüsselwörter: Richtliniengradient, Gradientenabstieg, Lernrate

5. Schachbrettdarstellung

Das Papier selbst ist am einfachsten. Das Modell codiert den Board-Status (z. B. Teile) als eine Reihe von One-Hot-Codierungs-Binärwerten.

6. MCTS gegen Alpha-Beta

Geben Sie hier die Bildbeschreibung ein

SmallChess
quelle
4
Vielen Dank für die ausführliche Antwort. Es scheint also leider keine direkte Anleitung zu geben. Mein Punkt ist, dass ich als CS-Major natürlich über neuronale Netze Bescheid weiß, aber nicht über die spezifische Art von tiefen Netzen, die in Alpha * verwendet wurden. Ich kenne ungefähr MCTS, wie es von Bernd Brügmann eingeführt wurde, aber nicht die spezifische Art der Anpassung für Alpha *. Gleiches gilt für das verstärkte Lernen. Zum Beispiel ist Andrew Ngs Kurs über ML sehr breit und deckt Dinge wie PCA / LDA ab, was meines Wissens hier völlig irrelevant ist. Aber ich denke, ich muss es dann selbst
herausfinden ;-)
7

Ich habe nicht genug Ruf, um einen Kommentar abzugeben , aber AlphaGo Zero Explained In One Diagram ist ziemlich gut.

Ich mag dieses Tutorial auch sehr.

Beachten Sie, dass der erste Link nicht beschreibt, wann Knoten erstellt (erweitert) werden sollen. Dieser Teil kann etwas verwirrend sein. Dieser Link kann helfen.

Mönch
quelle
Das ist gut. Ich mag das. +1.
SmallChess