Vortrag / Buch über AlphaGo / AlphaZero

8

Ich bin sehr interessiert daran, wie AlphaGo resp. AlphaZero funktioniert. Mir scheint, die zugehörigen Google Papers sind sehr dicht und nicht leicht zu lesen.

Gibt es ein Lehrbuch oder eine Vorlesung, die auf technischer Ebene erklärt, wie das alles funktioniert? Dh beginnend mit neuronalen Netzen / Deep Learning, Monte-Carlo-Baumsuche bis zum Erreichen von AlphaGo / AlphaZero?

Ich habe einen Master in Informatik, aber ich habe nie mit künstlicher Intelligenz / maschinellem Lernen gearbeitet.

Im Moment scheint es mir, dass alle zugehörigen Informationen verstreut sind und ich keine Zeit habe, (Online-) Vorlesungen über maschinelles Lernen anzuhören, die vielleicht nur 10% darüber enthalten, was für das Verständnis von AlphaGo relevant ist ...

Kann mich jemand in die richtige Richtung weisen?

chess-algorithms  alphazero 
— ndbd
quelle
2
— unutbu
2
danke für den Link, aber diese Präsentation ist wirklich sehr, sehr oberflächlich
— ndbd

Antworten:

10

BEARBEITEN

Der Link von @ unutbu im Kommentar ist eine gute Einführung.

Solides Verständnis für AlphaZero erfordert höchstwahrscheinlich einen quantitativen Abschluss (PhD?). Fragen Sie nach einem Crashkurs in AlphaZero?

Bitte beachten Sie , dass nichts, was ich sage, funktioniert , wenn Sie nicht einen erheblichen Teil Ihrer Zeit investieren . Es gibt kein Buch, das möglicherweise alles abdecken kann. Sie müssen sehr hart arbeiten.

Probieren wir es aus. Crashkurs für AlphaZero.

1. Grundlegendes Verständnis beim maschinellen Lernen

Unzählige Bücher. Aber wenn Sie keine Zeit haben, würde ich Professor Andrew Ngs Kurse zum maschinellen Lernen auf Coursera empfehlen.

Ihre Schlüsselwörter: Trainingssätze, Testsätze, stochastischer Gradientenabstieg, Lernrate, GPU, Kostenfunktion, Kreuzentropie .

2. Tief neutrale Netzwerke

Sie müssen sich mit neuronalen Netzen auskennen. Ich würde Professor Ian Goodfellow das Deep-Learning-Buch empfehlen, wenn Sie es ernst meinen. Wenn Sie keine Zeit haben, folgen Sie bitte erneut dem Online-Kurs von Professor Andrew Ng über Coursera. Sie müssen nicht alle Kapitel durchgehen (aber Sie sollten!).

YouTube bietet viele schnelle Einführungen in neuronale Netze. Probieren Sie sie aus.

Ihre Schlüsselwörter: Neuron, Schichten, Gewichte, Voreingenommenheit, Mini-Batch, Aktivierung .

3. Monte-Carlo-Baumsuche

Sie sollten verstehen, was Monte Carlo ist. Bücher über Monte Carlo gibt es überall bei Amazon. Lesen Sie die Wikipedia über MCTS, wenn Sie keine Zeit haben.

Ihre Schlüsselwörter: Sampling, Erweiterung, Simulation, Rollouts, Backpropagation .

3. Verstärkungslernen

Ihre Schlüsselwörter: Richtliniengradient, Gradientenabstieg, Lernrate

5. Schachbrettdarstellung

Das Papier selbst ist am einfachsten. Das Modell codiert den Board-Status (z. B. Teile) als eine Reihe von One-Hot-Codierungs-Binärwerten.

6. MCTS gegen Alpha-Beta

Geben Sie hier die Bildbeschreibung ein

— SmallChess
quelle
4
Vielen Dank für die ausführliche Antwort. Es scheint also leider keine direkte Anleitung zu geben. Mein Punkt ist, dass ich als CS-Major natürlich über neuronale Netze Bescheid weiß, aber nicht über die spezifische Art von tiefen Netzen, die in Alpha * verwendet wurden. Ich kenne ungefähr MCTS, wie es von Bernd Brügmann eingeführt wurde, aber nicht die spezifische Art der Anpassung für Alpha *. Gleiches gilt für das verstärkte Lernen. Zum Beispiel ist Andrew Ngs Kurs über ML sehr breit und deckt Dinge wie PCA / LDA ab, was meines Wissens hier völlig irrelevant ist. Aber ich denke, ich muss es dann selbst
— herausfinden ;-)
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.