Page du cours d'apprentissage par renforcement
Description
L’objectif de cette UE est de présenter les fondements théoriques de l’apprentissage par renforcement (RL), afin de les mettre en pratique dans des domaines variés. Une première partie du cours s’appuie sur une riche théorie mathématique (Markov Decision Process(MDP), Monte Carlo Tree Search (MCTS), ...), et permet de saisir les enjeux du domaine, elle est complétée par une deuxième partie plus pratique où l’apprentissage par renforcement se combine aux techniques d’apprentissage profond (Q-Learning, DQN, ...).
Cours
Cours 1 - Introduction, Concepts de base
Cours 2 - Multi-armed Bandits
Cours 3 - Markov Decision Process
Cours 4 - Programmation dynamique
(Mini) projet : Mountain car
- Enoncé
- Fichiers sources mountain_car.py, mdp
Cours 5 - Méthodes "model-free"
- Slides
- run_agent.py, monte_carlo.py, utils.py, sarsa.py, q_learning.py, compare_algorithms.py, requirements.txt
- Corrections : monte_carlo.py, sarsa.py, q_learning.py
Cours 6 - Experience replay
- Slides
- sarsa_replay.py
- Correction : sarsa_replay.py
Cours 7 - Approximation
- Slides
- Fichiers sources : dqn_basic.py, dqn.py, run_agent.py.
- Corrections : dqn_basic.py, dqn.py
Cours 8 - MCTS
- Fichiers sources : mcts.py, connect4.py.
Quelques réferences
- Reinforcement Learning: An Introduction by Barto and Sutton
- Foundation of Machine Learning by Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar
- DeepMind Reinforcement Learning Lecture Series 2021
- Multi-agent RL Book