From MAPSI

Cours: Semaine9

Cours 8 : échantillonnage et MCMC

Contenu du cours

  1. Rejection Sampling : Cet algorithme classique permet d'échantillonner des distributions complexes. Comme son nom l'indique, certains échantillons sont rejetés. Si le taux de rejet reste limité, c'est un bon algorithme d'échantillonnage, sinon sa convergence peut s'avérer extrêmement fastidieuse.
  2. Metropolis-Hastings : Afin de pallier le problème du taux de rejet de rejection sampling, on peut utiliser des techniques dites de Monte Carlo Markov Chain (MCMC), qui permettent d'obtenir bien plus rapidement des échantillons selon des lois très complexes. Le cours dérive de manière intuitive les formules de Metropolis-Hastings.
  3. Gibbs : L'échantillonneur de Gibbs est un cas particulier de Metropolis-Hastings, qui simplifie beaucoup les formules. Il présente de surcroît l'avantage de ne jamais rejeter un seul échantillon. C'est un algorithme ultra classique et extrêmement utilisé en pratique.

Le poly du cours : cours9.pdf et le poly en version 4 slides / page : cours9_4.pdf

Quelques exemples abordés en cours

  1. modèles d'Ising
  2. tracking vidéo par filtrage particulaire
  3. des vidéos montrant la constitution des échantillons par les différents algorithmes sont présentés en cours
  4. échantillonnage de distributions (de grandes dimensions) décrites par des réseaux bayésiens

TD

Recueil de TD : cf semaine 1 (poly complet)

TME

Enoncé du TME : TME8

Bibliographie

  1. Siddhartha Chib and Edward Greenberg (1995) "Understanding the Metropolis–Hastings Algorithm". American Statistician, vol. 49, N°4, pp. 327–335
  2. George Casella and Christian Robert (2009) "Introducing Monte Carlo Methods with R", Springer Verlag
  3. John Kerl, The Metropolis-Hastings algorithm by example
Retrieved from http://webia.lip6.fr/~mapsi/pmwiki.php?n=Cours.Semaine9
Page last modified on December 03, 2018, at 09:51 PM EST