From MAPSI

Cours: Semaine4Complement

L'étape manquante dans l'ex1

Dans l'exercice 1, nous avons détaillé l'étape E qui consiste à estimer les valeurs numériques de {$Q_{ij}$} (en abrégé), avec : {$$Q_{ij} = P(y_j | x_i, \theta^t) $$}

Ensuite, il faut ré-optimiser les paramètres du modèle en maximisant la vraisemblance: {$$ \arg\max_{\theta^{t+1}} \log\mathcal L = \arg\max_{\theta^{t+1}} \sum_i \sum_j Q_{ij} \log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)$$}

ATTENTION: les {$Q_{ij}$} sont évalués sur les paramètres {$\theta^t$} tandis que les probabilités de la vraisemblance dépendent de {$\theta^{t+1}$} {$\Rightarrow$} PAS DE SIMPLIFICATION !

Solution: Simplification... {$$ \arg\max_{\theta^{t+1}} \sum_i \sum_j Q_{ij} \log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right) = \arg\max_{\theta^{t+1}} \sum_i \sum_j Q_{ij} \log\left( P(x_i,y_j | \theta^{t+1})\right) $$}

Car {$\log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right) = \log P(x_i,y_j | \theta^{t+1}) - \log Q_{ij} $} et {$ \log Q_{ij} $} ne dépend pas de {$ \theta^{t+1}$} !

Ensuite: {$$ \log P(x_i,y_j | \theta^{t+1}) = \log P(x_i | y_j \theta^{t+1}) \log P(y_j | \theta^{t+1})$$} Et on revient sur la correction proposée au tableau

Les difficultés du TME

Normalisation des calculs de Q

Je pense que tous les groupes sont OK... Mais c'était la première difficulté. Toutes les valeurs de {$Q_{ij}$} doivent vérifier: {$\forall i, \sum_j Q_{ij} = 1$}

Maximisation de la vraisemblance

ATTENTION : les formules proposent une mise à jour pour les {$\sigma^2$}! Si on veut {$\sigma$}, il faut prendre la racine.

Les personnes ayant des variances nettement surestimées ont sans doute fait cette erreur.

Retrieved from http://webia.lip6.fr/~mapsi/pmwiki.php?n=Cours.Semaine4Complement
Page last modified on October 14, 2014, at 06:31 PM EST