Cours

Cours.Semaine4Complement History

Hide minor edits - Show changes to output

October 14, 2014, at 06:31 PM EST by 132.227.206.222 -
Added lines 31-35:
!! Maximisation de la vraisemblance

''' ATTENTION ''': les formules proposent une mise à jour pour les {$\sigma^2$}! Si on veut {$\sigma$}, il faut prendre la racine.

Les personnes ayant des variances nettement surestimées ont sans doute fait cette erreur.
October 14, 2014, at 06:28 PM EST by 132.227.206.222 -
Changed lines 27-30 from:
Toutes les valeurs de  {$Q_{ij}$} doivent vérifier:  {$\forall i, \sum_j Q_{ij} = 1$}
to:
Toutes les valeurs de  {$Q_{ij}$} doivent vérifier:  {$\forall i, \sum_j Q_{ij} = 1$}
* Etape 1: {$\forall i,  Q_{ij} =  P(x_i | y_j, \theta^t) p(y_j|\theta^t)$}
* Etape 2: Afin que les  {$Q_{ij}$} soient des probabilités a posteriori, il faut les normaliser: {$\forall i,  Q_{ij} =\frac{Q_{ij}}{\sum_j Q_{ij}}$}

October 14, 2014, at 06:21 PM EST by 132.227.206.222 -
Changed lines 19-27 from:
Et on revient sur la correction proposée au tableau
to:
Et on revient sur la correction proposée au tableau


! Les difficultés du TME

!! Normalisation des calculs de Q

Je pense que tous les groupes sont OK... Mais c'était la première difficulté.
Toutes les valeurs de  {$Q_{ij}$} doivent vérifier:  {$\forall i, \sum_j Q_{ij} = 1$}
October 14, 2014, at 06:15 PM EST by 132.227.206.222 -
Changed lines 15-19 from:
Car {$\log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)  = \log \frac{P(x_i,y_j | \theta^{t+1}) - \log Q_{ij} $}
to:
Car {$\log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)  = \log P(x_i,y_j | \theta^{t+1}) - \log Q_{ij} $} et {$ \log Q_{ij} $} ne dépend pas de {$ \theta^{t+1}$} !

Ensuite:
{$$  \log P(x_i,y_j | \theta^{t+1}) = \log P(x_i | y_j  \theta^{t+1}) \log P(y_j | \theta^{t+1})$$}
Et on revient sur la correction proposée au tableau
October 14, 2014, at 06:13 PM EST by 132.227.206.222 -
Changed lines 11-15 from:
>><<
to:
>><<

'''Solution:''' Simplification... {$$ \arg\max_{\theta^{t+1}}  \sum_i \sum_j Q_{ij} \log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right) = \arg\max_{\theta^{t+1}}  \sum_i \sum_j Q_{ij} \log\left( P(x_i,y_j | \theta^{t+1})\right) $$}

Car {$\log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)  = \log \frac{P(x_i,y_j | \theta^{t+1}) - \log Q_{ij} $}
October 14, 2014, at 06:11 PM EST by 132.227.206.222 -
Changed lines 7-11 from:
{$$ \arg\max_{\theta^{t+1}} \log\mathcal L = \arg\max_{\theta^{t+1}}  \sum_i \sum_j Q_{ij} \log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)$$}
to:
{$$ \arg\max_{\theta^{t+1}} \log\mathcal L = \arg\max_{\theta^{t+1}}  \sum_i \sum_j Q_{ij} \log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)$$}

>>block bgcolor=#ffaaaa<<
'''ATTENTION''': les {$Q_{ij}$} sont évalués sur les paramètres {$\theta^t$} tandis que les probabilités de la vraisemblance dépendent de  {$\theta^{t+1}$} {$\Rightarrow$} PAS DE SIMPLIFICATION !
>><<
October 14, 2014, at 06:08 PM EST by 132.227.206.222 -
Changed lines 3-5 from:
Dans l'exercice 1, nous avons détaillé l'étape E qui consiste à estimer les valeurs numériques de {$Q_{ij}$}, avec :
{$$Q_{ij} = P(y_j | x_i, \theta) $$}
to:
Dans l'exercice 1, nous avons détaillé l'étape E qui consiste à estimer les valeurs numériques de {$Q_{ij}$} (en abrégé), avec :
{$$Q_{ij} = P(y_j | x_i, \theta^t) $$}
Changed line 7 from:
{$$ \arg\max_{\theta^{t+1}} \log\mathcal L$$}
to:
{$$ \arg\max_{\theta^{t+1}} \log\mathcal L = \arg\max_{\theta^{t+1}}  \sum_i \sum_j Q_{ij} \log\left( \frac{P(x_i,y_j | \theta^{t+1})}{Q_{ij}}\right)$$}
October 14, 2014, at 06:01 PM EST by 132.227.206.222 -
Deleted line 0:
Changed lines 3-7 from:
Dans l'exercice 1, nous avons détaillé l'étape E qui consiste à estimer les {$Q_{ij}$}
to:
Dans l'exercice 1, nous avons détaillé l'étape E qui consiste à estimer les valeurs numériques de {$Q_{ij}$}, avec :
{$$Q_{ij} = P(y_j | x_i, \theta) $$}

Ensuite, il faut ré-optimiser les paramètres du modèle en maximisant la vraisemblance:
{$$ \arg\max_{\theta^{t+1}} \log\mathcal L$
$}
October 14, 2014, at 05:58 PM EST by 132.227.206.222 -
Added lines 1-4:

! L'étape manquante dans l'ex1

Dans l'exercice 1, nous avons détaillé l'étape E qui consiste à estimer les {$Q_{ij}$}