Cours

Subpage of Intro ML

Quelques idées autour de la régularisation et de la marge

Fonction coût: {$$f( \mathbf x_{i}) = \sum_{j} x_{ij} w_{j} , \qquad C = \sum_{i=1}^{N} C_i = \sum_{i=1}^{N} (- y_{i} \mathbf x_{i} \mathbf w)_{+},\qquad (\alpha)_+ = \left\{ \begin{array}{cccc} \alpha & \mbox{ si } \alpha > 0 \\ 0 & \mbox{ sinon} \end{array} \right. $$}

Dans la fonction coût du perceptron, les points doivent être bien classés... Mais rien n'impose aux points d'être loin de la frontière de décision. A l'issue de l'optimisation, on se retrouve souvent avec :

Afin de changer cela, nous introduisons une marge: un point bien classé continue à provoquer un mouvement de la frontière de décision s'il est trop proche de celle-ci:

{$$ f( \mathbf x_{i}) = \sum_{j} x_{ij} w_{j} , \qquad C = \sum_{i=1}^{N} ({\color{magenta} m -} y_{i} \mathbf x_{i} \mathbf w)_{+} $$}

Mais malheureusement, c'est insuffisant. En effet, la norme de w n'est pas contrainte et le classifieur peut jouer sur la pente du classifieur pour obtenir une marge artificielle sans changer la frontière de décision...

Il faut donc contraindre la norme du classifieur tout en imposant une marge pour obtenir le résultat souhaité:

{$$ f( \mathbf x_{i}) = \sum_{j} x_{ij} w_{j} , \qquad C = \sum_{i=1}^{N} ({\color{magenta} m -} y_{i} \mathbf x_{i} \mathbf w)_{+} + {\color{blue}{ \lambda \|\mathbf w\|^{2}}}$$}