Réseaux de neurones artificiels pour la représentation des données textuelles

Présentation du sujet

Les réseaux de neurones artificiels redeviennent actuellement un domaine de recherche de premier plan avec l'émergence des réseaux profonds (ou deep) [1]. Les réseaux "deep" sont des variantes des perceptrons multi-couches basés sur une initialisation particulière et non supervisée.

Cette initialisation peut prendre plusieurs formes:

  • les RBM (Restricted Bolzman Machine) [2], wikipedia
  • les Autoencodeurs [3],
  • l'apprentissage des structures de phrases [4]

Nous proposons d'étudier les approches [3] et [4] dans ce stage puis d'appliquer les réseaux de neurones ainsi obtenus sur des applications de reconnaissance d'émotions dans les documents textuels.

La reconnaissance d'émotions est une tache difficile et l'usage de ces stratégies très récentes doit permettre une avancée significative sur ce type de problème.

Stage et contexte

Le but du stage sera donc de mettre en oeuvre des stratégies à base de réseaux de neurones pour des applications de classification de documents textuels. Une campagne d'évaluation sur des données réelles sera ensuite réalisée, ce stage s'inscrivant dans le cadre d'une vaste collaboration entre le laboratoire et l'industrie (cf projet DOXA).

Les développements seront effectués en Java ou C++ en fonction des compétences de l'étudiant. Dans les deux cas, une plateforme de base basée sur les design-patterns existe dans l'équipe, ce qui accélérera le lancement du projet.

Encadrement, collaborations et débouchés

L'encadrement du stage sera effectué par Patrick Gallinari et Vincent Guigue. Des collaborations avec plusieurs doctorants de l'équipe travaillant sur ces réseaux de neurones sont possibles.

Des articles s'appuyant sur les travaux réalisés seront rédigés pendant ce stage et l'étudiant aura la possibilité de poursuivre ce travail soit dans un contexte industriel (grâce aux différents partenariats), soit dans un contexte académique, durant un doctorant.


Bibliographie

[1] Exploring Strategies for Training Deep Neural Networks, Hugo Larochelle, Yoshua Bengio, Jérôme Louradour et Pascal Lamblin, Journal of Machine Learning Research, 10(Jan): 1--40, 2009

[2] Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "A fast learning algorithm for deep belief nets". Neural Computation 18: 1527–1554. http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf.

[3] Extracting and Composing Robust Features with Denoising Autoencoders. Pascal Vincent, Hugo Larochelle, Yoshua Bengio et Pierre-Antoine Manzagol, International Conference on Machine Learning proceedings, 2008

[4] R. Collobert and J. Weston. A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning. In International Conference on Machine Learning, ICML, 2008.

Liens utiles:

homepage: LeCun

homepage: Larochelle

homepage: Ranzato

homepage: Collobert