Invitation to my PhD Defense


Bonjour,


J'ai le plaisir de vous inviter à ma soutenance de thèse, intitulée "Deep Representation Spaces" (Espaces Profonds de Représentation), ainsi qu'au pot qui suivra.

La soutenance se déroulera en anglais et aura lieu le mardi 11 décembre 2018 à 10h30.
Elle se tiendra sur le campus de Jussieu (Paris, France), en salle 105 couloir 25-26.

Le jury sera composé de :
M. Sébastien LEFÈVRE, Université Bretagne Sud, Rapporteur
M. Frédéric PRECIOSO, Université Nice Sophia Antipolis, Rapporteur
M. Eric GAUSSIER, Université Grenoble Alpes, Examinateur
M. Hervé LE BORGNE, Commissariat à l’Énergie Atomique et aux Énergies Alternatives (CEA), Examinateur
Mme Laure SOULIER, Sorbonne Université, Examinatrice
M. Nicolas THOME, Conservatoire National des Arts et Métiers, Examinateur
M. Matthieu CORD, Sorbonne Université, Directeur de thèse

Résumé


Ces dernières années, les techniques d’apprentissage profond ont fondamentalement transformé l'état de l'art de nombreuses applications de l'apprentissage automatique, devenant la nouvelle approche standard pour plusieurs d’entre elles. Les architectures provenant de ces techniques ont été utilisées pour l'apprentissage par transfert, ce qui a élargi la puissance des modèles profonds à des tâches qui ne disposaient pas de suffisamment de données pour les entraîner à partir de zéro. Le sujet d'étude de cette thèse couvre les espaces de représentation créés par les architectures profondes.

Dans un premier temps, nous étudions les propriétés de leurs espaces, en prêtant un intérêt particulier à la redondance des dimensions et la précision numérique de leurs représentations. Nos résultats démontrent un fort degré de robustesse, pointant vers des schémas de compression simples et puissants.

Ensuite, nous nous concentrons sur l'affinement de ces représentations. Nous choisissons d'adopter un problème multi-tâches intermodal et de concevoir une fonction de coût capable de tirer parti des données de plusieurs modalités, tout en tenant compte des différentes tâches associées au même ensemble de données. Afin d'équilibrer correctement ces coûts, nous développons également un nouveau processus d'échantillonnage qui ne prend en compte que des exemples contribuant à la phase d'apprentissage, c'est-à-dire ceux ayant un coût positif.

Les résultats que nous présentons dans cette thèse ouvrent de nombreuses possibilités, y compris la compression de caractéristiques pour les applications distantes, l'apprentissage multi-modal et multitâche robuste et l'affinement de l'espace des caractéristiques.

Bien cordialement,
Micael Carvalho
micaelcarvalho.com

Hello,


It is with great pleasure that I invite you to my PhD defense, entitled "Deep Representation Spaces", as well as to the cocktail that will follow.

The defense will be conducted in English, and will happen on the 11th of December of 2018 at 10:30am.
It will be held on the campus of Jussieu (Paris, France), room 105 corridor 25-26.

The defense committee will be composed of:
Prof. Dr. Sébastien LEFÈVRE, University of Southern Brittany
Prof. Dr. Frédéric PRECIOSO, Nice Sophia Antipolis University
Prof. Dr. Eric GAUSSIER, Université Grenoble Alpes
Dr. Hervé LE BORGNE, Commissariat à l’Énergie Atomique et aux Énergies Alternatives (CEA)
Prof. Dr. Laure SOULIER, Sorbonne University
Prof. Dr. Nicolas THOME, Conservatoire National des Arts et Métiers
Prof. Dr. Matthieu CORD, Sorbonne University, Thesis advisor

Abstract


In recent years, Deep Learning techniques have swept the state-of-the-art of many applications of Machine Learning, becoming the new standard approach for them. The architectures issued from these techniques have been used for transfer learning, which extended the power of deep models to tasks that did not have enough data to fully train them from scratch. This thesis' subject of study is the representation spaces created by deep architectures.

First, we study properties inherent to them, with particular interest in dimensionality redundancy and precision of their features. Our findings reveal a strong degree of robustness, pointing the path to simple and powerful compression schemes.

Then, we focus on refining these representations. We choose to adopt a cross-modal multi-task problem, and design a loss function capable of taking advantage of data coming from multiple modalities, while also taking into account different tasks associated to the same dataset. In order to correctly balance these losses, we also develop a new sampling scheme that only takes into account examples contributing to the learning phase, i.e. those having a positive loss.

The results we present in this thesis open many possibilities, including feature compression for remote applications, robust multi-modal and multi-task learning, and feature space refinement.

Best regards,
Micael CARVALHO
micaelcarvalho.com

Olá,


É com grande prazer que vos convido à minha defesa de tese de doutorado, intitulada "Deep Representation Spaces" (Espaços Profundos de Representação), assim como ao coquetel que a seguirá.

A defesa será realizada em inglês e acontecerá no dia 11 de dezembro de 2018 às 10h30.
Ela acontecerá no campus de Jussieu (Paris, França), sala 105, corredor 25-26.

A banca de defesa será composta dos seguintes membros:
Prof. Dr. Sébastien LEFÈVRE, University of South Brittany
Prof. Dr. Frédéric PRECIOSO, Nice Sophia Antipolis University
Prof. Dr. Eric GAUSSIER, Universidade de Grenoble
Dr. Hervé LE BORGNE, Commissariat à l’Énergie Atomique et aux Énergies Alternatives (CEA)
Prof. Dr. Laure SOULIER, Sorbonne University
Prof. Dr. Nicolas THOME, Conservatoire National des Arts et Métiers
Prof. Dr. Matthieu CORD, Sorbonne University, Orientador

Resumo


Recentemente, técnicas de aprendizado profundo dominaram o estado da arte de muitas aplicações de aprendizado de máquina, tornando-se a nova abordagem padrão para estas. Arquiteturas resultantes destas técnicas foram usadas em conjunto com técnicas de transferência de aprendizado, o que estendeu seu poder para tarefas que não dispunham de dados para treiná-las completamente. Esta tese tem como objetivo de estudo os espaços de representação criados por tais arquiteturas.

Inicialmente, estudamos propriedades inerentes à estas arquiteturas, com particular interesse na redundância de dimensionalidade e precisão de seus descritores. Nossas descobertas revelam um forte grau de robustez, indicando pistas para esquemas de compressão simples e eficientes.

Então, nos concentramos em refinar essas representações. Optamos por adotar um problema multimodal e multitarefas, desenvolvendo funções de custo capazes de aproveitar dados provenientes de várias modalidades, ao mesmo tempo que levando em conta diferentes tarefas associadas ao mesmo conjunto de dados. A fim de equilibrar corretamente essas funções de custo, também desenvolvemos um novo esquema de amostragem que leva em conta apenas exemplos que contribuem ao aprendizado, ou seja, aqueles que apresentam custo positivo.

Os resultados apresentados nesta tese abrem muitas possibilidades de pesquisa, incluindo a compactação de recursos para aplicações remotas, o aprendizado robusto multimodal e multitarefa, assim como o refinamento de espaços de características.

Com meus cumprimentos,
Micael Carvalho
micaelcarvalho.com