Introduction à la Distillation de connaissances

Aujourd’hui, les réseaux de neurones emploient de plus en plus de paramètres pour atteindre des performances impressionnantes dans de nombreuses applications. Cependant, cette augmentation de paramètres limite grandement le déploiement de ces réseaux. En effet, la principale contrainte au déploiement d’un réseau de neurones dans un système embarqué est la taille mémoire disponible dans ce système. Afin de faciliter le déploiement, des méthodes de compression ont été proposés tel que la distillation de connaissances.

Le principe de la distillation de connaissances est de partir d’un réseau pré-entrainé et de l’utiliser comme un professeur pour entrainer un réseau plus petit, qui est appelé réseau étudiant. En passant la même image au réseau étudiant et au réseau professeur, on peut ainsi comparer les sorties des deux réseaux, mais aussi des résultats intermédiaires, pour permettre au réseau étudiant de reproduire le comportement du réseau professeur. Le but pour le réseau étudiant est d’obtenir des performances similaires au réseau professeur, tout en étant conçu pour pouvoir être facilement embarqué.

Notre cas d’usage

La distillation de connaissances est intéressante puisqu’elle permet d’avoir un contrôle total sur le réseau étudiant qui a vocation à être déployé et ainsi pouvoir l’optimiser pour la plateforme ciblée.
Pour STMicroelectronics, et plus particulièrement la division Imaging où le stage se déroule, nous concevons des réseaux de neurones convolutifs à destination de tout petit accélérateurs matériels. Les fortes contraintes imposées par les systèmes embarqués font que nos réseaux de neurones sont plus petits que des réseaux composant l’état de l’art. La distillation de connaissance est alors assez difficile puisque l’architecture du réseau professeur et celle du réseau étudiant sont très différentes. Le stage vise donc à étudier des méthodes de distillation de connaissances qui se concentrent sur un transfert de connaissances entre deux architectures différentes. Ce sujet de stage est orienté recherche puisque le domaine abordé est constamment en évolution et des méthodes sont proposées régulièrement.

Missions

Le stage se concentrera sur l’étude de l’état de l’art de la distillation dans le cadre d’architectures différentes entre le professeur et l’étudiant. Les missions seront les suivantes :

• Vous identifierez parmi différentes publications scientifiques les méthodes qui vous semblent les plus pertinentes ;

• Vous implémenterez les différentes méthodes retenues en utilisant python et un Framework d’apprentissage profond. Vous concevrez aussi le benchmark en vue de leur évaluation ;

• Vous réaliserez des apprentissages en utilisant les méthodes implémentées ;

• Vous compilerez les résultats et les recommandations dans un rapport détaillé en vue d’une présentation.

Résultats attendus

Au travers de l’étude de la distillation de connaissances, le stage vise à :

• Comparer les performances entre différentes méthodes afin de déterminer quelle méthode est la plus intéressante dans notre cas ;

• Estimer à partir de quelles architectures on peut facilement faire de la distillation ;

• Proposer des idées d’évolution d’algorithmes pour faciliter la distillation.

Votre profil

Vous êtes en dernière année d’école d’ingénieur ou en master 2.
Vous avez des compétences théoriques et pratiques en machine learning.
Vous êtes intéressé par le monde de la recherche.
Vous êtes à l’aise avec Python et vous avez déjà utilisé un framework de deep learning (Tensorflow, Pytorch).
Des connaissances en vision par ordinateur et un intérêt pour les systèmes embarqués seraient un plus.

Nous encourageons tous les candidats et toutes les candidates, à postuler même s’ils ne répondent pas à tous les critères de l’offre car nous apprécions les profils variés et offrons des opportunités d’évolution et de formation. La diversité, l'équité et l'inclusion (DEI) font partie de la culture de notre entreprise. Notre vision DEI est : « Chez ST, vous pouvez être la vraie version de vous-même », nous valorisons les contributions de chacun et chacune, et avons une tolérance zéro pour toute forme de discrimination.

Nous rejoindre, c'est aussi opter pour un meilleur équilibre entre vie professionnelle et vie personnelle, et un environnement de travail offrant des opportunités égales. Des groupes de ressources dédiés aux femmes, aux LGBTQIA+, des possibilités d’organisation du travail hybrides font partie des nombreuses initiatives qui font de ST un endroit propice pour le développement de votre carrière.

Pour en savoir plus, visitez st.com/careers.