Explicabilité de l’Intelligence Artificielle : le stage de Sarah chez Kereval 

Ingénieure diplômée de la promotion 2021, Sarah Leroy a réalisé son stage de fin d’études chez Kereval, laboratoire indépendant d’ingénierie de tests et de qualité logicielle. Elle s’y est consacrée à l’explicabilité de l’IA. 

Pour Sarah, comme pour un grand nombre d’Ensaiens, le stage de fin d’études du cursus ingénieur est un premier pas vers une carrière en Data Science. Au terme de son stage, Sarah a intégré Kereval en tant qu’ingénieure de recherche.

Sarah, avant toute chose, pourquoi avoir choisi l’ENSAI et la filière Data Science & Ingénierie des Données ?

Sarah Leroy : Au lycée, la majorité des matières me plaisait mais je n’avais aucune idée du métier que je souhaitais exercer. Mon goût prononcé pour les mathématiques m’a amenée à me diriger vers une licence dans ce domaine.  Après une licence en mathématiques pendant laquelle j’ai également découvert l’informatique et les statistiques, j’ai découvert l’ENSAI qui correspondait tout à fait à ce que je recherchais. J’ai intégré la première année du cursus ingénieur via admission sur titres.

En troisième année, j’ai choisi la filière Data Science & Ingénierie des Données car elle allie les statistiques et l’informatique, les deux domaines qui m’ont amenée à l’ENSAI. De plus, les compétences acquises peuvent être mises en application dans de nombreux secteurs d’activité, ce qui me convenait tout à fait car je ne souhaitais pas forcément me spécialiser dans un domaine précis. Cette filière permet de développer un bagage solide en informatique, très utile pour appréhender les différents enjeux liés à l’exploitation des données. Mon choix a également été motivé par la présence de cours d’approfondissement en Machine Learning, qui m’ont d’ailleurs été profitables lors de mon stage.

Quel est le cœur de métier de Kereval ?

S.L. : C’est un laboratoire indépendant d’ingénierie de tests et de qualité logicielle, situé à Thorigné-Fouillard, près de Rennes. Fondée en 2002, l’entreprise est reconnue comme spécialiste dans son domaine. L’activité de Kereval se structure autour de l’ingénierie du test avec une large gamme de services proposés à ses clients, issus de secteurs d’activité variés (santé, automobile, défense, …). Dans une optique d’amélioration continue, Kereval mise également sur l’innovation et la R&D, notamment dans le domaine de l’Intelligence Artificielle (IA) avec une équipé dédiée composée, en plus du responsable (mon maître de stage), de deux ingénieures dont une réalisant une thèse sur la vérification et la validation des systèmes IA. Cette équipe travaille autour de deux axes : utiliser l’IA pour le test (automatisation, génération de données, découverte automatique de bugs) et tester des systèmes IA (validation, certification).

Mon stage s’est inscrit dans le deuxième axe avec pour sujet l’explicabilité de l’IA, pouvant être définie comme un domaine de recherche, ou ensemble de méthodes, visant à rendre les modèles d’IA plus intelligibles et transparents pour les humains, sans pour autant faire de compromis sur les performances.

Quelles ont été tes missions durant ces six mois ?

S.L. : La première partie de mon stage a été consacrée à la réalisation d’un état de l’art de l’explicabilité de l’IA. Il a permis de mettre en évidence les différents besoins qui motivent le développement d’une IA explicable et la diversité des méthodes existantes ainsi que différents critères permettant de les catégoriser. Des points de difficultés ont également été identifiés, comme par exemple le manque de consensus concernant l’évaluation de ces méthodes.

Durant la seconde partie de mon stage, j’ai expérimenté différentes méthodes d’explicabilité afin de les comparer et d’étudier leur utilisation potentielle pour le test des systèmes IA. Cette expérimentation a été approfondie pour les modèles traitant des images (classification d’images, détection d’objets). En effet, ces modèles sont généralement complexes (réseaux de neurones) et utilisés dans des domaines critiques tels que la conduite autonome, ce qui justifie encore davantage le besoin d’explicabilité. Au-delà de l’application de ces méthodes à des cas d’utilisation, une réflexion a été menée sur leur exploitation dans le cadre du test des systèmes IA. Plusieurs pistes ont été étudiées comme l’analyse des erreurs des modèles ou encore la comparaison de différents modèles.

Quelles méthodes et quels outils as-tu utilisés ?

S.L. : Pour réaliser l’expérimentation des différentes méthodes d’explicabilité, j’ai travaillé avec Python et ses bibliothèques de Deep Learning (Scikit-Learn, Pytorch, TensorFlow …). Pour effectuer les traitements qui nécessitaient beaucoup de ressources et de temps, j’ai pu utiliser un ordinateur plus puissant que celui sur lequel je travaillais quotidiennement. Pour cela, j’ai appris à faire de l’exécution distante et à utiliser Docker, qui permet notamment de bien définir et isoler les différents environnements de travail. J’ai également beaucoup progressé en traitement d’images avec Python.

Dans quelle mesure Kereval a-t-elle exploité tes résultats ?

S.L. : Le travail réalisé durant mon stage a permis à l’entreprise d’avoir une vue globale sur l’explicabilité de l’IA et les méthodes existantes. Grâce à la catégorisation réalisée, il est possible de savoir quelles méthodes sont utilisables pour un cas d’application particulier. La finalité est de pouvoir utiliser ces différentes techniques en complément des tests déjà utilisés pour tester des modèles d’IA, puisqu’elles permettent d’obtenir des informations supplémentaires sur le fonctionnement et les décisions des modèles.

Les réflexions menées et pistes expérimentées ont permis d’identifier les utilisations potentielles des méthodes d’explicabilité pour le test mais aussi leurs limites. En effet, certains points de difficulté, notamment concernant la subjectivité et la formalisation des analyses, doivent encore être approfondis afin de pouvoir exploiter pleinement les méthodes d’explicabilité. J’aurai d’ailleurs peut-être l’occasion de retravailler sur ces sujets puisque je continue l’aventure chez Kereval !

Quel bilan fais-tu de ce stage de fin d’études ?

S.L. : Ce stage a été très enrichissant car il m’a permis de traiter un sujet de bout en bout, de l’état de l’art à l’expérimentation. Cela a demandé de la méthodologie et de la rigueur afin de bien organiser les différentes parties de l’étude et ne pas se disperser. De plus, l’explicabilité de l’IA est un sujet très intéressant et en plein essor mais que nous n’abordons que peu à l’école. Cependant, les connaissances acquises en Machine Learning et Deep Learning m’ont apporté les prérequis nécessaires pour l’aborder sereinement et j’ai pu améliorer mes compétences dans ces domaines.

Au-delà du point de vue académique, ce stage a également été bénéfique sous l’angle des soft skills. En effet, j’ai eu l’occasion de rédiger un article pour le blog de l’entreprise et de présenter un petit-déjeuner technique aux collaborateurs sur mon sujet. Dans les deux cas, le public visé était assez large et pas forcément spécialiste en Intelligence Artificielle. J’ai donc dû adapter mon discours pour qu’il soit accessible tout en donnant assez d’informations pour les personnes ayant des connaissances sur le sujet, c’est un exercice très instructif !

Vous recherchez un stagiaire en Data Science ? Plus d’informations sur les stages à l’ENSAI.