STAGE - Optimisation des performances d'inférence de modèles d'IA de langage (NLP) F/H
Durée de stage : 5 à 8 mois
Lieu : Paris Tivoli
Direction : DGAF/DSIN/Direction Data, Digital et IA/Direction SMART IA
« La DSIN Covéa est riche de 1800 collaborateurs (sur les sites de Niort, Le Mans, Chartres, Saran, Paris Montparnasse, Saint Lazare et Levallois) que je souhaite voir grandir dans un esprit de proximité, de modernité et de plaisir. Rejoignez nos équipes pour répondre à l'ambition de Covéa, de ses métiers (assurance IARD, Vie, Santé, Prévoyance, Protection Juridique, Assistance) et de ses marques (MAAF, MMA et GMF). La DSI reste au coeur des opérations et de la transformation au travers d'un SI doté de capacités digitales, data et d'intelligence artificielle et d'une ambition d'excellence opérationnelle et industrielle (cloud native) » (Philippe CUVELIER - DSI COVEA)
Dans un contexte d'accélération de l'usage de l'intelligence artificielle pour améliorer l'expérience client et l'efficacité opérationnelle, Covéa développe des modèles de compréhension du langage naturel spécialisés dans des cas d'applications au domaine de l'assurance. Les progrès récents en intelligence artificielle ont montré l'importance des modèles fondation. Cependant ces modèles sont consommateurs en ressources de calcul spécialisées, qui sont à la fois énergivores et dont l'accès est sous tension. De plus, les nouveaux usages envisagés requièrent des temps de réponse plus courts.
C'est pourquoi Covéa étudie les méthodes visant à améliorer la performance et l'efficacité de l'usage de la mémoire dans les phases d'entrainement et d'inférence, et cherche à construire des modèles économes ayant des performances similaires aux modèles déjà développés.
Mots clés : IA, Machine Learning, NLP, LLM, Transfer learning, IA frugale
Votre mission ?
Dans cette perspective, la Direction SMART IA propose un stage de 5 Ã 8 mois.
Vos objectifs seront de :
- Formaliser une méthode d'évaluation pour comparer les méthodes en tenant compte de multiples critères de performance en termes de précision, de temps de calcul et autres critères jugés pertinents à la fois lors de l'entraînement et de l'inférence
- Implémenter au moins une méthode améliorant la performance en temps de calcul sans dégrader la précision pour l'inférence de modèles de compréhension du langage naturel sur un projet de classification d'intentions de nos sociétaires
Et concrètement ?
Dans le cadre de votre mission :
- Vous devrez appréhender et comprendre les modèles spécialisés de compréhension du langage naturel déjà construits par Covéa.
- Vous détaillerez avec les experts Machine Learning Engineer et data-ingénieurs les critères d'évaluation des méthodes que vous proposerez
- Vous dresserez un état de l'art des méthodes de réduction de la consommation mémoire lors des phases de fine-tuning et à l'inférence (par ex : Low Rank Adaptation [1] et Quantized LoRA [2])
- Vous implémenterez au moins une solution à l'état de l'art et proposerez des ajustements adaptés à l'environnement de nos projets
- Vous proposerez une manière pédagogique de restituer visuellement les résultats
- En lien avec les acteurs opérationnels, vous évaluerez les impacts d'une éventuelle mise en oeuvre des solutions proposées.
Références :
[1] [2106.09685] LoRA : Low-Rank Adaptation of Large Language Models (arxiv.org)
[2] [2305.14314] QLoRA : Efficient Finetuning of Quantized LLMs (arxiv.org)
Environnement de travail :
- Bénéfice du forfait « mobilité durable » permettant la prise en charge d'une partie des frais de déplacements réalisés en covoiturage, vélo ou auto-partage,
- Prise en charge à hauteur de 75% d'un titre d'abonnement aux transports publics
- Restaurant d'entreprise,
- Nos sites situés dans la région parisienne sont facilement accessibles en transport en commun et ceux situés en région bénéficient de parkings sécurisés + bornes de recharge électrique
- Installations mobilités « douces » (vélo...)
- Espaces de détente, de convivialité (terrasse ou extérieur...) et de co-working
Et si c'était vous ?
- Vous êtes curieux et appètent à comprendre les métiers de l'assurance,
- Vous pensez que, demain, l'expérience client doit être améliorée par l'usage de la technologie,
- Vous savez qu'une exploitation intelligente des ressources de calcul passe par le mélange de créativité et d'expertise en mathématiques et informatique,
- Vous connaissez Python et ses packages scientifiques, et notamment pytorch,
- Vous avez une expérience de la librairie transformers.
Covéa est un groupe mutualiste engagé, constitué des marques MAAF, MMA, GMF et du réassureur PartnerRe.
Acteur économique majeur des territoires, grâce à ses
24 000 collaborateurs,
Covéa protège plus de 11 millions de clients et sociétaires en France.
Rejoignez le leader de l'assurance, contribuez à sa réussite : votre talent, notre engagement !
sur le site du recruteur.