Ingénieur•e expert•e évaluation de LLM

Type de contrat : CDD

Niveau de diplôme exigé : Bac \+ 5 ou équivalent

Fonction : Ingénieur scientifique contractuel

Niveau d'expérience souhaité : De 5 à 12 ans

A propos du centre ou de la direction fonctionnelle
-------------------------------------------------------

Le centre Inria de l’université de Bordeaux est un des neuf centres d’Inria en France et compte une vingtaine d’équipes de recherche. Le centre Inria est un acteur majeur et reconnu dans le domaine des sciences numériques. Il est au cœur d'un riche écosystème de R\&D et d’innovation : PME fortement innovantes, grands groupes industriels, pôles de compétitivité, acteurs de la recherche et de l’enseignement supérieur, laboratoires d'excellence, institut de recherche technologique…

Contexte et atouts du poste
-------------------------------

Suite aux priorités établies en mai 2024 par la Déclaration de Séoul pour une IA sûre, novatrice et

inclusive, dont la France est signataire, le gouvernement a decidé de créer l'INESIA, un institut qui pour

mission de fédérer, sans création de nouvelle structure juridique, les acteurs nationaux de l’évaluation

et de la sécurité, et tout particulièrement :

• l’Agence nationale de la sécurité des systèmes d'information(ANSSI),


• le Laboratoire national de métrologie et d’essais (LNE),


• le Pôle d’expertise de la régulation numérique (PEReN),


• l’Institut national de recherche en sciences et technologies du numérique(Inria).

Dans ce cadre Inria contribue principalement sur les axes de l,analyse des risques systémiques dans le

champ de la sécurité nationale et l'évaluation de la performance et de la fiabilité des modèles d'IA.

Ce travail se coordone strategiquement avec le programme de recherche d'Évalluation de l'IA, porté par

Inria et se materialise par la conception et développement d'une plateforme d'évaluation de l'IA, en

particulier des systèmes basés sur les LLM.

Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste permettant de soutenir

les projets de recherche du programme ainsi que de développer des applications d'évaluations, telles

que des campagnes de benchmarks, des exercices de red teaming ... Elle s'appuie sur des outils open

source de l'écosystème IA et des développements internes.

Vous rejoindrez une équipe dans une dynamique de développement rapide et itérative : la plateforme

évoluera progressivement, avec des livrables opérationnels réguliers. Nous recherchons des profils

capables de proposer, d'arbitrer et de transformer des besoins techniques en solutions opérationnelles.

En tant qu'expert de l'évaluation de LLM, vous jouerez un rôle central dans la définition des

méthodologies d'évaluation.

Ce poste offre l’opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux

actuels liés à la sécurité, à la transparence et à la gouvernance de l’IA, avec des dimensions techniques,

scientifiques et sociétales

Mission confiée
-------------------

Concevoir, structurer et implémenter les protocoles d'évaluation des modèles et systèmes basés sur

des LLM et les intégrer dans l'architecture modulaire de la plateforme.

Principales activités
-------------------------

• Définir et implémenter des protocoles d'évaluation, des benchmarks et des métriques


• Analyser et interpréter les résultats d'évaluation afin d'en dégager des recommandations méthodologiques


• Participer à la définition de l'architecture logicielle de la plateforme


• Documenter la méthodologie

Compétences
---------------

Compétences nécessaires

• Expérience en évaluation de modèles d'IA (métriques, protocoles expérimentaux) avec une bonne

culture scientifique du domaine

• Solide maîtrise du fonctionnement des LLMs


• Très bonne maîtrise de Python et de l'écosystème ML


• Bonnes pratiques de développement (versionnage Git, CI/CD, documentation)


• Capacité à rédiger une documentation technique

Compétences souhaitées

• Expérience avec des frameworks d'évaluation (Inspect, Lighteval, ...)


• Connaissances générales sur le domaine de conception de logiciels pour l’IA, notamment en

expérimentation scientifique.

• Connaissance d'outils de déploiement d'applications Web (Docker, docker\-compose, CI/CD)

Compétences appréciées

• Maîtrise de l’anglais technique oral et écrit


• Sensibilité aux enjeux de confiance et de sécurité de l’IA

Nous vous invitons à postuler même si vous ne répondez pas à tous les critères : nous apprécions les

personnes prêtes à acquérir de nouvelles compétences.

Avantages
-------------

• Restauration subventionnée


• Transports publics remboursés partiellement


• Congés: 7 semaines de congés annuels \+ 10 jours de RTT (base temps plein) \+ possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)


• Possibilité de télétravailet aménagement du temps de travail


• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)


• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)


• Accès à la formation professionnelle


• Sécurité sociale

Rémunération
----------------

Selon diplôme et expériences : 2692€ à 3085 €

Informations générales
--------------------------

• Ville : Talence


• Centre Inria : Centre Inria de l'université de Bordeaux


• Date de prise de fonction souhaitée : 2027\-01\-01


• Durée de contrat : 2 ans


• Date limite pour postuler : 2026\-10\-27

Attention: Les candidatures doivent être déposées en ligne sur le site Inria. Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.

Consignes pour postuler
---------------------------

Pour candidater, nous vous remercions de transmettre les documents suivants :

• CV complet


• lettre de motivation


• optionnel : lettre de recommandation si vous en avez

Sécurité défense :

Ce poste est susceptible d’être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n°2011\-1425 relatif à la protection du potentiel scientifique et technique de la nation (PPST). L’autorisation d’accès à une zone est délivrée par le chef d’établissement, après avis ministériel favorable, tel que défini dans l’arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l’annulation du recrutement.

Politique de recrutement :

Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

Contacts
------------

• Équipe Inria : SED\-BOR


• Recruteur :

Furmento Nathalie / Nathalie.Furmento@inria.fr
A propos d'Inria
--------------------

Inria, l'institut national de recherche dans les sciences et technologies du numérique, est en appui de l’État pour les stratégies nationales de recherche et d’innovation du numérique en tant qu'Agence de programmes. Inria mène plus de 300 projets de recherche et d’innovation avec ses 3500 scientifiques, ingénieurs et personnels d’appui, en partenariat avec les universités et l’écosystème numérique (entreprises, entrepreneurs, acteurs publics). Ensemble, nous explorons des domaines clés comme l'intelligence artificielle, la cybersécurité, l’informatique quantique, le Cloud, la transformation numérique de la santé, les jumeaux numériques ou encore les technologies numériques pour la défense. Nous construisons des solutions concrètes telles que des logiciels, des startups technologiques, des partenariats avec les entreprises du tissu national et des formations de pointe. Notre objectif : l’impact scientifique, technologique et industriel au service de la souveraineté numérique de la France.

Cette annonce provient de Indeed. Voir l'annonce originale ↗