Context
Plateforme Evaluation IA Suite aux priorités établies en mai 2024 par la Déclaration de Séoul pour une IA sûre, novatrice et inclusive, dont la France est signataire, le gouvernement a décidé de créer l'INESIA, un institut qui a pour mission de fédérer, sans création de nouvelle structure juridique, les acteurs nationaux de l’évaluation et de la sécurité, et tout particulièrement : l’Agence nationale de la sécurité des systèmes d'information (ANSSI), le Laboratoire national de métrologie et d’essais (LNE), le Pôle d’expertise de la régulation numérique (PEReN), l’Institut national de recherche en sciences et technologies du numérique (Inria). Dans ce cadre Inria contribue principalement sur les axes de l'analyse des risques systémiques dans le champ de la sécurité nationale et l'évaluation de la performance et de la fiabilité des modèles d'IA. Ce travail se coordonne stratégiquement avec le programme de recherche d'Évaluation de l'IA, porté par Inria et se matérialise par la conception et développement d'une plateforme d'évaluation de l'IA, en particulier des systèmes basés sur les LLM. Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste permettant de soutenir les projets de recherche du programme ainsi que de développer des applications d'évaluations, telles que des campagnes de benchmarks, des exercices de red teaming, etc. Elle s'appuie sur des outils open source de l'écosystème IA et des développements internes. Une partie de la plateforme consiste à évaluer les capacités cyber des LLM. Pour cela, l’équipe Pirat a desenvol d'une méthodologie bien identifiée, basée sur des outils open-source développés au sein de l’équipe. Parmi ces outils il y a URSID (https://gitlab.inria.fr/pirat-public/ursid) pour le déploiement de scénarios d’attaque dans des environnements reproductibles, mais également des outils d’orchestration et de déploiement des agents d’IA. Cette methodologie vise à tester la capacité des agents autonomes à réaliser des tests de penetration de systèmes d’information dans des environnements controlés. Ce poste offre l’opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux actuels liés à la sécurité, à la transparence et à la gouvernance de l’IA, avec des dimensions techniques, scientifiques et sociétales.
Assignment
Sous la supervision d' Alexandre Sanchez (Ingénieur SED Rennes), de Mauricio Diaz Melo (Inria Paris), de Valérie Viet Triem Tong (Chercheuse équipe PIRAT) et en collaboration avec les membres de l'INESIA, l’ingénieur aura pour mission principale de maintenir et faire évoluer la chaine de développement pour faire des benchmarks agentiques dans le cadre d'agents d’IA autonomes. Il devra porter cette chaine de développement dans le cadre de production de la plateforme d’évaluation de l’IA.
Main activities
- Maintenir et faire évoluer la pile logicielle qui sert à réaliser les campagnes d’évaluation.
- Améliorer la modélisation des systèmes d’information utilisés dans les scénarios dans le cadre de l’évaluation.
- Réaliser des benchmarks à grande échelle et réproduire les évaluations réalisées.
- Déployer le pipeline d’évaluation dans une infrastructure de production, liée à la plateforme d’évaluation nationale.
Skills
- Python
- Linux (shell)
- Git
Connaissances appréciées :
- PROXMOX
- Gitlab-CI
- Ansible
- Développement d'interfaces et Dashboard Web
#J-18808-Ljbffr
Ingénieur.e évaluation de l’IA / PentestIA in Rennes employeur : Inria Rennes
Inria est un employeur de choix, offrant un environnement de travail collaboratif et innovant au sein de l'équipe VirtUs, spécialisée dans la simulation et l'animation de foules virtuelles. Les employés bénéficient d'opportunités de croissance professionnelle à travers des projets de recherche variés, tout en contribuant à des solutions technologiques de pointe dans le domaine de la réalité augmentée. De plus, Inria valorise l'ouverture scientifique et encourage le partage des connaissances, ce qui en fait un lieu idéal pour ceux qui cherchent à avoir un impact significatif dans leur domaine.
