En un coup d'œil
- Missions: Concevoir et implémenter des protocoles d'évaluation pour les modèles d'IA basés sur des LLM.
- Entreprise: Institut national de recherche en sciences et technologies du numérique (Inria), acteur clé de l'IA en France.
- Avantages: Opportunité de travailler sur des projets stratégiques avec une équipe dynamique et innovante.
- Autres infos: Rejoignez une équipe collaborative et apprenez de nouvelles compétences dans un environnement stimulant.
- Pourquoi ce job: Participez à un projet ambitieux au cœur des enjeux de sécurité et de gouvernance de l'IA.
- Qualifications: Expérience en évaluation de modèles d'IA et maîtrise de Python.
Le salaire estimé est compris entre 52130 - 63714 € par an.
Context
Suite aux priorités établies en mai 2024 par la Déclaration de Séoul pour une IA sûre, novatrice et inclusive, dont la France est signataire, le gouvernement a decidé de créer l'INESIA, un institut qui pour mission de fédérer, sans création de nouvelle structure juridique, les acteurs nationaux de l’évaluation et de la sécurité, et tout particulièrement : l’Agence nationale de la sécurité des systèmes d'information(ANSSI), le Laboratoire national de métrologie et d’essais (LNE), le Pôle d’expertise de la régulation numérique (PERe N), l’Institut national de recherche en sciences et technologies du numérique(Inria).
Dans ce cadre Inria contribue principalement sur les axes de l, analyse des risques systémiques dans le champ de la sécurité nationale et l'évaluation de la performance et de la fiabilité des modèles d'IA.
Ce travail se coordone strategiquement avec le programme de recherche d'Évalluation de l'IA, porté par Inria et se materialise par la conception et développement d'une plateforme d'évaluation de l'IA, en particulier des systèmes basés sur les LLM.
Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste permettant de soutenir les projets de recherche du programme ainsi que de développer des applications d'évaluations, telles que des campagnes de benchmarks, des exercices de red teaming ...
Elle s'appuie sur des outils open source de l'écosystème IA et des développements internes.
Vous rejoindrez une équipe dans une dynamique de développement rapide et itérative : la plateforme évoluera progressivement, avec des livrables opérationnels réguliers.
Nous recherchons des profils capables de proposer, d'arbitrer et de transformer des besoins techniques en solutions opérationnelles.
En tant qu'expert de l'évaluation de LLM, vous jouerez un rôle central dans la définition des méthodologies d'évaluation.
Ce poste offre l’opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux actuels liés à la sécurité, à la transparence et à la gouvernance de l’IA, avec des dimensions techniques, scientifiques et sociétales
- Assignment
- Concevoir, structurer et implémenter les protocoles d'évaluation des modèles et systèmes basés sur des LLM et les intégrer dans l'architecture modulaire de la plateforme.
- Main activities
- Définir et implémenter des protocoles d'évaluation, des benchmarks et des métriques
- Analyser et interpréter les résultats d'évaluation afin d'en dégager des recommandations méthodologiques
- Participer à la définition de l'architecture logicielle de la plateforme
- Documenter la méthodologie
Skills
- Compétences nécessaires
- Expérience en évaluation de modèles d'IA (métriques, protocoles expérimentaux) avec une bonne culture scientifique du domaine
- Solide maîtrise du fonctionnement des LLMs
- Très bonne maîtrise de Python et de l'écosystème ML
- Bonnes pratiques de développement (versionnage Git, CI/CD, documentation)
- Capacité à rédiger une documentation technique
- Compétences souhaitées
- Expérience avec des frameworks d'évaluation (Inspect, Lighteval, ...)
- Connaissances générales sur le domaine de conception de logiciels pour l’IA, notamment en expérimentation scientifique.
- Connaissance d'outils de déploiement d'applications Web (Docker, docker-compose, CI/CD)
- Compétences appréciées
- Maîtrise de l’anglais technique oral et écrit
- Sensibilité aux enjeux de confiance et de sécurité de l’IA
Nous vous invitons à postuler même si vous ne répondez pas à tous les critères : nous apprécions les personnes prêtes à acquérir de nouvelles compétences.
#J-18808-Ljbffr
Ingénieur•e expert•e évaluation de LLM in Talence employeur : Inria Talence
Rejoindre Inria, c'est intégrer un institut à la pointe de l'innovation en IA, où la sécurité et la transparence sont au cœur de nos préoccupations. Nous offrons un environnement de travail collaboratif et dynamique, propice à l'épanouissement professionnel, avec des opportunités de développement continu et une culture axée sur l'excellence scientifique. Situé en France, vous aurez l'occasion de contribuer à des projets stratégiques tout en bénéficiant d'une approche inclusive et novatrice dans le domaine de l'évaluation des modèles d'IA.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Ingénieur•e expert•e évaluation de LLM in Talence
✨Construire ton réseau tech
Connecte-toi avec des professionnels de l'ingénierie et du développement logiciel via des meetups tech ou des conférences comme DevFest. C'est un excellent moyen d'apprendre sur les dernières tendances et de te faire connaître dans le milieu.
✨Contribuer à des projets open-source
Montre tes compétences en rejoignant des projets open-source sur GitHub. Non seulement cela renforce ton portfolio, mais ça te permet également de collaborer avec d'autres développeurs et de bâtir ta réputation dans le monde tech.
✨Préparer un excellent entretien
Pour décrocher un emploi à plein temps, il est crucial de préparer des réponses aux questions techniques et comportementales. Fais des simulations d'entretiens avec des amis ou en utilisant des plateformes dédiées pour te sentir plus à l'aise.
✨Postuler sur notre site
N'oublie pas de consulter notre site pour des opportunités chez Inria Talence. Postuler directement peut te donner un accès privilégié à nos offres et montrer ton intérêt spécifique pour notre entreprise. Allez, fonce !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Ingénieur•e expert•e évaluation de LLM in Talence
Quelques conseils pour ta candidature 🫡
Démarre avec un CV percutant:Pour un poste d'ingénieur en développement logiciel, mets en avant tes compétences techniques comme les langages de programmation que tu maîtrises. N'hésite pas à inclure les projets sur lesquels tu as travaillé, surtout ceux qui montrent ton impact dans des situations concrètes. Les employeurs adorent voir ce que tu es capable de créer !
Valorise tes projets personnels:Si tu as des projets personnels ou des contributions sur GitHub, assure-toi de les inclure dans ta candidature. Cela te permet de montrer non seulement tes compétences techniques, mais aussi ta passion et ton engagement pour le développement logiciel. C'est un excellent moyen de te démarquer des autres candidats !
Personnalise ta lettre de motivation:Prends le temps de personnaliser ta lettre de motivation pour Inria Talence. Explique pourquoi tu es attiré par cette entreprise et comment tes compétences peuvent répondre à leurs besoins. C'est l'occasion de montrer un côté plus humain de ta candidature et d'expliquer ce qui te motive !
Soigne la mise en page:Une mise en page claire et concise est cruciale pour les candidatures dans le domaine de l'ingénierie logicielle. Utilise des sous-titres et des listes pour rendre ton CV et ta lettre plus facile à lire. Cela montre aussi que tu as un sens de l'organisation, ce qui est super important dans notre domaine !
Comment te préparer à un entretien d'embauche chez Inria Talence
✨Maîtrise des Outils de Développement
Assure-toi d'être à l'aise avec les outils et les langages de programmation que privilégie Inria Talence. Par exemple, si tu sais qu'ils utilisent beaucoup Java ou Python, revisite tes concepts clés et sois prêt à discuter de tes projets antérieurs qui mettent en avant ces compétences.
✨Prépare des Exemples de Projets Concrets
Rassemble des exemples concrets de projets sur lesquels tu as travaillé, surtout ceux qui mettent en avant des défis techniques. Sois prêt à expliquer tes choix, tes erreurs et comment tu as résolu des problèmes - cela montre ton process de réflexion et ta capacité à apprendre.
✨Sois Prêt pour des Tests Techniques
Il est fréquent d'avoir des tests techniques lors des entretiens dans l’ingénierie logicielle. Prépare-toi à résoudre des problèmes de codage en direct. Pratique sur des plateformes comme LeetCode ou HackerRank pour rester affûté et confortable face à la pression.
✨Montre Ton Intérêt pour l’Innovation
Dans le cadre d'un poste à temps plein, les employeurs cherchent des passionnés qui se tiennent à jour avec les dernières tendances technologiques. N’hésite pas à parler de tes lectures récentes, de conférences auxquels tu as assisté ou même de projets open-source que tu pourrais avoir suivis ou rejoints.
