Research Engineer, Forge

À propos de Mistral

Mistral fournit des solutions d'IA full-stack : des modèles de pointe aux outils pour développeurs, applications et calcul. Nous collaborons avec des entreprises pour résoudre les problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, la fabrication, la défense, la santé et le secteur public, co-créant des systèmes d'IA personnalisés qu'elles peuvent gérer selon leurs propres termes. Nous sommes une équipe dynamique et collaborative passionnée par l'IA et son potentiel à transformer la société. Notre main-d'œuvre diversifiée prospère dans des environnements compétitifs et s'engage à stimuler l'innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, humbles et animés par l'esprit d'équipe.

Résumé du rôle

En tant qu'ingénieur de recherche sur Forge, vous transformerez les exigences réelles des clients en flux de travail fiables pour la formation et le déploiement. Vous travaillerez de bout en bout sur l'adaptation des modèles et le post-entraînement (CPT/SFT/RL/distillation), l'évaluation, les données et l'infrastructure. Ce rôle fait le lien entre l'expérimentation de recherche et les contraintes de production. Ce poste se situe dans la science appliquée, avec un impact direct sur les résultats des clients. Vous collaborerez étroitement avec des scientifiques, des ingénieurs, des équipes produit et des équipes en contact avec les clients pour garantir que les projets Forge soient livrés, maintenables et dignes de confiance.

Ce que vous ferez

• Construire et améliorer les flux de travail de post-entraînement et d'évaluation (CPT/SFT/RL/distillation), transformant des prototypes en recettes Forge répétables.
• Développer des outils et des pipelines pour la génération de données synthétiques, la curation de données, la formation, l'évaluation et le déploiement.
• Déboguer et renforcer des systèmes ML à grande échelle : formation distribuée, planification/exécution, point de contrôle, observabilité et reproductibilité.
• Améliorer la base de code Forge via des API claires, des tests, de la documentation et des abstractions maintenables.
• Pousser les limites de notre pile d'entraînement RL (par exemple, déploiement asynchrone à haut débit et systèmes de post-entraînement évolutifs à l'échelle des modèles de pointe).
• Assurer que le déploiement de Forge soit fluide et adaptable à une diversité de clients (accès matériel, pile logicielle, cloud et sur site, ...).
• Collaborer avec des chercheurs et des ingénieurs en infrastructure pour traduire les goulets d'étranglement en améliorations concrètes du système.

À propos de vous

• Solides compétences en ingénierie Python et expérience de travail dans de grands codes (tests, révision de code, CI, propriété opérationnelle).
• Expérience pratique avec PyTorch, JAX ou similaire.
• Forte compréhension des systèmes et de l'infrastructure.
• Expérience avec l'entraînement ou le post-entraînement de LLM : ajustement fin, RL, distillation, évaluation et/ou pipelines de données.
• Excellentes compétences en débogage dans des systèmes ambigus (emplois distribués, problèmes de données, régressions de qualité, pannes d'infrastructure).
• Communication claire avec des parties prenantes techniques et non techniques.
• Grande autonomie, humilité et confort dans des environnements rapides et peu spécifiés.

Atouts

• Expérience en formation distribuée (FSDP, DeepSpeed, Megatron, etc.).
• Expérience en cluster/orchestration (SLURM, Ray, Kubernetes, Kueue, Karpenter, Skypilot, etc.).
• Expérience dans la construction d'infrastructures ML fiables, de systèmes d'évaluation ou de pipelines de traitement de données à grande échelle.
• Expérience de recherche dans les LLM, agents, modèles multimodaux, raisonnement, code ou adaptation de domaine.
• Contributions open-source, publications ou outils internes largement utilisés.
• Expérience dans l'entraînement de modèles à plusieurs milliards de paramètres (pré-entraînement ou RL).
• Expérience d'entraînement sur des ensembles de données à l'échelle pétaoctet et exaoctet.
• Capacité à identifier les goulets d'étranglement dans la pile et à conduire des améliorations à partir des premiers principes.

Ce que nous offrons

Nous offrons un ensemble complet d'avantages conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon le pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, un soutien à la relocalisation, des programmes de bien-être, des allocations de repas et de transport, ainsi que d'autres avantages spécifiques à chaque lieu.