Research Engineer, Inference Foundation in Paris

À propos de Mistral

Mistral fournit des solutions IA complètes : des modèles de pointe aux outils pour développeurs, applications et calcul. Nous collaborons avec des entreprises pour résoudre les problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, la fabrication, la défense, la santé et le secteur public, co-créant des systèmes IA personnalisés qu'elles peuvent gérer selon leurs propres conditions.

Nous sommes une équipe dynamique et collaborative passionnée par l'IA et son potentiel à transformer la société. Notre main-d'œuvre diversifiée prospère dans des environnements compétitifs et s'engage à stimuler l'innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, humbles et d'esprit d'équipe.

Le rôle

L'équipe Inference Foundation possède le cœur de la pile d'inférence de Mistral : le moteur d'inférence et son orchestration, depuis l'ensemble des fonctionnalités et la configuration qui servent nos modèles en production jusqu'à la machinerie de publication qui maintient la pile à jour et de qualité production.

C'est un poste hybride englobant le service LLM en production, le développement de moteurs et de plateformes, et l'ingénierie de capacité. Vous travaillerez sur trois problèmes interconnectés :

• Optimiser la pile d'inférence à grande échelle — développement de fonctionnalités et corrections dans le moteur et l'orchestrateur, maximisant le débit et réduisant la latence de chaque GPU sous des cibles strictes de qualité de service.
• Rendre la capacité élastique — la montée et la descente doivent être rapides et peu coûteuses, sans chute de performance.
• Alimenter l'entraînement de nos modèles de pointe — service haute performance qui maintient les boucles RL et post-entraînement en pleine vitesse.

Ce que vous ferez

• Moteur d'inférence et orchestration : développer et corriger le cœur de la pile d'inférence — moteur et orchestrateur — y compris la sélection de fonctionnalités, la configuration et le réglage pour des performances maximales à grande échelle.
• Posséder le processus de publication pour la pile de service : publications validées, sans régression grâce à des portes de performance automatisées et un déploiement progressif.
• Améliorer et corriger en amont lorsque le moteur open-source est le bon endroit pour cela.
• Performance et capacité à grande échelle : optimiser l'efficacité du service à travers la flotte — réduire le temps de démarrage des pods, s'attaquer aux régressions de cache à froid lors de la montée en charge, mise en cache plus intelligente et déchargement.
• Construire l'infrastructure de service qui alimente RL et le post-entraînement pour nos modèles de pointe.
• Optimiser la performance d'inférence sur l'ensemble de notre gamme de charges de travail.

Ce que nous recherchons

• Expérience dans la construction et l'exécution de services ML/LLM à grande échelle, avec des cibles claires de latence et de disponibilité.
• Expérience pratique avec des moteurs d'inférence tels que vLLM, SGLang, TensorRT-LLM, ou autres.
• Une bonne compréhension des internes d'inférence : pré-remplissage vs. décodage, comportement KV-cache, regroupement, planification, décodage spéculatif, stratégies de parallélisme.
• Familiarité avec les architectures de service distribuées et désagrégées.
• À l'aise pour déboguer à travers toute la pile — CUDA/NCCL, noyaux, conteneurs, mise en réseau, stockage.
• Python pour les outils système et les services backend ; PyTorch.
• Kubernetes pour exécuter l'infrastructure à grande échelle.
• Fondamentaux GPU et mise en réseau : runtime CUDA, NCCL, InfiniBand/RDMA.

Ce serait génial si vous avez

• Contributions démontrées à vLLM/sglang — contributions en amont, ou un historique d'exécution dans des environnements de production exigeants.
• Optimisation consciente du matériel pour diverses architectures de modèles.
• Expérience dans le service de modèles MoE à grande échelle (parallélisme d'expert, placement/balancement de charge d'expert).
• Développement de noyaux CUDA/Triton ; profilage Nsight Systems/Compute.
• Rust et/ou C++ dans des systèmes de production.

Ce que nous offrons

Nous offrons un ensemble complet d'avantages conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon le pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, un soutien à la relocalisation, des programmes de bien-être, des allocations de repas et de transport, et d'autres avantages spécifiques à l'emplacement.

Pour les détails les plus récents sur les avantages disponibles dans votre région, veuillez consulter notre page des avantages.

Politique de confidentialité

Votre vie privée est importante pour nous. Vous pouvez en savoir plus sur la façon dont nous gérons vos données personnelles dans notre Politique de confidentialité des candidats.