Research Engineer, Latency & Throughput in Paris

À propos de Mistral

Mistral fournit des solutions d'IA full-stack : des modèles de pointe aux outils pour développeurs, applications et calcul. Nous collaborons avec des entreprises pour résoudre les problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, la fabrication, la défense, la santé et le secteur public, co-créant des systèmes d'IA personnalisés qu'elles peuvent gérer selon leurs propres conditions. Nous sommes une équipe dynamique et collaborative, passionnée par l'IA et son potentiel à transformer la société. Notre main-d'œuvre diversifiée prospère dans des environnements compétitifs et s'engage à stimuler l'innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, humbles et animés par l'esprit d'équipe.

Le rôle

En tant qu'ingénieur de recherche au sein de l'équipe Latence & Débit, vous repousserez les limites de l'inférence LLM en recherchant et en prototypant des techniques qui réduisent la latence et augmentent le débit — du décodage spéculatif et de la quantification à la compression KV et aux nouvelles variantes d'attention. L'équipe se situe à l'intersection de la recherche et de la production : vous prendrez des idées issues de la littérature récente, formerez des hypothèses, réaliserez des expériences et intégrerez les techniques validées dans notre pile de services. Ce rôle se situe entre nos ingénieurs d'inférence, qui possèdent la pile de services de production, et nos scientifiques de recherche, qui se concentrent sur des contributions au niveau des publications. Vous serez plus axé sur la science qu'un ingénieur pur : vous êtes censé générer de nouvelles idées, rester à jour sur l'état de l'art et mettre en œuvre des preuves de concept qui comblent le fossé entre les résultats académiques et l'impact en production. Certaines techniques que vous explorerez seront destructrices ou nécessiteront une intégration dans l'entraînement — réentraîner des modèles, ajuster des architectures ou entraîner des modèles auxiliaires pour améliorer l'inférence. Vous travaillerez en étroite collaboration avec les équipes Inference Foundation et Kernels, qui transforment vos techniques validées en recettes de production, et avec les équipes de pré-entraînement et de RL lorsque votre travail touche à l'entraînement des modèles. Le succès est mesuré par des gains de latence ou de débit démontrés, d'abord à petite échelle, puis adoptés en production.

Ce que vous ferez

• Rechercher et prototyper des techniques d'inférence — décodage spéculatif, quantification, compression KV, filigrane et nouvelles architectures de modèles — en lisant la littérature récente et en formant des hypothèses testables.
• Concevoir et réaliser des expériences pour valider ou réfuter des idées, en itérant rapidement sur des configurations à petite échelle avant de proposer une intégration en production.
• Démontrer des gains clairs de latence ou de débit sans perte de qualité inacceptable.
• Collaborer avec l'équipe Inference Foundation pour intégrer les techniques validées dans la pile de services basée sur vLLM.
• Collaborer avec les équipes de pré-entraînement et de RL lorsque les techniques nécessitent un co-entraînement, un réentraînement ou l'entraînement de modèles auxiliaires pour améliorer l'inférence.
• Construire les bons outils et plateformes de validation pour faciliter la recherche d'inférence pilotée par l'IA.

Ce que nous recherchons

• Un solide bagage en ML avec une bonne connaissance des techniques d'entraînement LLM — architecture, tokenisation, ajustement et évaluation.
• Une expérience pratique avec Python et PyTorch ; vous écrivez un code expérimental propre et itérez rapidement. JAX est acceptable avec une forte maîtrise de Python. C++ et Rust ne sont pas requis, mais des connaissances en CUDA et GPU sont attendues, bien qu'une expérience pratique ne soit pas nécessaire.
• Une expérience de recherche sous une forme ou une autre : une thèse, des publications, un projet de recherche dédié ou un travail orienté vers l'efficacité dans un laboratoire ou un cadre de recherche industriel. Un doctorat n'est pas requis, mais nous recherchons une véritable profondeur de recherche.
• Un historique de conduite d'expériences : formation d'hypothèses, conception de comparaisons contrôlées et tirage de conclusions claires à partir des résultats.
• Familiarité avec l'état de l'art en matière d'inférence LLM — vous savez ce qui a été essayé, ce qui fonctionne et où se trouvent les problèmes ouverts.
• Autonome, humble et collaboratif. Vous êtes à l'aise avec l'ambiguïté, les résultats négatifs et êtes désireux de prendre les choses en main.
• L'expérience en inférence ou en services est un plus, mais pas une exigence. Une expérience antérieure avec vLLM, des déploiements LLM en production ou des systèmes de services vous aidera à monter en compétence plus rapidement.

Localisation et télétravail

Ce rôle est basé dans nos bureaux de Paris ou de Londres (hybride). Nous donnerons la priorité aux candidats résidant dans la région parisienne ou ouverts à la relocalisation. Nous croyons fermement à la valeur de la collaboration en personne pour favoriser des relations solides et une communication fluide au sein de notre équipe. Pour les profils seniors, nous considérerons également les candidats en télétravail basés en France. Dans ce cas, nous demandons à tous les nouveaux employés de visiter notre bureau de Paris : pour la première semaine de leur intégration (hébergement et voyage couverts), puis au moins 3 jours par mois.

Ce que nous offrons

Nous offrons un ensemble complet d'avantages conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon les pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, un soutien à la relocalisation, des programmes de bien-être, des allocations de repas et de transport, et d'autres avantages spécifiques à chaque localisation.

Politique de confidentialité

Votre vie privée est importante pour nous. Vous pouvez en savoir plus sur la façon dont nous gérons vos données personnelles dans notre Politique de confidentialité des candidats.