Senior IA Inference Engineer (x/f/m) in Paris

Set a new pulse for healthcare! We are looking for a Senior Inference Engineer to join the ML Platform (TIGER) team in AI & Machine Learning. Your mission will be to power Doctolib's AI-driven healthcare products - from Consultation Assistant to Phone Assistant and Health Companion - by owning the self-hosted LLM serving platform that keeps the most sensitive patient data within infrastructure Doctolib controls.

Vous serez responsable de :

• Construire les fondations partagées de LLM avec des ingénieurs MLOps — définir la pile de service, la planification de la capacité GPU et l'automatisation du déploiement pour les modèles à poids ouverts (Gemma, Mistral, Llama, Qwen, et leurs variantes ajustées) sur Ray Serve / Anyscale, tout en façonnant l'évolution vers l'orchestration basée sur Kubernetes.
• Posséder le registre de modèles et le chemin de promotion — établir des processus clairs pour la version, la validation et la promotion des modèles en production, évaluer les performances et la qualité de sortie sous des charges de travail réalistes, et maintenir le catalogue de modèles avec l'équipe de la plateforme Agents.
• Optimiser les performances et l'efficacité de l'inférence — faire fonctionner et ajuster les moteurs de service (vLLM, Triton Inference Server, TensorRT-LLM) pour réduire le temps jusqu'au premier jeton, la latence inter-jeton, et le coût par jeton grâce à des stratégies de regroupement, de mise en cache, de quantification et de parallélisme sur notre flotte GPU (L4 à H200).
• Assurer la fiabilité de la production et la récupération après sinistre — définir des SLO, effectuer des tests de charge avant les lancements, mettre en œuvre des déploiements sûrs, des retours en arrière et de l'autoscaling, et participer à la réponse aux incidents.
• Rendre les performances de service et les coûts mesurables — construire des tableaux de bord Datadog, des alertes et des rapports de coûts pour suivre la latence, l'utilisation des GPU et les dépenses d'inférence, et identifier les opportunités d'améliorer l'efficacité des ressources.
• Maintenir la sécurité, la conformité et l'évolution de la pile d'inférence — travailler avec la sécurité et la confidentialité sur l'isolement réseau, la résidence des données et l'auditabilité, tout en évaluant continuellement de nouveaux modèles, moteurs de service (comme SGLang), et générations de GPU.

Qui vous êtes :

• Avoir plus de 5 ans d'expérience en ingénierie logicielle ou informatique, y compris une expérience pratique en production avec au moins un moteur de service LLM (vLLM, SGLang, TensorRT-LLM, TGI, ou Triton).
• Être compétent en Python et Terraform, avec une bonne compréhension des mécanismes d'inférence des transformateurs.
• Avoir une solide expérience dans l'exécution de charges de travail GPU sur Kubernetes ou une plateforme gérée Ray / Anyscale.
• Être à l'aise avec la fiabilité de la production : observabilité, réponse aux incidents, et être disponible pour les appels d'urgence.
• Avoir d'excellentes compétences en communication et collaboration.
• Être fluent en anglais.

Ce serait fantastique si vous :

• Avez de l'expérience avec des frameworks de service distribués.
• Avez des compétences en profilage profond (CUDA, Triton, Nsight).
• Avez de l'expérience dans des environnements réglementés (santé, finance, secteur public).

Nous offrons :

• Une assurance santé complète gratuite pour vous et vos enfants.
• 25 jours de congés payés par an, plus jusqu'à 14 jours de RTT.
• Des services de santé mentale et de coaching gratuits.
• Des chèques déjeuner.
• Un programme ParentCare.
• Un soutien à la relocalisation en cas de mobilité internationale.

Nous accueillons tout le monde chez Doctolib. Nous nous engageons à améliorer l'accès aux soins de santé pour tous.