Senior IA Inference Engineer (x/f/m) Neu in Paris

Set a new pulse for healthcare! Nous recherchons un Ingénieur Senior en Inférence pour rejoindre l'équipe ML Platform (TIGER) dans AI & Machine Learning. Votre mission sera de dynamiser les produits de santé pilotés par l'IA de Doctolib — du Consultation Assistant au Phone Assistant et Health Companion — en possédant la plateforme de service LLM auto-hébergée qui garde les données patients les plus sensibles au sein de l'infrastructure contrôlée par Doctolib.

Vous construirez et opérerez les fondations partagées sur lesquelles chaque équipe de fonctionnalités IA s'appuie : déploiement, réglage et mise à l'échelle des modèles à poids ouverts sur notre flotte GPU, contribuant directement à une IA plus rapide, plus sûre et plus rentable pour les équipes de soins et les patients à travers l'Europe.

Ce que vous ferez

• Construire les fondations de service LLM partagées avec les ingénieurs MLOps — définir la pile de service, la planification de capacité GPU et l'automatisation du déploiement pour les modèles à poids ouverts (Gemma, Mistral, Llama, Qwen, et leurs variantes ajustées) sur Ray Serve / Anyscale, tout en façonnant l'évolution vers l'orchestration basée sur Kubernetes.
• Posséder le registre de modèles et le chemin de promotion — établir des processus clairs pour la version, la validation et la promotion des modèles en production, évaluer les performances et la qualité de sortie sous des charges de travail réalistes, et maintenir le catalogue de modèles organisé avec l'équipe de la plateforme Agents.
• Optimiser la performance et l'efficacité de l'inférence — opérer et régler les moteurs de service (vLLM, Triton Inference Server, TensorRT-LLM) pour réduire le temps jusqu'au premier jeton, la latence inter-jeton, et le coût par jeton grâce à des stratégies de regroupement, de mise en cache, de quantification et de parallélisme sur notre flotte GPU (L4 à H200).
• Assurer la fiabilité de production et la récupération après sinistre — définir des SLO, exécuter des tests de charge avant les lancements, mettre en œuvre des déploiements sûrs, des retours en arrière et de l'autoscaling, et participer à la réponse aux incidents.
• Rendre la performance et les coûts de service mesurables — construire des tableaux de bord Datadog, des alertes et des rapports de coûts pour suivre la latence, l'utilisation GPU et les dépenses d'inférence, et identifier les opportunités d'améliorer l'efficacité des ressources.
• Maintenir la pile d'inférence sécurisée, conforme et évolutive — travailler avec la sécurité et la confidentialité sur l'isolation réseau, la résidence des données et l'auditabilité, tout en évaluant continuellement de nouveaux modèles, moteurs de service (comme SGLang), et générations de GPU.

Qui vous êtes

• Avoir plus de 5 ans d'expérience en ingénierie logicielle ou informatique, y compris une expérience pratique en production avec au moins un moteur de service LLM (vLLM, SGLang, TensorRT-LLM, TGI, ou Triton) — idéalement avoir choisi, introduit, réglé ou mis à l'échelle un en production, pas seulement l'avoir exécuté avec des paramètres par défaut.
• Être compétent en Python et Terraform, avec une solide compréhension des mécanismes d'inférence des transformateurs : pré-remplissage vs. décodage, cache KV, stratégies de regroupement, et pourquoi un modèle est lié à la mémoire ou au calcul sur un GPU donné.
• Avoir une forte expérience dans l'exécution de charges de travail GPU sur Kubernetes ou une plateforme gérée Ray / Anyscale, et un état d'esprit d'ingénierie de performance — vous concevez des benchmarks reproductibles, lisez les sorties de profileurs, et basez vos décisions sur des chiffres.
• Être à l'aise avec la fiabilité de production : l'observabilité, la réponse aux incidents, et l'appel sont une partie naturelle du rôle.
• Avoir d'excellentes compétences en communication et collaboration, une grande autonomie, une approche pragmatique de construction contre achat, et être à l'aise de travailler dans un périmètre qui est encore en train de se former.
• Être fluent en anglais.

Ce serait fantastique si vous :

• Avez de l'expérience avec des frameworks de service distribués (KServe, llm-d, NVIDIA Dynamo), y compris le pré-remplissage/décodage désagrégé ou le routage conscient du cache KV, ou avec le service Mixture-of-Experts, des modèles multimodaux, ou de nombreux adaptateurs LoRA sur des modèles de base partagés.
• Avez de l'expérience avec les noyaux GPU ou des compétences en profilage approfondi (CUDA, Triton, Nsight), ou avez contribué à des projets d'inférence open-source.
• Avez de l'expérience dans des environnements réglementés (santé, finance, secteur public) et avec des cadres tels que GDPR, HDS, ISO 27001, ou SOC 2.

Notre stack

• Langages de programmation : Python, plus à l'aise pour lire/déboguer un langage système (C++, Rust, ou Go).
• Fournisseurs de cloud : GCP / AWS / Azure.
• Orchestration de service : Ray Serve / Anyscale (GCP), avec Kubernetes (GKE) + planification GPU comme cible parallèle émergente.
• Moteurs de service LLM (en production) : vLLM, Triton Inference Server, TensorRT-LLM (évaluant également SGLang et d'autres moteurs émergents).
• Modèles : LLM à poids ouverts auto-hébergés (Gemma, Mistral, Llama, Qwen), ajustés en interne.
• Suivi des expériences & registre de modèles : MLflow.
• Porte d'entrée GenAI : LiteLLM.
• Évaluation & observabilité LLM : Braintrust.
• GPUs : NVIDIA L4, A10G, L40S, RTX 6000 Pro, A100 (40GB/80GB), H200.
• Conteneur / Infra as code : Docker, Terraform, Helm, Kustomize.
• Observabilité : Datadog.
• Entrepôt de données / stockage : GCP BigQuery / GCS / AWS S3.

La vie chez Doctolib Tech

Nos solutions sont construites sur une seule plateforme entièrement cloud-native qui prend en charge les interfaces d'application web et mobile, plusieurs langues, et est adaptée aux exigences des pays et des spécialités de santé.

Notre stack est composée de Rails, TypeScript, Java, Python, Kotlin, Swift, et React Native.

Nous exploitons l'IA de manière éthique à travers nos produits pour autonomiser les patients et les professionnels de santé.

Ce que nous offrons

• Assurance santé complète gratuite (package de base) pour vous et vos enfants.
• 25 jours de congés payés par an, plus jusqu'à 14 jours de RTT.
• Services gratuits de santé mentale et de coaching via notre partenaire Moka.care.
• Travail à l'étranger pendant jusqu'à 10 jours par an grâce à notre politique de jours de flexibilité.
• Chèques-repas (carte Swile) d'une valeur de 8,50 € par jour travaillé, dont 4,50 € couverts par Doctolib.
• Une subvention du comité d'entreprise pour rembourser une partie de l'adhésion à un club sportif ou à un cours créatif.
• Remboursement de 50 % de votre abonnement de transport public.
• Programme ParentCare : profitez d'une couverture salariale complète (100 %) pendant votre premier mois de congé de naissance et de 75 % pendant le deuxième, couvert par Doctolib.
• Inscription au plan de partage de valeur à long terme des employés de Doctolib appelé DoctoGrowth.
• Pour les aidants et les travailleurs handicapés, un package incluant une adaptation de la politique de télétravail, des jours supplémentaires pour raisons médicales, et un soutien psychologique.
• Soutien à la relocalisation en cas de mobilité internationale.
• Accès aux meilleurs outils d'IA pour le codage, le développement et une formation dédiée.

Notre processus d'entretien

• Entretien RH par téléphone (45 minutes).
• Entretien avec le responsable du recrutement (1 heure).
• Étude de cas technique (1 heure).
• Entretien comportemental (1 heure 30 minutes).
• Vérification d'au moins une référence.

Nous voulons que votre expérience soit claire, respectueuse et transparente. En savoir plus sur notre processus de recrutement sur notre page d'expérience candidat.

Détails du poste

• Poste permanent.
• Stack technique : Python, vLLM, TensorRT-LLM, Triton, Ray Serve.
• Temps plein.
• Paris, France.
• Configuration de travail hybride (jusqu'à 2 jours de télétravail par semaine).
• Date de début : dès que possible.