Senior IA Inference Engineer (x/f/m) in Levallois-Perret

Set a new pulse for healthcare! Nous recherchons un Ingénieur Senior en Inférence pour rejoindre l'équipe ML Platform (TIGER) dans le domaine de l'IA et du Machine Learning. Votre mission sera de dynamiser les produits de santé pilotés par l'IA de Doctolib — du Consultation Assistant au Phone Assistant et Health Companion — en possédant la plateforme d'hébergement LLM qui garde les données sensibles des patients au sein de l'infrastructure contrôlée par Doctolib.

Vous construirez et opérerez les fondations partagées sur lesquelles chaque équipe de fonctionnalités IA s'appuie : déploiement, réglage et mise à l'échelle des modèles à poids ouverts sur notre flotte GPU, contribuant directement à une IA plus rapide, plus sûre et plus rentable pour les équipes de soins et les patients à travers l'Europe.

Ce que vous ferez :

• Construire les fondations de service LLM partagées avec les ingénieurs MLOps — définir la pile de service, la planification de capacité GPU et l'automatisation du déploiement pour les modèles à poids ouverts (Gemma, Mistral, Llama, Qwen, et leurs variantes ajustées) sur Ray Serve / Anyscale, tout en façonnant l'évolution vers l'orchestration basée sur Kubernetes.
• Posséder le registre de modèles et le chemin de promotion — établir des processus clairs pour la version, la validation et la promotion des modèles en production, évaluer les performances et la qualité de sortie sous des charges de travail réalistes, et maintenir le catalogue de modèles avec l'équipe de la plateforme Agents.
• Optimiser les performances et l'efficacité de l'inférence — opérer et régler les moteurs de service (vLLM, Triton Inference Server, TensorRT-LLM) pour réduire le temps jusqu'au premier jeton, la latence inter-jeton, et le coût par jeton grâce à des stratégies de regroupement, de mise en cache, de quantification et de parallélisme sur notre flotte GPU (L4 à H200).
• Assurer la fiabilité de la production et la récupération après sinistre — définir des SLO, exécuter des tests de charge avant les lancements, mettre en œuvre des déploiements sûrs, des retours en arrière et de l'autoscaling, et participer à la réponse aux incidents.
• Rendre les performances de service et les coûts mesurables — construire des tableaux de bord Datadog, des alertes et des rapports de coûts pour suivre la latence, l'utilisation des GPU et les dépenses d'inférence, et identifier les opportunités d'améliorer l'efficacité des ressources.
• Maintenir la sécurité, la conformité et l'évolution de la pile d'inférence — travailler avec la sécurité et la confidentialité sur l'isolation réseau, la résidence des données et l'auditabilité, tout en évaluant continuellement de nouveaux modèles, moteurs de service (comme SGLang) et générations de GPU.

Qui vous êtes :

• Avoir plus de 5 ans d'expérience en ingénierie logicielle ou informatique, y compris une expérience pratique en production avec au moins un moteur de service LLM (vLLM, SGLang, TensorRT-LLM, TGI, ou Triton) — idéalement avoir choisi, introduit, réglé ou mis à l'échelle un en production, pas seulement l'avoir exécuté avec des paramètres par défaut.
• Être compétent en Python et Terraform, avec une solide compréhension des mécanismes d'inférence des transformateurs : pré-remplissage vs. décodage, cache KV, stratégies de regroupement, et pourquoi un modèle est lié à la mémoire ou au calcul sur un GPU donné.
• Avoir une forte expérience dans l'exécution de charges de travail GPU sur Kubernetes ou une plateforme Ray / Anyscale gérée, et un état d'esprit d'ingénierie de performance — vous concevez des benchmarks reproductibles, lisez les sorties de profileurs, et basez vos décisions sur des chiffres.
• Être à l'aise avec la fiabilité de la production : l'observabilité, la réponse aux incidents et l'astreinte font naturellement partie du rôle.
• Avoir d'excellentes compétences en communication et collaboration, une grande autonomie, une approche pragmatique de construction contre achat, et être à l'aise de travailler dans un périmètre encore en cours de définition.
• Être fluent en anglais.

Ce serait fantastique si vous :

• Avez de l'expérience avec des frameworks de service distribués (KServe, llm-d, NVIDIA Dynamo), y compris le pré-remplissage/décodage désagrégé ou le routage sensible au cache KV, ou avec le service Mixture-of-Experts, des modèles multimodaux, ou de nombreux adaptateurs LoRA sur des modèles de base partagés.
• Avez de l'expérience avec les noyaux GPU ou des compétences en profilage approfondi (CUDA, Triton, Nsight), ou avez contribué à des projets d'inférence open-source.
• Avez de l'expérience dans des environnements réglementés (santé, finance, secteur public) et avec des cadres tels que le RGPD, HDS, ISO 27001, ou SOC 2.

Notre stack :

• Langages de programmation : Python, plus à l'aise pour lire/déboguer un langage système (C++, Rust, ou Go).
• Fournisseurs de cloud : GCP / AWS / Azure.
• Orchestration de service : Ray Serve / Anyscale (GCP), avec Kubernetes (GKE) + planification GPU comme cible parallèle émergente.
• Moteurs de service LLM (en production) : vLLM, Triton Inference Server, TensorRT-LLM (évaluant également SGLang et d'autres moteurs émergents).
• Modèles : LLM à poids ouverts auto-hébergés (Gemma, Mistral, Llama, Qwen), ajustés en interne.
• Suivi des expériences & registre de modèles : MLflow.
• Porte d'entrée GenAI : LiteLLM.
• Évaluation & observabilité LLM : Braintrust.
• GPU : NVIDIA L4, A10G, L40S, RTX 6000 Pro, A100 (40GB/80GB), H200.
• Container / Infra as code : Docker, Terraform, Helm, Kustomize.
• Observabilité : Datadog.
• Entrepôt de données / stockage : GCP BigQuery / GCS / AWS S3.

Ce que nous offrons :

• Assurance santé complète gratuite (package de base) pour vous et vos enfants.
• 25 jours de congés payés par an, plus jusqu'à 14 jours de RTT.
• Services de santé mentale et de coaching gratuits via notre partenaire Moka.care.
• Travailler à l'étranger pendant jusqu'à 10 jours par an grâce à notre politique de jours de flexibilité.
• Chèques-repas (carte Swile) d'une valeur de 8,50 € par jour travaillé, dont 4,50 € couverts par Doctolib.
• Une subvention du comité d'entreprise pour rembourser une partie de l'adhésion à un club sportif ou à un cours créatif.
• Remboursement à 50 % de votre abonnement de transport public.
• Programme ParentCare : profitez d'une couverture salariale complète (100 %) pendant votre premier mois de congé de naissance et de 75 % pendant le deuxième, couvert par Doctolib.
• Inscription au plan de partage de valeur à long terme de Doctolib appelé DoctoGrowth.
• Pour les aidants et les travailleurs handicapés, un package incluant une adaptation de la politique de télétravail, des jours supplémentaires pour raisons médicales, et un soutien psychologique.
• Soutien à la relocalisation en cas de mobilité internationale.
• Accès aux meilleurs outils d'IA pour le codage, le développement et une formation dédiée.

Notre processus d'entretien :

• Entretien RH par téléphone (45 minutes).
• Entretien avec le responsable du recrutement (1 heure).
• Étude de cas technique (1 heure).
• Entretien comportemental (1 heure 30 minutes).
• Vérification d'au moins une référence.

Nous voulons que votre expérience soit claire, respectueuse et transparente. Apprenez-en plus sur notre processus de recrutement sur notre page d'expérience candidat.

Nous accueillons tout le monde. Chez Doctolib, nous nous engageons à améliorer l'accès aux soins de santé pour tous. Cela se traduit par notre processus de recrutement. Nous évaluons les candidats uniquement sur la base de leurs qualifications et de leur motivation, sans aucune forme de discrimination. Plus les idées diverses sont entendues, plus notre produit améliorera véritablement les soins de santé pour tous. Vous êtes le bienvenu pour postuler chez Doctolib, quelle que soit votre identité de genre, religion, âge, orientation sexuelle, ethnicité ou handicap. Pour garantir l'égalité des chances, nous vous invitons à exclure les informations personnelles (par exemple, photos, âge) de vos candidatures. Si vous avez besoin d'un aménagement, veuillez nous le faire savoir pour obtenir un soutien pendant le processus de recrutement.

Rejoignez-nous pour construire les soins de santé dont nous rêvons tous !

Toutes les informations fournies sont traitées par Doctolib pour la gestion des candidatures. Pour les détails sur le traitement des données, cliquez ici : France. Veuillez contacter hr.dataprivacy(at)doctolib.com pour toute question ou pour exercer vos droits.