AI Evaluation Engineer

Ce poste est proposé au nom d'une entreprise partenaire, qui gère toutes les candidatures et les étapes suivantes. Notre partenaire recherche un ingénieur en évaluation de l'IA basé en France. En tant qu'ingénieur en évaluation de l'IA, vous concevrez et construirez l'infrastructure d'évaluation, de test et d'observabilité qui garantit que les agents IA de production fonctionnent de manière fiable, sûre et efficace.

Vous développerez des systèmes de test automatisés pour le raisonnement complexe, les conversations multi-tours et les interactions des agents impliquant des API, des bases de données et l'exécution de code. En travaillant à travers l'ingénierie de l'IA, les tests logiciels et l'infrastructure, vous créerez des pipelines d'évaluation évolutifs qui vont au-delà des tests QA traditionnels et manuels. Vous établirez des tests de régression robustes, des méthodes d'évaluation statistiques et des scénarios adversariaux pour identifier les faiblesses avant le déploiement.

Responsabilités :

• Concevoir, construire et maintenir des pipelines de test CI/CD automatisés pour valider le comportement des agents IA avant le déploiement et tout au long du cycle de développement.
• Développer et maintenir des ensembles de données de référence contenant des invites de régression, des cas limites et des scénarios synthétiques pour mesurer la précision, la sécurité, la performance et la latence des agents.
• Mettre en œuvre des vérifications d'évaluation rapides, rentables et déterministes avant d'introduire des approches LLM-as-a-judge, y compris la validation de schémas JSON, les expressions régulières, les vérifications d'état API et la similarité d'intégration.
• Créer des suites de tests complètes pour les conversations d'agents multi-tours, évaluant la rétention de contexte, la cohérence d'état, le comportement de raisonnement et les protections contre les boucles d'appels d'outils infinies.
• Concevoir et mettre en œuvre des scénarios de test adversariaux pour évaluer la résilience contre l'injection de prompts, les entrées malformées, les réponses inattendues des outils et d'autres vulnérabilités potentielles de sécurité.
• Construire des cadres d'évaluation statistiques pour mesurer le comportement non déterministe de l'IA en utilisant des taux de réussite sur plusieurs exécutions, des intervalles de confiance et d'autres métriques de fiabilité quantitatives.
• Intégrer des flux de travail d'évaluation dans GitHub Actions ou des systèmes CI comparables en utilisant l'exécution au niveau SDK et des pratiques de test automatisées.
• Mettre en œuvre des solutions d'observabilité et de traçage en utilisant des outils tels qu'OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave ou des plateformes équivalentes pour surveiller l'exécution des agents et diagnostiquer les échecs.
• Optimiser l'efficacité et le coût de l'évaluation grâce à la mise en cache, au moquage et à d'autres techniques qui réduisent les appels API LLM inutiles.
• Valider les sorties structurées, y compris les schémas JSON, les spécifications OpenAPI et les charges utiles d'appel de fonction, pour garantir que les agents interagissent de manière fiable avec les systèmes externes.
• Évaluer et améliorer la performance des agents sous charge, en tenant compte des temps de réponse variables et du comportement non déterministe des points de terminaison.
• Concevoir et posséder indépendamment l'architecture d'évaluation, en établissant des meilleures pratiques, des normes de test et des processus évolutifs pour l'assurance qualité continue.

Exigences :

• Solide maîtrise de Python ou TypeScript, en particulier pour les tests API, l'exécution sans tête, la programmation asynchrone et les systèmes de test automatisés.
• Expérience pratique dans la construction de pipelines d'évaluation LLM, de cadres de test IA ou de systèmes de test statistiques capables de mesurer la performance sur des exécutions répétées.
• Expérience dans l'intégration de tests automatisés dans des environnements CI/CD, en particulier GitHub Actions ou des plateformes similaires, avec exécution au niveau SDK.
• Expertise solide dans la validation des données et des sorties structurées, y compris le schéma JSON, les spécifications OpenAPI et les charges utiles d'appel de fonction.
• Familiarité avec les outils d'observabilité et de traçage tels qu'OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave ou des solutions de journalisation personnalisées.
• Capacité à concevoir, mettre en œuvre et maintenir indépendamment une architecture d'évaluation depuis le début, avec un fort sens de la propriété et du jugement technique.
• Excellente maîtrise de l'anglais écrit et parlé, avec la capacité de communiquer clairement des résultats techniques dans une équipe distribuée.
• Disponibilité pour se chevaucher avec les heures de bureau du fuseau horaire central des États-Unis pendant au moins trois heures chaque jour.
• Expérience avec des environnements d'exécution de code ou des cadres d'agents IA tels que LangChain, LlamaIndex, AutoGen ou CrewAI.
• Bonne compréhension des modèles d'intégration, des bases de données vectorielles et de leurs applications dans l'évaluation de l'IA et les tests basés sur la similarité.
• Expérience dans les tests de charge des points de terminaison non déterministes et l'évaluation du comportement du système sous des charges de travail variables.
• Approche proactive et analytique de la résolution de problèmes, avec la capacité de travailler de manière autonome, de s'adapter aux technologies évolutives et d'améliorer continuellement les méthodologies de test.

Avantages :

• Travail entièrement à distance : Travaillez de n'importe où avec une connexion Internet fiable, avec la flexibilité de choisir votre fuseau horaire et vos heures de travail préférées.
• Horaires flexibles : Organisez votre journée de travail autour de votre productivité tout en maintenant le chevauchement requis avec le fuseau horaire central des États-Unis.
• Développement professionnel : Accédez à des formations payantes et à d'autres opportunités pour élargir votre expertise technique et soutenir votre croissance professionnelle.
• Technologie moderne : Travaillez avec des outils, des cadres et des pratiques d'ingénierie IA contemporains dans un environnement qui valorise l'innovation et l'amélioration continue.
• Opportunités de projet constantes : Bénéficiez d'un flux régulier de travaux de développement de produits engageants et stimulants.
• Reconnaissance des performances : Une forte performance et un engagement peuvent être récompensés par des augmentations de salaire annuelles.
• Rémunération négociable : Votre taux horaire de départ sera déterminé en fonction de vos compétences, de votre expérience et de vos qualifications.
• Arrangement de travail en tant que contractant indépendant : La rémunération est basée sur les heures travaillées, avec des paiements effectués mensuellement par virement bancaire.
• Environnement de travail flexible : Profitez de l'autonomie pour travailler dans un cadre qui soutient votre concentration, votre indépendance et votre développement professionnel.

Nous apprécions votre intérêt et vous souhaitons bonne chance !