Director, Model Behavior & Evaluation Systems

À propos de Blue Yonder

Blue Yonder est l'entreprise d'IA pour la chaîne d'approvisionnement. Notre plateforme aide les plus grandes entreprises du monde à planifier, exécuter, livrer et faire fonctionner des chaînes d'approvisionnement plus résilientes à travers des réseaux mondiaux complexes. Nous construisons vers la chaîne d'approvisionnement autonome : des systèmes intelligents capables de comprendre le contexte opérationnel, de raisonner sur les compromis, d'utiliser des outils, de collaborer avec des personnes et d'agir à travers de véritables flux de travail de chaîne d'approvisionnement.

À propos des Autonomy Labs

La mission des Autonomy Labs est de trouver le chemin le plus rapide vers une chaîne d'approvisionnement autonome. Nous construisons des agents LLM, des systèmes d'apprentissage, des pipelines d'entraînement de modèles, des évaluations, des simulations et des systèmes de prise de décision pour certains des problèmes les plus difficiles de la chaîne d'approvisionnement mondiale. Le travail couvre les LLM, les flux de travail agentiques, l'utilisation d'outils, l'automatisation logicielle, l'évaluation, le post-entraînement, l'optimisation et l'ingénierie de production.

Votre mission

Nous recherchons un Directeur technique profondément technique des Systèmes de Comportement et d'Évaluation des Modèles pour posséder le système de qualité comportementale pour les agents LLM de Blue Yonder. Nos agents ne sont pas des chatbots génériques. Ils sont formés pour opérer des logiciels de chaîne d'approvisionnement : interroger l'état, appeler des API, interpréter le contexte opérationnel, proposer des actions, gérer des exceptions, demander des informations manquantes et aider les utilisateurs à prendre des décisions dans des environnements d'entreprise complexes.

Votre mission est de faire du comportement du modèle un système de qualité produit, et non une collection de tableaux de bord. Vous définirez ce que signifie "bon" pour les agents opérant des flux de travail de chaîne d'approvisionnement, établirez les portes de sortie qui déterminent quand le comportement est prêt à être expédié, et construirez les boucles de rétroaction qui transforment les traces, les retours clients, les examens d'experts, la télémétrie, les tests de résistance et les échecs d'évaluation en améliorations de modèle.

Ce rôle de leadership technique au niveau directeur vous amènera à diriger à travers des systèmes, des normes, des personnes et des décisions. Vous devez être suffisamment proche des traces de modèle, des évaluations, du post-entraînement, de l'utilisation d'outils et des flux de travail clients pour prendre des décisions techniques solides, tout en opérant au niveau des frontières de propriété, de l'autorité de lancement, de la séquence de feuille de route et de la constitution d'équipe.

Ce que vous ferez

• Posséder la barre de qualité comportementale pour les agents LLM de Blue Yonder à travers les flux de travail de chaîne d'approvisionnement orientés client.
• Construire et diriger la fonction de comportement et d'évaluation des modèles à travers les spécifications de comportement, la gouvernance des évaluations, les examens d'experts, les portes de sortie, la couverture de régression et la préparation au lancement.
• Définir les critères de lancement en matière de correction opérationnelle, d'exactitude d'utilisation des outils, d'achèvement des flux de travail, de qualité d'escalade, de comportement de repli sûr, de qualité de refus, de cohérence et de confiance des clients.
• Établir l'autorité d'évaluation afin que les évaluations deviennent une infrastructure de décision de lancement, et non simplement un rapport de qualité de modèle.
• Définir la cadence opérationnelle pour les examens de qualité comportementale, la préparation à la sortie des modèles, les cartes de modèles, la triage des problèmes, la gestion des régressions et la surveillance du comportement post-lancement.

Ce que nous recherchons

Nous souhaitons discuter si vous :

• Avez dirigé des travaux techniques sur des produits LLM, des agents IA, le comportement des modèles, l'évaluation des modèles, le post-entraînement, l'alignement IA ou la qualité des produits IA.
• Avez construit ou dirigé des systèmes d'évaluation pour le comportement ouvert des LLM, y compris des ensembles de données d'évaluation, des évaluateurs, des rubriques, des tableaux de notation, des boucles d'examen d'experts, des tests de régression ou des portes de lancement.
• Avez une profondeur pratique avec l'appel d'outils LLM, l'appel de fonctions, les agents API, les agents de flux de travail, les agents d'exploitation logicielle ou l'automatisation d'entreprise.

Environnement technique

Vous devez vous attendre à travailler autour de : Python, PyTorch, Hugging Face Transformers, Hugging Face Datasets, et des flux de travail modernes de post-entraînement LLM.

Ce qui rend ce rôle différent ?

Le comportement du modèle est le comportement du produit. Pour les agents de chaîne d'approvisionnement, la différence entre un système utile et un système dangereux ou frustrant repose souvent sur le jugement : quand demander des clarifications, quand appeler un outil, quand expliquer un compromis, quand faire remonter à un humain, et quand ne pas agir. Ce rôle possède ce jugement en tant que système d'exploitation : les normes, les preuves, les portes de sortie, les équipes et les boucles de rétroaction qui déterminent si nos agents sont prêts à opérer dans de véritables flux de travail clients.