ML Systems Engineer — Inference Acceleration

Rencontrez Arago et les Aragoniens. La mission d'Arago est de réinventer les fondements de l'informatique à partir de premiers principes. La croissance explosive de l'IA pousse l'industrie à repenser la manière dont les processeurs sont construits. Arago relève ce défi avec une technologie propriétaire qui fusionne les technologies optiques et CMOS pour offrir une augmentation de performance d'un ordre de grandeur. Arago est la société la plus rapide, et actuellement la seule, à avoir construit un tel processeur. Elle est soutenue par des investisseurs de deep-tech de premier plan et certaines des figures les plus respectées dans le domaine des semi-conducteurs et de l'informatique.

Nos travaux sont guidés par trois valeurs claires : réaliser de grandes choses, agir avec une grande vitesse et fonctionner comme une seule unité. Nous travaillons dans un environnement exigeant où l'apprentissage constant, la responsabilité et l'exécution sont attendus, et où des personnes exceptionnelles ont l'opportunité de réaliser leur travail de vie.

Ce que vous ferez :

• Optimiser l'exécution et le service des modèles d'IA modernes sur l'accélérateur personnalisé d'Arago.
• Travailler sur les noyaux, l'exécution des modèles, la distribution multi-appareils, le runtime et le service d'inférence, tout en aidant à façonner la pile logicielle autour des capacités du matériel d'Arago.

Compétences et expérience requises :

• Expérience solide en inférence ML haute performance, programmation GPU/accélérateur ou ingénierie des systèmes ML.
• Compréhension approfondie de l'architecture des ordinateurs, des modèles d'exécution des accélérateurs/GPU, des hiérarchies de mémoire, du parallélisme et des goulets d'étranglement de performance.
• Expérience dans le développement et l'optimisation de noyaux personnalisés utilisant CUDA, Triton, ROCm/HIP ou des environnements de programmation bas niveau équivalents.
• Expérience avec la fusion d'opérateurs, le tuilage, la planification, l'optimisation des mouvements de données, l'exécution de graphes et le profilage des charges de travail liées au calcul et à la mémoire.
• Compréhension solide de l'exécution de modèles distribués, y compris le parallélisme tensoriel, de pipeline, de séquence et/ou d'expert ainsi que le chevauchement communication/calcul.
• Expérience pratique avec des systèmes modernes de service d'inférence tels que vLLM, SGLang, TensorRT-LLM ou équivalent, y compris la gestion de KV-cache, le batching continu, l'attention paginée et la planification de pré-remplissage/décodage.
• Solides compétences en C++ et Python, et confort à travailler sur une pile d'accélérateur personnalisée où le compilateur, le runtime, les noyaux et les abstractions sont activement développés.
• Une exposition ou une expérience avec MLIR et les dialectes MLIR est un atout fort.
• Langue : anglais à un niveau compétent.

Responsabilités :

• Analyser les charges de travail modernes d'IA et identifier les goulets d'étranglement au niveau des noyaux, du runtime, de la mémoire et du système sur l'accélérateur d'Arago.
• Développer et optimiser des noyaux personnalisés, des opérateurs fusionnés et des stratégies d'exécution pour maximiser l'utilisation des appareils.
• Concevoir des mappages efficaces de modèles et d'opérateurs sur plusieurs appareils Arago, y compris des stratégies de communication et de synchronisation.
• Développer des techniques de service d'inférence telles que le batching continu, les caches KV paginés, la mise en cache de préfixes/contextes, le pré-remplissage par morceaux et l'entrelacement ou la désagrégation de pré-remplissage/décodage.
• Construire une infrastructure de profilage, de benchmarking et d'analyse de performance couvrant les noyaux, les modèles complets et les charges de travail de service.
• Travailler en étroite collaboration avec les équipes matérielles, de compilation et de runtime d'Arago pour co-concevoir des abstractions logicielles et influencer les futures caractéristiques matérielles basées sur de véritables charges de travail de modèles.

Rémunération et avantages :

• Rémunération en espèces compétitive, avec un package final basé sur la localisation, l'expérience et la rémunération des membres de l'équipe occupant des postes similaires.
• Plan d'options d'achat d'actions significatif proposé (inclus dans la majorité des offres à temps plein).
• Couverture santé (y compris des options adaptées aux familles), contributions à la retraite, soutien au développement professionnel et 25 jours de congés payés, en plus des jours fériés.
• Possession d'un domaine technique clé, avec des opportunités de croissance verticale et/ou horizontale significatives, basées sur la performance et la motivation individuelle.

Nous avons hâte d'entendre comment vous pouvez aider à façonner l'avenir de l'IA chez Arago.