Agentic Compiler Engineer in Paris

À PROPOS DE KOG

Kog construit une pile d'inférence co-conçue pour des agents IA en temps réel sur des GPU de datacenter standard, englobant l'architecture de modèle, le moteur d'inférence, les compilateurs et les noyaux GPU de bas niveau. Du côté des modèles, nous avons développé Laneformer 2B et Delayed Tensor Parallelism (DTP), une architecture Transformer qui chevauche la communication avec des calculs utiles et le streaming de poids. Du côté des systèmes, le Kog Inference Engine exécute cette pile sur des GPU de datacenter AMD et NVIDIA standard. Kog génère 3 500 tokens/s par requête sur 8 GPU AMD MI300X et 2 100 tokens/s par requête sur 8 GPU NVIDIA H200, en FP16 avec une taille de lot de 1, sans quantification ni décodage spéculatif.

Notre prochain projet majeur est AGCO, notre compilateur agentique. AGCO est conçu pour optimiser les LLM à travers différents GPU et cibles d'optimisation, y compris une inférence très rapide. L'équipe compte 10 personnes, dont 9 ingénieurs et chercheurs et 4 PhDs.

CE QUE VOUS FEREZ

Vous travaillerez directement sur AGCO. L'objectif est de construire un système capable d'explorer des moyens d'optimiser l'exécution des LLM, de générer des changements, de les compiler, de vérifier leur exactitude, de les exécuter sur du matériel réel, de mesurer les résultats et d'utiliser ce retour d'information pour guider la prochaine optimisation. Vous contribuerez à des domaines tels que :

• Conception de compilateurs et d'IR pour représenter et transformer les calculs LLM.
• Passes d'optimisation, abaissement et génération de code.
• Méthodes de recherche pour explorer différentes implémentations et stratégies d'exécution.
• Vérification et contrôles de correction pour les changements générés.
• Exécution GPU, profilage et optimisation des performances.
• Inférence LLM à travers les opérateurs, la mémoire, le parallélisme et la communication.
• Boucles d'optimisation reliant les changements générés aux mesures sur des GPU réels.

Une direction que nous explorons combine un IR, un vérificateur, un compilateur et un optimiseur de recherche. Nous prévoyons de commencer par des problèmes ciblés, de construire des prototypes fonctionnels et d'étendre le système à partir de ce que nous apprenons. Votre domaine principal dépendra de votre expérience, de vos compétences et de vos intérêts. Vous pourrez vous concentrer davantage sur les compilateurs, les systèmes GPU ou l'inférence LLM tout en travaillant en étroite collaboration avec des personnes à travers toute la pile.

CE QUE NOUS RECHERCHONS

Nous recherchons des ingénieurs ayant une expertise technique approfondie et un travail original dans au moins un domaine pertinent pour AGCO. L'expérience pertinente inclut :

• Ingénierie des compilateurs, y compris les passes d'optimisation, les IR, l'abaissement, la génération de code, LLVM ou MLIR.
• Programmation GPU avec CUDA, HIP, Metal, Vulkan ou des technologies similaires.
• Travail sur les performances GPU impliquant des noyaux, de la mémoire, de la synchronisation, du profilage ou du comportement matériel.
• Moteurs d'inférence LLM et optimisation des performances.
• Attention, MoE, parallélisme, communication ou autres parties au niveau système de l'exécution LLM.
• Vérification formelle, vérification d'équivalence, SAT/SMT ou méthodes connexes.
• Systèmes qui génèrent, recherchent, testent, évaluent ou optimisent automatiquement le code.

Nous tenons compte de ce que vous avez personnellement construit et des décisions techniques qui en découlent. Les candidats solides peuvent expliquer le problème, leur approche, les alternatives qu'ils ont explorées et comment ils ont mesuré le résultat. Nous examinons le travail technique au cours du processus. Cela peut être du code public, une contribution en amont, un article, une thèse, un projet technique ou un compte rendu détaillé basé sur un travail que vous pouvez partager.

CE QUE NOUS OFFRONS

Vous rejoindrez une petite équipe construisant AGCO comme une partie essentielle de la technologie de Kog. Travaillez à l'intersection des compilateurs, des systèmes GPU et de l'inférence LLM. Accès direct aux ingénieurs travaillant à travers toute la pile d'inférence. Un cycle rapide d'une idée d'optimisation à la compilation, l'exécution, la vérification et la mesure sur des GPU réels. L'opportunité d'approfondir votre domaine technique le plus fort tout en vous étendant aux autres parties de la pile. Une grande responsabilité sur les décisions techniques et les systèmes qui façonneront la manière dont Kog optimise l'inférence LLM. Ce rôle est basé à Paris, et nous recherchons des candidats capables de déménager à Paris et de travailler en étroite collaboration avec l'équipe.