Research Engineer

Kog construit une pile d'inférence co-conçue pour des agents IA en temps réel sur des GPU de datacenter standard, englobant l'architecture du modèle, le moteur d'inférence et les noyaux GPU de bas niveau.

Sur le côté modèle, nous avons développé Laneformer 2B, notre modèle de codage actuel, et le Delayed Tensor Parallelism (DTP), une architecture Transformer qui retarde la communication afin qu'elle se chevauche avec des calculs utiles et le streaming de poids.

Du côté des systèmes, le Kog Inference Engine exécute cette pile co-conçue sur des GPU de datacenter AMD et NVIDIA standard. Kog génère 3 500 tokens/s par requête sur 8 GPU AMD MI300X et 2 100 tokens/s par requête sur 8 GPU NVIDIA H200, en FP16 avec une taille de lot de 1, sans quantification ni décodage spéculatif.

Notre approche consiste à concevoir le modèle et son exécution ensemble, de sorte que l'architecture, la communication, le comportement de la mémoire et l'exécution GPU puissent être optimisés en tant que parties du même système. L'équipe compte 11 personnes, dont 10 ingénieurs et chercheurs et 5 PhDs.

Ce sur quoi vous travaillerez

• Architecture de modèle consciente de l'inférence à travers l'attention, le routage, la structure résiduelle et le parallélisme.
• Extensions à Laneformer 2B et DTP.
• Choix architecturaux pour de grands modèles MoE, y compris comment le routage, la communication et l'exécution interagissent au moment de l'inférence.
• Méthodes post-formation qui modifient l'architecture du modèle ou le comportement d'inférence.
• Transformation de modèle, changement de taille ou de structure d'un modèle entraîné tout en réutilisant ses poids appris.
• Expériences reliant des hypothèses architecturales à un comportement mesurable du modèle et de l'inférence.
• Publication des résultats de recherche et transformation des idées réussies en systèmes fonctionnant à l'intérieur de la pile d'inférence Kog.

Ce que nous recherchons

Nous recherchons des chercheurs qui ont conçu ou modifié de manière significative des mécanismes de modèle et peuvent relier les décisions architecturales à la façon dont les modèles s'exécutent au moment de l'inférence. Les preuves pertinentes incluent :

• Travail original sur l'attention, le routage, les connexions résiduelles, le parallélisme ou d'autres mécanismes Transformer.
• Travail sur l'architecture du modèle où la communication, la mémoire, le matériel ou les contraintes d'inférence ont façonné la conception.
• Recherche sur les Transformers ou les modèles MoE où vous avez possédé une partie significative de l'architecture ou de la direction expérimentale.
• Expériences construites autour d'une hypothèse claire, d'une mesure décisive et d'une mise à jour du modèle ou de la direction de recherche.
• Travail post-formation qui a changé la structure du modèle ou le comportement d'inférence.
• Travail sur l'échelle du modèle, la transformation de modèle ou des techniques qui réutilisent des poids appris à travers des changements architecturaux.

Nous examinons un artefact technique durant le processus. Cela peut être un article, un code public, une thèse, un projet de recherche ou un document technique détaillé basé sur un travail que vous pouvez partager.

Ce que nous offrons

Vous rejoindrez une petite équipe à un stade où les chercheurs individuels peuvent encore façonner la technologie de base, alors que notre technologie commence à être utilisée sur de véritables charges de travail clients. Impact individuel élevé, avec des décisions de recherche pouvant influencer directement à la fois l'architecture du modèle et les systèmes construits pour l'exécuter. Un chemin court de la recherche à l'implémentation, avec des idées architecturales évaluées à la fois par le comportement du modèle et la performance réelle de l'inférence. La capacité de prendre une idée architecturale de l'hypothèse à l'expérience, à l'implémentation et au comportement réel de l'inférence. L'opportunité d'étendre la recherche telle que Laneformer et DTP, d'explorer de nouvelles directions architecturales et de publier des résultats. Une équipe basée à Paris avec un soutien pour les candidats en dehors de la région : au moins une semaine par mois à Paris, avec voyage et hébergement couverts par Kog.