AI Infra / Engineer - Large-scale Training in Paris

Votre mission en tant qu'ingénieur AI Infra — Formation à grande échelle consiste à construire les systèmes qui rendent l'apprentissage du robot humanoïde d'UMA rapide, évolutif et fiable. Vous transformerez le code de formation expérimental en pipelines d'exécution robustes qui s'étendent sur des milliers de GPU et soutiennent une itération rapide. Vous travaillerez directement avec des chercheurs en IA, façonnant le logiciel utilisé pour former nos modèles fondamentaux robotiques à travers le pré-entraînement, le milieu de l'entraînement et le post-entraînement sur des données multimodales à grande échelle.

Vous serez responsable des défis d'ingénierie liés à l'exécution distribuée : choisir des stratégies de parallélisme, optimiser la mémoire et la communication, accélérer les opérations critiques et garantir la fiabilité des travaux de longue durée. Nous avons déjà une pile de formation fonctionnelle et une équipe solide derrière elle. Vous vous appuierez sur cette base, avec la possibilité de repenser les composants si nécessaire.

En étroite collaboration avec les chercheurs en IA, vous allez :

• Construire des systèmes de pré-entraînement distribués sur plusieurs GPU et nœuds, en sélectionnant des stratégies appropriées telles que DDP, FSDP et le parallélisme tensoriel, de pipeline ou d'expert selon les besoins des charges de travail.
• Développer une infrastructure d'exécution RL et post-entraînement, y compris des déploiements distribués, la coordination acteur-apprenant, la synchronisation des politiques, les tampons de répétition et le regroupement efficace.
• Maximiser le MFU et éliminer les goulets d'étranglement : profiler la boucle d'entraînement complète — chargement de données, décodage, transferts de mémoire CPU-GPU et noyaux de calcul — en éliminant les goulets d'étranglement pour maintenir un MFU élevé et garantir que les accélérateurs fonctionnent à leur efficacité maximale.
• Intégrer et évaluer des noyaux accélérés et des techniques d'exécution, telles que FlashAttention, opérations fusionnées, précision mixte et compilation ; développer des optimisations personnalisées là où elles apportent une valeur claire.
• Construire un mouvement et un stockage de données efficaces pendant l'entraînement, y compris le stockage hors cœur, la mise en cache, le préchargement et les transferts asynchrones, en partenariat avec l'équipe d'infrastructure de données.
• Transformer les prototypes de recherche en systèmes de formation maintenables, avec des composants réutilisables qui soutiennent les architectures évolutives et les flux de travail expérimentaux.
• Diagnostiquer les échecs distribués et numériques, y compris les blocages, les fuites de mémoire, les anomalies de gradient, les problèmes de précision et les incohérences entre les exécutions sur un seul appareil et distribuées.
• Effectuer un débogage numérique approfondi et garantir la déterminisme des exécutions : diagnostiquer des problèmes complexes à travers la pile — des blocages distribués et des fuites de mémoire aux instabilités d'entraînement et aux anomalies de gradient — tout en imposant un déterminisme numérique afin que les exécutions d'entraînement, les évaluations et les expériences soient strictement reproductibles.
• Construire un système de point de contrôle fiable et une reprise tolérante aux pannes, préservant l'état du modèle, de l'optimiseur et de l'exécution pertinente afin que les travaux interrompus puissent se rétablir correctement.
• Renforcer l'observabilité et la reproductibilité grâce au suivi de configuration, au profilage, aux diagnostics d'exécution et à l'exécution déterministe lorsque cela est pratique.

Ce que vous apportez :

• Une solide expérience dans la construction d'infrastructures de formation ML, de systèmes distribués ou de logiciels ML haute performance.
• Une maîtrise de Python et PyTorch, avec une connaissance pratique des outils de formation distribuée tels que DDP, FSDP ou Megatron.
• Une expérience avec le multiprocessing, l'exécution asynchrone et la gestion de la mémoire GPU, ainsi qu'une compréhension de la manière dont la communication et la synchronisation affectent l'évolutivité.
• Des connaissances pratiques sur les pertes, les optimisateurs, les gradients et la précision numérique, suffisantes pour déboguer le comportement de formation aux côtés des chercheurs.
• Une expérience de profilage des charges de travail des accélérateurs avec des outils tels que PyTorch Profiler ou Nsight Systems, et la traduction des résultats en améliorations mesurables.
• Un état d'esprit d'ingénierie pragmatique : vous pouvez transformer du code expérimental en systèmes fiables et évolutifs tout en maintenant une itération rapide de la recherche.
• Une communication claire et une approche collaborative pour travailler avec des chercheurs dont les exigences évoluent rapidement.

Atouts :

• Infrastructure RL, déploiements distribués, tampons de répétition ou architectures acteur-apprenant.
• C++, CUDA, Triton, noyaux personnalisés ou optimisation basée sur le compilateur.
• Slurm ou Kubernetes, mise en réseau GPU telle qu'InfiniBand/RoCE, ou mise en cache de stockage.
• Contributions à des outils de formation open-source ou rédaction technique.

UMA est un lieu de travail inclusif qui valorise les bâtisseurs exceptionnels plutôt que les parcours parfaits. Quelle que soit votre origine, votre identité ou votre parcours, si vous ne remplissez pas tous les critères mais pensez pouvoir avoir un impact significatif ici, nous vous encourageons vivement à postuler.