Research Scientist / Engineer - Data in Paris

Votre mission en tant que chercheur scientifique / ingénieur – données consiste à développer des méthodes qui transforment efficacement des données diverses en meilleures politiques pour robots humanoïdes chez UMA. Vous allez enquêter sur les données qui améliorent l'apprentissage des robots, comment les rendre utiles et quand les introduire pendant l'entraînement.

Vous travaillerez avec la téléopération sur robot, la simulation et les données hors robot, y compris les enregistrements humains égocentriques et les démonstrations de style UMI, à travers les phases de pré-entraînement, d'entraînement intermédiaire et de post-entraînement. Votre recherche aidera à répondre à des questions centrales : que devrions-nous collecter ensuite ? Comment les démonstrations humaines peuvent-elles être transférées aux robots ? Quelles combinaisons de données, représentations et signaux de supervision produisent les plus grands gains en performance dans le monde réel ?

Nous avons déjà une pile de données et d'entraînement fonctionnelle ainsi qu'une équipe solide derrière elle. En collaborant étroitement avec nos équipes d'IA, de robotique et d'infrastructure de données, vous ferez passer des idées de conception de jeux de données et de prototypes de recherche à des expériences d'entraînement contrôlées, puis à la validation sur des robots humanoïdes. Vos résultats façonneront directement notre stratégie de collecte et d'acquisition de données, nous aidant à améliorer les capacités des robots tout en optimisant l'effort de collecte et le calcul.

Responsabilités clés :

• Développer des méthodes pour rendre les données hors robot utiles pour l'apprentissage des robots, y compris l'inférence d'action, le reciblage et l'alignement entre points de vue et incarnations, en s'appuyant sur l'estimation de pose de caméra et de main ou le suivi d'objets lorsque cela est utile.
• Rechercher la composition des données à travers les étapes d'entraînement : pré-entraînement large, entraînement intermédiaire et post-entraînement en utilisant des démonstrations, des simulations et des expériences de déploiement.
• Concevoir des outils de curation de données et des méthodes de sélection pour le filtrage, la segmentation, l'annotation, l'évaluation de qualité et l'identification d'exemples informatifs.
• Étudier les mélanges de sources, les stratégies d'échantillonnage, les curricula, les signaux de supervision, la réannotation et les stratégies d'ingestion de données, et mettre en œuvre ces idées dans des expériences d'entraînement.
• Réaliser des études d'ablation contrôlées et des études d'échelle pour isoler les effets de la quantité, de la qualité, de la diversité et de la source des données sous des budgets de calcul réalistes.
• Mesurer l'impact sur le succès des robots réels, la généralisation, la robustesse et l'efficacité d'adaptation, y compris combien de données supplémentaires sont nécessaires pour apprendre de nouvelles tâches.
• Façonner les priorités de collecte et d'acquisition basées sur des preuves : quelles tâches, environnements, incarnations, types de données, échecs et récupérations valent la peine d'être capturés, et à quel coût.
• Travailler avec des ingénieurs de données pour transformer les méthodes de recherche validées en flux de traitement et d'entraînement reproductibles.

Ce que vous apportez :

• Une solide expérience en recherche centrée sur les données, apprentissage des robots, vision par ordinateur ou apprentissage multimodal, démontrée à travers des projets de recherche, des systèmes déployés, des publications ou des travaux open-source.
• Une maîtrise de Python et PyTorch, avec une expérience pratique dans la mise en œuvre d'idées de recherche et l'entraînement ou le réglage de modèles.
• Une compréhension solide de l'apprentissage automatique et de la conception expérimentale : bases significatives, comparaisons contrôlées, reproductibilité et évaluation au-delà de la perte d'entraînement.
• Une expérience dans l'investigation de la manière dont la qualité des données, la couverture, les mélanges et les changements de distribution affectent le comportement des modèles en aval.
• Une expérience avec des données multimodales ou séquentielles, telles que vidéo, mouvement, flux de capteurs ou trajectoires d'action.
• La capacité de relier les résultats de recherche à des décisions pratiques concernant la collecte de données, l'entraînement et l'évaluation des robots.
• Une expérience de travail avec des données multimodales à grande échelle.
• Être à l'aise dans un environnement de startup dynamique : autonome, rigoureux, collaboratif et curieux au sujet de la robotique et de l'apprentissage.

Bonus :

• Données égocentriques, téléopération de robots, démonstrations de style UMI, simulation ou ensembles de données de véhicules autonomes.
• Géométrie 3D, estimation de pose, reciblage, apprentissage inter-incarnations, apprentissage par imitation, apprentissage par renforcement ou transfert sim-à-réel.
• Sélection active de données, ensembles de données publiques, contributions open-source ou rédaction technique.
• Optimisation des pipelines d'ingestion de données pendant l'entraînement.

UMA est un lieu de travail inclusif qui valorise les chercheurs et bâtisseurs exceptionnels plutôt que les CV parfaits. Si vous aimez découvrir ce qui rend les données utiles et transformer ces découvertes en meilleures capacités pour les robots, nous vous encourageons fortement à postuler même si vous ne cochez pas toutes les cases.