Post-Doctoral Research Visit F/M Postdoc in Foundation Models for Human-Robot Interaction in Villers-lès-Nancy

Le groupe HUCEBOT est dédié à l'avancement des algorithmes pour les robots centrés sur l'humain : des robots qui ne travaillent pas de manière autonome en isolation, mais qui réagissent, interagissent, collaborent et assistent les humains. Pour ce faire, ces robots doivent entrelacer un contrôleur corporel multi-contact, une simulation numérique des humains interagissant, et des modèles d'apprentissage automatique pour prédire et répondre aux mouvements et intentions humaines.

Les domaines d'application vont de la robotique industrielle à la téléopération spatiale. Les principaux robots de l'équipe sont le robot mobile Shelfy, le manipulateur mobile bimanuel TiagoPro, l'humanoïde Unitree G1, et le robot humanoïde Talos. L'équipe travaille également avec des cobots Franka et des exosquelettes. L'équipe se compose actuellement d'environ 20 membres, y compris des chercheurs permanents, des doctorants et des post-doctorants.

Serena Ivaldi, responsable de HUCEBOT, dirige la chaire en Robotique et IA du projet Cluster IA ENACT qui finance cette thèse de doctorat. Dans cette chaire, elle souhaite faire avancer la recherche en langage naturel pour assister les humains dans différents scénarios de collaboration avec des robots, où la sécurité est primordiale. L'ambition est de créer une fondation qui relie les commandes en langage naturel à des commandes interprétables pour le robot, conduisant à des actions robotiques contextualisées et intrinsèquement sûres.

Les avancées récentes dans les modèles fondamentaux en VLMs et VLAs ont considérablement amélioré la compréhension contextuelle et le contrôle de mouvement pour des tâches simples. Cependant, il existe des problèmes connus d'hallucinations de trajectoire, de sécurité et de mise à l'échelle pour des problèmes à long terme. Ces problèmes rendent difficile la création d'architectures robotiques autonomes robustes et fiables. L'ajustement de ces architectures généralisées et leur combinaison avec la planification et le contrôle de mouvement classiques améliore significativement le taux de réussite.

Lorsque les robots doivent travailler avec des humains, de fortes garanties de sécurité sont requises ainsi qu'une compréhension claire de la manière d'interagir avec les humains. Nous souhaitons exploiter la compréhension contextuelle et les compétences de planification d'action des VLMs et VLAs pour la planification de mouvement en HRI, en mettant l'accent sur la sécurité, l'interaction et la modélisation de la communication ainsi que l'adaptabilité environnementale. La navigation socialement consciente des robots à travers divers types de robots et d'environnements sera le domaine d'application de ce poste de recherche.

Ce chercheur postdoctoral sera financé par le projet ENACT, mais contribuera plus généralement à la recherche de l'équipe en apprentissage robotique et HRI.

Activités principales :

• Implémenter, tester et développer de nouveaux algorithmes pour des robots réels utilisant des modèles de langage et des modèles fondamentaux.
• Rédiger des articles et les présenter lors de conférences.
• Écrire, tester, valider et documenter le logiciel associé.
• Des expériences avec des robots réels sont obligatoires.
• Contribuer à la supervision des ingénieurs de l'équipe et des doctorants, en collaboration avec le superviseur.
• Participer aux activités organisées par le projet Cluster-AI ENACT, qui peuvent impliquer des actions de diffusion, des réunions et des présentations aux parties prenantes pertinentes (Europe, France, industries, etc).

Compétences :

• Bonnes compétences en Python (Pytorch). Idéalement, expérience préalable avec LLM, VLM et modèles fondamentaux.
• Bonne connaissance de la robotique.
• Langues : Anglais (l'anglais est la langue officielle de l'équipe et de nombreux membres ne parlent pas français).
• Proactivité et curiosité, communication quotidienne, capacité à travailler en équipe sont fondamentales.