Stage - Développement et intégration de modèles VLA pour la robotique autonome - Industrie - Toulouse

Nous recrutons un(e) Stage - Développement et intégration de modèles VLA pour la robotique autonome pour rejoindre notre Business Unit INDUSTRIE au sein de l’agence Systèmes Embarqués Industriels et Cybersécurisés. Le Pôle de compétence SEIC contribue au développement de systèmes embarqués et industriels à fortes contraintes temps réel et de sûreté de fonctionnement ainsi qu’à leur mise en œuvre opérationnelle intégrant les concepts de sécurité.

Contexte et Objectifs

Dans la lignée des initiatives du pole R&D; de CS Group d'intégration de l'IA appliquée aux systèmes embarqués, le stage visera à concevoir et intégrer les capacités avancées permettant à un robot, seul ou au sein d’une flotte, de percevoir son environnement, de comprendre une mission d’exploration ou de coordination, décider d’une action, l’exécuter de façon réactive et transposer les résultats de la simulation vers le réel.

Vos missions : 

1. Définir l’interface entre perception, raisonnement VLA (Visual language action) et mission

Définir une représentation sémantique de l’environnement permettant de structurer les informations de perception, telles que les poses, objets, cartes, zones navigables et relations spatiales, avec le contexte de tâche et les objectifs de mission pour les rendre exploitables par les modèles VLA.

2. Concevoir, entraîner et évaluer les politiques VLA

Concevoir une architecture VLA transformant la représentation de la scène, l’état du robot et les objectifs de mission en actions en sous-objectifs ou requêtes de coordination. Mettre en œuvre les méthodes d’apprentissage et d’évaluation permettant d’améliorer les politiques d’action selon les contextes et les tâches à réaliser lors des missions.

3. Intégrer le VLA dans l’architecture ROS 2 et la coordination de mission

Définir et implémenter les interfaces ROS 2 (les topics, services et actions) permettant au VLA d’interagir avec les fonctions de perception, les gestions de missions de planification et d’exécution. Assurer la transformation des décisions sémantiques du VLA en objectifs structurés et exécutables par les composants robotiques.

4. Mettre en œuvre une exécution asynchrone adaptée aux contraintes temps réel

Séparer les traitements sémantiques du VLA des actions de perception, de navigation et de contrôle afin de garantir la continuité de l’exécution. Mettre en place les mécanismes de synchronisation, de gestion de flux efficient des données et la mise en place de scénarios de repli face aux retards ou indisponibilités du modèle.

5. Déployer et optimiser les modèles VLA sur les plateformes robotiques

Adapter et optimiser les modèles VLA pour leur déploiement et exécution sur la cible embarquée du robot en travaillant notamment sur la quantification, la compilation sur des accélérateurs de type CPU /NPU et la gestion mémoire. Évaluer le compromis entre les performances fonctionnelles, la latence d’inférence, la consommation de ressources et contraintes d’exécution embarquée.

6. Valider les politiques et maîtriser le transfert simulation-réel

Mettre en place une démarche de validation des politiques VLA, depuis la simulation jusqu’aux expérimentations sur robot réel, en intégrant des scénarios nominaux et perturbés. Quantifier les écarts des expérimentations et exploiter les résultats obtenus pour enrichir les données, améliorer les modèles et renforcer la robustesse des politiques d’exécution.

Department: Engineering, Development, Applications
Function: Information Technology
Experience Level: Internship