Les gens apprécient-ils un entraîneur robot ?…

1Robohub

IA agents créent des terrains de jeu virtuels pour entraîner les robots

Des chercheurs du MIT CSAIL et du Toyota Research Institute ont conçu SceneSmith, un système qui génère des scènes 3D réalistes pour entraîner des robots en simulation. Trois agents IA, tous pilotés par le même modèle vision-langage GPT-5.2, se répartissent le travail : un agent "designer" place les objets et l'agencement de la pièce, un agent "critique" évalue le réalisme du résultat, et un "orchestrateur" décide quand la scène est terminée avant de la charger dans un moteur physique. L'équipe, menée par le doctorant Nicholas Pfaff sous la direction de Russ Tedrake (chaire Toyota, CSAIL), a produit plus de 1300 scènes de restaurants, chambres, hôtels et garages, avec jusqu'à six fois plus d'objets par pièce que les méthodes précédentes. Cent espaces additionnels ont servi à tester automatiquement, via un agent VLM juge, la fiabilité de politiques de contrôle de robots pour des tâches comme poser un verre dans un évier ou déplacer une canette d'une étagère à une table. Le principal frein de la robotique généraliste reste la donnée : entraîner un robot physique à de nouvelles tâches en conditions réelles coûte cher en temps et en supervision. SceneSmith automatise la création de mondes virtuels assez variés pour que les compétences apprises en simulation se transfèrent au réel, un défi connu sous le nom de sim-to-real. Pour les intégrateurs, l'intérêt est direct : tester des politiques de contrôle dans des scènes générées automatiquement plutôt que construites pièce par pièce à la main, avant tout essai physique. Le résultat illustre aussi une tendance plus large : des modèles vision-langage entraînés sur des corpus internet encodent assez de connaissance spatiale pour composer des environnements crédibles sans règles d'agencement écrites à la main, signe que les VLM à grande échelle deviennent des briques réutilisables au-delà de la perception ou du langage. À nuancer : il s'agit d'un système testé en simulation, sans robot physique déployé, et la créativité des arrangements, saluée par les auteurs, reste une appréciation qualitative plutôt qu'une métrique chiffrée. Ces travaux prolongent les recherches du laboratoire de Russ Tedrake au CSAIL sur la génération procédurale de scènes, un axe où les moteurs physiques ont progressé plus vite que le contenu réaliste à y faire tourner. Le partenariat avec le Toyota Research Institute s'inscrit dans les efforts du constructeur pour accélérer l'apprentissage de robots domestiques et industriels sans multiplier les essais physiques coûteux. SceneSmith rejoint la vague d'outils de génération de données synthétiques et de jumeaux numériques que les laboratoires de robotique développent pour combler l'écart entre simulation et réalité. Aucun calendrier de déploiement sur un robot commercial n'est annoncé : l'outil reste un système de recherche en simulation, dont la prochaine étape logique serait de vérifier que les politiques entraînées sur ces scènes se transfèrent bien à des robots physiques.

RecherchePaper

1 source

2arXiv cs.RO

Personnalisation sans entraînement des gestes de co-parole du robot

Des chercheurs ont publié le 15 septembre 2026 sur arXiv (2609.13876) une méthode de personnalisation sans réentraînement pour les gestes co-verbaux des robots sociaux, c'est-à-dire les mouvements du corps qui accompagnent la parole. Le système combine un modèle de diffusion audio-conditionné figé avec un encodeur de style et de légers adaptateurs de conditionnement : l'encodeur, d'abord entraîné à distinguer les identités des locuteurs, est ensuite affiné conjointement avec les adaptateurs via l'objectif de diffusion. Résultat concret, une empreinte de style réutilisable s'extrait en une seule passe à partir d'environ 10 secondes de mouvement d'enrôlement. Les auteurs publient aussi une application de capture sur casque Meta Quest 3 et un jeu de données de gestes co-verbaux spontanés recueillis auprès de dix participants. Sur des locuteurs jamais vus à l'entraînement, la précision de reconnaissance de style (SRA) passe de 27,6 % avec le modèle figé de base à 69,5 % avec la méthode proposée, tandis que la qualité du mouvement reste stable (distance de Fréchet des gestes, FGD, de 34,2 contre 34,8). Remplacer l'empreinte d'enrôlement par celle d'une autre personne fait chuter la SRA à 11,4 %, confirmant que le gain provient bien d'une capture réelle du style individuel. Les gestes générés ont ensuite été retransférés sur un robot NAO physique et testés avec cinq voix de synthèse vocale différentes, conservant 67,3 % de SRA en conditions de déploiement. L'enjeu pour l'industrie des robots sociaux est le coût de la personnalisation à l'échelle : jusqu'ici, adapter le style gestuel d'un robot à chaque nouvel utilisateur supposait généralement un réentraînement dédié, impraticable pour un déploiement en retail, accueil ou domicile où les interlocuteurs changent en permanence. Une personnalisation opérationnelle en 10 secondes et sans mise à jour de poids change cette équation économique et rend plus réaliste à court terme l'idée d'un robot qui adapte son style gestuel à chaque utilisateur. Le contrôle par empreinte substituée est méthodologiquement important : il écarte l'hypothèse que l'amélioration ne soit qu'un artefact de bruit du modèle plutôt qu'une vraie capture d'identité. La démonstration sur un robot NAO réel, et pas seulement en simulation ou en rendu d'avatar virtuel, réduit l'écart habituel entre démonstration académique et faisabilité physique, même si le NAO reste une plateforme modeste, peu représentative des humanoïdes bipèdes plus ambitieux du marché. Les auteurs restent transparents sur l'échelle limitée de leur validation, dix participants et un jeu de données propriétaire, ce qui appelle confirmation sur des cohortes plus larges. Ce travail s'inscrit dans la lignée des modèles de diffusion conditionnés par l'audio pour la génération de gestes, une piste déjà explorée pour l'animation d'avatars virtuels et de robots sociaux, où la personnalisation par locuteur restait jusqu'ici coûteuse en calcul et en données. L'approche par adaptateurs légers greffés sur un prior gelé rappelle les techniques d'adaptation paramétrique légère utilisées en génération d'image et de texte, transposées ici au mouvement robotique. Aucune entreprise commerciale n'est associée à cette publication, purement académique, mais les auteurs facilitent la reproductibilité en diffusant leur application de capture Quest 3 et leur jeu de données. Les suites évoquées sont l'extension à un plus grand nombre de locuteurs et à d'autres plateformes robotiques, avec un potentiel d'intégration dans des robots sociaux commerciaux comme Pepper ou Furhat, où la personnalisation de l'interaction constitue un argument de différenciation face à des offres encore largement scriptées.

RecherchePaper

1 source

3arXiv cs.RO

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Une équipe de chercheurs publie sur arXiv (identifiant 2609.16074v1) une étude de synthèse consacrée aux World-Action Models (WAM), des architectures qui couplent prédiction de l'état futur du monde et génération d'actions exécutables pour des robots. Le texte ne présente ni robot ni déploiement terrain : c'est une revue de littérature qui situe les WAM par rapport aux modèles du monde classiques, à l'apprentissage par renforcement basé sur un modèle, à la génération vidéo conditionnée par l'action et aux politiques VLA (vision-langage-action) purement réactives. Les auteurs proposent une taxonomie unifiée couvrant représentations, modélisation des transitions d'état, interfaces d'action, architectures, pipelines d'entraînement, modalités de données et stratégies de mise à l'échelle, puis passent en revue les applications en manipulation robotique, navigation et conduite autonome, avant de recenser les jeux de données, benchmarks, métriques et protocoles d'évaluation existants. Une page de projet répertoriant les travaux associés est mise en ligne à l'adresse rcl-robotics.github.io. L'intérêt de ce travail tient moins à un résultat inédit qu'à la mise en ordre d'un champ en pleine effervescence. Depuis l'essor des modèles du monde et de politiques VLA comme Pi-0, GR00T N2 ou Helix, une même intuition traverse le secteur : un robot fiable doit anticiper les conséquences d'une action avant de l'exécuter, plutôt que de se contenter d'associer observation et geste. Pour les intégrateurs et décideurs B2B, cette synthèse offre un vocabulaire commun pour évaluer des annonces concurrentes qui se réclament toutes, à des degrés divers, de cette convergence entre prédiction et action. Elle rappelle aussi, en creux, que la plupart des systèmes déployés aujourd'hui restent soit des générateurs vidéo sans boucle d'action réelle, soit des politiques réactives sans véritable anticipation, ce qui relativise la maturité que certains fournisseurs revendiquent. Ce travail s'inscrit dans la convergence amorcée depuis 2024-2025 entre les modèles du monde issus de la génération vidéo et les politiques d'action de type VLA popularisées par des laboratoires nord-américains et asiatiques ; aucun acteur français ou européen n'est cité dans cette étude, qui reste centrée sur la littérature académique et industrielle existante. Les auteurs identifient plusieurs verrous encore ouverts : l'alignement entre prédiction et action, la factorisation monde-action, la cohérence spatiale et multi-vue, la mémoire à long horizon, la simulation neuronale pour l'apprentissage en boucle fermée, et l'inférence efficace nécessaire à un déploiement temps réel. Ces axes dessinent l'agenda de recherche à venir pour transformer les WAM, aujourd'hui à l'état de cadre conceptuel, en briques réellement déployables sur des robots.

RecherchePaper

1 source

4arXiv cs.RO

Les agents VLM de pointe sont-ils prêts à devenir des robots généralistes ? Une étude empirique avec Embodied Agent Arena

Une équipe de chercheurs publie sur arXiv (2610.00854) l'Embodied Agent Arena, un banc d'essai conçu pour mesurer si les modèles vision-langage (VLM) de pointe peuvent servir de généralistes en robotique. L'arène regroupe 1 000 cas tirés de 32 sources existantes, répartis en cinq familles de compétences : géométrie, raisonnement spatial, affordance (repérer où et comment saisir ou actionner un objet), planification de tâches et manipulation. Elle intègre aussi GeoProbe, un nouveau benchmark d'estimation géométrique sur rendus Blender et images de scènes réelles. Un harnais minimal conserve les observations et opérations d'origine, et sépare trois mesures : la précision métrique, l'ancrage fonctionnel et l'accomplissement de l'objectif natif de la tâche. Sept VLM sont évalués. Les auteurs analysent en détail les avantages de l'un d'eux, Astra, et comparent des protocoles d'exécution à observations enrichies ainsi qu'une revue en plusieurs tours. Le résultat central est une dissociation entre compétence locale et réussite de bout en bout. L'avantage d'Astra est le plus net sur l'estimation précise et la localisation de zones de contact exploitables. En revanche, enchaîner des actions coordonnées et orientées vers un but reste le principal verrou vers un généralisme robotique. Pour les intégrateurs et les décideurs B2B, cela rejoint un écart connu entre les démonstrations et le terrain. Un modèle qui perçoit et localise bien ne suffit pas à fermer la boucle perception-action. Cela relativise aussi les scores obtenus sur des benchmarks isolés, car ils surestiment la préparation à l'exécution de tâches complètes. Le choix de séparer précision métrique, ancrage et complétion donne enfin une grille de lecture plus utile qu'un score agrégé pour décider où un VLM généraliste peut remplacer des briques spécialisées de perception, et où une couche de contrôle dédiée reste nécessaire. Ce travail s'inscrit dans la montée des agents incarnés pilotés par des modèles de fondation, où les VLM sont de plus en plus proposés comme cerveau haut niveau, seuls ou combinés à des politiques vision-langage-action (VLA). Les évaluations existantes tendent à tester chaque compétence séparément, ce qui masque les points de rupture dans une chaîne complète. L'arène répond à ce manque en réutilisant des sources établies plutôt qu'en repartant de zéro, ce qui facilite la comparaison avec les résultats antérieurs. L'étude ne précise pas, dans son résumé, l'identité des six autres modèles, les taux de réussite chiffrés ni la part de tests en conditions physiques réelles. Ces éléments devront être vérifiés dans le texte complet. La suite logique est l'usage de cette arène pour comparer les prochaines générations de VLM et de VLA sur la complétion de tâches coordonnées, là où l'écart se situe aujourd'hui.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Les gens apprécient-ils un entraîneur robot ? Étude de cas avec Snoopie le Pacerbot

À lire aussi

IA agents créent des terrains de jeu virtuels pour entraîner les robots

Personnalisation sans entraînement des gestes de co-parole du robot

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Les agents VLM de pointe sont-ils prêts à devenir des robots généralistes ? Une étude empirique avec Embodied Agent Arena