RecherchearXiv cs.RO 2 octobre 2026

Les agents VLM de pointe sont-ils prêts à devenir des robots généralistes ? Une étude empirique avec Embodied Agent Arena

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (2610.00854) l'Embodied Agent Arena, un banc d'essai conçu pour mesurer si les modèles vision-langage (VLM) de pointe peuvent servir de généralistes en robotique. L'arène regroupe 1 000 cas tirés de 32 sources existantes, répartis en cinq familles de compétences : géométrie, raisonnement spatial, affordance (repérer où et comment saisir ou actionner un objet), planification de tâches et manipulation. Elle intègre aussi GeoProbe, un nouveau benchmark d'estimation géométrique sur rendus Blender et images de scènes réelles. Un harnais minimal conserve les observations et opérations d'origine, et sépare trois mesures : la précision métrique, l'ancrage fonctionnel et l'accomplissement de l'objectif natif de la tâche. Sept VLM sont évalués. Les auteurs analysent en détail les avantages de l'un d'eux, Astra, et comparent des protocoles d'exécution à observations enrichies ainsi qu'une revue en plusieurs tours.

Le résultat central est une dissociation entre compétence locale et réussite de bout en bout. L'avantage d'Astra est le plus net sur l'estimation précise et la localisation de zones de contact exploitables. En revanche, enchaîner des actions coordonnées et orientées vers un but reste le principal verrou vers un généralisme robotique. Pour les intégrateurs et les décideurs B2B, cela rejoint un écart connu entre les démonstrations et le terrain. Un modèle qui perçoit et localise bien ne suffit pas à fermer la boucle perception-action. Cela relativise aussi les scores obtenus sur des benchmarks isolés, car ils surestiment la préparation à l'exécution de tâches complètes. Le choix de séparer précision métrique, ancrage et complétion donne enfin une grille de lecture plus utile qu'un score agrégé pour décider où un VLM généraliste peut remplacer des briques spécialisées de perception, et où une couche de contrôle dédiée reste nécessaire.

Ce travail s'inscrit dans la montée des agents incarnés pilotés par des modèles de fondation, où les VLM sont de plus en plus proposés comme cerveau haut niveau, seuls ou combinés à des politiques vision-langage-action (VLA). Les évaluations existantes tendent à tester chaque compétence séparément, ce qui masque les points de rupture dans une chaîne complète. L'arène répond à ce manque en réutilisant des sources établies plutôt qu'en repartant de zéro, ce qui facilite la comparaison avec les résultats antérieurs. L'étude ne précise pas, dans son résumé, l'identité des six autres modèles, les taux de réussite chiffrés ni la part de tests en conditions physiques réelles. Ces éléments devront être vérifiés dans le texte complet. La suite logique est l'usage de cette arène pour comparer les prochaines générations de VLM et de VLA sur la complétion de tâches coordonnées, là où l'écart se situe aujourd'hui.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

RecherchePaper

1 source

2arXiv cs.RO

SPACE : apprentissage inter-robots vers des politiques généralistes

Une équipe de chercheurs a publié le 24 juin 2026 sur arXiv (arXiv:2606.24049) un article introduisant SPACE (State Prediction and Adaptive Command Execution), un cadre d'apprentissage conçu pour entraîner des politiques robotiques généralisables à partir de données hétérogènes collectées sur différents robots. Le problème central est le suivant : en behavior cloning, les actions enregistrées lors de démonstrations sont couplées à la dynamique du robot utilisé, ce qui empêche leur réutilisation directe sur d'autres plateformes. SPACE résout cela en adoptant le delta d'état cartésien comme représentation d'action universelle, indépendante du matériel. Le framework repose sur deux composants : une politique prédisant le déplacement géométrique de l'effecteur terminal (end-effector), et un Action Adapter qui convertit ces prédictions en commandes spécifiques à chaque robot. Les expériences démontrent que SPACE surpasse significativement les politiques entraînées à prédire directement des commandes de contrôle, que ce soit entre morphologies différentes ou entre unités matérielles d'une même plateforme. La robustesse est également validée face aux variations dynamiques en déploiement : changements de fréquence de contrôle, de masse des objets manipulés ou de gains de contrôleur. L'enjeu est structurant pour la robotique industrielle à grande échelle. Agréger des démonstrations issues de parcs hétérogènes sans dégradation de performance est un verrou majeur pour constituer les grands jeux de données dont la robotique généraliste a besoin, à l'image d'ImageNet pour la vision par ordinateur. SPACE découple la représentation de l'action de son exécution matérielle, ouvrant la voie à des politiques capables de fonctionner sur des flottes diversifiées sans ré-entraînement complet. Pour un intégrateur ou un COO industriel opérant des robots de plusieurs générations, la robustesse aux shifts dynamiques en production est un argument concret, pas seulement académique. Ce travail s'inscrit dans le courant dominant du robot learning, qui cherche à reproduire pour la robotique le scaling des grands modèles de langage. Des travaux comme RT-2, Octo ou pi-0 (Physical Intelligence) ont déjà exploré l'apprentissage multi-robot, mais l'alignement des espaces d'action reste un problème ouvert. SPACE apporte une réponse modulaire, sans imposer de modifications architecturales majeures à la politique principale, ce qui facilite l'intégration avec des architectures VLA existantes. Le code et la page projet sont disponibles publiquement. Il s'agit pour l'instant d'un preprint non encore soumis à peer review, et les prochaines étapes naturelles incluront des validations à plus grande échelle et sur des scènes de manipulation plus complexes.

RechercheOpinion

1 source

3arXiv cs.RO

RoboQuest : des agents physiques généralistes qui cherchent, inspectent et testent

RoboQuest, un nouveau benchmark publié sur arXiv (2610.10388), mesure la capacité d'agents physiques généralistes à explorer activement leur environnement avant d'agir. Il regroupe dix tâches de manipulation mobile construites autour de trois formes d'incertitude: la recherche d'un objet absent des observations, l'inspection par manipulation d'une propriété non visible, et le test interactif de l'effet d'un outil inconnu. L'agent doit acquérir l'information par interaction physique, adapter ses actions en conséquence et décider seul du moment où il considère la tâche terminée. Les auteurs ont évalué cinq agents multimodaux de pointe via une interface visuomotrice commune, ainsi qu'une politique π0.5 affinée sur les démonstrations d'épisodes complets qu'ils publient avec le benchmark. Le meilleur agent ne réussit que 23 % des épisodes, et la politique affinée ne réussit presque jamais. Ce résultat nuance l'idée selon laquelle les modèles de fondation multimodaux seraient déjà des agents physiques généralistes fiables. Des tests isolés, où l'information cachée est fournie à l'agent, montrent qu'il exécute correctement la plupart des gestes requis, et l'analyse des échecs n'attribue qu'une minorité d'entre eux à l'exécution. Le verrou se déplace donc de la dextérité vers la décision: les agents s'arrêtent trop tôt, avant d'avoir observé la preuve nécessaire pour conclure. Ils corrigent ou préviennent en outre rarement les perturbations causées par leur propre exploration, par exemple un objet déplacé ou un tiroir laissé ouvert. L'apprentissage par essais et erreurs reste difficile pour la plupart des modèles. Pour les intégrateurs et décideurs industriels, cela signifie que des démonstrations réussies en environnement connu ne garantissent rien dans un site non cartographié, où l'information utile manque souvent au départ. Le fait que la politique π0.5 échoue presque systématiquement suggère aussi que l'imitation sur des démonstrations seules ne suffit pas pour ce type de comportement. Le travail s'inscrit dans la course aux modèles vision-langage-action et aux agents généralistes, où les benchmarks existants testent surtout l'exécution de consignes avec des informations visibles, plutôt que la collecte active d'indices. RoboQuest comble en partie cet écart et fournit des données d'épisodes complets pour entraîner et comparer de futures approches. Les auteurs ne détaillent pas dans le résumé quels modèles de pointe ont été testés, ce qui limite la comparaison fine. Les suites probables sont des méthodes de raisonnement et de mémoire explicites sur l'incertitude, ainsi que des entraînements par renforcement ou par essais et erreurs. Il s'agit ici d'un travail de recherche et d'un jeu d'évaluation, sans produit ni déploiement associé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage en cours de déploiement : apprentissage par renforcement à l'échelle d'une flotte pour des politiques de robots généralistes

Une équipe de chercheurs a déposé le 1er mai 2026 sur arXiv (référence 2605.00416) un cadre d'apprentissage par renforcement appelé Learning While Deploying (LWD), conçu pour améliorer en continu des politiques généralisées de type Vision-Language-Action (VLA) directement en conditions réelles. Le système a été validé sur une flotte de 16 robots à deux bras, engagés sur huit tâches de manipulation en environnement physique, dont le réassort sémantique de produits d'épicerie et des séquences longues de 3 à 5 minutes. Partant d'une politique VLA pré-entraînée hors ligne, LWD collecte les rollouts autonomes et les corrections humaines réalisés sur l'ensemble de la flotte, puis les intègre dans un cycle continu d'amélioration et de redéploiement. Techniquement, le framework combine le Distributional Implicit Value Learning (DIVL), pour une estimation de valeur robuste sur des données hétérogènes à récompense sparse, avec le Q-learning via Adjoint Matching (QAM), adapté aux générateurs d'actions de type flow-based. Au terme de l'accumulation d'expérience de flotte, la politique généraliste unique atteint un taux de succès moyen de 95 %, les gains les plus marqués étant observés sur les tâches longue durée. Ce résultat est significatif non parce qu'il affiche un chiffre élevé, mais parce qu'il démontre que l'écart entre données d'entraînement et déploiement réel peut être réduit par apprentissage continu in situ. Les politiques VLA, de plus en plus utilisées comme backbone généralisé en robotique manipulation, souffrent d'un problème bien identifié : les datasets de démonstration fixes ne capturent ni les variations de distribution rencontrées sur le terrain, ni les pannes rares, ni les corrections opérateur. LWD formalise un pipeline où ces signaux de terrain sont directement réintégrés dans la boucle d'entraînement, sans nécessiter une phase offline séparée. Pour un intégrateur ou un COO industriel, la promesse est concrète : une flotte déployée s'améliore d'elle-même à mesure qu'elle travaille, et les interventions humaines alimentent le modèle plutôt que d'être perdues. Cette publication s'inscrit dans une course active à la post-formation de politiques VLA pour la manipulation robotique. Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, et les équipes de Figure AI ou 1X Technologies investissent tous dans des politiques généralisées robustes au transfert réel. Le point de différenciation de LWD est le paradigme fleet-scale : là où la majorité des travaux publiés portent sur un ou deux robots en laboratoire, les auteurs valident leur approche sur 16 unités en parallèle. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné dans le preprint, et les vidéos de démonstration n'ont pas été évaluées de manière indépendante, ce qui invite à traiter ces résultats comme une preuve de concept académique solide plutôt que comme une annonce produit.

RechercheOpinion

1 source