RecherchePandaily 15 septembre 2026

Zeva de Tsinghua AIR fait passer le taux de réussite en manipulation incarnée de 26 % à 73 % sans réentraînement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

L'Institute for AI Industry Research (AIR) de l'université Tsinghua, avec Domain Transform, a présenté Zeva, une méthode de manipulation robotique qui progresse pendant le déploiement sans toucher aux poids du modèle, via une mémoire causale en contexte. Le taux de réussite cumulé passe d'environ 26% à 73% sur plusieurs bancs d'essai, soit 47 points gagnés sans le cycle habituel de collecte de données et de réentraînement. Décrite dans l'article "Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation", signé notamment par Liu Yunxin et Cao Ting, la méthode s'appuie sur le backbone Cosmos3 : un encodeur relie chaque action au changement d'état qu'elle provoque, une mémoire à deux échelles sépare la tentative en cours de l'expérience accumulée, et ces indices sont injectés dans l'entrée du modèle figé sans mise à jour de gradient. Sur RoboCasa365-Atomic5, le taux moyen atteint 76,8% ; sur ChemLab-Evo (tâches de laboratoire de chimie), la prise d'un tube à essai passe de 65% à 100%, le placement d'un bécher de 25% à 70%, le versement d'eau de 30% à 80%, et une seule démonstration humaine ajoute environ 20 points sur le bécher et 15 sur le versement.

Pour les intégrateurs et décideurs industriels, l'intérêt est de transformer l'adaptation à un nouveau site en un problème d'ingénierie de contexte plutôt que de réentraînement : au lieu de semaines de calibration, il s'agit de gérer un contexte plus riche, au prix d'un coût d'inférence par étape qui décroît à mesure que la mémoire s'enrichit. Les auteurs reconnaissent que les gains sont plus marqués là où les performances de départ étaient faibles, ce qui relativise le progrès sur les tâches déjà maîtrisées ; le choix de la chimie tient aussi à des changements d'état propres et peu bruités, alors que des tâches déformables comme le linge s'annoncent plus difficiles. Aucune plateforme robotique indépendante du montage Cosmos3 n'a été testée, ce qui laisse les promesses de généralisation au stade de la publication tant que d'autres laboratoires n'auront pas reproduit cette architecture sur du matériel et des tâches différents.

Zeva s'inscrit dans une recherche qui cherche à contourner les coûts du réglage fin des modèles vision-langage-action classiques, à l'image de Pi-0, GR00T N2 ou Helix, généralement améliorés par des cycles coûteux de collecte et d'entraînement. En figeant le backbone et en reportant l'adaptation sur une mémoire en contexte, Tsinghua AIR et Domain Transform ciblent les sites dont l'environnement change souvent, tandis que les déploiements stables resteraient mieux servis par un réentraînement classique pour des raisons de coût. La démonstration reste pour l'instant limitée au backbone Cosmos3 et aux bancs RoboCasa365-Atomic5 et ChemLab-Evo, sans pilote industriel ni calendrier annoncés ; sa validation dépendra de sa reproduction sur d'autres plateformes et catégories de tâches, notamment celles à objets déformables où le signal causal est plus bruité.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique

À lire aussi

1arXiv cs.RO

De l'exécution passive à l'exploration active : la manipulation incarnée à base d'agents en environnements réalistes

Une équipe de recherche publie sur arXiv (référence 2609.29091, catégorie "new", soumission datée du 29 septembre 2026 selon le numéro d'article) un framework agentique de manipulation robotique baptisé approche d'exploration active, conçu pour dépasser les limites des systèmes actuels qui exécutent passivement des instructions prédéfinies. L'architecture repose sur trois modules collaboratifs : un module de planification pour le raisonnement de tâche à haut niveau, un module de perception pour la compréhension de la scène visuelle, et un module d'exécution pour la manipulation bas niveau. Les auteurs y ajoutent une stratégie d'entrelacement fin entre perception et exécution, qui couple étroitement le retour visuel à l'exécution des compétences motrices pour renforcer la robustesse de l'exploration. Le système est testé sur une tâche appelée Find-and-Place dans un environnement qualifié de réaliste, où l'objet cible n'est pas visible au départ et doit être activement localisé avant d'être saisi et déposé, en présence de distracteurs et d'indices sémantiques textuels. L'abstract ne fournit ni chiffres de performance, ni comparaison quantitative avec des méthodes concurrentes, ni détails matériels comme le payload ou les degrés de liberté du bras utilisé : il s'agit à ce stade d'une publication de recherche, pas d'un produit ou d'un déploiement commercial. L'intérêt pour l'industrie robotique tient au problème ciblé plus qu'aux résultats chiffrés. La plupart des architectures agentiques embarquées actuelles, y compris certains modèles vision-langage-action déployés en usine ou en entrepôt, restent conçues pour exécuter des instructions dans un environnement largement observable dès le départ. Ce travail pointe une limite réelle et documentée du secteur : dès qu'une cible est cachée, mélangée à des distracteurs ou seulement décrite par du texte, ces systèmes échouent faute de stratégie d'exploration active. Pour les intégrateurs qui visent des cas d'usage domestiques ou logistiques avec désordre et occlusions partielles, ce type de recherche indique que le sujet de l'autonomie perceptive sous observabilité partielle reste ouvert, contrairement à l'idée reçue que les pipelines VLA actuels suffiraient à généraliser à toute scène réelle. Ce papier s'inscrit dans la lignée des travaux récents sur les systèmes agentiques à long horizon pour la manipulation, un axe de recherche actif depuis l'essor des modèles vision-langage-action capables de planification multi-étapes. Il ne cite pas d'acteur industriel ni de robot commercial précis, se positionnant comme une contribution méthodologique plutôt qu'une annonce produit. Aucun calendrier de transfert vers un système déployé, ni partenariat industriel, n'est mentionné à ce stade ; les suites logiques attendues seraient une extension à d'autres tâches de manipulation et une évaluation comparative face aux frameworks agentiques existants.

RecherchePaper

1 source

2arXiv cs.RO

ACE : contrôle à base d'agents pour la manipulation incarnée via raisonnement de flux de travail zéro-shot

Une équipe de recherche publie sur arXiv (arXiv:2607.04162v1) ACE, pour Agentic Control for Embodied Manipulation, un cadre de raisonnement en zero-shot destiné à la manipulation d'objets sur table à partir d'instructions en langage naturel. Plutôt que de faire correspondre directement le langage à des actions motrices bas niveau, comme le font la plupart des politiques VLA de bout en bout, ACE orchestre un raisonnement de type workflow agentique couplé à deux compétences robotiques réutilisables : une interface de repérage visuel et une primitive générique de saisie-dépose. Le sous-objectif actif est traduit en un masque visuel qui désigne à la fois l'objet cible et sa destination, masque qui est suivi dans le temps, exposé à la vérification humaine, puis transmis à une politique d'exécution indépendante de la tâche. Le système fonctionne en boucle fermée grâce à une mémoire multi-échelle temporelle qui vérifie après chaque action si le sous-objectif a réussi, avant de décider de poursuivre, réessayer, corriger ou replanifier. Sur des tâches longues et logiquement complexes, comme la formation d'équations avec des cubes numérotés ou la récupération d'objets sous contrainte, ACE atteint 50% de réussite pour la formation d'équations et 70% pour la récupération sous contrainte, quand les approches de bout en bout classiques échouent largement sur ces mêmes tâches. Ce résultat cible un point de friction précis du secteur : la capacité d'un système à généraliser à des scènes et contraintes sémantiques inédites sans réentraînement spécifique à la tâche, ce qui reste l'un des principaux écarts entre les démonstrations en laboratoire et un déploiement robuste en environnement réel. En montrant qu'un raisonnement explicite par étapes, combiné à un contrôle médié par masque, surpasse des politiques end-to-end sur des tâches à horizon long, ACE apporte un argument concret pour les intégrateurs et équipes de R&D qui cherchent des architectures de manipulation capables de gérer l'échec d'exécution et la correction humaine en cours de tâche, plutôt que de miser uniquement sur l'échelle des données d'entraînement. ACE s'inscrit dans la lignée des travaux récents sur les architectures agentiques pour la robotique, qui cherchent à combiner les capacités de raisonnement des grands modèles de langage avec des compétences robotiques modulaires et vérifiables, en alternative aux politiques VLA monolithiques comme Pi-0 ou GR00T. Les auteurs positionnent explicitement leur approche contre des baselines de bout en bout sur les mêmes bancs d'essai, mais l'évaluation reste limitée à des scénarios de manipulation tabletop en conditions contrôlées, sans indication de déploiement industriel ni de partenariat annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

La réussite suffit-elle ? Effet des perturbations d'entrée sur le comportement des VLA dans des tâches de manipulation sur table

Une étude publiée sur arXiv (2610.01351) propose un cadre d'évaluation indépendant des benchmarks pour mesurer la robustesse comportementale des modèles Vision-Language-Action (VLA), au-delà du seul taux de réussite des tâches (TSR). Les auteurs l'implémentent en étendant LIBERO et LIBERO-Plus, deux benchmarks de manipulation sur table très utilisés. Le protocole couvre trois VLA de pointe, quatre suites de tâches LIBERO et sept conditions de perturbation des entrées. Il ne s'intéresse qu'aux trajectoires réussies. Pour chacune, il mesure la fluidité du mouvement, l'efficacité et le comportement de la pince, ainsi que la variabilité de ces indicateurs. Le résultat central est que les perturbations modifient la façon dont les trajectoires réussies sont exécutées, un effet que le TSR ne permet pas de déduire. Dans plusieurs suites, des modèles obtiennent un TSR comparable sous la même perturbation alors que leur comportement diverge nettement. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Les noms des trois modèles testés ne figurent pas dans le résumé. Ce travail touche un point faible de l'évaluation des VLA. Un robot qui réussit sa tâche par des mouvements saccadés, des trajectoires allongées ou des ouvertures et fermetures de pince erratiques consomme plus de temps de cycle, use davantage la mécanique et présente plus de risques en environnement partagé. Pour un intégrateur ou un COO industriel, deux modèles affichant le même score sur un benchmark ne sont donc pas interchangeables. L'étude nuance aussi la lecture des classements de robustesse. Elle suggère qu'une partie de l'écart entre démonstration et réalité se cache dans la qualité d'exécution, que les métriques binaires ne voient pas. LIBERO est devenu l'un des terrains d'évaluation de référence pour les VLA, avec des scores de réussite proches de la saturation pour les meilleurs modèles. Cette saturation a motivé des extensions comme LIBERO-Plus, qui introduit des perturbations. Le papier prolonge cette tendance en passant de « le modèle réussit-il sous perturbation ? » à « comment réussit-il ? ». Les auteurs recommandent de compléter le TSR par des métriques comportementales, sans prétendre le remplacer. Il reste à voir si ces métriques seront adoptées par les concepteurs de benchmarks et validées sur des robots réels. L'étude se limite à la manipulation sur table en simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

SimpleTouch : les modèles vision-langage-action (VLA) maîtrisent-ils la manipulation riche en contacts sans préentraînement tactile de la politique ?

Des chercheurs publient SimpleTouch, une extension du modèle vision-langage-action (VLA) π0.5 qui lui ajoute un « expert tactile ». Cet expert exploite tous les tokens d'un encodeur tactile préentraîné et gelé. Il apprend à partir de la supervision des actions et de la prédiction à plusieurs horizons de représentations latentes tactiles futures. L'entraînement tient en une seule étape et n'utilise que les démonstrations de la tâche, sans préentraînement tactile de la politique ni alignement visuotactile séparé. Avec 50 démonstrations par tâche, SimpleTouch obtient le meilleur taux de succès parmi les méthodes évaluées sur les six tâches du benchmark UniVTAC, avec une moyenne de 77,5 %. FTP-π0.5 atteint 45,2 % et FTP-1 66,7 %, soit des écarts de 32,3 et 10,8 points de pourcentage. Sur quatre tâches réelles, la moyenne est de 71,3 %, soit 8,8 points au-dessus de FTP-1. Le papier, disponible sur arXiv avec une page projet, ne précise pas dans cet extrait le capteur tactile utilisé, le robot ni le nombre d'essais par tâche. L'enjeu est la chaîne d'entraînement de la manipulation riche en contacts. Beaucoup d'équipes partent du principe que greffer le toucher sur un VLA préentraîné uniquement sur la vision et le langage, au moment du réglage fin, creuse un écart intermodal et donne peu de gains, voire dégrade les résultats. Elles ajoutent donc des corpus tactiles à grande échelle ou une étape d'alignement dédiée, ce qui alourdit la collecte de données et le pipeline. SimpleTouch suggère que, si l'on dispose déjà d'un VLA et d'un encodeur tactile solides, ces étapes ne sont pas indispensables pour ces tâches. Pour un intégrateur, cela abaisse le coût d'entrée : une cinquantaine de démonstrations par tâche suffiraient pour doter une politique existante de sensibilité tactile. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, d'un nombre limité de tâches (six en simulation, quatre en réel), et la comparaison porte sur des références choisies par les auteurs. Rien n'indique une généralisation à d'autres capteurs, morphologies ou tâches. Ce travail s'inscrit dans la montée des VLA fondés sur la famille π de Physical Intelligence, qui servent de base à de nombreuses extensions de recherche. La question de la modalité tactile y reste ouverte : les approches concurrentes, comme FTP-1, misent sur un préentraînement tactile de la politique, tandis que SimpleTouch teste l'hypothèse inverse, celle de la simplicité. Le benchmark UniVTAC fournit un terrain commun de comparaison, mais les résultats en conditions industrielles, avec cadences, variabilité des pièces et usure des capteurs, restent à démontrer. Les prochaines étapes probables sont des réplications par d'autres laboratoires, des tests sur davantage de tâches et de capteurs, et une confrontation directe avec des modèles préentraînés sur de grands volumes de données tactiles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source