Pyramide de données pour la manipulation incarnée

1arXiv cs.RO

REMM : une mémoire incarnée révisable pour la manipulation

REMM (Revisable Embodied Memory for Manipulation) est une couche de mémoire de supervision proposée dans un preprint arXiv (2610.12710v1) pour des tâches de manipulation robotique de longue durée. Elle se greffe sur un exécuteur VLA (vision-language-action) figé, désigné G0.5, sans jamais le réentraîner. Son principe: séparer un historique de preuves en ajout seul (append-only) d'un état de tâche révisable, et lier explicitement chaque relation dérivée ou condition « accomplie » aux faits qui la soutiennent. Quand une nouvelle observation validée modifie un de ces faits, le système retire les conclusions qui en dépendaient et planifie une réparation ciblée aux frontières de compétence vérifiées. Les auteurs rapportent 51 essais physiques, certains avec assistance d'un opérateur. Face au meilleur des systèmes de référence, la progression moyenne de la tâche passe de 57 % à 91 % pour la récupération après intervention, et de 43 % à 70 % pour le rappel de séquence. Des diagnostics vidéo complémentaires indiquent aussi une meilleure transmission de l'historique retenu vers l'instruction suivante, y compris face à des adaptations de planificateurs de haut niveau compatibles π0.5. L'enjeu tient à un angle mort des politiques VLA actuelles: conserver des observations ne dit pas quelles conclusions doivent être invalidées lorsque le monde change. Un objet déplacé par un humain, une pièce retombée ou un empilement défait rendent caduque une étape pourtant déclarée terminée. Pour un intégrateur, la proposition est séduisante: ajouter une couche de supervision à un modèle existant évite un nouveau cycle de collecte de données et de fine-tuning, et rend l'état de la tâche inspectable. Les chiffres demandent toutefois de la prudence. Un échantillon de 51 essais est modeste, la métrique est une progression « enregistrée » et non un taux de réussite strict, la présence d'essais assistés brouille la lecture, et les comparaisons vidéo relèvent du diagnostic qualitatif. Aucune donnée sur la latence, le coût de calcul ou la diversité des tâches n'est mentionnée dans le résumé. Ce travail s'inscrit dans la course à la mémoire et au raisonnement long horizon pour les politiques généralistes, où les modèles de la lignée π0.5 servent de référence, souvent associés à un planificateur de haut niveau. L'approche de REMM, un contrôle modulaire par-dessus un exécuteur gelé, contraste avec les stratégies qui intègrent la mémoire dans les poids du modèle, et elle se place plus près des architectures neuro-symboliques. Il s'agit ici de recherche académique, sans produit ni déploiement industriel annoncé. Les prochaines étapes naturelles seraient des évaluations plus larges, sur d'autres exécuteurs et d'autres environnements, avec des taux de réussite stricts. Une page de projet est disponible pour suivre les démonstrations et le code éventuel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

RecherchePaper

1 source

3arXiv cs.RO

LIBERO-Agent : évaluation d'agents généralistes pour la manipulation incarnée directe

Des chercheurs publient sur arXiv LIBERO-Agent, un benchmark qui teste si les agents généralistes savent piloter directement un robot manipulateur. Ces agents planifient, utilisent des outils et corrigent leur comportement à partir de retours. Les approches existantes leur demandent soit de soumettre un programme Python de contrôle pour toute la tâche, soit d'appeler des compétences robotiques de haut niveau. Ici, l'agent évolue dans un environnement interactif. Il choisit les observations à consulter, les traite avec ses propres outils et émet des commandes d'action natives. Le benchmark réunit 200 tâches dans un cadre commun. Sa suite principale compte 30 tâches, réparties pour isoler la perception, l'exécution à court horizon et la composition à long horizon. Les agents réussissent bien la perception et les tâches courtes faciles, mais leurs scores chutent nettement sur les tâches courtes difficiles et sur les séquences longues. GPT-6 Astra obtient la meilleure performance globale. Le résultat nuance l'idée que les capacités agentiques acquises dans les environnements numériques se transfèrent mécaniquement au monde physique. Le goulot d'étranglement est la fiabilité, pas la compréhension de la scène. Pour un intégrateur ou un COO industriel, un agent généraliste n'est donc pas, en l'état, un substitut crédible à un modèle VLA (vision-langage-action) entraîné sur des données d'action. Les auteurs notent que des observations plus riches améliorent la manipulation à court horizon, alors que l'effet des démonstrations dépend de l'agent et du format. L'avantage de GPT-6 Astra tient surtout à l'interaction avec des mécanismes, en particulier quand un contact physique prolongé est nécessaire. Ses échecs restants viennent d'interférences entre étapes successives et d'erreurs géométriques. Ce travail s'inscrit dans la course entre deux voies. La première est celle des VLA spécialisés comme Pi-0, GR00T N2 ou Helix, entraînés sur des données de manipulation. La seconde consiste à réutiliser des modèles généralistes comme agents. LIBERO-Agent est un outil d'évaluation, pas un produit ni un déploiement. Le résumé ne précise ni matériel réel, ni temps de cycle, ni coût d'inférence, ni comparaison directe avec les VLA, des données indispensables avant toute lecture industrielle. La suite logique est l'adoption du benchmark par d'autres laboratoires et sa confrontation aux modèles robotiques dédiés.

RecherchePaper

1 source

4arXiv cs.RO

Guava : un cadre efficace et universel pour la manipulation incarnée

Des chercheurs ont publié en juin 2026 sur arXiv (identifiant 2606.18363) Guava, un cadre de harness pour agents robotiques de manipulation. Le système repose sur trois ingrédients identifiés après une exploration systématique de l'espace de conception : des boucles itératives perception-raisonnement-action, des abstractions d'action sémantiques et des observations multimodales. À partir de ces principes, les auteurs ont entraîné un modèle open-source de 4 milliards de paramètres en utilisant moins de 2 000 trajectoires collectées entièrement en simulation, sans aucune donnée réelle. Les évaluations en environnement simulé et en conditions réelles montrent des performances comparables aux modèles propriétaires de pointe, avec une généralisation robuste à des objets non vus en entraînement, des instructions inédites et des tâches longues à plusieurs étapes. Le résultat le plus significatif est qu'un modèle compact peut atteindre des performances compétitives avec des systèmes propriétaires massifs à condition que l'architecture de harness soit bien conçue, et non que le modèle soit immense. Cela conteste directement l'hypothèse dominante selon laquelle les systèmes VLA (Vision-Language-Action) end-to-end nécessitent des millions de trajectoires réelles pour franchir le sim-to-real gap. L'approche par tool use découple le raisonnement de haut niveau des modules de perception et de contrôle, rendant le cadre agnostique au modèle sous-jacent, un avantage concret pour les intégrateurs industriels souhaitant substituer les composants sans réentraîner l'ensemble du système. Ce travail s'inscrit dans un débat structurant de la manipulation robotique qui oppose les VLA end-to-end, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, aux approches modulaires par harness, qui misent sur la composabilité et le raisonnement émergent des LLM. L'approche rappelle SayCan (Google/Everyday Robots) ou Code as Policies, mais avec une validation sim-to-real plus explicite et sur modèle open-source. Le modèle 4B utilisé n'est pas nommé dans le papier, et aucun déploiement industriel ni partenariat commercial n'est mentionné : Guava demeure pour l'instant un résultat de recherche, sans timeline de productisation annoncée.

UELes laboratoires de recherche et intégrateurs robotiques européens peuvent s'appuyer sur ce cadre open-source pour développer des systèmes de manipulation compétitifs sans infrastructure de données réelles à grande échelle.

RechercheOpinion

1 source

Pyramide de données pour la manipulation incarnée

À lire aussi

REMM : une mémoire incarnée révisable pour la manipulation

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

LIBERO-Agent : évaluation d'agents généralistes pour la manipulation incarnée directe

Guava : un cadre efficace et universel pour la manipulation incarnée