Aller au contenu principal
Guava : un cadre efficace et universel pour la manipulation incarnée
RecherchearXiv cs.RO 

Guava : un cadre efficace et universel pour la manipulation incarnée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié en juin 2026 sur arXiv (identifiant 2606.18363) Guava, un cadre de harness pour agents robotiques de manipulation. Le système repose sur trois ingrédients identifiés après une exploration systématique de l'espace de conception : des boucles itératives perception-raisonnement-action, des abstractions d'action sémantiques et des observations multimodales. À partir de ces principes, les auteurs ont entraîné un modèle open-source de 4 milliards de paramètres en utilisant moins de 2 000 trajectoires collectées entièrement en simulation, sans aucune donnée réelle. Les évaluations en environnement simulé et en conditions réelles montrent des performances comparables aux modèles propriétaires de pointe, avec une généralisation robuste à des objets non vus en entraînement, des instructions inédites et des tâches longues à plusieurs étapes.

Le résultat le plus significatif est qu'un modèle compact peut atteindre des performances compétitives avec des systèmes propriétaires massifs à condition que l'architecture de harness soit bien conçue, et non que le modèle soit immense. Cela conteste directement l'hypothèse dominante selon laquelle les systèmes VLA (Vision-Language-Action) end-to-end nécessitent des millions de trajectoires réelles pour franchir le sim-to-real gap. L'approche par tool use découple le raisonnement de haut niveau des modules de perception et de contrôle, rendant le cadre agnostique au modèle sous-jacent, un avantage concret pour les intégrateurs industriels souhaitant substituer les composants sans réentraîner l'ensemble du système.

Ce travail s'inscrit dans un débat structurant de la manipulation robotique qui oppose les VLA end-to-end, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, aux approches modulaires par harness, qui misent sur la composabilité et le raisonnement émergent des LLM. L'approche rappelle SayCan (Google/Everyday Robots) ou Code as Policies, mais avec une validation sim-to-real plus explicite et sur modèle open-source. Le modèle 4B utilisé n'est pas nommé dans le papier, et aucun déploiement industriel ni partenariat commercial n'est mentionné : Guava demeure pour l'instant un résultat de recherche, sans timeline de productisation annoncée.

Impact France/UE

Les laboratoires de recherche et intégrateurs robotiques européens peuvent s'appuyer sur ce cadre open-source pour développer des systèmes de manipulation compétitifs sans infrastructure de données réelles à grande échelle.

À lire aussi

IA incarnée sans enchevêtrement : un VAE vidéo pour une manipulation efficace et contrôlable
1arXiv cs.RO 

IA incarnée sans enchevêtrement : un VAE vidéo pour une manipulation efficace et contrôlable

Des chercheurs présentent EmbodiedVAE, un nouvel autoencodeur variationnel (VAE) pour vidéo, publié sur arXiv en août 2026 (arXiv:2608.02990v1). L'outil vise à améliorer les "world models" utilisés dans l'apprentissage de la manipulation robotique par diffusion latente (LDM, latent diffusion model). Contrairement aux VAE vidéo classiques, optimisés pour des scènes naturelles génériques, EmbodiedVAE repose sur une architecture à double encodeur et décodeur unique, dotée d'un module de compression spatio-temporelle asymétrique qui sépare automatiquement le mouvement du bras robotique de l'arrière-plan de la scène. Un module de cohérence fondé sur le transport optimal renforce en parallèle la fidélité du mouvement et la continuité entre les images successives. Les auteurs annoncent une amélioration moyenne de 2 dB en PSNR (rapport signal/bruit crête, mesure standard de qualité de reconstruction d'image) par rapport aux VAE vidéo de référence, avec un taux de compression supérieur. L'enjeu dépasse la seule prouesse technique. Les world models à diffusion latente sont au cœur des approches VLA (vision-language-action) pour entraîner des politiques de contrôle robotique, mais la compacité et la contrôlabilité des représentations latentes déterminent directement le coût d'entraînement et la précision du geste. En désenchevêtrant le mouvement du bras robot du reste de la scène, EmbodiedVAE promet des représentations plus légères, donc moins coûteuses à entraîner, tout en autorisant un contrôle plus fin de l'action, un problème concret pour les laboratoires et intégrateurs qui recyclent aujourd'hui des VAE conçus pour de la vidéo grand public, mal adaptés à la structure particulière d'une scène de manipulation (bras articulé, objets saisis, fond largement statique). Il s'agit d'une brique d'infrastructure pour la recherche, pas d'une démonstration sur un robot physique en conditions réelles. Le papier s'inscrit dans la lignée des travaux récents sur la diffusion latente appliquée à l'apprentissage incarné, un domaine où les publications de variantes de world models pour piloter bras robotiques et humanoïdes se multiplient. Classé "Announce Type: new" sur arXiv, l'abstract ne précise ni l'institution d'origine ni les jeux de données utilisés pour les tests, ce qui limite pour l'instant toute comparaison avec des systèmes déployés en usine ou en pilote client. Les gains chiffrés, 2 dB de PSNR et un meilleur taux de compression, sont mesurés sur des benchmarks internes aux auteurs, une réserve à garder à l'esprit avant toute généralisation. Le travail reste donc au stade de la recherche, sans indication de mise en open source ni d'intégration annoncée dans une pile logicielle robotique existante.

RecherchePaper
1 source
REMM : une mémoire incarnée révisable pour la manipulation
2arXiv cs.RO 

REMM : une mémoire incarnée révisable pour la manipulation

REMM (Revisable Embodied Memory for Manipulation) est une couche de mémoire de supervision proposée dans un preprint arXiv (2610.12710v1) pour des tâches de manipulation robotique de longue durée. Elle se greffe sur un exécuteur VLA (vision-language-action) figé, désigné G0.5, sans jamais le réentraîner. Son principe: séparer un historique de preuves en ajout seul (append-only) d'un état de tâche révisable, et lier explicitement chaque relation dérivée ou condition « accomplie » aux faits qui la soutiennent. Quand une nouvelle observation validée modifie un de ces faits, le système retire les conclusions qui en dépendaient et planifie une réparation ciblée aux frontières de compétence vérifiées. Les auteurs rapportent 51 essais physiques, certains avec assistance d'un opérateur. Face au meilleur des systèmes de référence, la progression moyenne de la tâche passe de 57 % à 91 % pour la récupération après intervention, et de 43 % à 70 % pour le rappel de séquence. Des diagnostics vidéo complémentaires indiquent aussi une meilleure transmission de l'historique retenu vers l'instruction suivante, y compris face à des adaptations de planificateurs de haut niveau compatibles π0.5. L'enjeu tient à un angle mort des politiques VLA actuelles: conserver des observations ne dit pas quelles conclusions doivent être invalidées lorsque le monde change. Un objet déplacé par un humain, une pièce retombée ou un empilement défait rendent caduque une étape pourtant déclarée terminée. Pour un intégrateur, la proposition est séduisante: ajouter une couche de supervision à un modèle existant évite un nouveau cycle de collecte de données et de fine-tuning, et rend l'état de la tâche inspectable. Les chiffres demandent toutefois de la prudence. Un échantillon de 51 essais est modeste, la métrique est une progression « enregistrée » et non un taux de réussite strict, la présence d'essais assistés brouille la lecture, et les comparaisons vidéo relèvent du diagnostic qualitatif. Aucune donnée sur la latence, le coût de calcul ou la diversité des tâches n'est mentionnée dans le résumé. Ce travail s'inscrit dans la course à la mémoire et au raisonnement long horizon pour les politiques généralistes, où les modèles de la lignée π0.5 servent de référence, souvent associés à un planificateur de haut niveau. L'approche de REMM, un contrôle modulaire par-dessus un exécuteur gelé, contraste avec les stratégies qui intègrent la mémoire dans les poids du modèle, et elle se place plus près des architectures neuro-symboliques. Il s'agit ici de recherche académique, sans produit ni déploiement industriel annoncé. Les prochaines étapes naturelles seraient des évaluations plus larges, sur d'autres exécuteurs et d'autres environnements, avec des taux de réussite stricts. Une page de projet est disponible pour suivre les démonstrations et le code éventuel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Pyramide de données pour la manipulation incarnée
3arXiv cs.RO 

Pyramide de données pour la manipulation incarnée

Une équipe de recherche publie sur arXiv (2607.24744) une revue structurant l'écosystème des données pour l'apprentissage robotique en une "pyramide" à cinq niveaux : données réelles issues de robots physiques, données de type UMI (capture de démonstrations humaines avec interface portable), vidéos égocentriques et exocentriques, données de simulation, et données vision-langage générales issues du web. Les auteurs organisent cette pyramide autour d'un compromis central entre scalabilité et alignement robotique, et évaluent chaque source selon quatre critères : qualité, diversité, réutilisabilité et fidélité physique. Ils passent ensuite en revue les modèles fondation récents pour la robotique, qu'il s'agisse de modèles de "cerveau" incarné, de modèles vision-langage-action (VLA) ou de modèles monde-action, en analysant comment chacun sélectionne, aligne et mélange ces différentes sources lors du pré-entraînement, et comment ce choix conditionne leurs capacités de perception, de raisonnement, de planification et de prédiction. Cette cartographie répond à un problème identifié depuis plusieurs années dans le secteur : contrairement aux modèles de langage ou de vision, qui s'entraînent sur la quasi-totalité du contenu textuel et visuel disponible sur internet, les agents incarnés ne peuvent pas se contenter de données passives puisqu'ils doivent apprendre le couplage entre observation, état physique et action. C'est ce goulot d'étranglement qui explique pourquoi des modèles comme Pi-0, GR00T N2 ou Helix combinent systématiquement plusieurs sources de données plutôt qu'une seule, et pourquoi des plateformes comme Figure 03 ou Optimus Gen 3 misent autant sur la collecte de données réelles en usine que sur la simulation. Les auteurs terminent par six chantiers non résolus : constituer des jeux de données tactiles à grande échelle, capturer des séquences d'échec et de récupération, développer des pipelines de collecte scalables, aligner les actions entre différentes morphologies de robots, exploiter les données égocentriques pour la manipulation dextre, et concevoir des recettes de données principielles plutôt qu'empiriques, autant de points de friction qui continuent de freiner le passage de la démonstration au déploiement industriel fiable.

RecherchePaper
1 source
UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée
4arXiv cs.RO 

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

RecherchePaper
1 source