Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
UniMPA : un modèle unifié mémoire-prédiction-action via modélisation de transition ancrée dans l'action
RecherchearXiv cs.RO 

UniMPA : un modèle unifié mémoire-prédiction-action via modélisation de transition ancrée dans l'action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv (référence 2609.11875, catégorie "new") présente UniMPA, un modèle unifiant mémoire, prédiction et action pour la manipulation robotique. Ses auteurs ciblent ce qu'ils appellent l'écart de réalisabilité des transitions dans les modèles Vision-Language-Action (VLA) actuels. Trois problèmes sont identifiés: une même observation visuelle peut correspondre à des phases de tâche différentes, une image future prédite peut sembler plausible sans être physiquement exécutable, et un geste déjà réussi par le passé peut échouer dans une nouvelle scène. UniMPA y répond par une prédiction du futur dite "persistante et sélective", où un flux latent suit la progression globale de la tâche pendant qu'un flux pixel isole les changements d'interaction critiques. Une "Visual-Action Memory Bank" vérifie ensuite la faisabilité physique de la transition anticipée en l'interrogeant contre un historique d'expériences visuelles et motrices réellement exécutées. Une seconde mémoire, l'"Action-Visual Memory Bank", couplée à un mécanisme baptisé Prototype-Biased Flow, réoriente enfin l'action vers des schémas moteurs déjà validés dans des situations similaires.

Cette approche s'attaque à un point de friction connu des intégrateurs qui déploient des piles VLA génératives: qu'un modèle imagine une image future crédible ne garantit pas qu'un bras ou une pince réels puissent l'atteindre, un écart entre démonstration et fiabilité que la simple augmentation des données ou des paramètres ne résout pas. En ancrant systématiquement prédiction et action dans des transitions déjà exécutées, UniMPA illustre un déplacement dans la course robotique actuelle: au-delà de la taille des modèles, la robustesse dépend de plus en plus de la manière dont mémoire et perception sont couplées à la faisabilité physique du geste.

Le travail s'inscrit dans la lignée des modèles VLA génératifs qui, depuis l'essor de politiques combinant langage, vision et action continue, cherchent à prédire puis exécuter des séquences de manipulation, un champ où laboratoires et startups robotiques publient régulièrement des architectures concurrentes fondées sur la diffusion ou l'autorégression. L'abstract ne fournit toutefois aucun chiffre de taux de réussite, aucun benchmark ni détail sur le matériel robotique utilisé: il s'agit à ce stade d'un simple preprint tout juste annoncé, sans évaluation par les pairs ni code public mentionné. Les prochaines étapes attendues sont la publication de résultats chiffrés comparés aux modèles VLA existants, pour vérifier si le gain revendiqué en robustesse se confirme réellement sur du matériel physique.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action
1arXiv cs.RO 

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper
1 source
UniWAM : modèle unifié du monde et de l'action
2arXiv cs.RO 

UniWAM : modèle unifié du monde et de l'action

UniWAM, présenté sur arXiv (2610.02054, première version), est une architecture unifiée qui combine trois blocs : un « raisonneur physique » issu d'un modèle vision-langage préentraîné, un générateur de monde (vidéo) et un prédicteur d'actions. L'ensemble apprend conjointement la compréhension sémantique du monde physique, la génération visuelle et la prédiction d'actions. Les auteurs ont construit un pipeline de nettoyage et d'annotation pour les données égocentriques humaines et les données robot. Les actions bas niveau sont exprimées en langage naturel, afin de préserver les capacités linguistiques du modèle de base. Le préentraînement répartit les supervisions entre composants : VQA (questions-réponses visuelles), vidéos égocentriques humaines et démonstrations robot. Au post-entraînement, une augmentation par bruit visuel sur le futur réduit la dépendance à des prédictions précises, et un flow matching conditionné par l'historique d'actions initialise la génération d'actions. Selon les auteurs, cela réduit nettement le nombre d'étapes de débruitage sans perte de performance. Ils revendiquent l'état de l'art en performance in-distribution, robustesse, généralisation, suivi d'instructions et tâches longues. Le résumé ne donne ni chiffres ni noms de benchmarks. L'intérêt est de s'attaquer à un compromis connu. Les modèles VLA (vision-langage-action) héritent du raisonnement des VLM, mais une supervision limitée aux actions leur donne peu d'ancrage dans la dynamique physique. À l'inverse, les modèles monde-action, bâtis sur la génération vidéo, captent bien les régularités spatio-temporelles mais comprennent et raisonnent moins bien hors distribution. Unifier les deux dans un seul modèle est une réponse directe à ce problème de robustesse, qui compte pour les intégrateurs confrontés au fossé entre démo et déploiement. La réduction des étapes de débruitage compte aussi pour la latence de contrôle, point faible des approches fondées sur la vidéo. Le résultat le plus transposable est la loi d'échelle log-linéaire du co-entraînement humain-robot. Si elle se confirme, elle soutient l'idée que les vidéos humaines, bien moins chères que la téléopération, peuvent servir de levier de données. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, sans test annoncé sur robot en production. Ce travail s'inscrit dans la course entre VLA (Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure) et modèles monde-action, qui exploitent la génération vidéo pour la planification. Il prolonge aussi la tendance à exploiter les données égocentriques humaines pour pallier la rareté des démonstrations robot. Le résumé ne cite ni équipe, ni plateforme robotique, ni calendrier de publication du code ou des poids. Il faudra donc attendre le texte complet pour juger du protocole, de la comparaison avec les références et de la validation sur matériel réel.

RecherchePaper
1 source
TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis
3arXiv cs.RO 

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis

Une équipe de recherche présente TacSushi, une politique robotique world-action ancrée dans le toucher, bâtie sur un modèle de monde Cosmos3, destinée à la manipulation dextre d'aliments déformables comme le sushi. Le système encode l'image RGB courante, une consigne en langage naturel et l'état de la main, puis fusionne par un mécanisme de gating feature-wise les signaux tactiles des bouts de doigts dans la représentation d'action ; pendant l'entraînement seulement, un décodeur conditionné par les segments d'action démontrés prédit les observations visuelles futures, la progression de la tâche et le risque de contact, avant d'être retiré au déploiement. Entraîné sur 340 essais réussis et 50 essais échoués sur robot réel, TacSushi a été testé sur 600 rollouts couvrant trois tâches en distribution et deux variantes d'ingrédients hors distribution, la qualité du plat final étant jugée par un protocole mêlant à parts égales cinq notations humaines et trois notations de modèles vision-langage. Résultat : 68,3% de réussite moyenne en distribution et 37,5% hors distribution, contre 36,7%/10,0% sans la supervision par conséquences futures et 25,0%/17,5% avec une simple concaténation tactile au lieu de la fusion gated. Ces chiffres valident surtout deux choix d'architecture plutôt qu'une performance spectaculaire : la fusion tactile gated par caractéristique apporte un gain net face à une concaténation brute, et la supervision prédictive, entraînée mais jamais exécutée en production, améliore la généralisation sans coût au déploiement. Pour les équipes de manipulation dextre et les intégrateurs, l'écart entre réussite en distribution et hors distribution illustre une nouvelle fois le fossé persistant entre démonstration contrôlée et généralisation réelle des politiques vision-langage-action, un problème que le secteur peine encore à résoudre malgré les annonces. Évaluer la qualité perçue de l'aliment via des juges humains et des modèles vision-langage, plutôt qu'un seuil géométrique binaire, répond aussi à une limite méthodologique connue des benchmarks de manipulation alimentaire, où texture et présentation comptent autant que le succès du geste. TacSushi s'inscrit dans la lignée des politiques robotiques bâties sur des backbones de modèles de monde ou vision-langage-action, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais cible un terrain nettement moins couvert, la manipulation d'aliments fragiles, plutôt que la préhension d'objets rigides. Publié en prépublication sur arXiv sans affiliation industrielle mentionnée, le travail reste une évaluation de laboratoire sur rollouts contrôlés, sans partenaire commercial ni calendrier de déploiement annoncés, et son jeu d'entraînement de 340 démonstrations réussies pour seulement 50 échecs demeure modeste au regard des efforts de VLA à grande échelle menés par les grands laboratoires. La suite logique, non précisée par les auteurs, consisterait à élargir les tâches culinaires et les variantes d'ingrédients testées pour vérifier si les gains observés hors distribution résistent à une variabilité alimentaire encore plus large.

RecherchePaper
1 source
Modélisation unifiée du monde par actions visuelles masquées
4arXiv cs.RO 

Modélisation unifiée du monde par actions visuelles masquées

Des chercheurs présentent Masked Visual Actions, une nouvelle interface de contrôle en espace pixel pour les modèles de monde robotiques, décrite dans un article déposé sur arXiv (2607.19343v1). La méthode consiste à exprimer une action sous forme de trajectoire partiellement révélée d'une entité arbitraire dans une vidéo. Concrètement, révéler le mouvement du robot transforme le modèle en modèle de dynamique directe, capable de prédire comment la scène va réagir à une commande motrice bas niveau. À l'inverse, révéler le mouvement souhaité d'un objet permet au même modèle de retrouver le comportement robotique nécessaire pour produire ce résultat, une forme de modélisation inverse. Le système a été affiné avec seulement 15 heures d'exemples masqués, combinant vidéos réelles et données de simulation. Un unique point de contrôle (checkpoint) obtient une bonne fidélité visuelle et un contrôle fiable sur des scènes variées et plusieurs types d'embodiments robotiques différents. L'intérêt de cette approche pour le secteur tient à l'unification qu'elle propose entre prévision et contrôle au sein d'un seul modèle vidéo, sans représentation d'action spécifique par plateforme. Pour les équipes qui développent des politiques de manipulation, les "rollouts imaginés" produits par le modèle montrent une corrélation avec les résultats d'exécution réelle, ce qui ouvre la voie à évaluer des politiques robotiques sans multiplier les essais physiques coûteux. Le modèle sert aussi d'outil de planification, en classant des futurs candidats pour orienter la prise de décision, et de générateur de trajectoires robotiques à partir d'un mouvement d'objet cible. Avec seulement 15 heures de données de finetuning, ces résultats suggèrent qu'un modèle vidéo pré-entraîné peut absorber l'essentiel des priors physiques nécessaires, réduisant la dépendance à de vastes jeux de données de téléopération spécifiques à chaque robot. Ces travaux s'inscrivent dans la dynamique plus large des modèles de monde vidéo appliqués à la robotique, aux côtés d'approches comme les architectures VLA (vision-langage-action) ou les modèles génératifs de type Genie. La contribution ici porte spécifiquement sur le mode d'expression de l'action en pixels, plutôt que sur une nouvelle architecture réseau. L'article ne précise pas de partenariat industriel ni de déploiement matériel; il s'agit à ce stade d'une démonstration de recherche évaluée en simulation et en environnement contrôlé, dont la généralisation à des déploiements robotiques en production reste à établir.

RecherchePaper
1 source