RecherchearXiv cs.RO 13 mai 2026

Premover : contrôle VLA rapide en agissant avant la fin des instructions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (référence 2605.12160) un module baptisé Premover, conçu pour réduire la latence des politiques Vision-Language-Action (VLA) en exploitant le temps d'inactivité pendant lequel l'utilisateur formule sa commande. Sur le benchmark LIBERO, Premover ramène le temps d'exécution moyen de 34,0 à 29,4 secondes, soit une réduction de 13,6%, tout en maintenant un taux de réussite de 95,1% contre 95,0% pour la baseline avec instruction complète. Techniquement, le module gèle le backbone VLA existant et y greffe deux têtes de projection légères, l'une pour les patches d'image, l'autre pour les tokens de langage, qui projettent une couche intermédiaire du réseau dans un espace commun. La carte d'attention résultante (focus map), supervisée par des masques de segmentation de l'objet cible générés en simulateur, sert à réépondérer les tokens d'image de l'étape suivante. Un seuil scalaire de prédisposition, entraîné sur des préfixes d'instruction en streaming, décide du moment où la politique peut commencer à agir.

L'enjeu dépasse la simple optimisation de latence. Dans un déploiement réel, l'utilisateur met plusieurs secondes à formuler sa requête, vocalement ou par clavier, laissant la politique en veille pendant une fraction significative de l'interaction. Premover transforme cette fenêtre creuse en précomputation utile sans toucher au backbone, ce qui en fait une amélioration drop-in compatible avec les VLA existants. Le contraste avec le "naive premoving" est révélateur : agir prématurément sans le mécanisme de focus fait chuter le taux de réussite à 66,4%, ce qui démontre que l'anticipation non conditionnée est destructrice et que la focus map est bien le coeur de la contribution. Pour un intégrateur industriel, une réduction de 13,6% du temps de cycle sur des tâches de manipulation représente un gain opérationnel cumulable à l'échelle d'un déploiement.

Les VLA ont connu une accélération marquée depuis 2023, avec pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA de Stanford University comme jalons principaux. Le problème de latence qu'attaque Premover est structurel : plus les modèles sous-jacents grossissent, plus l'inférence est lente, rendant critiques les optimisations sans régression de performance. Ce travail reste pour l'instant un preprint, sans déploiement annoncé ni validation sur matériel réel mentionnée dans l'abstract, et sa robustesse hors du benchmark LIBERO, un environnement de simulation contrôlé à portée limitée, reste à établir. Les prochaines étapes naturelles incluront une validation sim-to-real sur des plateformes comme Franka ou UR5, et une extension aux instructions vocales continues où la fenêtre d'inactivité est structurellement plus longue.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

SCULPT-VLA : apprentissage d'un contrôle structuré par ancrage d'actions en étapes

Un nouveau papier publié sur arXiv (identifiant 2609.23275, soumis fin septembre 2026) présente SCULPT-VLA, une architecture de politique vision-langage-action entraînée par ancrage d'actions en plusieurs étapes. Le système construit un état de conditionnement des actions à partir de trois facteurs complémentaires : progression de la tâche, dynamique de la scène et ancrage spatial. L'entraînement forme d'abord ces facteurs à l'aide de scaffolds enseignants, avant d'ancrer une prédiction d'action grossière sur leur composition à mesure que ces scaffolds sont retirés, puis de restaurer l'accès perceptif direct pour un affinage continu. Sur les bancs d'essai en simulation LIBERO, SimplerEnv-WidowX et RoboTwin 2.0 Full, SCULPT-VLA dépasse des références à backbone partagé. Sur SimplerEnv-WidowX précisément, le taux de succès final atteint 83,5 %, contre 71,3 % lorsque l'apprentissage d'action de la deuxième étape accède directement à la vision et au langage sans passer par l'état structuré. Sur quatre tâches réalisées avec un robot physique soumis à des changements de distribution, le taux de succès moyen atteint 58,1 %, contre 45,6 % pour le modèle de référence Pi-0.5. Ce travail s'inscrit dans un débat technique central pour les VLA actuels : au-delà des labels d'action bruts, comment structurer une supervision intermédiaire pour que la prédiction d'action en dépende réellement, sans que cette dépendance s'effondre dès que les données annotées par un enseignant disparaissent au déploiement. En séparant explicitement l'apprentissage du conditionnement structurel de l'affinage du contrôle continu, SCULPT-VLA répond à un problème pratique pour les intégrateurs : au déploiement, aucune donnée d'enseignant ni autorégression discrète n'est nécessaire, ce qui simplifie l'inférence embarquée. Les gains rapportés en conditions de changement de distribution, un scénario proche des conditions réelles d'usine ou d'entrepôt, suggèrent une meilleure robustesse que les architectures VLA à accès perceptif direct, un point sensible pour les décideurs qui évaluent l'écart entre démonstrations en simulation et performance terrain. Le papier ne précise ni affiliation d'auteurs ni date de publication de conférence, ce qui correspond au format d'un preprint arXiv récent, probablement en soumission anonyme. Il se positionne par comparaison directe avec Pi-0.5 comme référence de politique VLA généraliste, sans mention d'un partenariat industriel ou d'un déploiement commercial. Les auteurs annoncent des ablations sur les facteurs d'état et des interventions ciblées confirmant que l'état appris continue de contribuer au contrôle même après le retour de l'accès perceptif direct, sans toutefois indiquer de calendrier de suite ni de portage vers d'autres plateformes robotiques.

RechercheOpinion

1 source

2arXiv cs.RO

Contrôle de corps entier des manipulateurs mobiles avec prise en compte de la reconstruction des objets

Des chercheurs proposent une méthode de reconstruction d'objets 3D par manipulateur mobile qui supprime le planificateur de trajectoire dédié, pour un coût de calcul nettement réduit. Le travail, publié sur arXiv (troisième version, septembre 2025 pour la première), part d'un constat: pour reconstruire ou inspecter un objet, il faut choisir des trajectoires qui révèlent le plus de zones encore inconnues. Les approches actuelles échantillonnent des trajectoires candidates et évaluent de nombreuses vues le long de chacune, ce qui coûte cher en calcul. La nouvelle méthode calcule un point de focalisation dans la région la plus informative, puis impose au robot de le garder dans le champ de vision de la caméra pendant son déplacement. Cette contrainte de visibilité est intégrée directement dans le contrôle du corps entier (whole-body control) du manipulateur mobile. L'évaluation repose sur des simulations réalistes avec 114 objets de tailles variées, issus de 57 catégories, et sur une analyse statistique bayésienne. Trois stratégies sont comparées: la méthode proposée, une planification par échantillonnage, et une approche sans trajectoires informatives. Face à l'échantillonnage, aucune différence statistiquement significative n'apparaît sur l'entropie de reconstruction, et la probabilité que les deux soient pratiquement équivalentes en couverture est de 52,3 %. Le calcul est 6,2 à 19,36 fois plus rapide, et le temps passé par le robot entre deux vues baisse de 13,76 % à 27,9 %, selon le champ de vision de la caméra et la résolution du modèle. Des essais réels ont été menés avec un manipulateur mobile omnidirectionnel à 8 DoF et un manipulateur à pattes. L'intérêt pour les intégrateurs est concret: l'inspection, le contrôle qualité et la numérisation d'objets par robot mobile sont limités par la latence de décision entre deux vues, et pas seulement par la qualité de la reconstruction. Ici, la qualité reste proche de l'état de l'art tout en réduisant le calcul embarqué, ce qui compte sur des plateformes à ressources limitées. Il faut toutefois nuancer: l'équivalence de couverture n'est établie qu'à 52,3 %, donc non démontrée. Il s'agit en outre d'un résultat académique, validé en simulation et sur deux plateformes de laboratoire, sans déploiement industriel ni mesure en environnement de production. Ce travail s'inscrit dans la lignée de la planification de la « prochaine meilleure vue » (next-best-view), dominante depuis des années en reconstruction active, et du contrôle de corps entier des manipulateurs mobiles, qui coordonne base et bras comme un seul système. La démarche rejoint ainsi la tendance à fusionner perception active et commande, plutôt que de les chaîner. Les suites probables concernent des tests sur des scènes plus complexes, avec occlusions et objets déformables, et une intégration dans des chaînes d'inspection. Aucun partenaire industriel ni calendrier de transfert n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Découpler planification et contrôle pour des agents instructibles

Une équipe de recherche publie sur arXiv (2608.26788v1) l'article « Decoupling Planning and Control for Instructable Agents », qui présente le système Instruct-to-Act. L'architecture associe un modèle vision-langage (VLM) pré-entraîné, chargé de traduire instructions et observations en plans de haut niveau peu fréquents, à un contrôleur de type « world model » entraîné pour agir en autonomie à haute fréquence à partir de ces instructions. Pour le rendre instructable, les chercheurs relabellisent des trajectoires du contrôleur avec des instructions synthétiques et optimisent conjointement clonage de comportement, récompense et modélisation du monde. Le système est testé sur sept environnements simulés, dont trois multi-agents où des planificateurs VLM coordonnent par le langage pendant que les contrôleurs entraînés agissent comme actionneurs. Ce travail répond à une limite bien identifiée dans le secteur : les VLM planifient bien à partir d'instructions et d'observations, mais peinent à transformer ces plans en actions fiables et rapides en environnement inconnu, tandis que les contrôleurs « world model » contrôlent vite mais manquent de guidage sur la tâche à accomplir. À espaces d'observation et d'action équivalents, l'approche découplée surpasse de façon constante les variantes contrôleur seul et génération d'action directe par le VLM, tout en gardant un contrôle rapide et en permettant de changer de planificateur VLM sans réentraîner le contrôleur, un atout pour des intégrateurs voulant faire évoluer le « cerveau » sans retoucher les « réflexes » du robot. Elle reste toutefois seulement compétitive, et non systématiquement supérieure, face à des références vision-langage-action (VLA) et RL multi-agent solides, sur six tâches sur sept. Il s'agit d'un article de recherche, non d'une annonce produit : le résumé ne cite aucune entreprise ni robot commercial, et les sept environnements testés sont simulés, sans déploiement sur matériel réel évoqué. La démarche rejoint une tendance de l'apprentissage robotique consistant à séparer un raisonnement lent de haut niveau d'un contrôle réactif rapide, déjà explorée par des systèmes industriels comme Helix chez Figure ou GR00T N2 chez Nvidia. Aucun pilote ni calendrier vers des robots physiques n'est mentionné : la contribution porte sur la méthodologie et sa capacité à généraliser entre plusieurs bancs d'essai simulés.

RechercheActu

1 source

4arXiv cs.RO

Contrôleur à horizon glissant dans l'espace des tâches pour l'évitement rapide de collisions

Des chercheurs publient sur arXiv (2607.15733v1) un nouveau contrôleur à horizon glissant dans l'espace des tâches pour l'évitement de collision en temps réel sur bras manipulateurs robotiques. La méthode combine un rollout court et "contact-consistant", basé sur un solveur dynamique itératif appliqué à des géométries convexes gonflées du robot et des obstacles, pour générer une référence cinématique terminale respectant les contraintes de non-pénétration internes. Seule la première commande d'une transition lisse à accélération minimale vers cette référence est ensuite calculée à chaque cycle, en partant d'une loi de régulation par cinématique inverse en boucle fermée. Les auteurs démontrent une régulation exponentielle locale dans l'espace des tâches lorsque les contacts sont inactifs, et bornent l'effet des obstacles mobiles sur les ensembles de fonctionnement réguliers lorsque des contacts s'activent pendant le rollout. Les tests incluent des simulations sur un système multi-chaînes à 40 degrés de liberté (DOF) et des expériences matérielles sur une plateforme à 6 DOF. L'enjeu pratique est le compromis classique entre anticipation et réactivité en robotique industrielle: le contrôle prédictif complet (MPC) offre une vision à long terme mais son coût de calcul explose avec l'horizon, la fidélité du modèle et le nombre de contraintes géométriques actives, tandis que les méthodes réactives sans horizon restent rapides mais peu clairvoyantes en environnement encombré et dynamique. Les résultats montrent que des horizons intermédiaires équilibrent ces deux exigences, avec des taux de succès supérieurs à des baselines MPC et à des "dynamic optimization fabrics" en clutter dynamique, tout en gardant des temps de résolution compatibles avec l'exécution temps réel testée. Point notable pour les intégrateurs: le comportement reste cohérent entre simulation et réel sans estimation précise des paramètres inertiels, ce qui limite l'effort de calibration habituellement nécessaire au transfert sim-to-real. Ce travail s'inscrit dans la lignée des recherches en contrôle prédictif appliqué à la manipulation en environnement dynamique, un axe où les laboratoires universitaires cherchent à réduire le fossé entre démonstrations en simulation et déploiements réels sur bras industriels ou collaboratifs. La comparaison directe avec des baselines MPC et fabrics d'optimisation dynamique positionne la méthode comme une alternative moins coûteuse en calcul pour l'évitement d'obstacles mobiles, un enjeu croissant pour les cellules robotiques partagées avec des opérateurs humains ou d'autres machines mobiles (AMR). Les auteurs ne mentionnent pas de partenariat industriel ni de calendrier de transfert vers un produit commercial à ce stade.

RecherchePaper

1 source