Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)
RecherchearXiv cs.RO 

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi_0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau.

Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi_0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production.

L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)
1arXiv cs.RO 

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Mémoire à double flux pour les politiques vision-langage-action (VLA)
2arXiv cs.RO 

Mémoire à double flux pour les politiques vision-langage-action (VLA)

Des chercheurs proposent une mémoire à double flux pour les politiques vision-langage-action (VLA), conçue pour les tâches de manipulation où le robot doit à la fois savoir où il en est dans l'exécution et retrouver des indices visuels qui ne sont plus visibles. Le premier flux est un module Gated DeltaNet, indépendant de la tâche, qui compresse tout l'historique en un seul token temporel. Il est supervisé par deux objectifs : la prédiction de progression et la reconstruction de features conditionnée par l'action. Le second flux est un récupérateur conditionné par la tâche, qui conserve les images dont la pertinence dépasse un seuil fixe. Chaque image retenue est encodée en seize tokens spatiaux par fusion linéaire multi-échelle. Le compresseur temporel est ensuite gelé, puis la récupération et la politique sont optimisées conjointement. Sur les seize tâches du benchmark RoboMME, le modèle complet atteint 49,22 % de succès moyen, contre 44,51 % pour la référence publiée FrameSamp+Modul. Il progresse sur quatorze tâches et sur les moyennes des quatre suites. Sur quatre tâches avec un robot réel, le succès moyen passe de 37,5 % à 62,5 %. L'intérêt est de s'attaquer à une limite connue des VLA actuels, qui décident surtout à partir de l'observation courante ou d'une courte fenêtre d'images. Les auteurs séparent deux besoins que les approches existantes mélangent : le suivi de l'état d'exécution, qui demande une représentation compacte et continue, et l'accès sélectif aux preuves visuelles passées, qui demande de la récupération ciblée. Les plus gros gains sur robot réel concernent les actions répétées, où il faut distinguer à quelle étape on se trouve, par exemple répéter le même geste sans savoir si c'est la première ou la troisième fois. À prendre avec prudence toutefois : le gain de 4,7 points sur RoboMME est modeste. Le test réel ne porte que sur quatre tâches, sans volume d'essais précisé dans le résumé, et le papier est un préprint non évalué par des pairs. Les auteurs reconnaissent eux-mêmes une faiblesse : lors d'échanges de gobelets, le suivi persistant d'identité d'un objet échoue, et ce problème reste ouvert. Ce travail s'inscrit dans la montée des politiques VLA à mémoire (type Pi-0, Helix ou GR00T), dont les versions de production restent pour l'essentiel peu ou pas dotées de mémoire longue. RoboMME sert ici de banc d'essai pour les tâches dépendantes de l'historique, et la comparaison se fait contre une baseline d'échantillonnage d'images avec modulation. Les auteurs ne mentionnent ni code, ni modèle publiés, ni calendrier de déploiement. La suite logique est l'ajout d'un mécanisme de suivi d'identité d'objets, puis une validation sur davantage de tâches réelles et de plateformes. Pour les intégrateurs, il s'agit pour l'instant d'une piste de recherche, pas d'une brique disponible.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
TMT : détection de portes dérobées à l'exécution pour les politiques vision-langage-action (VLA) sur des tâches inédites
3arXiv cs.RO 

TMT : détection de portes dérobées à l'exécution pour les politiques vision-langage-action (VLA) sur des tâches inédites

Des chercheurs présentent sur arXiv (2610.09462) TMT, un détecteur de backdoors fonctionnant à l'exécution pour les politiques vision-langage-action (VLA). Une politique VLA compromise conserve des performances normales sur ses tâches habituelles, mais produit des actions malveillantes dès qu'un déclencheur apparaît dans l'observation. TMT (Token Manifold and latent Transition modeling) est entraîné uniquement sur des rollouts bénins. Une première branche évalue la structure des tokens d'entrée. Une seconde mesure les erreurs de prédiction dans la dynamique latente entre couches adjacentes. Un rollout jugé suspect par la première branche est confirmé par des déviations latentes, ce qui guide le choix des transitions à surveiller ensuite. Les auteurs testent aussi une purification par auto-distillation: une copie gelée de la politique infectée fournit les actions de référence sur entrées bénignes pour superviser un modèle étudiant, sur des paires d'observations bénignes et déclenchées, sans politique saine séparée. Face à dix baselines (détecteurs de backdoors classiques adaptés, méthodes de détection d'anomalies et d'échecs réutilisées), TMT revendique le meilleur résultat sur des tâches inédites, pour trois attaques. Le résumé ne donne aucun chiffre, et la comparaison est menée a posteriori par les auteurs eux-mêmes. Le point difficile est que chaque action malveillante peut être plausible isolément, et qu'une tâche nouvelle modifie légitimement observations et comportements. Un détecteur calibré sur les tâches d'entraînement risque donc de multiplier les fausses alertes en production. Viser la généralisation à des tâches inédites correspond au besoin réel des intégrateurs, qui déploient des VLA génériques sur des cellules changeantes. L'absence de politique de référence saine pour la purification est aussi un atout pratique, puisque ces modèles sont rarement disponibles en double. Il s'agit toutefois d'un résultat académique, sans validation sur robot réel annoncée, et le gain reste à confirmer hors des benchmarks choisis. Les VLA se diffusent via des poids ouverts et du fine-tuning tiers, ce qui expose la chaîne d'approvisionnement logicielle: un modèle téléchargé ou ajusté par un prestataire peut embarquer un déclencheur dormant. La sécurité des politiques robotiques reste bien moins outillée que celle des modèles de langage. TMT s'inscrit dans cette lacune, au moment où les VLA entrent dans des pilotes industriels. Les prochaines étapes à surveiller sont la publication du code via la page projet des auteurs, des tests sur matériel physique et une évaluation face à des attaques adaptatives conçues pour contourner la détection.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Entraînement hybride pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

Entraînement hybride pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié sur arXiv (identifiant 2510.00600, version 2) un framework nommé Hybrid Training (HyT), conçu pour les modèles Vision-Language-Action (VLA) utilisés en robotique de manipulation. Le problème central est le suivant : le raisonnement par chaîne de pensée (Chain-of-Thought, CoT), qui consiste à générer des "pensées" intermédiaires avant chaque action, améliore les performances des VLA mais allonge mécaniquement le temps d'inférence. Dans des tâches requérant de longues séquences d'actions successives, ce délai compromet l'utilisabilité réelle du système. HyT découple la phase d'apprentissage de la phase d'exécution : le modèle s'entraîne en intégrant les pensées intermédiaires, acquiert les gains de performance associés, puis peut les omettre entièrement lors du déploiement. Le framework supporte trois modes à l'inférence selon le contexte : prédiction directe d'actions, génération CoT complète, ou suivi d'instructions. Les auteurs ont validé l'approche sur plusieurs benchmarks simulés et sur des expériences en conditions réelles. Ce découplage entraînement/inférence répond à l'une des tensions fondamentales dans le déploiement industriel des VLA : les techniques qui améliorent la fiabilité dégradent souvent la réactivité. Pour un intégrateur ou un COO industriel, un système qui "réfléchit" trop longtemps avant d'agir est difficilement intégrable sur une ligne de production cadencée. HyT avance que les bénéfices du raisonnement explicite peuvent être distillés dans les poids du modèle et activés implicitement, sans générer de tokens supplémentaires au runtime. Si ce résultat se confirme à plus grande échelle, il simplifierait le compromis latence/performance qui freine aujourd'hui le déploiement de bras manipulateurs VLA en environnement non structuré. C'est également une réponse indirecte au "demo gap" fréquemment reproché à ces modèles : de bonnes performances en simulation ne garantissent pas une vitesse d'exécution acceptable sur le terrain. L'essor des VLA s'est accéléré depuis 2023 avec RT-2 (Google DeepMind), OpenVLA (UC Berkeley), Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), qui combinent vision, langage et prédiction d'actions dans un seul réseau. L'application du CoT à la robotique prolonge les travaux fondateurs sur les LLMs, mais se heurte aux contraintes temps-réel absentes du traitement de texte. HyT s'inscrit dans un courant de recherche orienté déployabilité, aux côtés de la distillation de politiques et des architectures à flux de tokens réduit. La publication est une preprint arXiv non peer-reviewed, et les résultats en conditions réelles restent à confirmer à plus grande échelle industrielle. Aucun acteur européen n'est impliqué dans ces travaux ; les laboratoires cités opèrent principalement depuis les États-Unis.

RechercheOpinion
1 source