Actualités robotique — page 16

7 308 articles au fil, du plus récent au plus ancien.

26

751Pandaily 

Simate présente le système d'IA physique Simate-beta et affirme dominer le benchmark RoboDojo

Simate, une startup d'IA embarquée fondée il y a environ trois mois, a publié Simate-beta, première version de ce qu'elle présente comme un « système rapide » physique généraliste. Selon un instantané du classement daté du 23 septembre, que l'entreprise a elle-même partagé, le modèle prend la première place du benchmark RoboDojo avec un score moyen de 33,95 et un taux de réussite de 27,96 %. RoboDojo évalue la manipulation robotique générale selon cinq axes : généralisation, mémoire, manipulation fine, exécution à long horizon et tâches ouvertes. Simate précise que le modèle de base soumis n'a pas été optimisé spécifiquement pour ce test, et que les résultats du classement sont distincts de ses démonstrations sur robot réel. Ce système rapide est conçu pour se placer sous un modèle de raisonnement plus lent. Quand ce dernier décompose une consigne comme « ranger la table », le système rapide perçoit une scène changeante et produit des actions en quelques millisecondes. L'entreprise revendique une perception physique 4D et une mémoire temporelle hiérarchique, censées permettre au robot de suivre ce qui vient de se passer sans être ralenti par de longs historiques. Les démonstrations couvrent l'adaptation à une tâche à partir d'exemples, la mémoire, des enchaînements comme la préparation du thé et la manipulation fine. L'architecture et la taille du modèle seront détaillées dans un rapport technique ultérieur. Le score le plus marquant est sans doute relatif : un taux de réussite inférieur à 28 % en tête d'un classement rappelle que la manipulation généraliste reste loin d'être résolue, et qu'un rang n'est pas un niveau de fiabilité exploitable en production. Le résultat reste auto-rapporté à partir d'un instantané fourni par l'entreprise, sans détail sur l'architecture, les paramètres ou les données, et il est impossible de le comparer à des modèles établis à ce stade. L'intérêt est ailleurs, dans la méthode. Simate parle d'« IA pour l'IA physique » : son cadre Sipai définit des frontières de modules, des interfaces et des étapes de validation assez nettes pour que des agents logiciels puissent les modifier, et prend déjà en charge les modèles du monde, les modèles monde-action, les VLA (vision-langage-action) et les VLM. Son moteur AutoResearch fusionne articles, notes internes, code, mélanges de données, journaux d'expériences et nouveaux résultats d'évaluation en un contexte de recherche mis à jour en continu. Les chercheurs humains fixent hypothèses, objectifs et contraintes, tandis que les agents décomposent, lancent et rapportent les expériences. L'infrastructure fait tourner des dizaines de pistes en parallèle, filtrées par des modèles du monde et de la simulation pour que seules les approches prometteuses atteignent les robots réels. Si cela fonctionne, le goulot d'étranglement de l'itération en robotique se déplacerait de la collecte de données sur robot vers la capacité de calcul et l'automatisation de la recherche. Côté contexte, Simate affirme que son équipe fondatrice a déjà mis en production de masse un modèle de conduite autonome de bout en bout, un parcours désormais courant chez les acteurs chinois de l'IA incarnée. Le site anglophone de la société cite Sinfra comme plateforme de développement, Sipai comme système de modèles et RoboScientist, un scientifique IA en préversion de recherche. Elle indique que des chercheurs du MIT, de Caltech, de l'université Tsinghua et de l'université de Pékin figurent parmi les testeurs internes de sa plateforme, sans que cela soit vérifiable. Le modèle arrive dans un champ déjà occupé par les architectures à double système, comme Helix de Figure ou GR00T de NVIDIA, et par des modèles généralistes comme Pi-0. La suite est annoncée : des résultats de généralisation zero-shot sur des tâches complexes d'ici la fin de l'année, puis des articles, des rapports techniques et une publication du code en open source par étapes. Aucun déploiement client, prix ni calendrier commercial n'a été communiqué. Il s'agit donc d'une annonce de modèle et de méthode, pas d'un produit livré.

IA physique⚡Actu

1 source

36

752Pandaily 

Sharpa dévoile le robot tactile D01, la main dextérique W02 et le gant haptique AE01 à l'IROS 2026

Sharpa, société spécialisée dans la manipulation dextre et fondée par trois cofondateurs de Hesai, a présenté trois produits le 28 septembre à l'IROS 2026 de Pittsburgh : D01, un robot intégré conçu pour la manipulation fine, W02, une main dextre compacte dotée d'un capteur tactile sur toute sa surface, et AE01, un gant exosquelette haptique destiné à la téléopération et à la collecte de données. D01 associe des mains Sharpa Wave, des bras à sept degrés de liberté (DOF) et une peau électronique répartie sur le corps. La presse chinoise le décrit comme un humanoïde généraliste. Le constructeur annonce un rapport charge utile/poids de bras d'environ 1:1, une vitesse d'effecteur supérieure à 10,5 m/s, une communication à 1 000 Hz, une répétabilité de 0,2 mm et des poignets sphériques à l'échelle humaine. La peau échantillonne à 100 Hz avec une résolution de 0,2 N. W02, qui succède à la W01, compte 21 DOF actifs pour moins de 750 g, soit environ 30 % de moins que la W01 selon Leiphone. Ses capteurs visuo-tactiles de bout de doigt couvrent 5 mN à 30 N avec 1 mm de résolution spatiale. La peau des doigts et de la paume couvre 0,1 à 20 N avec 5 mm de résolution. La main saisit des objets fins comme des baguettes ou des cordons, et son indice de protection est IP54. AE01 utilise 22 encodeurs pour 22 DOF, transmet le mouvement de l'opérateur au robot en temps réel et restitue 256 niveaux de retour vibrotactile par bout de doigt, avec une répétabilité de position inférieure à 1 mm et sans calibrage utilisateur. L'intérêt tient à la cohérence de l'ensemble : Sharpa couvre le corps, la main et l'outil de collecte de démonstrations humaines, or c'est cette dernière brique qui limite aujourd'hui l'entraînement des modèles VLA (vision-langage-action) pour la manipulation fine. Un gant qui résiste aux interférences électromagnétiques, lumineuses, d'humidité et de température vise à sortir la collecte de données du laboratoire, ce qui intéresse directement les intégrateurs qui veulent capturer des gestes en conditions réelles. La peau tactile sur tout le corps répond à une faiblesse connue des humanoïdes, aveugles au contact hors de leurs mains. Il faut toutefois lire ces chiffres avec prudence : il s'agit de spécifications constructeur, sans prix, sans calendrier de livraison ni tests indépendants, et les démonstrations du stand (attrape d'un bâton en chute, réaction aux touchers, préparation de boissons en téléopération via AE01, imitation de la main pour rattraper des jouets) ne disent rien de la fiabilité en cycles longs. Aucune autonomie de D01 n'a été démontrée à cette occasion, et le statut commercial des trois produits reste à confirmer. Sharpa s'appuie sur l'expérience industrielle de ses fondateurs issus de Hesai, spécialiste des lidars. Elle avait déjà présenté son robot North, qui jouait au tennis de table de manière autonome au CES 2026, et a fait tourner une routine de préparation de desserts en 55 étapes dans un magasin de Shanghai, l'un des rares indices d'un usage hors salon. Elle avance sur un terrain de la main dextre déjà occupé par MirrorMe avec la VIVA et par Unitree avec la Dex5-S, tandis que les humanoïdes généralistes de Tesla (Optimus) et de Figure misent aussi sur la dextérité. La suite dépendra de la publication de prix, de volumes et de pilotes clients. Aucun acteur français ou européen n'est cité dans cette annonce.

Humanoïdes⚡Actu

1 source

45

753arXiv cs.RO 

FineART : jeu de données de trajectoires robotiques annotées finement et modèle vision-langage-action (VLA) pour la manipulation bimanuelle

FineART est un jeu de données de manipulation bimanuelle annotée finement, présenté sur arXiv (2609.36416v1) avec un modèle associé, FineART-VLA. Le corpus compte 40 543 épisodes, soit 1 718 heures de démonstrations, couvrant 151 tâches et 533 913 sous-tâches annotées individuellement. FineART-VLA est une politique vision-langage-action (VLA) qui prédit elle-même sa prochaine sous-tâche avant d'agir. Selon les auteurs, ce pré-entraînement intermédiaire (mid-training) fait passer le taux de réussite d'une tâche de désambiguïsation spatiale de 32,0 % à 100,0 %. Avec un guidage humain sous-tâche par sous-tâche, une tâche longue jamais vue passe de 16,0 % à 76,0 %. Après un fine-tuning minimal sur un nouveau robot, la politique demande dix fois moins de données que des références sans mid-training et généralise en zéro-shot à des tâches inédites sur ce matériel. Le jeu de données, les poids du modèle et le code d'entraînement sont publiés en open source. L'enjeu tient à la granularité des annotations plus qu'au volume. Les grands corpus mono-bras atteignent des centaines de milliers de trajectoires, mais n'associent en général qu'une instruction de haut niveau à chaque épisode. Les rares efforts bimanuels qui annotent des sous-tâches n'en couvrent qu'une fraction des heures. Or les tâches d'assemblage, de logistique ou de préparation, qui intéressent intégrateurs et industriels, sont longues, à plusieurs étapes et exigent la coordination de deux bras. Si les résultats se confirment, l'apprentissage d'un raisonnement explicite sur les sous-tâches améliore la robustesse sur les longs horizons, point faible connu des VLA. Le gain d'un facteur dix en efficacité de données lors du transfert vers un nouveau robot compte aussi pour un intégrateur : il réduit le coût de collecte de démonstrations par site ou par plateforme. Il faut toutefois rester prudent. Les chiffres viennent d'un préprint non évalué par des pairs, les 100 % portent sur une seule tâche, et les tests d'inédit reposent sur des protocoles propres aux auteurs. La part du succès due au guidage humain, sur la tâche à 76 %, est significative. Ce travail s'inscrit dans la lignée des grands jeux de données de démonstrations et des politiques généralistes de type Pi-0 ou GR00T, qui ont surtout misé sur l'échelle et les instructions globales. La tendance actuelle va vers des architectures hiérarchiques, comme Helix chez Figure, où un niveau planifie et un autre exécute. FineART propose ici un équivalent ouvert, entraînable et reproductible, ce qui le distingue des systèmes propriétaires. La suite dépendra de la reprise du jeu de données par d'autres laboratoires, de validations sur davantage de plateformes et de tâches industrielles réelles, et d'une évaluation indépendante des résultats en zéro-shot.

Recherche⚡Actu

1 source

45

754arXiv cs.RO 

Rho : une base pour des modèles VLA facilement adaptables

Rho, une famille de modèles VLA (vision-langage-action) à poids ouverts pour la manipulation bimanuelle, fait l'objet d'un rapport technique publié sur arXiv. Elle est conçue pour s'adapter à de nouvelles tâches avec peu de données, sur trois plateformes à deux bras représentatives des laboratoires et de l'industrie : YAM Box, UR AI Trainer et FR3 Duo. Les auteurs ont testé l'architecture de l'« action expert » et la recette d'entraînement par ablations, en simulation contrôlée puis sur robots physiques. Ils rapportent que les variantes Rho pour chaque plateforme égalent ou dépassent les VLA à poids ouverts existants, avec les meilleures performances globales sur les tâches, plateformes et références évaluées dans le rapport. Le modèle de base et les checkpoints spécifiques à chaque plateforme sont publiés. Le rapport intègre aussi un mécanisme d'adaptation en ligne : une politique latente interne apprend à partir de corrections humaines à choisir des entrées de bruit, conditionnées par l'observation, pour l'action expert figé, basé sur le flow matching. Avec 15 épisodes corrigés seulement, ce module léger permet au modèle de gérer des situations situées à la périphérie de sa distribution de fine-tuning hors ligne. L'apport principal tient à la méthode, davantage qu'à un score. Le « midtraining » par plateforme, une étape intermédiaire entre le préentraînement général et le fine-tuning de la tâche, améliore l'adaptation en aval. Cela va dans le sens d'une hypothèse répandue dans le secteur : le goulot d'étranglement des VLA est le coût de déploiement sur un nouveau robot ou une nouvelle tâche, pas la capacité brute du modèle. Pour un intégrateur, la promesse est concrète : le nombre de démonstrations à collecter pèse directement sur le coût d'un projet. Le choix de plateformes commerciales déjà présentes en laboratoire et en usine (Universal Robots, Franka) rend l'approche plus transférable qu'un modèle lié à un humanoïde propriétaire. Des réserves s'imposent toutefois. Les comparaisons sont faites par les auteurs eux-mêmes, sur un ensemble de tâches qu'ils ont choisi, et le rapport ne donne aucun chiffre de taux de succès dans son résumé. Quant à l'adaptation en ligne, la démonstration porte sur des situations « en bordure » de distribution, ce qui reste loin d'une robustesse générale en production. Rho s'inscrit dans la course aux modèles fondation robotiques à poids ouverts, face à des références comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, tandis que des acteurs fermés comme Figure (Helix) misent sur des modèles propriétaires liés à leur matériel. Le rapport se positionne comme un point d'appui pour la recherche et pour des usages industriels, sans annoncer de pilote client, de calendrier ni de prix. La suite dépendra de la reproduction indépendante des résultats par d'autres équipes, et de la capacité des checkpoints publiés à tenir sur des tâches d'atelier réelles. Le rapport n'évoque aucun acteur européen dans son résumé.

IA physique⚡Actu

1 source

44

755arXiv cs.RO 

ComManip : surajuster les politiques de manipulation aux zones confortables

Des chercheurs proposent ComManip, une méthode d'apprentissage pour la manipulation robotique qui prend le contre-pied de la stratégie dominante de collecte de données. Au lieu de multiplier les positions d'objets, les points de vue et les configurations du robot pendant les démonstrations, l'approche concentre l'apprentissage sur une « région de manipulation confortable », c'est-à-dire une zone compacte, stable visuellement et cinématiquement. À l'inférence, le robot mobile déplace sa base jusqu'à ce que le centre de la cible détectée entre dans la plage d'image observée dans les démonstrations, puis exécute la même politique de manipulation. Les auteurs ont testé la méthode sur plusieurs tâches et budgets de démonstrations, avec cinq familles de politiques : ACT, π0.5, RDT, OpenVLA-OFT et SmolVLA. Dans de grands espaces de travail et avec peu de démonstrations, le taux de réussite gagne environ 20 points de pourcentage ou plus selon les architectures. Il s'agit de résultats de laboratoire publiés sur arXiv (v1), sans déploiement industriel annoncé. Ce travail remet en cause une hypothèse répandue : pour généraliser, il faudrait de la diversité visuelle à tout prix. Sous budget de démonstrations limité, cette diversité force la politique à modéliser des observations très variées avec trop peu de supervision par situation locale, donc à apprendre de moins bonnes correspondances observation-action. Les auteurs constatent que des politiques entraînées dans une zone stable réussissent mieux que celles entraînées sur des conditions variées. Pour les intégrateurs et les responsables de sites, l'enseignement est pratique : une partie de la généralisation peut être déléguée à la navigation de la base mobile plutôt qu'à la politique elle-même. Cela réduit le coût de collecte de données par tâche, qui reste le principal frein au passage à l'échelle des politiques apprises. Le gain est mesuré sur des politiques très différentes, ce qui suggère un effet lié à la stratégie de données plutôt qu'à un modèle particulier. Il faut toutefois rester prudent : le résumé ne précise ni les tâches, ni le nombre de démonstrations, ni les valeurs absolues de succès, et rien n'indique de validation en environnement non contrôlé. La méthode s'inscrit dans la course aux modèles VLA (vision-langage-action) généralistes, où π0.5, OpenVLA-OFT, RDT et SmolVLA sont souvent entraînés sur des jeux de données larges et hétérogènes, tandis qu'ACT reste une référence économe en données. ComManip adopte la logique inverse : spécialiser plutôt que généraliser, puis compenser par un recentrage de la base mobile. Ses limites probables sont la dépendance à un détecteur de cible fiable, la nécessité de pouvoir repositionner la base sans obstacle, et le temps ajouté par ces déplacements, que le résumé ne chiffre pas. La suite logique serait des tests sur robots mobiles manipulateurs réels, avec des scènes encombrées et des cibles multiples, et une comparaison à budget de données égal avec les approches de diversité à grande échelle.

Recherche❖Paper

1 source

44

756arXiv cs.RO 

StructRL : apprentissage par renforcement structuré en ligne pour les tâches vision-langage-action à long horizon

Des chercheurs d'Amazon proposent StructRL, un cadre d'apprentissage par renforcement (RL) en ligne destiné à améliorer les modèles vision-langage-action (VLA) sur des tâches longues, c'est-à-dire celles qui exigent plusieurs manipulations dépendantes à partir d'une seule consigne. La méthode découpe chaque tâche en sous-tâches vérifiables. Elle n'accorde une récompense intermédiaire qu'une fois les sous-tâches prérequises accomplies, puis module cette récompense selon le rythme d'achèvement. Les tests portent sur deux bancs d'essai, RoboCasa365 et LIBERO-Long, avec deux modèles de base, GR00T-N1.5 de NVIDIA et pi 0.5 de Physical Intelligence. Selon les auteurs, StructRL dépasse de façon constante les méthodes de RL en ligne auxquelles il est comparé. Le résumé ne donne pas de taux de réussite chiffrés, et le code est publié sur le dépôt GitHub d'Amazon Science. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Ce résultat vise un point faible connu des VLA. Ces modèles fonctionnent correctement sur des manipulations courtes, mais leurs performances se dégradent quand les étapes s'enchaînent, car une erreur précoce compromet toute la suite. La plupart des approches de RL en ligne ne récompensent qu'à la réussite complète de la tâche. Ce signal est très rare et ne distingue pas un échec immédiat d'une séquence presque réussie. En structurant la supervision autour de sous-tâches dont l'accomplissement se vérifie, StructRL donne un gradient exploitable sans recourir à un modèle de récompense appris, plus fragile. Pour un intégrateur, l'enjeu est concret : les tâches utiles en cuisine, en logistique ou en assemblage sont presque toujours longues. Cela suggère aussi que le post-entraînement par RL, et pas seulement l'imitation, pourrait devenir l'étape qui fait passer un VLA de la démonstration à la fiabilité. Il faut toutefois rester prudent. Les évaluations se font en simulation, et le cadre suppose qu'on puisse définir et détecter automatiquement chaque sous-tâche. C'est simple dans un simulateur, beaucoup moins dans un atelier réel, où il faut des capteurs ou des vérificateurs fiables. Le passage au monde physique reste donc à démontrer. Le travail s'inscrit dans une tendance déjà visible : affiner des modèles généralistes comme GR00T ou la famille pi par RL, face à des approches concurrentes fondées sur des modèles de récompense appris ou sur des démonstrations supplémentaires. La suite logique sera de tester la méthode sur robot réel et sur d'autres architectures de VLA.

Recherche❖Paper

1 source

43

757arXiv cs.RO 

Curricula de sécurité prédictifs pour une locomotion à pattes robuste

Des chercheurs proposent les Predictive Safety Curricula (PSC), un cadre d'entraînement pour les politiques de locomotion de robots à pattes, décrit dans un preprint arXiv (2609.37070v1) qui n'a pas encore été évalué par des pairs. Le système entraîne un critique de sécurité distributionnel à partir des rollouts de la politique. Ce critique prédit le coût de sécurité futur. Ces prédictions servent à prioriser deux éléments : les contextes de terrain et les événements aléatoires déjà rencontrés pendant l'entraînement. La récompense de la tâche et la fonction de perte d'optimisation de la politique restent inchangées, et seule la distribution des données d'entraînement est modifiée. Les auteurs comparent PSC à la progression standard de terrain, au replay basé sur l'avantage et aux curricula fondés sur le learning progress. Les tests couvrent de la locomotion en terrain accidenté contrôlé et deux piles de locomotion de production. Sur le robot ANYmal-D, PSC réduit de 63 % l'incidence des collisions de tibia par rapport au curriculum learning-progress, sur trois seeds d'entraînement appariées, avec une baisse dans chacune. Sur une plateforme de montée d'escaliers de production, non nommée dans le résumé, les auteurs n'observent aucune collision de tibia lors des essais matériels évalués. Le résultat s'attaque à un écart bien connu des intégrateurs : une politique apprise peut afficher de bonnes performances moyennes tout en gardant des défaillances rares mais coûteuses, comme un choc ou une chute. Les curricula usuels ajustent la difficulté de la tâche, sans cibler la distribution des expériences critiques pour la sécurité. Un allocateur d'expérience qui n'exige ni nouvelle récompense ni modification de l'algorithme d'optimisation est facile à intégrer dans une chaîne d'entraînement existante. C'est un argument pour les équipes qui visent la fiabilité en exploitation plutôt que la démonstration. Le transfert vers deux piles de production distinctes suggère que le principe n'est pas lié à un seul contrôleur. Les gains sont les plus marqués sur terrain difficile et avec des observations dégradées, ce qui correspond aux conditions de chantier ou d'inspection industrielle. Il faut toutefois relativiser. Le résumé ne donne ni taux absolus de collision, ni nombre d'essais matériels, ni intervalles de confiance. Trois seeds et des essais matériels en nombre non précisé donnent une puissance statistique limitée. La mention « aucune collision observée » sur la plateforme d'escaliers ne prouve pas l'absence de risque. Le travail s'inscrit dans la lignée de l'apprentissage par renforcement sim-to-real sur ANYmal, du ccadre de l'apprentissage sûr par critique distributionnel et des curricula automatiques. Il reste à voir si les résultats se reproduisent sur d'autres morphologies, dont les humanoïdes, et si le coût de calcul du critique reste raisonnable à grande échelle.

Recherche❖Paper

1 source

43

758arXiv cs.RO 

CoRe-VLA : préserver la coordination entre vues dans les modèles VLA lors de changements de caméra

Des chercheurs proposent CoRe-VLA (arXiv 2609.37150), un cadre logiciel « plug-and-play » qui vise à corriger l'une des fragilités les mieux documentées des modèles vision-langage-action (VLA) : la chute de performance quand la caméra externe change de position. Le système reconstruit un nuage de points de la scène, puis re-rend l'observation depuis le point de vue utilisé à l'entraînement du VLA. Deux briques complètent le dispositif. Render-to-Camera (R2C) Restoration réduit les dégradations visuelles introduites par le rendu. Execution-Trajectory-Conditioned Alignment (ETCA) limite le temps d'inactivité du robot et les conflits de mouvement pendant l'exécution asynchrone. Les tests portent sur 5 tâches sur robot réel, ainsi que sur les benchmarks LIBERO-100 et LIBERO-Plus. Le résultat le plus cité : le taux de réussite de PI0.5 passe de 13,3 % à 83,3 % pour un décalage de caméra de 1,6 m en environnement réel. Les auteurs annoncent des gains substantiels sur plusieurs VLA courants. L'intérêt tient à la méthode autant qu'au chiffre. Les approches existantes exigent de collecter des observations appariées de la même scène sous plusieurs angles, puis de fine-tuner le VLA ou d'entraîner un module d'adaptation visuelle. CoRe-VLA n'exige ni nouvelles données multi-vues ni ré-entraînement, et peut se greffer sur des modèles déjà en place. Pour un intégrateur, c'est un point sensible : dans une cellule réelle, une caméra se déplace après une maintenance, un choc ou une reconfiguration de poste. La fragilité aux changements de caméra est donc un frein direct au déploiement fiable. L'analyse des auteurs est également instructive. Ils décrivent une « rupture de coordination inter-vues » : privé de vue globale exploitable, le robot s'appuie trop sur la caméra poignet et exécute les sous-tâches dans le mauvais ordre. Cela suggère que la robustesse des VLA dépend moins de la perception brute que de l'équilibre entre vues. Il faut toutefois rester prudent : il s'agit d'un preprint, sans relecture par les pairs, sur seulement 5 tâches réelles, et le chiffre phare correspond à un scénario précis. Ce travail s'inscrit dans le constat, répété par plusieurs études, que les VLA, devenus le paradigme dominant en intelligence incarnée, sont sensibles aux perturbations de point de vue. LIBERO-Plus a justement été conçu pour mesurer ce type de robustesse. Les solutions concurrentes reposent sur des données supplémentaires ou du fine-tuning, avec les coûts que cela implique. Le cadre reste à éprouver : la reconstruction de nuage de points ajoute une chaîne de calcul, et sa latence, son comportement en scène dynamique ou très encombrée et sa portabilité vers d'autres VLA devront être vérifiés. Le texte ne mentionne ni code publié, ni pilote industriel, ni calendrier de déploiement.

Recherche❖Paper

1 source

43

759arXiv cs.RO 

EVO-WAM : faire évoluer les modèles d'action du monde grâce à la vérification vidéo-action

Des chercheurs proposent EVO-WAM, un cadre d'adaptation de « world action models » (WAM) à des tâches inédites, sans nouvelle démonstration d'expert et sans exécuter les actions candidates dans un environnement externe. Un WAM exploite des priors vidéo à grande échelle pour prédire conjointement les vidéos futures et les actions. Le système repose sur trois briques. D'abord, l'entraînement du WAM est enrichi d'une prédiction d'état et d'un contexte multi-images ancré, ce qui permet des déroulés autorégressifs complets sans retour d'exécution. Ensuite, un modèle vision-langage sélectionne les préfixes de trajectoires où la tâche est accomplie, puis un modèle de dynamique inverse vérifie la cohérence entre vidéo et actions. Enfin, le WAM est réentraîné de façon itérative sur ces préfixes vérifiés, et de nouveaux déroulés sont générés avec le modèle mis à jour. Sur sept tâches inédites de RoboTwin 2.0, le taux de succès moyen de Cosmos3 passe de 26,9 % à 68,0 % (environ 2,5 fois), et celui de DreamZero de 28,5 % à 46,4 % (environ 1,6 fois). Sur trois tâches composites à long horizon en conditions réelles, Cosmos3 passe de 20,0 % à 76,7 %, soit un gain de 56,7 points. L'enjeu porte sur le goulot d'étranglement des démonstrations. Collecter des données d'experts par téléopération reste la principale dépense pour déployer une politique sur une nouvelle tâche. Ici, le modèle génère lui-même sa supervision, filtrée par deux vérificateurs indépendants. Le filtre par dynamique inverse cible un mode d'échec connu des WAM : une vidéo qui semble réussie peut être associée à des actions incompatibles avec elle, ce qui produit un échec à l'exécution. Le résultat suggère que l'auto-amélioration sans interaction avec l'environnement devient praticable pour ces modèles, ce qui réduirait le coût d'adaptation par tâche pour les intégrateurs. Il faut toutefois nuancer. Les gains simulés sont mesurés sur sept tâches. Le test réel ne compte que trois tâches, et le papier ne détaille pas ici le nombre d'essais, ce qui rend l'écart de 56,7 points sensible au bruit statistique. Le point de départ de 20 % en réel est aussi bas. Le papier est un preprint arXiv, non évalué par les pairs, sans déploiement industriel. Ce travail s'inscrit dans la montée des modèles monde et des politiques vision-langage-action (VLA). Ces derniers prédisent des actions directement, tandis que les WAM ajoutent une prédiction vidéo issue de modèles génératifs pré-entraînés. Cosmos3 et DreamZero servent ici de bases, et la méthode s'applique donc à plusieurs architectures. Les approches concurrentes d'amélioration sans démonstration reposent surtout sur l'apprentissage par renforcement en environnement réel ou simulé, plus coûteux en temps robot ou en fidélité de simulation. Le benchmark RoboTwin 2.0, en simulation bimanuelle, sert de référence commune. Les prochaines étapes probables sont des tests sur davantage de tâches réelles, des embodiments variés et des vérificateurs plus fiables, car la qualité du modèle vision-langage et du modèle de dynamique inverse borne ce que la boucle peut apprendre. Une page projet est disponible, mais aucun calendrier de produit n'est annoncé.

Recherche❖Paper

1 source

43

760arXiv cs.RO 

Ne jetez pas la queue : recycler les actions pour accélérer la politique

Des chercheurs proposent Action Upcycling, un algorithme sans entraînement qui réutilise les actions qu'une politique robotique de type « action chunking » jette d'ordinaire avant de replanifier. Les politiques modernes prédisent un bloc d'actions futures à partir d'une seule observation, n'en exécutent que le début (le préfixe) et écartent le reste. La longueur de ce préfixe, l'horizon d'exécution, oblige à arbitrer entre réactivité et efficacité. Un horizon court garde le robot réactif mais impose des appels fréquents à la politique. Selon les auteurs, Action Upcycling réduit ces appels d'un facteur 1,2 à 1,7 sans perte de taux de réussite. Les tests couvrent des tâches de manipulation simulées et réelles, plusieurs modèles Vision-Language-Action (VLA) et un World Action Model (WAM). Le travail est publié sur arXiv (2609.34911v2). L'abrégé ne précise ni les noms des modèles testés, ni les robots, ni les tâches. Le principe repose sur une observation : les actions écartées restent proches de leurs versions replanifiées tant que la vitesse de l'action évolue de façon lisse. L'algorithme allonge donc l'horizon d'exécution jusqu'au point où la vitesse commence à fluctuer. Il n'accède pas aux mécanismes internes du modèle et ne tire aucun échantillon supplémentaire. Les méthodes concurrentes de sélection adaptative de l'horizon en ont besoin : soit elles lisent des signaux internes, à choisir pour chaque architecture, soit elles multiplient les échantillons et donc le coût de calcul. Pour un intégrateur, l'intérêt est pratique. Le gain s'applique à toute politique à blocs d'actions, pour un surcoût négligeable, et se cumule avec d'autres accélérations comme l'échantillonnage en peu d'étapes ou le décodage d'actions en flux continu. Moins d'appels à un grand modèle signifie moins de latence, moins de charge GPU embarquée ou distante, et des mouvements potentiellement plus fluides sur le robot. Il faut lire ces résultats avec prudence. Le gain est mesuré en nombre d'appels à la politique, pas en temps de cycle ni en débit de production. L'absence de perte de succès est annoncée sur des benchmarks dont l'abrégé ne donne pas le détail. Le critère de lissage de la vitesse suppose aussi que les fluctuations signalent un besoin de replanification. Cela pourrait ne pas tenir dans des scènes très dynamiques ou avec des contacts brusques. Ce travail s'inscrit dans la course à l'inférence rapide pour les VLA de la famille Pi-0 ou GR00T, où l'action chunking est devenu standard. La latence de ces modèles pèse sur les déploiements réels, et plusieurs équipes explorent la distillation, le flow matching en peu d'étapes ou le streaming d'actions. Action Upcycling ouvre un axe complémentaire, celui de l'horizon d'exécution. La validation sur robots réels et sur des politiques industrielles, ainsi que l'éventuelle publication du code, diront si la méthode dépasse le stade académique.

Recherche❖Paper

1 source

43

761arXiv cs.RO 

RoboCompiler : compilation native par graphes des robots à chaînes fermées pour une modélisation, un contrôle et une simulation cohérents

RoboCompiler, un framework publié sur arXiv (2609.35717, version 2), propose de compiler un graphe canonique de mécanisme en une interface mécanique partagée pour les robots à chaînes fermées. Le système part des corps, articulations, repères, inerties et ports d'actionneurs, puis construit les chemins de fermeture et les jacobiennes résiduelles analytiques. Il assemble ensuite les configurations admissibles par continuation et correction avec contrôle du rang. Un « relèvement tangent » convertit des vitesses indépendantes en mouvement du robot complet et des tâches. Des cartes appariées aux ports d'actionneurs préservent le travail virtuel. Une correction de courbure des contraintes étend la réduction aux accélérations et à la dynamique projetée de corps rigides, y compris les modes à base flottante et à appui. L'évaluation couvre une excavatrice industrielle, le Unitree Go2, le Franka Panda, Kangaroo et une plateforme de Stewart à six chaînes UPS. Sur Kangaroo, la compilation réduit de 96,7 % le temps d'évaluation des résidus et jacobiennes, et de 66,8 % le temps mural d'un rollout en boucle fermée, dynamique et commande étant maintenues identiques. L'enjeu est très concret pour quiconque intègre des robots à mécanismes parallèles ou à actionnement couplé. Ces architectures sont fréquentes en robotique humanoïde et à pattes (chevilles à bielles, genoux à quatre barres, actionneurs linéaires couplés), mais leurs modèles de configuration, de force et de dynamique sont souvent reconstruits séparément pour la commande et pour la simulation. Les écarts de fermeture ou d'actionnement qui en résultent alimentent le fossé sim-to-real et coûtent du temps d'ingénierie. Un modèle unique, dont le contrôleur et le simulateur héritent, réduit cette source d'incohérence. Les gains de 96,7 % et 66,8 % sont mesurés sur un seul robot, dans un cadre où le reste du pipeline est figé. Ils ne disent donc rien de la performance sur d'autres mécanismes ni sur matériel réel. Ce travail s'inscrit dans un problème ancien. Les logiciels de dynamique comme Pinocchio, utilisé ici comme référence indépendante, traitent surtout des arbres cinématiques, et les boucles fermées exigent des contraintes ajoutées à la main. Les validations combinent une dynamique contrainte haute précision, Pinocchio, MuJoCo et Isaac Sim/PhysX, ce qui montre une réutilisation du modèle sous contact natif dans plusieurs moteurs. Les résultats sont présentés en simulation et en calcul, sans déploiement industriel annoncé. Les prochaines étapes probables sont une diffusion en code ouvert, des essais sur robot physique et une intégration aux chaînes de commande des humanoïdes, où la concurrence se joue aussi sur la robustesse des modèles.

Recherche❖Paper

1 source

43

762arXiv cs.RO 

Plus rapide et meilleur ? Des bugs de benchmark et des limites de conception faussent l'évaluation de l'accélération des modèles vision-langage-action (VLA)

Une équipe de chercheurs a passé au crible sept benchmarks de manipulation simulée, dont RoboTwin, LIBERO-Plus et VLABench, utilisés pour évaluer les politiques vision-langage-action (VLA) et les méthodes qui réduisent leur latence d'inférence. Point de départ : plusieurs méthodes d'accélération « training-free », qui approximent le calcul de la politique de référence, affichaient des taux de succès supérieurs à ceux de la baseline elle-même. Les auteurs ont tracé les trajectoires d'objets face aux zones d'acceptation des checkers pour localiser les causes, et recensent 22 bugs, classés en trois familles (cohérence de la tâche, initialisation, reproductibilité), ainsi que 4 limitations de conception. Ils ont corrigé des checkers de succès trop permissifs, rectifié des masses d'objets irréalistes et ajouté un score sensible au mouvement, qui favorise les actions plus fluides. Les corrections peuvent inverser les classements : sur une tâche, la baseline passe de la dernière à la première place. Sur une autre, elle passe de 21 points de pourcentage derrière une méthode accélérée à 5 points devant. Les correctifs et les réglages révisés sont publiés. Ce travail touche à un point sensible pour quiconque prépare un déploiement de VLA sur robot réel. La latence d'inférence est un verrou majeur, et les méthodes d'accélération (élagage de tokens, mise en cache, approximations) sont souvent validées uniquement en simulation. Or un gain de vitesse accompagné d'un meilleur taux de succès est physiquement suspect : approximer le calcul devrait au mieux préserver la performance. Ici, ce « gain » provient d'artefacts, comme des critères de réussite trop lâches ou des objets trop légers, qui récompensent des mouvements brusques. Pour les intégrateurs et les décideurs, la leçon est claire : un taux de succès en simulation ne suffit pas à valider une optimisation. Il faut auditer le benchmark, examiner les trajectoires et, in fine, valider sur matériel. Ce constat alimente le débat sur l'écart entre résultats de démonstration et performance réelle, et sur la fiabilité des classements publiés. Ces benchmarks sont devenus la monnaie commune de la recherche sur les VLA, de sorte que leurs défauts se propagent aux comparaisons entre méthodes et aux revendications des laboratoires et des éditeurs de modèles. L'article n'identifie pas de modèle ou d'entreprise particulière comme fautif. Il s'agit d'une étude académique, publiée sur arXiv en préprint, sans relecture par les pairs à ce stade. Il ne s'agit ni d'un produit ni d'un déploiement, mais d'un outil de méthode. La suite dépendra de l'adoption des correctifs par les mainteneurs des benchmarks et par la communauté. On peut aussi s'attendre à ce que des évaluations en conditions réelles, plus coûteuses mais moins sujettes à ces biais, deviennent un complément attendu des résultats en simulation.

Recherche❖Paper

1 source

42

763arXiv cs.RO 

Évitement réactif d'obstacles sans apprentissage préalable pour les politiques génératives de robots

Des chercheurs proposent NUDGE (Nudge Update via Differentiable GEometry), une méthode d'évitement d'obstacles qui ne demande aucun réentraînement. Elle s'ajoute à toute politique robotique générative fondée sur la diffusion ou le flow matching, y compris les diffusion policies et les modèles vision-langage-action (VLA). À l'inférence, elle injecte dans la politique les gradients d'un champ de distance signée (SDF), une fonction qui donne la distance de chaque point à l'obstacle le plus proche, pour écarter la trajectoire générée des obstacles. Elle accepte les paramétrisations d'action usuelles (poses articulaires absolues ou relatives, poses de l'effecteur) grâce à un décodeur de trajectoire articulaire différentiable. Les auteurs affirment que la distribution de tâche de la politique est préservée et que le calcul tourne en temps réel. Il s'agit d'un preprint arXiv (version 2), et le résumé ne donne ni taux de succès, ni temps de calcul, ni liste de robots testés. Le point important est que l'évitement d'obstacles n'exige plus de redémonstrations ni de fine-tuning. Les politiques imitées sont bonnes sur la tâche mais mal armées face à un objet imprévu, surtout dans une cellule partagée avec des opérateurs. Si le procédé tient hors laboratoire, un intégrateur pourrait ajouter une couche de sécurité géométrique à une politique existante sans toucher à ses poids. Reste à vérifier la robustesse face aux obstacles dynamiques, la qualité du SDF fourni par la perception, et le compromis entre évitement et réussite de la tâche. Cette approche prolonge les techniques de guidage par gradient issues des modèles de diffusion, appliquées à un domaine où les VLA à flow matching, comme Pi-0, se multiplient sans garantie de collision. Elle concurrence les filtres de sécurité et les planificateurs de mouvement classiques, plus prévisibles mais moins intégrés à la politique. Aucune démonstration industrielle ni calendrier n'est annoncé.

Recherche❖Paper

1 source

42

764arXiv cs.RO 

Politiques de flux réactives en temps réel par alignement asynchrone des distributions

Des chercheurs publient sur arXiv (préprint 2609.36540) une méthode pour rendre réactives les politiques robotiques généralistes de type vision-langage-action (VLA) exécutées en mode asynchrone. Cette exécution consiste à prédire le prochain segment d'actions (action chunk) pendant que le robot termine le précédent, ce qui supprime les pauses dues à la latence d'inférence. Les auteurs montrent que, pour des démonstrations non markoviennes, cette approche ne reproduit pas la distribution d'actions du VLA d'origine, ce qui limite la réactivité de la politique. Leur correctif repose sur deux mécanismes. Le premier, Recursive Flow-Field Distillation, entraîne la politique asynchrone à partir du champ de flux de génération d'actions du VLA. Le second, Propose-Resolve, prépare plusieurs séquences d'actions en avance, puis choisit entre elles avec la dernière observation, grâce à une approximation légère de leur vraisemblance sous la distribution du VLA. Sur LIBERO, la méthode égale le taux de succès du VLA original. Sur RoboMimic, elle en conserve environ 80 %, soit près de 30 points de pourcentage de plus que les méthodes asynchrones existantes. L'enjeu est très concret pour quiconque déploie des VLA sur du matériel réel. Ces modèles sont lourds, et l'asynchronie est aujourd'hui le moyen courant de tenir une boucle de contrôle fluide. Ce travail indique qu'elle a un coût caché : la politique exécutée n'est plus celle qui a été entraînée, et elle perd la capacité de couvrir toute la palette de comportements du modèle. Un gain de latence peut donc masquer une dégradation de la réactivité, que les benchmarks classiques mesurent mal. Pour un intégrateur, cela plaide pour évaluer les politiques dans leur configuration d'exécution réelle et pas seulement en mode synchrone. Le contexte est celui des VLA à génération par flux, dont Pi-0 est l'exemple le mieux connu. Ils produisent des segments d'actions coûteux à calculer, et plusieurs travaux ont cherché à masquer cette latence par des exécutions asynchrones ou par un lissage entre segments. Cette étude s'en distingue en caractérisant théoriquement la distribution apprise, mais les résultats présentés ici restent limités à deux benchmarks de simulation. Le résumé ne mentionne ni validation sur robot physique, ni mesure de temps de cycle, ni expérience sur des tâches industrielles. Il s'agit d'un préprint sans relecture par les pairs. La suite logique sera de tester la méthode sur des VLA plus grands et sur des tâches dynamiques réelles, où la réactivité compte le plus.

Recherche❖Paper

1 source

42

765arXiv cs.RO 

Spotter : le modèle incarné mène, le VLM réfléchit pour lui

Des chercheurs proposent Spotter, un cadre logiciel qui donne à un modèle incarné (une politique VLA pilotant un robot) la capacité de corriger ses propres échecs grâce à un modèle vision-langage (VLM) qui tourne en parallèle. Les auteurs ont d'abord testé si les modèles actuels savent réparer une erreur connue. Arrêtés au moment d'un échec et autorisés à réessayer, ils y parviennent rarement, que ce soit par leur aléa interne ou à partir d'une description textuelle de l'erreur. La sélection « best-of-N » ne permet pas non plus d'identifier la bonne tentative après un échec. Avec GPT comme VLM, Spotter améliore Cosmos Policy de 5,6 points et π0.5 de 7,5 points sur le benchmark RoboCasa. Sur la configuration Hard de RoboTwin 2.0, π0.5 passe de 47,2 % à 57,0 %. Sur un robot réel, le taux de réussite grimpe de 53 % à 83 %. Le système a aussi été testé avec Qwen, avec des gains similaires selon les auteurs. Le code est publié sur GitHub. L'intérêt tient à l'architecture. Les approches existantes confient au VLM la planification de chaque étape, le modèle incarné n'étant qu'un outil appelé à la demande. Le VLM se retrouve alors sur le chemin critique, ce qui ajoute de la latence à chaque action. Spotter inverse les rôles : la politique motrice s'exécute en continu, un filtre local léger surveille le déroulement, et le VLM n'intervient que lorsqu'une erreur est détectée. Il l'analyse, propose une correction, puis rend la main. Avec Qwen, un épisode réussi n'est ralenti que de 13 à 16 secondes par rapport à la politique seule, et dddure environ 70 % de moins qu'avec une base de référence pilotée par le VLM, à modèle identique. Pour un intégrateur, c'est un argument concret : la robustesse par raisonnement de haut niveau devient compatible avec des contraintes de temps de cycle. Les résultats contredisent aussi l'idée que l'aléa ou le simple retour textuel suffisent à récupérer d'un échec. Le contexte est celui de politiques comme π0.5 (Physical Intelligence) ou Cosmos Policy (NVIDIA), entraînées presque uniquement sur des démonstrations réussies. Les auteurs y voient la cause de leur incapacité à se corriger : elles n'ont jamais vu d'échec, et leurs entrées sont trop étroites pour montrer ce qui a mal tourné. Des précautions s'imposent. Il s'agit d'un préprint (arXiv, v1), non relu par des pairs. Les gains les plus nets viennent de GPT, un modèle propriétaire, ce qui soulève des questions de coût et de dépendance au cloud. Le résultat sur robot réel, plus marqué que ceux des simulations, ne précise pas dans le résumé le nombre d'essais ni les tâches. Les suites logiques sont des validations sur davantage de tâches et de plateformes, et une intégration dans les piles VLA industrielles. Aucun acteur français ou européen n'est mentionné dans ce travail.

Recherche❖Paper

1 source

42

766arXiv cs.RO 

Adaptation au moment du test des politiques de manipulation face à la dégradation des actionneurs

Des chercheurs proposent TeAR (Telemetry-Aware Action Rectification), une méthode publiée sur arXiv qui corrige à la volée les actions d'une politique de manipulation robotique lorsque les actionneurs se dégradent. Le principe est de ne pas toucher à la politique, qui reste gelée, mais d'intercaler entre elle et le contrôleur bas niveau un petit Transformer léger. Celui-ci reçoit l'action proposée et la télémétrie embarquée (température des articulations, courant moteur, tension d'alimentation), puis amplifie, amortit ou décale chaque composante de l'action. L'évaluation couvre 18 paires politique-tâche, réparties sur 8 familles de politiques et 5 tâches de manipulation. Dans un test apparié où le modèle de dégradation utilisé à l'entraînement ne correspond pas à la réalité, TeAR atteint 31,8 % de réussite, contre 25,6 % pour la politique de base et 30,6 % pour un inverse fondé sur un modèle supposé. Sur un bras physique, le gain atteint 10 à 15 % en situation d'échauffement, sans réglage fin sur le robot. L'intérêt tient à un problème que les démonstrations de laboratoire masquent : les politiques sont entraînées en supposant qu'une commande produit toujours le même mouvement. Or sur du matériel réel, après des heures de service, les moteurs chauffent, le courant sature près du contact et la tension chute sous charge. La même action donne alors un mouvement plus faible, retardé ou bruité. Pour un intégrateur ou un exploitant de site, c'est une source de dérive de performance très concrète, qui se traduit par des taux de réussite en baisse au fil des postes. La méthode est indépendante de la politique, donc applicable à des VLA ou à des politiques de diffusion déjà déployées sans les réentraîner. Elle exploite un signal déjà disponible, aujourd'hui surtout utilisé pour la journalisation et la sécurité. Il faut toutefois relativiser les ordres de grandeur. Le gain de 6 points dans le test avec écart de modèle reste modeste, et la validation physique porte sur un seul bras, avec un gain annoncé sous forme de fourchette et sans détail sur les tâches ni le nombre d'essais. Ce travail s'inscrit dans le champ de l'adaptation au moment du test et de la robustesse sim-to-real, où l'on traite habituellement le décalage visuel ou dynamique par la randomisation de domaine ou l'identification de système. TeAR déplace la question vers l'usure et l'échauffement, qui sont des enjeux de fiabilité longue durée pour les humanoïdes et les bras collaboratifs en production continue. Aucun pilote industriel ni calendrier n'est annoncé. Il s'agit d'un préprint non évalué par des pairs, et les prochaines étapes logiques seraient des tests sur des plateformes variées, avec des cycles de fonctionnement longs et des dégradations réelles plutôt que simulées.

Recherche❖Paper

1 source

41

767arXiv cs.RO 

RoboChrono : un banc d'essai sur robot réel pour la compréhension de tâches en flux continu

Des chercheurs publient sur arXiv RoboChrono, un benchmark qui mesure la compréhension de tâches en flux continu (streaming) pendant la manipulation robotique. Il compte 39 scénarios et 34 713 instances d'évaluation, tirées d'exécutions sur robot réel et complétées par des enregistrements de mains humaines nues. Sept tâches sont réparties en trois familles : reconnaissance, alignement et ancrage temporel. Elles couvrent la compréhension et l'anticipation d'actions, la correspondance visuelle, l'ordonnancement temporel et la localisation d'actions. Dix-huit modèles vision-langage ont été évalués en zero-shot. GPT-6-Astra atteint 98,3 % de précision sur l'appariement d'images (Frame Matching), mais seulement 68,3 % sur leur mise en ordre chronologique (Frame Ordering). RynnBrain1.1-122B-A10B montre un écart plus net encore : 95,4 % contre 32,9 %. L'intérêt tient à ce que l'étude dissocie des capacités que les scores agrégés confondent. Une ablation sur cinq modèles open-weight montre que retirer les observations visuelles fait chuter la reconnaissance de l'action en cours de 22,1 points, mais la prédiction de l'action suivante de seulement 0,7 point. Une bonne anticipation peut donc venir de priors sur la tâche et les gestes typiques plutôt que d'une lecture de la scène. Pour un intégrateur ou un responsable industriel, un modèle qui reconnaît bien les images n'est pas forcément fiable pour suivre l'avancement d'une tâche, détecter un échec ou décider d'une reprise. Ces usages exigent une vraie logique temporelle. Le contexte est celui des modèles VLA (Pi-0, GR00T, Helix), qui reposent sur des backbones vision-langage évalués surtout par des taux de réussite de tâche ou des questions-réponses statiques. RoboChrono est un outil de diagnostic : il ne s'agit ni d'un produit ni d'un déploiement, et l'évaluation n'est pas en boucle fermée sur robot. Le résumé ne cite aucun acteur français ou européen, ni de plateforme robotique précise. La suite logique serait de tester des modèles affinés sur des données temporelles robotiques, puis de vérifier si ces écarts se retrouvent dans le succès réel des tâches.

Recherche❖Paper

1 source

41

768arXiv cs.RO 

Cinétostatique directe cartésienne en forme fermée pour robots continus multi-segments à câbles dans l'espace

Des chercheurs proposent un modèle de cinétostatique directe en forme fermée pour les robots continus spatiaux multi-segments actionnés par tendons. Il fait passer directement des efforts appliqués aux tendons à la configuration cartésienne, sans résolution itérative de l'équilibre. Le squelette central cartésien du robot et la torsion matérielle cumulée servent de coordonnées généralisées, dont on déduit les mesures de déformation et la géométrie des tendons. Un équilibre variationnel donne des relations explicites pour l'extension axiale et la flexion. Les auteurs en tirent une torsion matérielle d'équilibre nulle, à condition que le routage des tendons soit longitudinal et non hélicoïdal. La solution s'exprime en quadratures et se propage segment par segment. Le modèle conserve la déformation axiale, les raideurs axiales et de flexion variables le long du robot, le diamètre de routage des tendons et une participation des tendons propre à chaque segment. Il a été comparé à un modèle géométrique à déformation variable complète (GVS) sur un robot à un segment et un robot à trois segments. L'écart maximal de position de l'extrémité, normalisé par la longueur, est de 8,91 x 10^-6 pour le premier et de 1,01 x 10^-5 pour le second. Les temps d'évaluation moyens sont de 1,52 µs et de 2,94 µs, soit des accélérations d'environ 1864 fois et 3348 fois par rapport à la référence. Pour les robots continus, la cinétostatique directe reste un goulot d'étranglement. Chaque commande de tendon exige aujourd'hui de résoudre un système d'équilibre non linéaire. Cela pèse sur la commande en boucle fermée, la planification de trajectoire, l'estimation d'état et l'entraînement de politiques apprises. Une évaluation de l'ordre de la microseconde rend ces usages possibles à haute fréquence, y compris sur du calcul embarqué modeste. Ce point est utile pour la chirurgie mini-invasive et l'inspection en espace confiné, où ces architectures sont les plus étudiées. La précision compte autant que la vitesse, car les écarts de l'ordre de 10^-5 face au modèle GVS restent très faibles. Il faut toutefois lire ces chiffres avec prudence. Ils viennent d'une comparaison numérique entre deux modèles, sans validation sur un prototype physique. Les gains de vitesse sont mesurés sur un seul benchmark, et ils dépendent de l'implémentation de la référence. Le modèle ne prend pas non plus en compte les effets réels comme le frottement des tendons, le jeu ou l'hystérésis. Ces travaux prolongent deux courants de la modélisation des robots continus. Le premier regroupe les modèles à courbure constante par morceaux, rapides mais approximatifs. Le second regroupe les modèles de tiges de Cosserat et les approches GVS, plus fidèles mais qui exigent des résolveurs itératifs coûteux. La publication se situe sur arXiv (2609.36495v1) et n'a pas de produit ni de déploiement associé. Les suites logiques seraient une validation expérimentale sur plateforme physique et une intégration dans des contrôleurs temps réel. On peut aussi attendre des extensions à des routages hélicoïdaux ou à des chargements extérieurs, que le cadre actuel exclut.

Recherche❖Paper

1 source

41

769arXiv cs.RO 

Politique en escalier : inférence en flux continu pour les modèles monde-action à grands blocs d'actions

Des chercheurs proposent Staircase Policy, un cadre d'inférence et d'entraînement en flux continu (streaming) qui transforme une politique VLA (vision-langage-action) à flow matching en un « World-Action Model » (WAM) de type JEPA. L'article, publié sur arXiv (2609.36471v1), découpe un grand bloc d'actions (action chunk) en sous-blocs placés à des stades de débruitage décalés. Les actions les plus proches sont exécutées dès qu'elles sont disponibles, pendant que les suivantes continuent d'être affinées. À chaque frontière de sous-bloc, l'état latent futur est re-prédit à partir de la dernière observation et sert à mettre à jour toutes les actions non exécutées, sans relancer une inférence complète. Le modèle, nommé S-WAM, atteint 97,7 % sur LIBERO et 87,9 % sur LIBERO-Plus. Il produit 292,7 actions exécutées par seconde, soit 3,62 fois le débit d'une exécution conventionnelle à précision comparable, et ramène le délai avant la première action de 123,6 à 73,3 ms. Avec des optimisations d'inférence supplémentaires, le débit monte à 642,9 actions par seconde. Les auteurs revendiquent aussi des gains sur plusieurs architectures de politiques et sur des tâches en robot réel, sans que le résumé en précise le nombre, la nature ni les taux de réussite. L'enjeu est d'abord économique. Les WAM, qui conditionnent la génération d'actions sur des observations futures prédites, améliorent la manipulation, mais ajoutent un coût de calcul à une génération d'actions déjà itérative et coûteuse. L'action chunking amortit ce coût, au prix d'une dégradation sur les longs horizons, car les dernières actions du bloc reposent sur des observations périmées. Staircase Policy vise à lever ce compromis entre latence et réactivité, ce qui compte pour les intégrateurs qui veulent embarquer de gros modèles sur des robots à budget de calcul limité. L'erreur de prédiction du futur peut en outre servir de signal pour un chunking adaptatif, c'est-à-dire une confiance mesurable dans le plan en cours. Ces résultats restent toutefois des benchmarks en simulation. LIBERO est proche de la saturation, et un débit en actions par seconde ne dit rien de la robustesse en production. Les mesures en robot réel devront être détaillées pour juger du transfert. Ce travail s'inscrit dans la montée des modèles fondations de robotique fondés sur des VLA à flow matching, dans la lignée de Pi-0, et dans l'intérêt croissant pour les architectures prédictives de type JEPA, qui prédisent dans un espace latent plutôt qu'en pixels. Les WAM concurrencent les VLA purs en injectant une anticipation du monde, mais leur latence freine leur déploiement. D'autres approches d'exécution asynchrone ou de chunking en temps réel traitent le même problème, sans forcément coupler prédiction du futur et débruitage échelonné. La suite dépendra de la publication du code, de validations indépendantes et de tests sur des plateformes industrielles, aucun pilote n'étant annoncé.

Recherche❖Paper

1 source

41

770arXiv cs.RO 

LIBERO-MAX : les politiques robotiques s'adaptent-elles quand le monde change ?

LIBERO-MAX est un nouveau benchmark de simulation, présenté sur arXiv, qui teste ce que les politiques robotiques font lorsque la scène change en plein milieu d'une tâche. Il comprend 8 000 cas appariés couvrant huit types de changements: géométrie, observations, apparence, encombrement et trajectoires. Chaque paire compare l'exécution d'une même tâche avec et sans événement en cours de route, en gardant identiques la tâche, l'état initial, la graine de la politique et la séquence d'actions précédant l'événement. Quatorze politiques récentes ont été évaluées, de type VLA (vision-langage-action), hybrides et « world-action ». L'événement fait chuter leur taux de succès de 11,0 à 25,7 points de pourcentage. Les auteurs testent aussi des contrôles de caméra et une variation de la cadence de requête à la politique, et aucun des deux ne supprime l'écart. Le protocole apparié isole les régressions réellement causées par l'événement des échecs qui existeraient de toute façon sans changement. Pour un intégrateur ou un responsable industriel, c'est un point de méthode important. Beaucoup de benchmarks de robustesse en simulation fixent les conditions externes au moment du reset, alors qu'en atelier une cible se déplace, une caméra est décalée ou un obstacle apparaît pendant l'exécution. Les résultats montrent des vulnérabilités communes face aux changements de géométrie et d'observation, tandis que les classements par famille de politiques s'entremêlent. Aucune architecture ne domine donc clairement. Les contrôles de caméra indiquent que la robustesse dépend à la fois de la compétence dans les nouvelles conditions et de la trajectoire suivie jusque-là, puisque les actions déjà engagées reflètent l'ancienne scène. Réduire l'intervalle entre les requêtes ne règle pas le problème. Il s'agit d'un résultat en simulation uniquement, sans validation sur robot réel, et les valeurs par modèle ne figurent pas dans le résumé. LIBERO-MAX prolonge la famille de benchmarks LIBERO, devenue une référence pour comparer les VLA en manipulation. Ces benchmarks évaluent le plus souvent des scènes statiques après le reset, et les scores élevés qui en résultent peuvent masquer une fragilité temporelle. Le travail s'inscrit dans un mouvement plus large de mesure de la robustesse des modèles de type Pi-0, GR00T ou Helix, dont les démonstrations sont rarement accompagnées de perturbations en cours de tâche. Les auteurs le présentent comme un banc d'essai reproductible pour diagnostiquer ces échecs et mesurer les progrès. La suite logique sera son adoption par d'autres laboratoires, puis des versions physiques ou des entraînements ciblés sur ces perturbations, mais aucune échéance n'est annoncée.

Recherche❖Paper

1 source

41

771arXiv cs.RO 

TaRL : apprendre des récompenses générales et physiques à partir de démonstrations tactiles

Des chercheurs de l'équipe EmbodiedAI de la NTU (Nanyang Technological University) proposent TaRL (Tactile Reward Learning), un cadre qui apprend des fonctions de récompense à partir de démonstrations tactiles, pour l'apprentissage par renforcement (RL) de tâches de manipulation riches en contacts. Le système prend en entrée une séquence de cartes de déformation tactile et régresse un indice d'avancement de la tâche, en s'entraînant à la fois sur des démonstrations réussies et sur des échecs. Il a été évalué sur quatre tâches en simulation et deux en conditions réelles. Utilisé comme récompense de guidage (reward shaping), il améliore l'efficacité d'échantillonnage et le taux de succès final : sur l'enfilage d'écrou (nut threading), le succès passe de 34 % à 56 % en simulation, et sur le ramassage d'un cube, de 37 % à 97 % sur robot réel. Combiner récompenses tactiles et visuelles améliore encore les résultats. Un modèle entraîné sur le placement de boîtes a aussi été déployé directement sur le placement de canettes, avec un gain notable sur l'apprentissage de cette nouvelle tâche. L'intérêt tient à un verrou bien connu du RL : les récompenses éparses ralentissent l'apprentissage, et les récompenses denses sont difficiles à spécifier à la main. Les approches par récompense visuelle, apprises à partir de démonstrations sans actions, contournent le problème, mais elles ne voient que les objectifs visibles. Or beaucoup de tâches de manipulation dépendent de ce que la caméra ne capte pas : fermeté d'une prise, direction et intensité des forces appliquées. Le signal tactile décrit l'interaction locale entre robot et objet, ce qui le rend aussi robuste aux changements de disposition de la scène, comme la position de l'objet. Pour les intégrateurs, c'est une piste pour réduire l'ingénierie de récompenses sur des tâches d'assemblage ou d'insertion. Le saut de 37 % à 97 % est frappant, mais il porte sur une tâche simple, un seul cube, et ne dit rien de la tenue sur des pièces industrielles variées. Les résultats restent ceux d'un article préprint, sans validation indépendante ni test en cadence de production. Ce travail s'inscrit dans la montée des capteurs tactiles à base de déformation (type GelSight) et de l'apprentissage de récompenses à partir de vidéos, où la vision domine encore. Il complète les politiques vision-langage-action (VLA), majoritairement visuelles, qui peinent sur les tâches où la force compte. Le gain en généralisation d'un objet à l'autre reste à confirmer sur des catégories plus éloignées. Les prochaines étapes probables sont des tâches à plus fort contact, des capteurs différents et une intégration avec des modèles de fondation. Le code et la page projet sont annoncés, ce qui permettra à d'autres laboratoires de reproduire les chiffres.

Recherche❖Paper

1 source

41

772arXiv cs.RO 

EquivDP3 : un encodeur de nuages de points invariant SIM(3) pour la loco-manipulation humanoïde à faible besoin de données

Des chercheurs proposent EquivDP3, une politique visuomotrice hiérarchique pour la loco-manipulation du humanoïde Unitree G1 (43 articulations), décrite dans un preprint arXiv (2609.36575v1). Le système est en deux étages. Un planificateur de haut niveau, basé sur une diffusion, utilise un encodeur de nuages de points équivariant SIM(3) de type Vector Neuron Network (VNN). Il émet des blocs de commandes corps entier à 6 Hz. Ces commandes sont exécutées à 50 Hz par une politique de locomotion pré-entraînée par apprentissage par renforcement, gelée, et par un module de cinématique inverse différentielle pour les bras. L'ensemble est entraîné de bout en bout par clonage comportemental. SIM(3) désigne le groupe des rotations, translations et changements d'échelle. Les tests couvrent deux benchmarks simulés sous IsaacLab et quatre références non équivariantes, avec 5 à 100 démonstrations, en distribution et hors distribution. Avec 5 à 10 démonstrations, EquivDP3 atteint 67,1 % de succès, contre 38,2 à 52,4 % pour les références. À 50-100 démonstrations, tous les encodeurs convergent (74,3 à 85,2 %). Le surcoût est de 0,8 ms par bloc d'actions par rapport à l'encodeur PointNet remplacé. L'intérêt tient à la rareté des données. Collecter des démonstrations de loco-manipulation humanoïde par téléopération coûte cher, et un gain de robustesse avec 5 à 10 exemples est un levier concret pour les équipes qui déploient des humanoïdes sur des tâches variables. Les auteurs ajoutent un contrôle utile : en retirant le nuage de points, le succès tombe à 31 % contre 60 % pour EquivDP3 avec 5 démonstrations, et à 78 % contre 99 % avec 10. L'écart est donc bien d'origine perceptive et ne vient pas de la seule proprioception. Le plateau à forte quantité de données traduit selon eux un plafond du benchmark, pas cinq encodeurs qui apprendraient la même invariance. Il faut donc relativiser : les résultats sont uniquement simulés, aucun test sur robot réel n'est rapporté, et l'ordre des méthodes n'a plus de sens au-delà de 50 démonstrations. Le résultat suggère toutefois que injecter la symétrie géométrique dans le backbone de perception est presque gratuit en calcul. Ce travail prolonge deux lignes existantes. 3D Diffusion Policy (DP3) conditionne un générateur d'actions par diffusion sur des caractéristiques de nuages de points, mais son encodeur de type PointNet n'a pas d'équivariance intégrée aux transformations SIM(3). EquiBot avait comblé cette lacune avec un encodeur VNN équivariant, mais seulement pour des manipulateurs mobiles à roues. EquivDP3 transpose l'approche à un humanoïde bien plus complexe, en s'appuyant sur une architecture hiérarchique qui sépare planification lente et contrôle rapide. Les prochaines étapes évidentes sont le transfert sim-to-real sur un G1 physique, des benchmarks moins saturés et une comparaison avec les politiques VLA généralistes, qui misent sur l'échelle des données plutôt que sur les priors géométriques.

Recherche❖Paper

1 source

41

773arXiv cs.RO 

OTRetarget : retargeting conjoint du mouvement du robot et de l'objet par transport optimal

Des chercheurs publient sur arXiv (2609.36602) OTRetarget, une méthode qui transfère des démonstrations humaines vers un humanoïde en retargetant conjointement le mouvement du robot et celui des objets manipulés. Elle représente les interactions de surface par trois quantités : distances signées, points les plus proches sur la surface et directions relatives. Un transport optimal entropique projette ces grandeurs entre les géométries de l'humain, du robot et des objets. Les cibles obtenues alimentent une cinématique inverse sous contraintes, qui arbitre à chaque frame entre préservation des contacts et style du mouvement, en optimisant simultanément les poses du robot et des objets. Sur le jeu de données OMOMO, les auteurs annoncent un score de Jaccard d'interaction robot-objet de 87 % et une erreur de profondeur de 8,7 mm, contre 28 % et 29,3 mm pour OmniRetarget. La validation physique porte sur un humanoïde Unitree G1, avec des politiques corps entier entraînées par apprentissage par renforcement sur les références retargetées. Les mouvements testés incluent la dépose à deux mains d'une boîte sur une table. Le retargeting est un goulot d'étranglement peu visible de la chaîne qui va de la capture humaine aux politiques de loco-manipulation. Quand les proportions du robot diffèrent de celles de l'opérateur, les contacts avec le sol et les objets dérivent, et les politiques apprennent alors sur des références physiquement incohérentes. La plupart des approches figent la trajectoire de l'objet ou remettent à l'échelle la scène et la démonstration. OTRetarget laisse l'objet libre de s'adapter à la morphologie du robot, sans changer l'échelle de la scène. Le gain annoncé face à OmniRetarget est important, mais il vient d'un benchmark sur données de capture, avec une métrique de contact définie par les auteurs. Il ne dit pas encore quel taux de réussite on obtiendrait sur des tâches longues ou contraintes en cadence. La démonstration matérielle se limite à un G1 de petite taille et à des tâches simples. Aucun temps de cycle, aucune charge utile ni aucun taux d'échec n'est mentionné dans le résumé. Ces travaux s'inscrivent dans la vague de pipelines « humain vers humanoïde » qui cherchent à produire des données d'entraînement à grande échelle sans téléopération coûteuse. OmniRetarget en est la référence directe, et OTRetarget se positionne explicitement contre lui. Le G1 est devenu la plateforme de recherche par défaut, car elle est abordable et largement répandue dans les laboratoires. Les VLA généralistes comme Pi-0, GR00T N2 ou Helix ont besoin de données cohérentes en contacts, ce qui donne à cette brique un intérêt direct. Les prochaines étapes à surveiller sont la diffusion du code, la validation sur des humanoïdes plus grands et sur des objets déformables ou articulés, ainsi qu'une évaluation sur des scènes multi-objets plus encombrées.

Recherche❖Paper

1 source

40

774arXiv cs.RO 

ReF-HIL : structurer le critique autour des voisinages d'actions humaines pour un apprentissage par renforcement avec humain dans la boucle plus efficace

Des chercheurs proposent ReF-HIL, un cadre d'apprentissage par renforcement avec humain dans la boucle (HIL-RL) destiné à entraîner des politiques de manipulation robotique directement dans le monde réel. Le principe est de combiner l'apprentissage autonome avec des démonstrations humaines et des corrections en ligne. Deux mécanismes sont introduits. Le premier, un « Human-Reference-Guided Value Shaping », apprend une référence de valeur indépendante à partir des seules expériences humaines réussies, pour guider l'apprentissage de la valeur en ligne, tout en intégrant des retours correctifs locaux. Le second, une « Human Action Fence », définit un voisinage d'actions humaines appris. À l'intérieur, l'optimisation guidée par la valeur s'applique sans pénalité d'imitation. À l'extérieur, les mises à jour de la politique et de la valeur sont contraintes. Testé sur cinq tâches de manipulation réelles, ReF-HIL atteint 90 % de succès autonome après 18 à 63 minutes d'entraînement actif, pour des taux de succès finaux de 91,7 à 100 %. Il s'agit d'une prépublication arXiv, sans relecture par les pairs. Le site du projet est anonymisé. Pour les intégrateurs, l'intérêt est le temps d'entraînement sur robot physique, qui reste le principal coût de l'apprentissage par renforcement réel. Une politique fiable en moins d'une heure de temps actif rapproche cette approche de la mise en service industrielle, là où l'imitation pure plafonne souvent sur les cas limites. Deux réserves s'imposent. Les résultats sont comparés à des références choisies par les auteurs (« the evaluated baselines »). Le résumé ne précise ni les tâches, ni le robot, ni le nombre d'essais, et l'écart entre 18 et 63 minutes reste large. Il s'agit d'une démonstration de laboratoire, pas d'un déploiement. Le HIL-RL s'est imposé ces dernières années comme alternative aux grands modèles vision-langage-action (VLA) entraînés par imitation à grande échelle, comme Pi-0. Il vise des tâches précises, avec peu de données et une correction humaine ciblée. Ses deux limites, que ReF-HIL cherche à lever, sont la sous-exploitation des succès humains dans l'estimation de la valeur et les pénalités d'imitation qui brident l'amélioration de la politique. La suite dépendra de la publication du code, d'une validation sur des tâches industrielles plus longues et d'une comparaison directe avec les méthodes de référence du domaine.

Recherche❖Paper

1 source

40

775arXiv cs.RO 

CrossBFM : distiller un espace latent de comportements partagé entre plusieurs morphologies de robots humanoïdes

CrossBFM, publié sur arXiv (2609.38087), propose de distiller un espace latent de comportements partagé entre plusieurs humanoïdes. Les Behavior Foundation Models (BFM) offrent à un humanoïde une politique pilotable par un simple vecteur latent, qui peut désigner un mouvement à imiter, une pose à atteindre ou une récompense à maximiser. Les représentations Forward-Backward produisent bien de tels espaces, mais elles demandent des centaines d'heures GPU pour un seul robot. Entraînées pour un second robot, elles génèrent un espace distinct, sans lien avec le premier. CrossBFM utilise le retargeting, qui fournit une correspondance image par image entre morphologies, pour entraîner un encodeur unifié sans paramètre propre à un robot. Cet encodeur distille l'espace en moins d'une heure GPU pour tous les robots d'entraînement à la fois. Des contrôleurs conditionnés par le latent, entraînés en PPO classique, ajoutent environ 10 heures GPU. Sur trois humanoïdes, les trois modes de prompt fonctionnent. Le suivi de mouvement perd seulement 0,025 rad par rapport à une politique conditionnée directement sur les articulations. L'atteinte de poses se fait sans chute, et les 41 prompts de récompense testés sont tous optimisés. Pour l'industrie, le résultat déplace le coût du problème. Au lieu de refaire un entraînement de plusieurs centaines d'heures GPU pour chaque nouvelle plateforme, l'espace de comportements devient un actif réutilisable, et le passage à un nouveau robot ne coûte plus qu'une distillation légère et un entraînement de tracker. Pour un intégrateur ou un fabricant qui décline plusieurs modèles d'humanoïdes, c'est un argument économique direct. Deux résultats d'ablation nuancent la portée. Entraîner l'encodeur sur un quart seulement du corpus de mouvements ne coûte que 5 % de performance de suivi. Sur un robot jamais vu à l'entraînement, l'encodeur récupère jusqu'à 89 % de la performance des robots vus. Ce transfert reste toutefois limité aux morphologies proches, et « jusqu'à » désigne le meilleur cas, pas une moyenne. Les auteurs affirment aussi avoir validé la chaîne sur des robots réels pour les trois modes de prompt, y compris avec des latents générés par modèle à flux. L'article ne détaille pas ici la nature des robots ni l'ampleur de ces essais. Ces travaux s'inscrivent dans la lignée des modèles de comportement fondés sur les représentations Forward-Backward, dont le principal frein était le coût d'entraînement propre à chaque robot. Ils se distinguent des approches de politiques généralistes de type VLA, qui visent le langage et la vision plutôt qu'un espace de contrôle bas niveau partagé. Il s'agit d'une préimpression non relue par des pairs, et le site du projet est dotdandung.github.io/crossbfm. Les prochaines étapes à surveiller sont l'extension à des morphologies plus éloignées, l'ampleur des tests sur matériel réel et une éventuelle adoption par les constructeurs d'humanoïdes.

Recherche❖Paper

1 source

40

776arXiv cs.RO 

Des robots souples mais efficaces grâce à une co-conception globale

Les robots souples promettent une sécurité intrinsèque grâce à la compliance de leurs matériaux, ce qui les rend adaptés aux interactions avec les humains ou à la manipulation d'objets fragiles. Dans une publication de perspective diffusée sur arXiv (version 2 de l'article 2505.03761), des chercheurs constatent que le domaine peine à concilier la performance sur une tâche donnée avec des critères plus larges comme la durabilité et la fabricabilité. Selon eux, cette difficulté est aggravée par les processus de conception séquentiels classiques, où la forme du corps est définie avant le contrôle, sans boucle de rétroaction entre les deux. Le texte passe en revue les approches de co-conception émergentes, qui optimisent simultanément le corps et le « cerveau » (le contrôleur) du robot, et qui permettent de découvrir des morphologies non conventionnelles, très adaptées à leur tâche. Il s'agit d'un article de synthèse et de positionnement, sans robot ni chiffre de performance nouveaux, et non d'un produit ou d'un déploiement. L'enjeu est méthodologique, mais il touche directement la question du passage du laboratoire à l'industrie. Les auteurs identifient trois freins à l'adoption de la co-conception : des objectifs d'optimisation trop étroits, un écart persistant entre performances simulées et réelles (le fameux sim-to-real gap, particulièrement marqué pour les matériaux déformables, difficiles à modéliser), et un coût de calcul élevé. Pour un intégrateur ou un décideur B2B, cela rappelle qu'un robot souple optimisé en simulation pour une seule métrique a peu de chances de tenir en production s'il ignore l'usure, la reproductibilité de fabrication ou la maintenance. Le cadre proposé déplace donc l'optimisation vers des critères de valeur plus larges, ce qui contredit l'idée que la seule performance de tâche suffit à valider une conception. Pour y répondre, les auteurs proposent un cadre de co-conception « holistique » reposant sur trois leviers : intégrer une gamme plus large de valeurs de conception, insérer du prototypage physique pour affiner les évaluations, et gagner en efficacité via des métriques de substitution (surrogate) et des stratégies de commande fondées sur des modèles. Leurs priorités de recherche portent sur les connaissances a priori de conception et les métriques, l'évaluation assistée par l'IA, l'équilibre entre raffinement computationnel et essais physiques, et l'arbitrage entre sécurité et performance. Aucun calendrier de pilote ni partenaire industriel n'est annoncé. Le texte s'inscrit dans une lignée de travaux sur l'évolution morphologique et l'optimisation conjointe forme-contrôle, dont il cherche à lever les limites pratiques avant tout transfert vers des applications commerciales.

Recherche❖Paper

1 source

40

777arXiv cs.RO 

Explorer, exécuter, évoluer : une boucle d'acquisition et de réutilisation de compétences pour agents incarnés

Des chercheurs proposent RoboSkill, un cadre logiciel qui permet à un agent multimodal généraliste de piloter un robot en accumulant puis en réutilisant des compétences, plutôt qu'en repartant de zéro à chaque tâche. Le principe tient en une boucle « Explorer, Exécuter, Évoluer ». L'agent explore pour collecter les informations utiles à la tâche, exécute en s'adaptant aux retours de l'environnement, puis fait évoluer une bibliothèque de compétences à partir de ses traces d'exécution. Ces compétences guident ensuite l'exploration et l'exécution du cycle suivant. Deux ajouts visent l'efficacité : un retour tactile qui complète la vision pour lever les ambiguïtés lors des contacts, et du code réutilisable qui vient enrichir les consignes textuelles pour réduire le raisonnement nécessaire à la réutilisation. Sur le benchmark de simulation LIBERO-10, avec quatre agents différents, le taux de réussite dès le premier épisode progresse de 12,5 à 25,0 points de pourcentage et le temps d'exécution moyen baisse de 7,6 à 72,4 %. Sur robots réels, le gain de réussite est de 8,3 points, avec une réduction du temps moyen des essais réussis d'au moins 14,4 %. L'intérêt tient au coût d'exécution, un point faible des agents généralistes en zero-shot. Les modèles vision-langage-action (VLA) et les modèles monde-action montrent de fortes capacités, mais généralisent mal aux tâches inédites. Les agents multimodaux à usage général comblent en partie ce manque, au prix d'un raisonnement et d'une exploration physique répétés à chaque tentative, donc de latence et de coût. RoboSkill suggère qu'une mémoire procédurale exécutable (du code, pas seulement du texte) peut transformer ce coût récurrent en investissement amorti. Pour un intégrateur, l'enjeu est de savoir si un agent apprend d'un déploiement à l'autre sans réentraînement. Des réserves s'imposent toutefois : le gain de 8,3 points sur robot réel est modeste, l'écart entre simulation et réel reste visible, et la taille des essais physiques, les tâches et la nature des capteurs tactiles ne sont pas détaillées dans le résumé. L'amplitude très large des réductions de temps (jusqu'à 72,4 %) dépend fortement de l'agent de base. Ce travail s'inscrit dans la tendance des agents « à bibliothèque de compétences », déjà explorée dans les agents de jeu et de code, ici transposée à la manipulation physique. Il se positionne en complément, et non en concurrent, des VLA et des modèles monde-action, qui restent la voie dominante pour la commande bas niveau. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs, sans annonce de produit ni de déploiement industriel. Les suites logiques sont la validation sur des tâches longues et variées, la mesure de la robustesse de la bibliothèque de compétences dans le temps et la démonstration d'un transfert d'un robot à un autre.

Recherche❖Paper

1 source

40

778arXiv cs.RO 

MotorMind : structurer des modèles vision-langage généralistes pour la manipulation robotique sans apprentissage préalable

Des chercheurs présentent MotorMind, un « harness » de manipulation robotique (arXiv 2609.38078, première version) qui permet à un modèle vision-langage (VLM) généraliste de piloter directement un bras, sans entraînement spécifique à la tâche. Le système ne recourt ni à un expert d'actions appris, ni à un agent de codage, ni à un outil de grounding comme SAM3. Le VLM propose des actions de niveau intermédiaire, exécutées par un contrôle robotique déterministe qui renvoie un retour d'exécution. Un suivi asynchrone et des mises à jour de mémoire en arrière-plan complètent l'ensemble. Sur la suite LIBERO-PRO de base, MotorMind atteint 66,7 % de réussite, et 53,8 % sous perturbations. Les méthodes zéro-shot antérieures évaluées plafonnent à 13,3 % et 19,2 %. Sur un robot xArm6 réel, la même interface affiche 95 % de réussite moyenne, en manipulation directe comme en présence de perturbations humaines. Les auteurs n'indiquent ici ni le VLM utilisé, ni le nombre de tâches, ni le nombre d'essais réels. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. L'intérêt tient à la voie proposée. Les modèles VLA (vision-langage-action) généralisent encore mal, hors distribution, à de nouvelles tâches et de nouveaux environnements. Leur entraînement spécialisé les coupe aussi des progrès rapides des VLM généralistes. MotorMind suggère qu'une bonne représentation d'actions intermédiaires, associée à une exécution asynchrone, permet d'exploiter ces VLM tels quels, comme un téléopérateur humain qui regarde, agit et corrige. Les auteurs constatent que remplacer le VLM par un modèle plus puissant améliore les scores. Les échecs restants viennent surtout du grounding visuel, du raisonnement incarné et de la connaissance des actions, et ils diminuent avec la capacité du modèle. Pour les intégrateurs, cela laisse entrevoir des robots qui bénéficient mécaniquement des mises à jour des modèles de fondation, sans réentraînement. La prudence reste de mise : LIBERO-PRO est un benchmark en simulation, l'écart avec les baselines est calculé sur des méthodes zéro-shot choisies par les auteurs, et rien n'est dit sur le temps de cycle, la latence ni le coût d'inférence, décisifs en production. Ce travail s'inscrit dans deux courants. Les VLA généralistes de type Pi-0 ou GR00T comptent sur de vastes données robotiques. Les systèmes « agentiques » utilisent des VLM pour le raisonnement de haut niveau, ou des agents de codage pour générer le contrôle, au prix d'une chaîne d'outils lourde et coûteuse. MotorMind cherche un compromis plus simple, avec un seul modèle. La suite dépendra de sa reproductibilité sur d'autres bras, de sa robustesse sur des tâches longues et de sa comparaison avec des VLA entraînés. Aucun pilote ni calendrier n'est annoncé.

Recherche❖Paper

1 source

40

779arXiv cs.RO 

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

Recherche❖Paper

1 source

40

780arXiv cs.RO 

L'apprentissage en contexte pour les robots : méthodes et applications

Une nouvelle revue de littérature déposée sur arXiv (2609.36012v1) propose une taxonomie de l'apprentissage en contexte (in-context learning, ICL) appliqué à la robotique. Le principe : un robot généraliste déduit ce qu'exige une tâche inédite à partir de démonstrations et d'interactions, puis le traduit en actions physiques, sans aucune mise à jour de ses paramètres neuronaux pendant le déploiement. Les auteurs structurent le domaine autour des interfaces qui relient les preuves contextuelles à l'exécution et distinguent quatre familles : les politiques conditionnées par le contexte, le transfert géométrique de démonstrations, le contrôle fondé sur des modèles du monde, et l'exécution par compétences ou par agents. Le texte couvre la manipulation et la navigation. Il s'agit d'un travail de synthèse : le résumé ne mentionne ni nouveau modèle, ni jeu de données, ni chiffre de performance. L'intérêt pratique tient à la grille de lecture. Comparer ces familles d'interfaces met en évidence leurs hypothèses de transfert, ainsi que le rôle de l'entraînement, de la mise en correspondance (entre la démonstration et l'embodiment du robot) et de la mémoire. Les auteurs examinent aussi comment chaque mécanisme préserve les exigences enseignées quand les objets, l'environnement ou les conditions d'exécution changent. Ils relient ensuite la conception des méthodes aux pratiques d'évaluation, en séparant trois choses trop souvent confondues : la réactivité à l'enseignement, le transfert physique réel et le bénéfice tiré de l'expérience conservée. Pour un intégrateur ou un responsable R&D, c'est un critère de lecture utile face aux démonstrations de « robot qui apprend en quelques exemples ». Un système qui réagit à une démonstration ne prouve pas qu'il en reproduit fidèlement l'intention dans des conditions différentes. Le contexte est celui de la montée des modèles généralistes vision-langage-action (VLA) et des modèles du monde, dont les capacités d'adaptation sans réentraînement restent difficiles à comparer d'un laboratoire à l'autre. Les auteurs en tirent un agenda de recherche qui associe l'acquisition compositionnelle de tâches et le transfert fidèle à ce qu'ils nomment l'auto-amélioration récursive physique : l'expérience accumulée améliore la capacité à apprendre les tâches suivantes. Il s'agit d'une direction proposée, pas d'un résultat démontré. Le texte est une préversion (v1) non évaluée par les pairs. Le résumé ne cite aucun acteur industriel, européen ou autre, et aucun calendrier de déploiement.

Recherche❖Paper

1 source

40

781arXiv cs.RO 

AeroManip-VLA : apprentissage vision-langage-action (VLA) à grande échelle pour la manipulation aérienne, avec des démonstrations générées par apprentissage par renforcement

Des chercheurs publient sur arXiv (2609.36915v1) AeroManip-VLA, un benchmark pour générer des données d'entraînement et évaluer des modèles Vision-Language-Action (VLA) sur des manipulateurs aériens, c'est-à-dire des drones équipés de bras ou de préhenseurs. L'ensemble repose sur un simulateur accéléré par GPU, avec un contrôle bas niveau du vol et de la manipulation qui tient compte de la charge utile (payload), et sur des environnements massivement parallèles. Les démonstrations ne sont pas collectées par téléopération. Elles sont produites automatiquement en combinant des politiques d'apprentissage par renforcement réutilisables et des règles de tâche définies par des experts, avec des objets, des environnements et des conditions initiales randomisés. Le jeu de données couvre des compétences de base (saisir, déposer) et des tâches longues qui associent navigation et manipulation. Les auteurs ajoutent un étiquetage automatique des événements et une catégorisation des trajectoires pour filtrer les démonstrations. Plusieurs références d'imitation learning et de VLA sont évaluées selon différents réglages de tâche, avec une analyse de leurs performances et de leurs modes de défaillance. Le résumé ne donne aucun chiffre : ni taille du jeu de données, ni taux de réussite, ni nom des modèles testés. Aucun essai sur drone réel n'y est mentionné. L'intérêt tient à un verrou concret. Les VLA ont progressé sur les bras fixes et les humanoïdes, mais le drone manipulateur pose des problèmes propres : le vol et la manipulation sont fortement couplés, les observations changent en continu et les interactions physiques sont critiques pour la sécurité. Collecter des démonstrations ou tester des politiques directement sur des plateformes aériennes coûte cher, passe mal à l'échelle et se répète difficilement dans des conditions contrôlées. Un pipeline entièrement simulé, sans téléopérateur, vise à lever ce goulot. L'étiquetage des échecs liés à la sécurité (collisions, perte de stabilité) est utile aux intégrateurs, qui doivent qualifier un comportement avant de le déployer. La réserve est classique : tant que le transfert simulation-réel n'est pas démontré, la valeur du benchmark reste conditionnée à la fidélité de la simulation. Le résumé parle d'évaluation « avant déploiement réel », pas de déploiement réel. Ce travail s'inscrit dans la vague de recherche qui étend les VLA au-delà de la manipulation au sol, avec des jeux de données synthétiques générés par apprentissage par renforcement en substitut à la téléopération, démarche déjà répandue pour les bras et les humanoïdes. La manipulation aérienne intéresse l'inspection et la maintenance d'infrastructures en hauteur, où l'accès pour les robots au sol est difficile. Il s'agit d'une publication de recherche et non d'un produit : aucun partenaire industriel, calendrier de pilote ou prix n'est annoncé. La suite logique serait la publication du code et des données, puis des validations sur plateformes physiques. Ce sont elles qui diront si les écarts observés en simulation se retrouvent en vol.

Recherche❖Paper

1 source

40

782arXiv cs.RO 

Pensées modifiées, actions modifiées : la chaîne de raisonnement comme levier de contrôle d'une politique vision-langage-action

Des chercheurs ont testé ce qui arrive aux actions motrices d'un robot lorsqu'on modifie le raisonnement textuel d'une politique VLA (vision-language-action), c'est-à-dire un modèle qui convertit images de caméra et instructions en langage naturel en commandes moteur. Certaines de ces politiques « réfléchissent » d'abord en texte, produisent une chaîne de raisonnement, puis décodent les actions conditionnées par cette chaîne. Les travaux qui ont introduit cette architecture la présentent comme une interface de supervision : un opérateur peut lire et éditer le texte pour corriger le robot. L'étude mesure les deux sens, réparation et corruption, avec un échange déterministe d'entités appliqué à l'instruction et à la chaîne générée. Sur quarante tâches réparties dans les quatre suites de simulation LIBERO, le coût d'une chaîne corrompue se concentre là où le langage seul détermine le but. Sur LIBERO-Goal, avec DeepThinkVLA (retenu car son raisonnement est exposé en clair), une instruction corrompue accompagnée de la chaîne générée à partir de l'instruction saine récupère 47,8 points de pourcentage de succès perdu. Ce test confirmatoire était préenregistré, et les 10 tâches évoluent dans le sens prédit. L'enjeu dépasse l'académique. Si la chaîne n'avait fait que reformuler ce que l'image détermine déjà, l'injection n'aurait rien changé. Or le texte écrit dans ce raisonnement pilote réellement le robot : il répare le comportement quand il est juste et le dégrade quand il est faux. Pour les intégrateurs et les responsables de déploiement, cela signifie que l'interface de supervision vantée pour les VLA à raisonnement est bien un levier de contrôle, mais aussi une surface d'attaque ou d'erreur. Un opérateur qui corrige un raisonnement fautif peut sauver une tâche ; une édition erronée, ou une injection malveillante, peut la faire échouer. Le compromis entre transparence, contrôlabilité et robustesse cesse d'être une intuition et devient une grandeur mesurable, ce qui manquait aux discussions de sécurité sur ces architectures. Il faut toutefois relativiser la portée. Les résultats viennent de simulation (benchmark LIBERO), et la démonstration causale décisive repose sur un seul modèle, DeepThinkVLA, et une seule suite, LIBERO-Goal, où le langage suffit à définir le but. La récupération est substantielle mais partielle (47,8 points), et rien n'indique encore que l'effet se transpose tel quel à des robots physiques ou à des tâches où la vision domine. Ce travail s'inscrit dans la vague des VLA dotés de chaînes de raisonnement explicites, dont les promoteurs mettent en avant la lisibilité humaine. La suite logique est de tester d'autres politiques, d'autres benchmarks et des environnements réels, puis de définir des garde-fous, comme la validation ou l'authentification des éditions du raisonnement, avant d'exposer cette interface en production.

Recherche❖Paper

1 source

40

783arXiv cs.RO 

WorldLine : simulation visuelle pilotée par les actions pour la manipulation robotique

WorldLine, un simulateur visuel piloté par l'action, est présenté dans un preprint arXiv (2609.38059) pour la manipulation robotique. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Le système apprend la dynamique de manipulation à partir de plus de 10 000 heures de vidéos de robots sans annotation d'actions. Il l'ancre ensuite dans le contrôle avec plus de 2 000 heures de trajectoires actionnées, réparties sur plus de dix morphologies de robots. Une représentation des actions dans l'espace image sert d'interface de contrôle commune, ce qui évite de traduire entre espaces de commande incompatibles. L'entraînement combine plusieurs points de vue, des trajectoires d'échec et une régularisation relationnelle pour mieux prédire les interactions. Une distillation en quelques étapes centrée sur le robot permet un déroulé causal rapide, en conservant les mouvements utiles à l'action. Sur des trajectoires échouées, le score d'IoU des masques du robot gagne 0,1626 face à la meilleure référence. La réussite d'une trajectoire est prédite avec 74 % de précision moyenne sur RoboTwin et AgiBot, soit un point de plus que la meilleure base de comparaison. Sans entraînement ni adaptation sur RoboTwin, les déroulés du simulateur améliorent le taux de succès de tâche jusqu'à 21,4 points par rapport à l'exécution directe de la politique. L'enjeu est le coût de l'évaluation et de la collecte d'expérience sur robot réel, principal frein à l'apprentissage en conditions réelles. Un simulateur capable de prédire l'issue d'une action avant son exécution permet de trier des politiques ou de planifier sans mobiliser de matériel. Le résultat le plus parlant concerne les échecs : les modèles vidéo génératifs tendent à produire des scènes plausibles mais peu fidèles à l'action commandée, et à «réussir» visuellement des gestes ratés. Or un simulateur inutilisable pour détecter l'échec ne sert pas à l'évaluation. Il faut toutefois relativiser : 74 % de précision sur la réussite reste modeste pour de la validation avant déploiement, et l'avance sur la meilleure référence n'est que d'un point. Le gain de 21,4 points est un maximum, non une moyenne, et les benchmarks (RoboTwin est surtout simulé) ne garantissent pas la robustesse en atelier. L'approche montre néanmoins qu'un jeu de données vidéo massif sans actions peut compenser la rareté des données actionnées. Ces travaux s'inscrivent dans la vague des modèles du monde et des simulateurs vidéo pour la robotique, qui visent à réduire la dépendance aux données téléopérées, coûteuses et propres à chaque robot. Leur point de friction est l'hétérogénéité des espaces d'action entre plateformes, que WorldLine traite par sa représentation image partagée. Il se place face aux modèles vidéo généralistes et aux simulateurs conditionnés par l'action, limités par des données rares. La suite logique passe par la validation sur robots physiques, la mesure de la corrélation entre succès prédit et succès réel, et l'intégration à des boucles de planification ou d'évaluation de politiques. Une page projet publie des résultats supplémentaires, mais aucune date de publication du code ou des modèles n'est mentionnée.

Recherche❖Paper

1 source

40

784arXiv cs.RO 

DRHeC : rendu différentiable pour l'étalonnage main-œil à partir de gradients RGB

Des chercheurs proposent DRHeC, un cadre de calibration œil-main (hand-eye calibration) fondé sur le rendu différentiable, qui exploite cette fois l'image RGB complète plutôt que de simples masques binaires. La calibration œil-main consiste à déterminer la transformation géométrique entre une caméra et la base ou l'effecteur d'un bras robotique, condition indispensable à toute manipulation de précision. L'équipe valide l'approche en simulation et sur un bras UR5e réel. Sur des tâches physiques, elle obtient un taux de réussite de préhension de 88,9 % et un taux de réussite d'insertion de 57,4 %. Ces résultats dépassent de 46,3 et 48,1 points de pourcentage ceux d'EasyHeC, la méthode de rendu différentiable qui fait aujourd'hui référence. Les auteurs ajoutent une méthode de traduction image-à-image guidée par masque, censée préserver explicitement la cohérence des couleurs et de la géométrie pendant la conversion entre images rendues et images réelles. L'enjeu est très concret pour les intégrateurs. Les méthodes classiques reposent sur des marqueurs dont la précision et la visibilité limitent celle de la calibration, et elles imposent une intervention humaine à chaque recalibrage. Les approches par apprentissage profond se passent de marqueurs et estiment la transformation depuis une seule image, mais leur fonctionnement reste opaque. Le rendu différentiable comble en partie ce manque : il s'appuie sur un modèle physique du robot et offre une optimisation interprétable, sans mire de calibration. Les masques binaires écrasent toutefois les détails de profil interne du robot et conduisent à des optimisations instables ou piégées dans des minima locaux. L'écart de 48 points sur l'insertion, tâche la plus exigeante en précision, suggère qu'une part importante des erreurs de manipulation venait de la calibration elle-même. Une réserve s'impose : ces chiffres proviennent d'un seul type de robot et d'un protocole défini par les auteurs. Même avec la méthode proposée, l'insertion ne réussit qu'un peu plus d'une fois sur deux, ce qui reste loin d'un niveau industriel. Ce travail s'inscrit dans une évolution en trois temps. Les marqueurs ont d'abord dominé, puis sont venues les méthodes de keypoints et de features apprises. Les méthodes par rendu différentiable, dont EasyHeC est l'exemple le plus abouti, sont apparues plus récemment. DRHeC prolonge cette dernière lignée en enrichissant le signal de comparaison avec la couleur et des caractéristiques géométriques issues des masques. L'article, publié sur arXiv (2609.36779v1), est une prépublication qui n'a pas encore été évaluée par des pairs. Aucun code, calendrier de déploiement ni partenaire industriel n'est mentionné dans le résumé. La suite dépendra de la généralisation à d'autres bras, à d'autres caméras et à des scènes moins contrôlées, et de la robustesse face aux occlusions et aux variations d'éclairage.

Recherche❖Paper

1 source

40

785arXiv cs.RO 

Navigation vision-langage multi-agents systématique : formulation, benchmark et méthode

Une équipe de chercheurs publie sur arXiv (référence 2609.35965) un cadre formel pour la navigation multi-agents guidée par la vision et le langage (VLN, Vision-and-Language Navigation), jusqu'ici centrée sur un seul robot suivant une seule consigne. Les auteurs proposent ce qu'ils présentent comme la première formalisation systématique du problème sous forme de coordination sous contraintes : chaque mission se décompose en sous-tâches liées par des dépendances et des contraintes de ressources, notamment des verrous de présence et des chaînes de détention d'objets. Ils livrent le benchmark MAVLN, produit par un pipeline de création en quatre étapes vérifiées : 11 724 épisodes répartis sur 145 scènes, avec des équipes allant jusqu'à quatre agents et trois régimes de consigne, ainsi que des métriques adaptées à ces contraintes. Ils présentent aussi TRISS, un système de référence qui associe un ordonnanceur de sous-tâches fondé sur un LLM, une mémoire topologique partagée transformant l'exploration de chaque agent en connaissance d'équipe, et un mécanisme d'exécution qui résout les conflits pour produire des trajets sans collision. Une page projet est publiée. Il s'agit d'un travail de recherche en simulation : aucun robot physique, déploiement ni produit n'est annoncé. L'enjeu tient à l'écart entre les démonstrations actuelles et les besoins des sites logistiques ou industriels, où plusieurs machines doivent se partager des ressources et respecter un ordre d'exécution. La plupart des travaux sur les modèles vision-langage-action (VLA) et sur la navigation évaluent un agent isolé. Le benchmark rend mesurable la coordination elle-même : qui fait quoi, dans quel ordre, avec quel objet, sans blocage mutuel. Le résultat le plus instructif est négatif. Les auteurs affirment que TRISS établit une base de comparaison complète mais laisse une marge de progression importante à chaque étage, ordonnancement, planification et exécution. Autrement dit, même avec un LLM qui planifie, la coordination sous contraintes reste loin d'être résolue. Les scores chiffrés ne figurent pas dans le résumé, et les 145 scènes simulées ne disent rien de la robustesse en environnement réel. Pour un intégrateur, cela relativise les promesses d'orchestration de flottes hétérogènes pilotées par langage naturel. Ce travail s'inscrit dans la montée des benchmarks VLN, puis des approches où un LLM sert de planificateur de haut niveau, jusqu'ici surtout mono-agent. Il complète des systèmes de flottes déjà commercialisés, comme les AMR d'Exotec en France, dont l'orchestration repose sur des optimiseurs classiques plutôt que sur des consignes en langage libre. Côté humanoïdes, des acteurs comme Figure avec Helix ou Tesla avec Optimus visent aussi le travail en équipe, sans métrique publique équivalente. Les suites probables sont l'adoption de MAVLN comme banc d'essai par d'autres laboratoires, des évaluations sur robots réels et l'intégration de modèles VLA capables d'agir, pas seulement de se déplacer.

Recherche❖Paper

1 source

40

786arXiv cs.RO 

Maîtriser les VLA face aux erreurs d'exécution du robot : autocompensation et tests de résistance

Des chercheurs proposent une méthode d'adaptation au déploiement, baptisée « self-compensating VLA », qui vise un défaut récurrent des politiques vision-langage-action (VLA) : elles échouent quand le mouvement réellement exécuté par le robot s'écarte de l'action commandée. Ces erreurs d'exécution viennent de la mécanique et des conditions d'usage, comme l'usure ou les changements de charge utile. La méthode met à jour la politique en ligne, sans récompense de tâche ni étiquette. Elle exploite uniquement le résidu entre l'action commandée par le VLA et le mouvement mesuré, ce qui permet à la politique de pré-compenser l'écart lorsqu'elle génère ses commandes. L'équipe publie aussi RoboStress, un banc d'essai en simulation qui combine des modèles articulaires établis de frottement, de jeu mécanique (backlash), de compliance et d'erreur de compensation de gravité. Il en tire sept scénarios de déploiement où l'erreur dépend de l'état du robot et de son historique de mouvement. Sur RoboStress, la méthode dépasse les politiques de base et les approches qui intègrent la robustesse à l'entraînement. Sur deux bras physiques aux historiques d'usage différents, le taux de réussite moyen gagne plus de 30 points de pourcentage sur chacun, y compris sur des objets absents des démonstrations. L'enjeu touche un angle mort de la commercialisation. Les VLA sont surtout évalués sur des robots neufs, bien calibrés et proches de ceux qui ont servi à collecter les données. Une flotte en production est différente : les articulations s'usent, les réducteurs prennent du jeu, les outils changent la charge. Ces travaux suggèrent qu'une part des échecs attribués à la « généralisation » des modèles relève en réalité d'un décalage mécanique, ce qui élargit l'écart entre démonstration et réalité. Pour un intégrateur ou un COO industriel, une adaptation sans supervision, sans reprise de collecte de données ni réentraînement, est intéressante : elle pourrait réduire le coût de maintien d'une flotte hétérogène. Des réserves s'imposent. Les résultats physiques portent sur seulement deux bras, l'ampleur des gains dépend des politiques de base testées, et le banc de simulation reste une approximation de la dégradation réelle. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans un courant qui cherche à rendre les VLA robustes après l'entraînement, alors que la course aux modèles généralistes, avec Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, se concentre surtout sur les données, l'échelle et la généralisation sémantique. Jusqu'ici, la réponse dominante à l'erreur d'exécution consistait à randomiser la dynamique en simulation ou à enrichir les données, ce que l'article prend justement pour référence. L'approche proposée relève plutôt du contrôle adaptatif classique, transposé aux politiques apprises. La suite logique serait de la tester sur davantage de plateformes, de la coupler à des modèles plus grands et de la valider sur des cycles longs, où l'usure évolue réellement. Le préprint (arXiv, v1) n'annonce ni code ni partenaire industriel.

Recherche❖Paper

1 source

39

787arXiv cs.RO 

Au-delà de l'état comme action : exploiter l'écart commande-état pour l'apprentissage par imitation en robotique

Une équipe de recherche publie, dans la version 2 de l'article arXiv 2609.33145, une méthode baptisée Command-State Discrepancy Weighting (CSDW) pour l'apprentissage par imitation en robotique. Elle porte sur la construction des cibles d'action. Une pratique établie consiste à les déduire du mouvement mesuré du robot (« state-as-action ») plutôt que de la commande envoyée. Les auteurs montrent que, lorsque l'interaction est contrainte, par exemple en contact avec un objet ou une surface, l'écart entre commande et état mesuré contient une information que le mouvement seul ne restitue pas. Trois tâches sur robot réel ont servi aux tests. Les analyses par tâche et par phase révèlent des écarts de supervision plus grands sous contrainte, et conserver sélectivement la commande s'avère localement utile. CSDW pondère la supervision de la commande de façon continue. Il tient compte des temps de réponse du robot et combine la progression ultérieure, la demande persistante non satisfaite et les variations de cette demande. Le résumé ne donne aucun chiffre de gain. L'intérêt est pratique. La méthode n'exige ni annotation des phases de tâche, ni modification de l'architecture de la politique, ni changement à l'inférence, ce qui la rend greffable sur des pipelines existants, y compris de type VLA (vision-language-action). Elle s'attaque à un angle mort des tâches riches en contact, comme l'insertion, l'essuyage ou le serrage, où l'effort demandé ne se voit pas dans la trajectoire. Les résultats restent nuancés. CSDW fait mieux qu'une supervision uniforme de la commande sur les tâches contraintes, mais les méthodes se valent sur la tâche la moins contrainte. Le gain se limite donc à la manipulation en contact, sans être universel. Le résumé ne précise ni les robots, ni les taux de réussite, ni l'ampleur des améliorations, ce qui empêche d'évaluer la portée réelle avant lecture des expériences. Ce travail relève de la recherche académique. Il n'y a ni produit, ni déploiement, ni calendrier de pilote. Il s'inscrit dans un débat plus large sur la meilleure représentation de l'action pour les politiques apprises, entre commandes de téléopération, positions mesurées et efforts. Ce débat concerne les acteurs qui misent sur des modèles généralistes entraînés sur des démonstrations, ainsi que les équipes européennes actives en manipulation. Aucun acteur français ou européen n'est cité ici. La page projet, seen-e.github.io/CSDW, devrait permettre de vérifier les vidéos et les protocoles. Les prochaines étapes probables sont des validations sur davantage de plateformes et de tâches, et une confrontation avec les grands modèles de fondation.

Recherche❖Paper

1 source

39

788arXiv cs.RO 

Se souvenir de ses actions : mémoire de l'historique d'actions et débruitage à double expert pour les politiques VLA à long horizon

Des chercheurs proposent ActMem-VLA, une architecture qui ajoute une mémoire de l'historique des actions à un modèle vision-langage-action (VLA) déjà entraîné, sans le ré-entraîner. Le système greffe sur une politique de base figée (fine-tunée puis gelée) un plugin composé d'un module mémoire basé sur Mamba, un modèle à espace d'états, et d'un expert léger baptisé PreAction Expert (PAE). Mamba encode les actions déjà exécutées, et cette mémoire conditionne le PAE avec le contexte courant. Pendant les premières étapes de débruitage, à fort bruit, le PAE oriente la progression de la tâche. Il transmet ensuite l'action partiellement débruitée à l'Action Expert (AE) figé, qui affine les détails sur les étapes restantes à faible bruit. Seuls Mamba et le PAE sont optimisés. Sur le benchmark LIBERO-Mem, ActMem-VLA atteint 80,8 % de réussite moyenne sur les dix tâches, contre 65,2 % pour π0.5 et 49,5 % pour MemoryVLA, pour seulement 3,45 % de paramètres supplémentaires. Sur quatre tâches réelles, le gain moyen sur π0.5 est de 28,8 %. L'article ne précise pas s'il s'agit de points de pourcentage ou d'un gain relatif. L'enjeu est le « perceptual aliasing » : à deux étapes différentes d'une tâche longue, l'observation et l'état du robot peuvent être quasi identiques, alors que l'action correcte diffère. Sans accès à l'historique, la politique hésite ou répète une étape déjà faite. Le résultat compte pour les intégrateurs, car la mémoire est ici un module ajouté à un VLA existant, sans repartir d'un entraînement complet. Un modèle de base validé en production pourrait ainsi gagner en fiabilité sur les séquences longues (assemblage multi-étapes, kitting, tri) pour un surcoût de calcul modeste. Le score de 80,8 % montre aussi qu'il reste près d'une tentative sur cinq en échec. LIBERO-Mem est de plus un benchmark de simulation conçu pour tester la mémoire, et l'évaluation réelle ne porte que sur quatre tâches, sans détail public dans le résumé sur le nombre d'essais. Le travail s'inscrit dans une série de méthodes qui injectent des indices temporels ou de progression dans les VLA, par conditionnement de features, modification de l'a priori d'action ou guidage de l'échantillonnage. MemoryVLA, comparé ici, fait partie de cette famille. Le coût de ces approches, qui entraînent conjointement la mémoire et le VLA de base, motive la séparation choisie par les auteurs entre pilotage conditionné par l'historique et raffinement par la politique figée. Le point de comparaison principal reste π0.5 de Physical Intelligence. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs. Aucun déploiement industriel ni code n'est mentionné dans le résumé, et les prochaines étapes probables sont une validation sur d'autres bases VLA et sur des tâches réelles plus longues.

Recherche❖Paper

1 source

39

789arXiv cs.RO 

DRAM : mémoire associative récurrente à règle delta pour les politiques de manipulation robotique

Des chercheurs proposent DRAM (Delta-rule Recurrent Associative Memory), un module de mémoire enfichable destiné aux politiques de manipulation robotique pré-entraînées. Décrit dans un preprint arXiv (2609.32453, version 2), il s'attache à un large éventail de politiques existantes et leur confère une mémoire longue durée sans modifier leur architecture ni réentraîner le backbone. Seuls le module de mémoire et l'action expert, la tête qui produit les actions, subissent un post-entraînement propre à la tâche. Le module maintient une mémoire associative de taille fixe, fondée sur une attention linéaire à règle delta avec porte (gated delta-rule). Sa mise à jour est modifiée pour intégrer en parallèle tous les tokens de chaque image. Un mécanisme de lecture indépendant de l'architecture injecte ensuite le contexte historique dans la prédiction d'action, quelle que soit la politique hôte. Les auteurs annoncent que DRAM améliore de façon constante des politiques gelées par rapport aux références à contexte court et à d'autres conceptions de mémoire compacte. Le résumé ne donne aucun chiffre, ni taux de réussite, ni nombre de tâches, ni liste des politiques testées. L'enjeu est pratique. La manipulation dépend de l'historique : savoir quelles étapes d'une tâche sont faites, où un objet a été rangé ou si une tentative a échoué. Or la plupart des politiques pré-entraînées, notamment les VLA (vision-language-action), ne voient que l'observation courante ou une courte fenêtre temporelle. Les deux remèdes actuels ont un coût. Empiler plusieurs images dans le backbone fait grimper le coût d'inférence, un problème pour le contrôle temps réel sur du matériel embarqué. S'appuyer sur des caractéristiques sémantiques prédéfinies limite la généralité et peut imposer de réentraîner le backbone. Une mémoire de taille fixe garde un coût d'inférence constant quelle que soit la durée de la tâche. Le fait que le backbone reste gelé compte aussi pour les intégrateurs : on pourrait ajouter de la mémoire à un modèle de fondation déjà validé sans relancer un entraînement lourd. Il s'agit toutefois d'une preuve de concept académique. Rien n'indique à ce stade une validation sur robot réel, des tâches longues en conditions industrielles ou des mesures de latence. Cette approche s'inscrit dans le courant qui importe en robotique les modèles récurrents efficaces issus du langage : attention linéaire, règle delta, mémoires d'état de taille fixe, alternatives aux Transformers à contexte croissant. Elle répond à une limite reconnue des VLA généralistes actuels, souvent sans état ou à mémoire très courte. Les auteurs la comparent à d'autres mémoires compactes, mais le résumé ne nomme pas les concurrents. La suite logique serait des évaluations sur plusieurs familles de politiques, avec des tâches réelles à longue échéance et un chiffrage du surcoût de calcul, seuls éléments qui permettront de juger si la mémoire post-hoc tient ses promesses hors du laboratoire.

Recherche❖Paper

1 source

39

790arXiv cs.RO 

VidAct : apprendre la manipulation à partir de vidéos réelles grâce à une perception 3D centrée sur les objets

VidAct est un framework « vidéo vers robot » décrit dans un préprint arXiv (2609.36870v1) qui apprend des politiques de manipulation à partir d'une seule vidéo monoculaire par tâche, puis les déploie sur un robot réel en zero-shot. Le système repose sur trois briques. La première reconstruit le maillage des objets et leur mouvement à partir de vidéos quelconques, puis exprime ce mouvement dans le repère statique de l'objet. Cela évite tout retargeting spécifique à l'embodiment (le passage d'une main humaine à une pince) et accepte des points de vue de caméra variés. La deuxième brique, un transfert de trajectoire résiduel, adapte le mouvement reconstruit à de nouvelles configurations d'objets en conservant la forme de la trajectoire. La troisième, au cœur de l'apprentissage, demande à la politique de prédire à chaque image le nuage de points complet de l'objet, fourni en privilège par la simulation, comme tâche auxiliaire. Le déploiement reste en RGB seul. Les expériences couvrent des vidéos humaines, robotiques, générées et issues d'internet. Le résumé ne donne aucun chiffre de taux de réussite, de nombre de tâches ni de plateforme robotique. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la réduction du coût de la donnée. La téléopération reste l'étalon de la collecte de démonstrations, mais elle est chère et peu extensible. Apprendre à partir d'une vidéo par tâche, y compris générée, déplace le goulot d'étranglement de la collecte vers la reconstruction 3D. L'approche traite aussi deux limites connues des méthodes de reconstruction : la dépendance à des caméras contraintes et la déformation des trajectoires face à un nouvel agencement d'objets. La supervision par nuage de points complet par image suggère que la conscience de la géométrie 3D des objets, souvent absente des politiques RGB, améliore la généralisation et le transfert simulation-réel. Ces conclusions restent à confirmer : les auteurs affirment des gains, mais l'abstract ne les quantifie pas. Les résultats viennent de tâches de laboratoire, sans indication de robustesse en environnement industriel ni de comparaison publiée avec des VLA généralistes. Ce travail s'inscrit dans une lignée qui cherche à remplacer la démonstration robotique par de la vidéo, en concurrence avec la collecte téléopérée à grande échelle et les modèles fondation type VLA, qui misent sur le volume de données plutôt que sur la reconstruction explicite. Il s'agit d'un préprint en première version, sans code, produit ni déploiement annoncé à ce stade. Les prochaines étapes à surveiller sont la publication des taux de réussite détaillés, la diffusion du code et, surtout, une validation sur des tâches longues, contraintes ou déformables, où la reconstruction monoculaire est la plus fragile.

Recherche❖Paper

1 source

39

791arXiv cs.RO 

FP2 : doter les modèles fondation robotiques d'un contrôle de force

Des chercheurs publient sur arXiv (2609.37433) FP2, une interface logicielle légère qui ajoute un contrôle de force explicite aux modèles de fondation robotiques (RFM) déjà adaptés à une tâche. L'architecture sépare l'action de la régulation. Le RFM adapté joue le rôle de politique de fondation et génère les actions au niveau de la tâche. Une seconde politique, à haute fréquence, s'occupe uniquement de réguler l'interaction. Pour savoir quoi réguler, FP2 compresse les représentations contextuelles de la politique de fondation, les combine avec les historiques de torseur (wrench, force et couple) et de proprioception, puis prédit des paramètres de contrôle de force structurés. L'évaluation porte sur quatre backbones de RFM et quatre tâches de manipulation réelles riches en contacts. Selon les auteurs, FP2 améliore de façon constante la performance de tâche et la qualité de régulation de force par rapport aux politiques de fondation seules, et se compare favorablement à des méthodes de référence sensibles à la force ou fondées sur le contrôle de force. Le résumé ne donne ni taux de réussite, ni fréquences de boucle, ni noms de backbones ou de tâches. L'intérêt tient à un point faible connu des VLA et autres modèles généralistes : ils produisent des trajectoires plausibles, mais l'interaction physique fiable (insertion, essuyage, assemblage, contact avec des objets déformables) exige une régulation de force que ces modèles, cadencés bien en dessous du kHz, n'assurent pas nativement. FP2 propose une voie pragmatique : ne pas réentraîner le modèle de fondation, mais lui greffer une couche de bas niveau. Les ablations indiquent que le contexte de la politique de fondation et le retour physique sont complémentaires, et que conserver la génération d'actions du RFM améliore l'efficacité comme la généralisation à des objets nouveaux. Pour un intégrateur, cela plaide pour une architecture en couches plutôt que pour des modèles de bout en bout dotés de capteurs de force. Réserve : il s'agit d'un préprint non évalué par les pairs, et le nombre limité de tâches ne dit rien de la robustesse en production, du coût du capteur de torseur ni de la latence ajoutée. Ces travaux s'inscrivent dans un mouvement plus large. Les modèles de fondation robotiques comme Pi-0, GR00T ou Helix ont surtout été validés sur des tâches où la vision et la position dominent. Les approches « force-aware » existantes injectent la force comme simple entrée du modèle, tandis que le contrôle d'impédance ou d'admittance classique reste réglé à la main. FP2 se place entre les deux en apprenant les paramètres du contrôleur à partir du contexte. La suite dépendra de la publication du code et des résultats détaillés sur le site du projet (force-policy.github.io/fp2), ainsi que d'une validation sur d'autres plateformes et tâches industrielles. Aucun pilote ni calendrier de déploiement n'est annoncé, et aucun acteur français ou européen n'est cité dans le résumé.

Recherche❖Paper

1 source

39

792arXiv cs.RO 

Guidage dynamique inspiré de la marche passive pour une locomotion humanoïde économe en énergie

Des chercheurs proposent un cadre d'apprentissage par renforcement inspiré de la marche dynamique passive (PDW) pour réduire le coût énergétique de la locomotion humanoïde. Pendant les premières phases d'entraînement, un champ de gravité incliné crée des conditions équivalentes à une pente et facilite la progression sagittale sur un sol pourtant plat, avec des termes de récompense couplés à un curriculum. Toute aide spécifique à la PDW est ensuite retirée avant l'optimisation sous dynamique nominale. Le cœur de la méthode n'exige ni trajectoire de référence, ni phases de marche, ni calendrier de contacts. Testé sur un Unitree G1 à 29 DOF, avec cinq graines d'entraînement en marche avant, le cadre réduit le coût de transport mécanique de 6,8 à 15,2 % pour des vitesses commandées de 0,5 à 2,0 m/s, sans dégrader le suivi de vitesse. La décomposition du travail mécanique attribue ce gain au travail positif des actionneurs. Sur le matériel réel, le coût de transport en marche avant baisse de 16,3 % avec un a priori de mouvement dédié à la marche, et de 4,5 % sans lui. Ce résultat déplace la question de l'efficacité énergétique, qui n'est plus seulement une affaire de pénalités d'effort dans la récompense. Ces pénalités n'orientent que indirectement la mécanique pas à pas, alors que le guidage par la dynamique agit sur la coordination de la démarche elle-même. Pour les intégrateurs et les décideurs B2B, l'autonomie est un facteur limitant du déploiement des humanoïdes : un coût de transport plus bas prolonge le temps de service par charge et allège les contraintes thermiques. Le gain est aussi obtenu sans données de mouvement propriétaires. Les auteurs distinguent l'accélération de l'apprentissage de la marche, apportée par le régime guidé, du bénéfice supplémentaire de l'inclinaison sur l'économie finale. Il faut toutefois nuancer : sur robot réel, le gain de 4,5 % sans a priori de mouvement reste dans la dispersion d'un essai à l'autre, donc statistiquement fragile. Le travail s'inscrit dans le courant dominant de la locomotion humanoïde par apprentissage par renforcement en simulation, où la marche est généralement obtenue par mise en forme de la récompense, imitation de références ou contraintes de contacts. Le G1 d'Unitree sert de plateforme de recherche répandue, ce qui facilite la reproduction. Le cadre s'étend à la locomotion omnidirectionnelle sans assistance : le bénéfice persiste lorsqu'un a priori de mouvement spécifique à la marche fournit la coordination cinématique, et l'association réduit alors le coût de transport à vitesse égale de 18,7 %. Aucun pilote industriel ni calendrier de déploiement n'est annoncé, et les résultats matériels portent sur un seul type de robot, en marche avant. La suite logique consiste à valider ces gains sur d'autres morphologies, en charge utile et sur terrains variés, avant tout transfert vers des produits commerciaux.

Recherche❖Paper

1 source

39

793arXiv cs.RO 

Vers une perception spatiale pour la collaboration de robots hétérogènes en milieu minier souterrain

Des chercheurs présentent sur arXiv le pipeline de perception embarqué du projet PERSEPHONE, une mission d'extraction minière autonome dans d'anciennes mines souterraines abandonnées. Le système associe deux robots hétérogènes. Un robot « Explorer », léger, cartographie une mine inconnue et produit un graphe de scène 3D des cibles à inspecter. Pour cela, il exécute une pile de segmentation sémantique vision-langage en zero-shot, qui détecte les gisements minéraux à partir de simples requêtes en langage naturel. La carte et le graphe sont ensuite transmis à un second robot, l'« Inspector », équipé d'une charge utile de capteurs avancés, qui s'en sert pour planifier des points de vue d'inspection rapprochée. L'étape clé décrite est l'abstraction géométrique qui transforme les détections brutes en cibles exploitables : génération de boîtes englobantes par vue, fusion des boîtes entre vues, ajustement de plans et extraction de polygones. La validation a eu lieu dans une installation d'essai souterraine et dans une mine de magnésite en activité, sur des minéralisations de veines de fer et de magnésite, en conditions de perception dégradée. Le résumé ne donne ni taux de détection, ni temps de mission, ni dimensions des robots. L'intérêt tient au constat de départ : aucune plateforme unique ne combine la mobilité nécessaire pour parcourir des kilomètres de galeries dégradées et la charge utile de capteurs requise pour caractériser un corps minéralisé. La réponse est donc une division du travail entre un éclaireur agile et un inspecteur lourd. Pour les intégrateurs et les exploitants, l'enjeu concret est la passation d'un robot à l'autre, à travers une représentation partagée, et non plus la performance d'un seul engin. Le recours à des modèles vision-langage sans entraînement spécifique suggère aussi qu'on peut désigner une cible minérale par une phrase plutôt que par un jeu de données annoté. Reste à savoir ce que vaut cette approche hors des deux sites testés, car le texte ne chiffre pas la précision de détection, la robustesse face à la poussière, à l'obscurité ou aux variations de minéralogie, ni l'autonomie de l'ensemble. Ce travail s'inscrit dans la robotique souterraine, dont les références restent les équipes de la compétition DARPA SubT, qui avaient éprouvé cartographie et exploration en environnements dégradés, mais surtout pour la recherche et le sauvetage. Ici, la finalité est la réouverture de gisements profonds dans des mines abandonnées, un cas d'usage où le graphe de scène sert d'interface entre perception et planification. Le document est un preprint, non évalué par les pairs, et décrit un pipeline de perception, non un système commercial ni un déploiement industriel. Les suites logiques sont l'intégration avec les phases d'extraction de PERSEPHONE et des essais dans d'autres mines, sans calendrier annoncé dans le résumé.

Recherche❖Paper

1 source

39

794arXiv cs.RO 

Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM

Des chercheurs proposent un cadre de « Risk-Aware Semantic Grounding » (ancrage sémantique sensible au risque) pour fiabiliser les robots de navigation pilotés par un grand modèle de langage (LLM), et publient sur arXiv (2609.37554v1) un banc d'essai associé, TRUST-NAV. Le problème visé est connu : lorsqu'un LLM sert de planificateur de haut niveau, ses sorties deviennent peu fiables si l'instruction est ambiguë, sans support dans l'environnement ou incohérente sur le plan sémantique. L'architecture estime donc, avant toute planification, trois risques distincts : l'ambiguïté, l'hallucination et le conflit sémantique. Selon ce score, le système choisit entre trois issues : exécuter l'instruction, demander une clarification ou la rejeter. TRUST-NAV réunit des tâches de navigation standard et des scénarios d'instructions volontairement piégées. Les résultats rapportés indiquent que les planificateurs LLM classiques performent bien sur les tâches valides, alors que le cadre proposé améliore nettement la détection d'ambiguïté et le rejet des conflits sémantiques. Le résumé ne fournit ni chiffres, ni modèles testés, ni robot réel : il s'agit d'un travail académique évalué sur benchmark, sans déploiement ni produit. L'intérêt tient au déplacement de la métrique. Jusqu'ici, la plupart des travaux sur les planificateurs LLM et les modèles vision-langage-action (VLA) optimisent la génération de plans et se jugent sur le taux de réussite des tâches. Les auteurs soutiennent qu'un robot fiable se mesure aussi à sa capacité à reconnaître qu'il ne doit pas agir. Pour un intégrateur ou un responsable d'exploitation, c'est un critère de sécurité concret : un AMR ou un humanoïde qui exécute avec assurance une consigne ambiguë ou impossible est un risque opérationnel, pas seulement une erreur de performance. L'approche est aussi modulaire, puisque le filtrage précède la planification et pourrait en principe se greffer sur des planificateurs existants. Il faut toutefois rester prudent : l'absence de chiffres publiés, l'évaluation sur un benchmark créé par les mêmes auteurs et l'écart habituel entre simulation et terrain limitent la portée des conclusions, en particulier sur le coût en fausses alertes, c'est-à-dire les refus ou demandes de clarification inutiles qui ralentissent une exploitation. Ce travail s'inscrit dans la vague des LLM employés comme planificateurs de haut niveau en navigation et en manipulation, où les hallucinations et l'ancrage dans l'environnement restent des points faibles reconnus. Les approches concurrentes reposent sur l'estimation d'incertitude, la prédiction conforme pour déclencher des demandes d'aide, ou des couches de vérification et de garde-fous, tandis que les grands modèles fondation robotiques cherchent surtout à augmenter le taux de réussite. La suite dépendra de la disponibilité de TRUST-NAV pour la communauté, de la reproduction des résultats par des tiers et d'un test sur robot physique, étape que la version 1 du préprint ne mentionne pas.

Recherche❖Paper

1 source

39

795arXiv cs.RO 

Apprentissage d'une représentation du mouvement expressive et compositionnelle via des compétences spectrales

Des chercheurs proposent les « spectral skills », une représentation latente qui sert d'interface de commande entre un planificateur de haut niveau et un contrôleur bas niveau pour humanoïdes. Ces skills encodent de courts segments de mouvement sous forme compacte. Elles sont apprises par apprentissage prédictif : l'encodeur doit prédire le mouvement suivant, et non reconstruire son entrée. Sur un humanoïde de 29 DOF, un contrôleur conditionné par ces skills réduit l'erreur de suivi global de 62 % par rapport à l'état de l'art. Le même contrôleur, gelé, enchaîne des skills encodées indépendamment sans politique de transition dédiée. Il compose aussi de nouveaux comportements en ajoutant des directions orthogonales à une skill de base compatible, ce qui produit des combinaisons absentes des données d'entraînement. Les auteurs présentent du suivi de mouvement, de l'enchaînement et de la composition, ainsi qu'un pilotage par un planificateur conditionné par le langage, sur un Unitree G1 réel. Le travail, publié sur arXiv (2609.37677), est accompagné d'une page projet. L'enjeu porte sur l'interface entre planificateur et contrôleur, un point de friction des architectures hiérarchiques pour humanoïdes. Cette interface doit permettre une exécution précise, rester assez simple pour être prédite par un modèle de fondation (VLA ou planificateur de langage) et se prêter à la composition. Les représentations actuelles sacrifient en général l'un de ces critères. Si les résultats se confirment, un contrôleur unique et figé pourrait exécuter des comportements variés sans réentraîner de module de transition. Cela réduirait le coût d'intégration pour ceux qui greffent un planificateur sur une base de locomotion existante. Deux réserves : la réduction de 62 % est relative à un état de l'art que le résumé ne nomme pas, et les démonstrations matérielles sur G1 restent qualitatives. Aucun chiffre de robustesse, de taux de réussite ni de durée d'exécution n'est fourni. Le passage de la démonstration de laboratoire à un déploiement industriel n'est donc pas établi. Ce travail s'inscrit dans le mouvement des modèles de fondation robotiques pour humanoïdes. Ceux-ci adoptent souvent une architecture à deux niveaux, comme les systèmes duaux de type Helix chez Figure ou GR00T chez NVIDIA, avec un module « lent » qui décide et un module « rapide » qui exécute. Le Unitree G1, plateforme abordable et très répandue dans les laboratoires, sert ici de banc d'essai. Il rend la méthode reproductible par d'autres équipes, mais les 29 DOF et les capacités du G1 ne reflètent pas les contraintes de charge utile ou d'endurance d'un humanoïde industriel. Les suites logiques sont la validation sur d'autres morphologies, la comparaison publique avec les méthodes de suivi de mouvement existantes et l'intégration avec des planificateurs de type VLA à grande échelle. Aucun pilote industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

39

796arXiv cs.RO 

ProAct-VLM : replanification de tâches vision-langage avant l'échec, avec retour de perception continu

Une équipe de chercheurs publie sur arXiv ProAct-VLM, un cadre de planification de tâches pour la manipulation robotique. Il intègre un modèle vision-langage (VLM) dans une boucle de perception en temps réel. Le code et la page projet sont hébergés sur GitHub (moured/ProAct-VLM). Le système surveille l'environnement en continu pendant l'exécution d'une tâche longue et replanifie dès qu'un changement pertinent apparaît, avant que l'action en cours n'échoue. Les auteurs l'ont comparé à plusieurs approches de référence et l'ont testé avec différents VLM comme backbone. Ils rapportent de meilleurs taux de succès et une meilleure efficacité sur des tâches de manipulation dynamiques à long horizon. Le résumé publié ne donne ni chiffres précis, ni nom de robot, ni liste des baselines. Le gain reste donc à vérifier dans le texte complet. Le problème visé est courant en déploiement : une pièce déplacée, un objet tombé ou un opérateur qui passe suffisent à rendre un plan périmé ou dangereux. Les pipelines à règles, réglés à la main pour des scénarios précis, se généralisent mal en milieu ouvert. Les cadres à base de VLM existants replanifient surtout de façon réactive, après un échec d'exécution ou lors d'un contrôle en fin de tâche. Certains vérifient des conditions avant chaque action, mais ces contrôles ponctuels ne voient pas ce qui change pendant le mouvement. ProAct-VLM propose de passer d'une correction après l'échec à une anticipation pendant l'exécution. Pour un intégrateur, l'enjeu est de réduire les arrêts, les reprises et les risques de collision dans les environnements semi-structurés, comme la logistique ou l'assemblage avec présence humaine. Il faut toutefois rester prudent. Une boucle de perception continue couplée à un VLM pose des questions de latence, de coût de calcul et de fausses alertes qui déclenchent des replanifications inutiles. Le résumé n'en dit rien. Ce travail s'inscrit dans le mouvement qui utilise les modèles vision-langage comme planificateurs de haut niveau, en complément des politiques VLA (vision-langage-action) qui pilotent directement les actionneurs. Les cadres de replanification réactifs et les vérifications de préconditions constituent les références directes. Ils sont cités comme les limites que ProAct-VLM cherche à dépasser. Il s'agit d'une prépublication (v1) non évaluée par des pairs. On ne sait pas encore si les résultats ont été obtenus en simulation ou sur robot réel, ni sur quelles plateformes. Les prochaines étapes à surveiller sont la publication du code, la reproduction indépendante et des tests sur matériel avec des perturbations réelles.

Recherche❖Paper

1 source

39

797arXiv cs.RO 

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences

DROM, un cadre génératif décrit dans un préprint arXiv (v1), vise un problème classique de la manipulation robotique : apprendre à partir de peu de démonstrations des politiques robustes, capables d'enchaîner plusieurs compétences sur des tâches longues. Les auteurs utilisent des Dynamic Movement Primitives (DMP) pour multiplier un petit nombre de démonstrations expertes en jeux de données multi-compétences. Ils affirment que cela réduit la collecte de données et étend la généralisation spatiale au-delà de la zone démontrée. Le modèle prolonge Motion Planning Diffusion (MPD) avec une attention croisée conditionnée par le langage. Un seul réseau génère alors des trajectoires cohérentes pour plusieurs primitives, y compris des comportements sensibles à l'orientation, difficiles à programmer avec un planificateur classique ou un contrôleur codé en dur. Pour les tâches longues, un grand modèle de langage (LLM) découpe la demande d'un opérateur en séquence de compétences exécutables. La validation a eu lieu sur un Franka Emika Panda, un FANUC CRX25ia et en simulation MuJoCo. Selon les auteurs, DROM dépasse les références MPD et Behavior Cloning. Le résumé ne donne aucun chiffre : ni taux de réussite, ni nombre de démonstrations, ni nombre de compétences, ni temps de cycle. Les jeux de données, les environnements de simulation et le code sont publiés sur GitHub. L'intérêt tient d'abord à la combinaison de trois briques déjà connues, DMP, diffusion et LLM, dans une architecture unique et exploitable en atelier. Pour un intégrateur, la promesse est de réduire le coût de programmation et de téléopération à chaque nouvelle variante de tâche. Un opérateur pourrait piloter une cellule en langage naturel, sans écrire de trajectoires. La présence d'un FANUC CRX25ia, cobot industriel de 25 kg de charge, est un signal plus pertinent que le seul Panda, plateforme de laboratoire. Elle indique une volonté de transfert vers du matériel de production. Il faut toutefois rester prudent. Sans métriques publiées, sans précision sur le sim-to-real, sur la robustesse face aux perturbations ni sur la latence d'inférence de la diffusion, le gain sur les références reste invérifiable à ce stade. L'écart entre une démonstration de laboratoire et une cadence industrielle n'est pas comblé. Ce travail s'inscrit dans une course où dominent les modèles vision-langage-action (VLA) entraînés sur de grands volumes de données, comme Pi-0, GR00T ou Helix. DROM prend le parti inverse : un pipeline modulaire et frugal en données, où le LLM planifie et la diffusion exécute, avec des trajectoires plus interprétables. Ce compromis intéressera les cellules à faible volume et à forte variété. La suite dépendra de la reproduction par des tiers, grâce au dépôt ouvert, et d'essais sur des tâches réelles plus contraintes que celles d'un banc de test académique. Aucun pilote industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

39

798arXiv cs.RO 

RLE-Bench : un examen de qualification pour les agents de code en ingénieurs d'apprentissage robotique

RLE-Bench est un nouveau benchmark, publié sur arXiv (v2 en septembre 2026), qui évalue des agents de code comme ingénieurs en robot learning plutôt que comme simples producteurs de politiques de contrôle. Il regroupe des tâches réparties sur quatre flux de développement robotique : contrôle interactif, apprentissage de politiques, perception et estimation, et conception mécanique. Chaque tâche a ses propres métriques : taux de succès obtenu par l'agent, performance de la politique qu'il a entraînée, qualité du harnais logiciel qu'il a construit, ou structures mécaniques conçues. Ces scores sont agrégés dans un « RLE Index » global, complété par des profils de capacités par flux de travail. Les auteurs ajoutent des études de cas qualitatives sur le comportement des agents. Le résumé ne donne ni le nombre de tâches, ni les modèles testés, ni les scores, ni le classement : ces éléments restent à vérifier dans l'article complet. L'intérêt est de déplacer la mesure de l'artefact isolé vers le processus d'ingénierie. La plupart des benchmarks robotiques notent une politique ou un contrôleur. Or le travail réel consiste à construire, intégrer, diagnostiquer et améliorer des composants hétérogènes sous contraintes de ressources, en raisonnant à partir de retours multimodaux. Pour un intégrateur ou un COO qui envisage de confier des tâches d'ingénierie à des agents de code, un profil par flux est plus exploitable qu'une note unique. Il montre où l'agent est fiable et où il faut garder un humain. L'inclusion de la conception mécanique est notable : elle teste des capacités très éloignées du code pur. Sans chiffres publiés dans le résumé, on ne peut toutefois pas dire si les agents actuels sont proches d'un niveau utilisable ou loin du compte. Ce travail s'inscrit dans la montée des agents de code hors des tâches purement numériques, vers le monde physique. Il prolonge des benchmarks centrés sur les politiques, qui mesurent surtout la manipulation ou la locomotion et non l'ingénierie qui les produit. Le titre parle d'un « examen de qualification », ce qui suggère un seuil minimal de compétence plutôt qu'un plafond. Les auteurs affirment que les tâches robotiques pourraient aussi servir de signal d'entraînement pour de futurs agents. La suite dépendra de l'adoption du benchmark par les laboratoires d'agents et de la publication de résultats comparables entre modèles.

Recherche❖Paper

1 source

39

799arXiv cs.RO 

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel

Des chercheurs proposent Urgency-Aware Denoising (UAD), un cadre appliqué à l'inférence qui vise la latence des politiques Vision-Language-Action (VLA) à diffusion ou à flow matching. Ces modèles produisent des « chunks » d'actions par débruitage itératif, et chaque étape de débruitage ajoute du délai avant que le robot puisse bouger. UAD part d'un constat simple. Les actions d'un chunk sont générées ensemble mais exécutées l'une après l'autre, donc les premières sont plus urgentes que les dernières. Le système libère ces actions urgentes après moins d'étapes de débruitage. Il poursuit en arrière-plan le raffinement des actions de fin de chunk, pendant que le robot exécute les premières. Deux mécanismes corrigent les effets secondaires. Trajectory Reconciliation reconstruit un état interne cohérent, sans évaluation supplémentaire du modèle. Ghost Action Correction utilise des « actions fantômes », des prolongements non exécutés, pour compenser les erreurs des actions libérées trop tôt. Selon les auteurs, testés sur plusieurs architectures VLA, des benchmarks de simulation et des tâches de manipulation réelles, UAD atteint jusqu'à 1,89x d'accélération sur la latence moyenne de disponibilité des actions. Le taux de succès reste comparable à l'inférence classique avec un budget de débruitage optimal. L'intérêt tient au point de blocage de ces politiques : la latence d'inférence limite le contrôle temps réel. Beaucoup de méthodes d'accélération traitent le chunk comme un bloc indivisible. Ici, on exploite la structure temporelle du contrôle à horizon glissant. Cela peut réduire le délai de réaction sans changer les poids du modèle. Les résultats appellent toutefois de la prudence. Le chiffre de 1,89x est un maximum. Il porte sur la disponibilité moyenne des actions, pas sur le temps de cycle d'une tâche complète. Le résumé ne précise ni les modèles, ni le matériel, ni les tâches réelles, ni la variance entre essais. « Comparable » reste à quantifier. Ce travail s'inscrit dans la course aux VLA à diffusion et à flow matching, de la famille Pi-0 aux politiques de diffusion, qui pousse à réduire le coût du débruitage. Les alternatives connues passent par moins d'étapes, la distillation, la mise en cache ou l'inférence asynchrone. Les auteurs affirment un meilleur compromis succès-latence que les références de pointe, sans que le résumé les nomme. C'est un preprint arXiv, non évalué par les pairs, sans acteur industriel identifié. Les prochaines étapes à surveiller sont la publication du code, la réplication indépendante et des essais sur robot embarqué.

Recherche❖Paper

1 source

39

800arXiv cs.RO 

SkillWeaver : exploration à base d'agents de compétences d'interaction neuronales pour la génération de données robotiques à grande échelle

SkillWeaver, un framework publié sur arXiv (2609.36171), propose de générer automatiquement des données robotiques en simulation grâce à un agent de raisonnement. Le système repose sur des « Neural Interaction Skills » (NIS), des politiques paramétrables, réutilisables et en boucle fermée, entraînées par apprentissage par renforcement pour la manipulation riche en contacts. Étant donné une tâche et un environnement simulé, un agent VLM (modèle vision-langage) décide de la prochaine action, invoque et paramètre une NIS, observe le résultat, puis produit des étapes de vérification, de réflexion et de mémoire. L'exploration prend la forme d'une recherche arborescente guidée par un vérificateur. Le système a généré 39,1 K démonstrations sur 14,1 K scènes, ensuite distillées en politiques visuomotrices. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel associé. L'enjeu porte sur le goulot d'étranglement de la donnée. La téléopération reste coûteuse et difficilement extensible à des environnements variés ou à des tâches longues. Les pipelines de simulation actuels dépendent souvent de contrôleurs en boucle ouverte, de séquences de compétences scriptées ou de programmes propres à chaque tâche, ce qui limite leur généralité. SkillWeaver déplace la logique : le savoir-faire physique est encapsulé dans des primitives apprises, et l'agent découvre lui-même les enchaînements gagnants. Les auteurs affirment une meilleure généralisation à de nouveaux objets, configurations spatiales, tâches et environnements, ainsi qu'un transfert sim-to-sim et sim-to-real en zéro ou few-shot. Ces résultats viennent du résumé de l'article. Le résumé ne donne aucun taux de réussite, aucun modèle de référence ni aucun protocole. Le volume de manipulation réelle testé est aussi inconnu, alors que c'est là que se joue l'écart entre démonstration et réalité. La revendication d'une alternative « scalable » reste donc à confirmer par les tableaux détaillés. Le travail s'inscrit dans la recherche sur la génération de données synthétiques pour les modèles VLA (vision-langage-action), qui alimentent aujourd'hui les efforts autour de Pi-0, GR00T ou Helix. Elle vise à réduire la dépendance à la collecte humaine. Les approches concurrentes combinent LLM et code généré, ou augmentent un petit nombre de démonstrations humaines en simulation. L'originalité ici est de placer des politiques RL fermées, et non du code ou des trajectoires scriptées, comme briques de l'exploration. La suite dépendra de la publication du code et des données, de la reproduction par d'autres laboratoires et de la mesure du coût de calcul de la recherche arborescente. Aucun acteur français ou européen n'est cité dans le résumé.

Recherche❖Paper

1 source