Actualités robotique — page 25

7 309 articles au fil, du plus récent au plus ancien.

43

1201Pandaily 

La Chine ouvre plus de 70 sites d'entraînement pour l'IA incarnée, une norme de jeux de données attendue le 1er novembre

La Chine a ouvert plus de 70 sites d'entrainement pour l'IA incarnée (embodied AI) a fin juin 2026, avec plus de 40 sites supplémentaires en construction ou en planification, selon un rapport de l'Academie chinoise des technologies de l'information et des communications (CAICT) cite par Economic Information Daily et relaye en anglais par Xinhua le 22 septembre. Ces installations, parfois surnommées "écoles de robots", se concentrent dans le delta du Yangtze, la région Pekin-Tianjin-Hebei et le delta de la rivière des Perles: le Zhejiang arrive en tête avec 14 sites, suivi du Jiangsu, de Pekin, du Guangdong et du Shandong avec huit chacun. La Chine compte plus de 140 fabricants de robots humanoïdes et a livre environ 14 400 unités en 2025, soit environ huit livraisons mondiales sur dix selon Xinhua. Sur ces sites, des opérateurs en capture de mouvement génèrent des trajectoires annotées a partir de taches répétitives comme saisir des bouteilles, charger des plateaux ou scanner des colis. Dans le Guangdong, le site provincial sert aussi de plateforme de mise en relation entre fabricants de robots et utilisateurs des secteurs santé et énergie, tandis que la base pilote nationale de Hangzhou se positionne comme connecteur mutualise entre entreprises publiques, groupes technologiques et partenaires applicatifs, avec des porteurs de projet qui évoquent des économies importantes par rapport a la constitution de jeux de données propriétaires. Cette annonce révèle un gouffre persistant entre le volume de déploiement de robots humanoïdes et leur fiabilité réelle en usage quotidien: malgré une production de masse, les fabricants chinois restent freines par la raretee de données d'interaction en conditions réelles, ce qui confirme que le "sim-to-real gap" n'est pas résolu par le seul volume de simulation. Pour les intégrateurs et décideurs B2B du secteur robotique, le signal est celui d'une infrastructure nationale de collecte de données plutôt que d'un produit ou d'un modèle fini a l'américaine (a comparer aux approches Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia, davantage centrées sur les modèles VLA). Cette approche par volume de terrains d'entrainement, combinée a une normalisation imminente de la qualité des jeux de données, pourrait accélérer la maturité opérationnelle des flottes chinoises et redistribuer la compétition mondiale, jusqu'ici dominée par le narratif américain autour des VLA (vision-language-action). Cette dynamique s'inscrit dans la continuité d'une politique industrielle déjà engagée: en juin 2026, le ministère de l'Industrie et des Technologies de l'information (MIIT) et la Commission de supervision et d'administration des actifs publics (SASAC) ont lance une action spéciale demandant a chaque région provinciale d'identifier au moins 20 scenarios prioritaires et de créer des espaces d'entrainement et de test nécessitant un aménagement minimal. Parallelement, une norme industrielle sur la qualité des jeux de données d'IA incarnée, rédigée par le CAICT avec plus de 40 organisations, doit entrer en vigueur le 1er novembre 2026, avec l'objectif de faire passer le secteur d'une logique de collecte massive a une logique de qualité et d'évaluation. Des opérateurs testent aussi des modèles économiques allant au-delà de la simple vente de données brutes, comme le "training-as-a-service" combinant collecte, entrainement de modèles et validation applicative. Aucun acteur français ou européen (Wandercraft, Exotec, Pollen Robotics, Enchanted Tools) n'est mentionne dans cette annonce, qui reste centrée sur l'écosystème chinois et ses partenaires industriels domestiques.

Chine/Asie⚡Actu

1 source

46

1202arXiv cs.RO 

Passage à l'échelle de l'apprentissage par renforcement VLA sim-vers-réel grâce à des mondes 3D génératifs

Une preprint arXiv mise a jour (2603.18532v3) présente une méthode pour affiner par apprentissage par renforcement (RL) des modèles vision-langage-action (VLA) en remplaçant les données réelles couteuses par des mondes 3D génératifs. Partant d'une politique pretrainee par imitation, les chercheurs combinent des modèles génératifs de scènes 3D et un concepteur de scènes pilote par langage naturel pour produire 100 environnements interactifs varies, permettant un entrainement RL massivement parallèle. Le taux de réussite en simulation grimpe de 9,7% a 79,8%, avec un temps de complétion des taches réduit de 1,25x. Transfere vers le réel grâce a de la randomisation de domaine, le taux de réussite passe de 21,7% a 75%, pour un gain de vitesse de 1,13x. Ce résultat s'attaque a un problème connu du secteur : affiner un VLA par RL directement en conditions réelles évite le fosse sim-to-real mais transforme paradoxalement un modèle généraliste en politique surspecialisee a une seule scene, faute de pouvoir diversifier les environnements physiques a bas cout. La simulation promettait plus de diversité, mais concevoir manuellement des scènes variées restait tout aussi couteux en travail. En montrant qu'un générateur de mondes 3D peut produire a la demande des dizaines d'environnements exploitables pour du RL a grande échelle, ces travaux ouvrent une voie pour les laboratoires et intégrateurs cherchant a entrainer des politiques généralistes sans multiplier les campagnes de collecte réelle, tout en traitant le fosse sim-to-real par la diversité des scènes plutôt que par le seul réalisme physique du simulateur. La méthode s'inscrit dans la lignée des travaux sur le fine-tuning RL des VLA, inspires par les progrès des grands modèles vision-langage entraines par renforcement, et se distingue des approches concurrentes fondées sur le RL purement réel ou sur des bibliothèques de scènes simulées construites a la main. Cette troisième version (v3) succède a des publications antérieures de la même preprint sur arXiv, signe d'un travail itératif. Une étude d'ablation montre que la généralisation zero-shot s'améliore directement avec la diversité des scènes générées, ce qui laisse présager une mise a l'échelle au-delà des 100 environnements testes ici avant tout déploiement industriel.

Recherche⚡Actu

1 source

43

1203arXiv cs.RO 

TaskAnchor : ancrer l'état de la tâche dans des VLA réactifs pour la manipulation à long horizon

Un article publié sur arXiv en septembre 2026 (référence 2609.23580) présente TaskAnchor, un adaptateur léger pour les modèles vision-langage-action (VLA) réactifs utilisés en manipulation robotique à long horizon. Les auteurs décrivent un problème qu'ils nomment « aliasing d'état de tâche » : deux observations visuelles presque identiques peuvent exiger des actions différentes selon l'étape de la tâche, ce qui fait échouer les modèles purement réactifs. TaskAnchor combine un raffinement visuel conditionné par l'historique d'exécution et une coordonnée d'état de tâche, un scalaire supervisé par jalons injecté via les interfaces visuelle et langagière natives du modèle, sans planificateur ni modification du mécanisme de génération d'actions. Sur le benchmark RMBench, il multiplie par 4,9 à 5,5 le taux de succès moyen des modèles π0.5 et X-VLA, avec des gains similaires sur RoboMemArena et sur robots réels, pour un surcoût de seulement 2,08 millisecondes par segment d'action sur π0.5. Le résultat cible un angle mort des VLA génériques, qui fonctionnent en boucle réactive sans mémoire explicite du travail déjà accompli et échouent dès qu'une tâche comporte plusieurs étapes visuellement ambiguës. Pour les intégrateurs qui évaluent des VLA pour des cellules industrielles ou logistiques, cela montre qu'un module additionnel peu coûteux en calcul peut réduire l'écart entre démonstrations de laboratoire et exécution fiable de séquences longues, sans réentraîner le modèle de base. Cela nuance aussi l'idée que le seul passage à l'échelle des VLA suffirait à résoudre la robustesse sur les tâches longues : le goulot d'étranglement semble autant architectural, l'absence de représentation d'état, qu'une question de volume de données d'entraînement. π0.5, développé par Physical Intelligence, et X-VLA servent de bases de comparaison et illustrent la génération actuelle de modèles VLA génériques pilotant bras et robots mobiles à partir d'instructions en langage naturel. TaskAnchor s'inscrit dans un courant de recherche visant à doter ces modèles d'une mémoire de progression de tâche, un axe distinct de la course aux plateformes humanoïdes mais déterminant pour l'exécution de tâches industrielles multi-étapes. L'affiliation des auteurs n'est pas précisée dans le résumé, et le travail reste une contribution académique évaluée sur benchmarks de simulation et essais robots limités, sans annonce de produit, de partenariat industriel ni de calendrier de déploiement.

IA physique⚡Actu

1 source

43

1204arXiv cs.RO 

ReVeal : un cadre de réel-vers-simulation conscient de la reconstruction pour l'évaluation des politiques VLA

Un nouveau préprint publié sur arXiv le 22 septembre 2026 (référence 2609.23910v1) présente ReVeal, un framework d'évaluation « real-to-sim » destiné à tester les politiques vision-langage-action (VLA) en robotique. Le système combine trois étapes : reconstruction de l'espace de travail, évaluation de la qualité de cette reconstruction, puis évaluation en boucle fermée de la politique dans l'environnement simulé reconstruit. Deux métriques sont introduites : Novel-View Mesh Fidelity (NVMF), qui mesure la fidélité des observations sous des angles inédits, et Annotated Planar Geometry Fidelity (APGF), qui évalue la précision géométrique des surfaces planes. Les auteurs développent aussi PGSR-D, un pipeline de reconstruction ajoutant une supervision par profondeur monoculaire pour améliorer la géométrie là où les indices visuels multi-vues manquent. Sur 8 scènes de test, NVMF et APGF distinguent de façon cohérente la fidélité de trois pipelines : 2DGS, PGSR et PGSR-D. Des évaluations appariées portant sur trois politiques VLA, GR00T, SmolVLA et pi0.5, menées sur 8 tâches de manipulation humanoïde, montrent un ordre cohérent entre fidélité de reconstruction et degré d'accord entre performance réelle et performance simulée. Ce travail cible un obstacle connu du secteur robotique : les erreurs de reconstruction 3D peuvent faire diverger les résultats obtenus en simulation de ceux obtenus en conditions réelles, ce qui fragilise l'usage de la simulation comme méthode rapide et peu coûteuse pour évaluer des politiques d'IA embarquée avant déploiement. En établissant une corrélation mesurable entre fidélité de reconstruction et fiabilité de l'évaluation simulée, ReVeal donne aux intégrateurs et laboratoires un moyen de juger si un environnement simulé est assez fiable pour remplacer des tests physiques, un enjeu central alors que les politiques génératives de type VLA se multiplient et que leur validation à grande échelle sur robot réel reste coûteuse et lente. Le papier ne prétend pas résoudre l'écart sim-to-réel, mais documente empiriquement à quel point la qualité de reconstruction conditionne la validité des benchmarks simulés, une nuance utile face à des résultats en simulation souvent présentés sans contrôle de cette fidélité. Le sujet s'inscrit dans la multiplication récente de politiques VLA généralistes pour la manipulation robotique, telles que GR00T (Nvidia), SmolVLA (Hugging Face) et pi0.5 (Physical Intelligence), ici utilisées comme cas de test plutôt que comme objets d'étude. Les méthodes de reconstruction comparées, 2D Gaussian Splatting (2DGS) et Planar Gaussian Splatting Reconstruction (PGSR), relèvent des techniques de rendu neuronal récentes employées pour construire des jumeaux numériques d'environnements robotiques. À ce stade, ReVeal reste un cadre de recherche méthodologique, sans déploiement industriel ni intégration annoncée par un fournisseur de robots ou de simulateur. Il ouvre néanmoins la voie à des protocoles d'évaluation standardisés que les éditeurs de politiques VLA ou les plateformes de simulation pourraient adopter pour certifier la fiabilité de leurs bancs d'essai simulés avant tout déploiement physique.

Recherche❖Paper

1 source

43

1205arXiv cs.RO 

Modèle d'action ancré : l'ancrage 3D comme fondation pour la robotique

Une équipe a publié le 22 septembre 2026 sur arXiv (2609.23863) les Grounded Action Models (GAM), une famille de modèles de fondation robotique ancrant explicitement en 3D la perception des objets à manipuler, là où les modèles vision-langage-action (VLA) et monde-action (WAM) actuels s'appuient sur le langage ou la génération vidéo sans lien direct avec la géométrie de la scène. GAM convertit des instructions en langage, points ou boîtes englobantes en une représentation centrée objet, dont la géométrie et l'historique d'état du robot sont fusionnés par un transformeur multi-flux pour prédire des séquences d'actions. Sur RoboTwin 2.0 (50 tâches), il atteint 55,3% de réussite contre 52,0% pour Spatial Forcing, et 47,6% sous randomisation de scène contre 30,4% pour Abot-M0. Sur LIBERO-PRO, il obtient 61% contre 53% pour π0.5 de Physical Intelligence. Sur un bras bimanuel YAM réel, il conserve 17 réussites sur 20 sous décalage visuel contre 4/20 pour π0.5, et couplé à un planificateur Molmo2 sur un bras Franka, il atteint 64,7% de complétion en distribution et 49,8% hors distribution sur des tâches longues. Ce travail cible un angle mort des VLA actuels, qui apprennent implicitement, à partir de démonstrations, quels objets compter et où ils se trouvent, sans contrainte géométrique explicite, ce qui les fragilise dès qu'un objet est déplacé ou que la scène change. En forçant cet ancrage 3D en amont de la politique d'action, GAM réduit l'écart entre démonstrations contrôlées et déploiement réel, un enjeu central pour les intégrateurs qui veulent sortir les bras manipulateurs des bancs de test. Sa capacité à servir de contrôleur bas niveau sous un planificateur haut niveau ouvre la voie à des tâches longues et dépendantes du contexte, un registre encore peu couvert aujourd'hui. GAM s'inscrit dans une lignée de travaux visant à corriger les VLA de type π0/π0.5 de Physical Intelligence, critiqués pour leur apprentissage implicite de la géométrie de scène, et se positionne explicitement face à Spatial Forcing, Abot-M0 et π_0.5 comme lignes de base directes. Aucun acteur industriel, date de déploiement commercial ni partenaire français ou européen n'est mentionné: il s'agit d'une publication arXiv non encore revue par les pairs, testée en simulation et sur deux plateformes robotiques de laboratoire. Les suites logiques, non détaillées dans le résumé, seraient l'extension à d'autres plateformes matérielles et une validation indépendante des chiffres avancés.

Recherche❖Paper

1 source

43

1206arXiv cs.RO 

R3D : réexamen de l'apprentissage de politiques 3D

L'article R3D, publié sur arXiv sous la référence 2604.15281v2 (soumission modifiée, catégorie "replace-cross"), revient sur les blocages qui freinent depuis plusieurs années l'apprentissage de politiques robotiques fondées sur des représentations 3D. Les auteurs identifient deux causes précises aux instabilités d'entrainement et au surapprentissage sévère observes jusqu'ici sur ces architectures : l'absence d'augmentation de données en 3D et les effets négatifs de la Batch Normalization, une technique de normalisation pourtant standard en apprentissage profond mais mal adaptée a ce contexte. A partir de ce diagnostic, l'équipe propose une nouvelle architecture combinant un encodeur 3D de type transformer, conçu pour être scalable, avec un décodeur par diffusion. L'ensemble est explicitement pense pour rester stable a grande échelle et pour tirer parti d'un pré-entrainement massif. Sur des benchmarks de manipulation robotique considérés comme exigeants, cette méthode dépasse les références 3D existantes considérées comme état de l'art. Une page projet (r3d-policy.github.io) accompagne la publication. L'enjeu dépasse la seule performance sur un benchmark. L'apprentissage de politiques en 3D est promis depuis longtemps comme la voie vers une meilleure généralisation et un transfert plus facile entre différents types de robots, contrairement aux approches en 2D qui dominent aujourd'hui la plupart des systèmes de manipulation déployés. Ce papier suggère que le blocage n'était pas une limite fondamentale des représentations 3D, mais des choix d'ingénierie corrigibles, ce qui redonne de la crédibilité a cette piste pour les laboratoires et intégrateurs qui cherchent des politiques de manipulation transférables entre bras robotiques et capteurs différents, plutôt que des modèles spécifiques a chaque plateforme. Ce travail s'inscrit dans la vague de recherche sur les politiques d'action visuelles et l'apprentissage par imitation qui structure actuellement la robotique de manipulation, dominée jusqu'ici par des approches en images 2D faute de méthodes 3D suffisamment robustes pour s'entrainer a grande échelle. Il s'agit ici d'une contribution académique, sans annonce de déploiement commercial ni de partenaire industriel cite dans le résume : la suite logique attendue est une adoption par d'autres équipes de recherche pour valider la généralisation cross-embodiment revendiquée, au-delà des benchmarks internes présentes.

Recherche❖Paper

1 source

43

1207arXiv cs.RO 

Ce qui compte dans la conception des modèles de monde-action : une étude empirique

Une équipe de recherche publie sur arXiv un article (référence arXiv:2609.24048v1, prépublication non encore évaluée par les pairs) présentant une étude empirique contrôlée sur les World Action Models (WAM), un paradigme combinant modélisation du monde et génération d'actions pour le contrôle robotique généralisable. Plutôt que de proposer un nouveau système complet, les auteurs isolent les choix de conception habituellement regroupés dans ces architectures : la structure causale reliant modélisation du monde et génération d'actions, l'espace latent dans lequel cette modélisation s'effectue, et l'objectif d'entraînement utilisé. Ils comparent systématiquement six structures causales, huit représentations latentes et quatre objectifs d'entraînement, sur trois bancs d'essai de référence, RoboCasa-GR1, LIBERO et LIBERO-Plus, avant de valider leurs principales conclusions sur des données de robot réel issues du jeu de données DROID. Cette démarche répond à un problème méthodologique récurrent dans la recherche en robotique généraliste : les publications présentant un nouveau WAM mêlent souvent plusieurs choix d'architecture et de stratégie d'entraînement dans un seul système, ce qui empêche d'isoler la contribution de chaque élément ou de comparer objectivement des alternatives. En décomposant ces choix un par un, l'étude fournit aux équipes de recherche et aux intégrateurs des repères plus fiables que les comparaisons de benchmarks bout-en-bout habituellement publiées, où l'effet d'un choix architectural précis reste noyé dans le reste du système. Dans un secteur où les modèles vision-langage-action et les WAM sont présentés comme des voies concurrentes vers la généralisation robotique, ce travail apporte une base empirique pour trancher entre choix de conception plutôt que de se fier aux démonstrations. Il ne s'agit toutefois pas d'un produit ni d'un déploiement, mais d'une recherche fondamentale destinée à orienter la conception future. Ce travail s'inscrit dans la multiplication récente d'architectures WAM proposées par différents laboratoires, une catégorie où la comparaison directe entre systèmes est rendue difficile par la diversité des choix techniques et des protocoles d'évaluation propres à chaque publication. En s'appuyant sur des bancs d'essai simulés largement utilisés par la communauté, LIBERO et RoboCasa, puis en vérifiant ses conclusions sur des trajectoires réelles du jeu de données DROID, l'équipe cherche à dégager des principes de conception transférables plutôt que des résultats propres à un seul système. Les auteurs ne mentionnent ni déploiement industriel, ni pilote, ni feuille de route commerciale : l'étude reste à ce stade un travail de recherche destiné à guider, en aval, la conception des futurs systèmes WAM par d'autres équipes du secteur.

Recherche❖Paper

1 source

43

1208arXiv cs.RO 

LIBERO-VPro : évaluer la robustesse visuelle en boucle fermée des modèles fondation pour la robotique

Des chercheurs publient LIBERO-VPro (arXiv:2609.24350), un benchmark conçu pour évaluer la robustesse visuelle en boucle fermée des modèles fondation destinés à la manipulation robotique, alors que les évaluations standards supposent des observations visuelles propres et synchrones du début à la fin de la tâche. Le benchmark perturbe délibérément le flux visuel disponible pendant l'exécution, selon quatre axes complémentaires : dégradation de l'évidence visuelle, obsolescence de la caméra, cohérence de la source visuelle, et variation de scène pertinente pour la tâche, répartis en 12 catégories de défis, 96 configurations expérimentales et 3296 cas tâche-condition. L'équipe évalue trois modèles vision-langage-action (VLA) et trois modèles world-action (WAM) sur environ 196 000 épisodes simulés, complétés par 200 essais réels sur un bras Franka Research 3. Le résultat central : une performance nominale élevée sur les benchmarks classiques masque des faiblesses substantielles d'ancrage visuel et d'adaptation. Les modèles testés tolèrent bien une occlusion sévère des objets, mais se dégradent brutalement dès que les indices d'interaction locale sont perturbés ou que des a priori spatiaux familiers sont violés ; ils se montrent aussi très sensibles à des observations périmées ou manquantes, et peinent à adapter leur comportement quand les préconditions de la tâche changent. Point notable pour les intégrateurs et les équipes de recherche : VLA et WAM affichent des profils de robustesse distincts, ce qui confirme que la robustesse visuelle est multidimensionnelle et dépend de l'architecture, plutôt que d'être une propriété acquise mécaniquement via le préentraînement à grande échelle. Pour une industrie qui pousse ces modèles vers des déploiements réels, l'étude rappelle qu'un bon score sur un benchmark statique ne garantit rien face à une caméra dégradée, une latence ou une scène qui change, un écart largement soupçonné mais rarement quantifié de façon aussi systématique. LIBERO-VPro s'appuie sur la suite LIBERO, déjà utilisée comme référence pour l'apprentissage continu en manipulation robotique, en y ajoutant une couche de perturbation visuelle absente des évaluations existantes. Le papier ne nomme pas publiquement les modèles VLA et WAM testés, mais s'inscrit dans un paysage où des familles comme Pi-0, GR00T N2 ou Helix cherchent justement à prouver leur fiabilité au-delà de démonstrations scriptées. Aucun acteur français ou européen n'apparaît dans cette publication, qui reste un travail de recherche académique et non une annonce produit ni un déploiement commercial. Les auteurs présentent LIBERO-VPro comme un cadre de diagnostic destiné à guider le développement de futurs modèles capables de mieux ancrer et adapter leurs actions en conditions visuelles dégradées, sans calendrier de suite ni partenariat industriel annoncé.

Recherche⚡Actu

1 source

43

1209arXiv cs.RO 

vla.simd : inférence CPU efficace pour la manipulation conditionnée par le langage

Publié en septembre 2026 sur arXiv, vla.simd est un moteur d'inférence CPU pour les politiques de manipulation robotique conditionnées par le langage (VLA), combinant micro-noyaux SIMD partagés, calcul réutilisable et optimisations spécifiques au processeur cible. Testé sur six politiques et quatre CPU, il obtient un gain médian d'environ 1,4x par rapport à des références PyTorch compilées, tout en conservant la précision numérique fp32. Les auteurs présentent aussi IMPACT, une politique dérivée de l'architecture ACT à représentations textuelles mises en cache et features visuelles modulées par le langage. Sur un Raspberry Pi 5, IMPACT est la seule politique language-conditioned testée à fournir au moins 30 actions par seconde : 33,5 actions/s en fp32 et 81,2 en int8, après 90 secondes de chauffe thermique. Sur GPU, elle atteint 76,4% de réussite moyenne sur quatre suites LIBERO sans pré-entraînement robotique, et a été testée physiquement sur un bras SO-101, ainsi que SmolVLA sur un UR10e à pince Robotiq. Ce résultat cible un frein concret au déploiement industriel : la plupart des politiques VLA supposent un GPU embarqué ou une inférence déportée dans le cloud, ce qui alourdit coût et latence. Faire tourner une politique conditionnée par le langage en temps réel sur un CPU bas de gamme comme le Raspberry Pi 5 ouvre la voie à des manipulateurs moins coûteux pour la logistique ou l'assemblage léger, sans accélérateur matériel dédié. La distinction que font les auteurs entre offre d'actions et fréquence de rétroaction rappelle que le chunking, pas seulement la vitesse brute du modèle, conditionne la fluidité d'exécution réelle. Ces chiffres restent toutefois à nuancer : le pic de 81,2 actions/s repose sur une quantification int8 et sur une chauffe préalable rarement précisée dans les annonces marketing du secteur. IMPACT s'inscrit dans la famille ACT (Action Chunking Transformer), largement utilisée en apprentissage par imitation, et se positionne face à des politiques VLA plus lourdes conçues pour GPU. Le choix de SmolVLA, politique compacte de Hugging Face, comme second cas de test sur un bras UR10e traduit une volonté de compatibilité avec l'écosystème open-source existant plutôt qu'un modèle propriétaire isolé. Il s'agit à ce stade d'une publication de recherche arXiv, sans annonce commerciale, pilote industriel ni calendrier de mise sur le marché, présentée comme une brique d'infrastructure réutilisable dans un secteur où la pression pour réduire le coût matériel du déploiement en périphérie s'intensifie.

IA physique❧Opinion

1 source

43

1210arXiv cs.RO 

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine. L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle. Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

Recherche❖Paper

1 source

43

1211arXiv cs.RO 

RopeFormer : adaptation inter-essais à partir de l'historique d'interaction pour la manipulation dynamique de corde

Des chercheurs présentent RopeFormer, un système de contrôle robotique conditionné par l'historique d'interaction pour la manipulation dynamique de cordes, un problème classique de robotique où le même mouvement produit des réponses très différentes selon les propriétés physiques de l'objet manipulé, difficiles à identifier explicitement. La politique conserve en mémoire l'historique des couples action-réponse d'un essai à l'autre sans modifier ses poids ni estimer en ligne les paramètres de la corde. En simulation, sur des scénarios de rotation mono-bras soutenue, de rotation bimanuelle et de fouettement transitoire, conserver ce contexte améliore le contrôle par rapport à une remise à zéro du même point de contrôle, avec un bénéfice qui varie selon la dynamique de la corde et les conditions d'observation. Les chercheurs ont ensuite déployé ces politiques figées sur un robot humanoïde Unitree H1-2 confronté à des cordes physiques inédites. Entre le premier et le troisième essai, le temps d'acquisition de cible chute de 30,9% pour l'exercice "Rope Swing" et de 33,9% pour "Rope Twirl", tandis que le nombre moyen de cibles touchées lors du "Rope Whip" passe de 0,2 à 2,3 sur trois. Code, données et vidéos sont publiés sur ropeformer.github.io. Ce résultat intéresse la manipulation d'objets déformables en général, câbles, tissus, cordages, un domaine où l'identification explicite des paramètres physiques reste un goulot d'étranglement pour l'industrie. En s'appuyant sur un mécanisme d'adaptation en contexte, à la manière d'un grand modèle de langage qui ajuste son comportement sans réentraînement, plutôt que sur une estimation de paramètres physiques ou un réentraînement en ligne, l'approche suggère qu'une politique unique et figée peut s'ajuster à des objets jamais vus simplement en accumulant de l'expérience au sein d'une session. Pour les intégrateurs travaillant sur la manipulation fine ou les tâches impliquant des matériaux souples, cela ouvre une piste pour réduire la recalibration par objet, un coût récurrent en déploiement industriel. Le travail s'inscrit dans la lignée des recherches sur l'adaptation rapide par contexte plutôt que par identification de système explicite, un axe qui gagne en traction face aux limites des méthodes classiques de modélisation physique des objets déformables. Les auteurs restent prudents: les gains varient selon la dynamique de la corde et les conditions d'observation, et le déploiement réel reste limité à un seul robot humanoïde et des essais contrôlés. La publication complète du code et des données ouvre la voie à des réplications et extensions par d'autres équipes de recherche en manipulation robotique.

Recherche❖Paper

1 source

43

1212arXiv cs.RO 

GraspTune : affinement de l'exécution de la préhension guidé par le toucher

Une équipe de recherche publie sur arXiv (identifiant 2609.24180, prétirage soumis le 22 septembre 2026) GraspTune, un système qui corrige en temps réel l'exécution d'une prise robotique après qu'un algorithme de vision a proposé où saisir un objet. Concrètement, GraspTune applique de petits mouvements résiduels bornés au point de contrôle de l'outil (TCP) pendant l'approche, la formation du contact et la fermeture finale de la pince, en s'appuyant sur la profondeur locale, des signaux tactiles, l'état du bras et l'historique des mouvements. Le système combine des requêtes de contact conditionnées par l'état, une supervision multi-tâche sur le changement de contact, le risque de contact et la préparation post-fermeture, une politique résiduelle pré-entraînée par diffusion et un ajustement par PPO pour un contrôle en boucle fermée. Testé sur plus de 60 000 exécutions simulées couvrant 20 catégories d'objets, GraspTune améliore le taux de prises stables de +19,22 points pour GraspNet, +9,55 pour Contact-GraspNet, +12,45 pour AnyGrasp et +20,70 pour VGN. Sur des objets jamais vus, le taux de réussite passe de 54,58% à 70,33%. En conditions réelles, sur un bras UR5e équipé de capteurs tactiles Xense et plus de 1 000 essais, le taux avec GraspNet grimpe de 71,0% à 84,3%, sans aucun réentraînement de la politique sur données réelles. L'intérêt principal tient à ce que GraspTune ne remplace pas les générateurs de propositions de prise mais se greffe dessus comme une couche d'exécution générique, améliorant simultanément quatre algorithmes différents sans les modifier. Cela répond directement à un problème connu du secteur: la génération visuelle de propositions de prise a beaucoup progressé, mais transformer une proposition visuellement plausible en prise physiquement stable reste le point de rupture entre démonstration et déploiement réel. Le transfert direct simulation vers robot réel, sans calibration ni réentraînement, est le résultat le plus significatif pour les intégrateurs qui cherchent à réduire le coût de collecte de données terrain pour la manipulation en environnement encombré ou pour des objets à géométrie variable. Le travail s'inscrit dans une tendance de recherche qui sépare la décision de "où saisir" (perception) du "comment exécuter" (contrôle tactile en boucle fermée), en s'appuyant sur des générateurs de référence déjà largement utilisés dans la littérature sur la préhension robotique. Aucun acteur industriel ni déploiement commercial n'est mentionné: il s'agit d'un travail académique accompagné d'une vidéo supplémentaire de démonstration, dont les prochaines étapes annoncées concernent la validation sur d'autres configurations de pince et de capteurs tactiles.

Recherche❖Paper

1 source

42

1213arXiv cs.RO 

PRIMO : odométrie guidée par le suivi du mouvement humain pour robots humanoïdes

Agibot Spatial Intelligence a publié sur arXiv, sous la référence 2609.23610, une méthode d'odométrie pour robots humanoïdes baptisée PRIMO (Prior-Informed Odometry from Human-Motion Tracking), conçue pour s'attaquer à deux failles du transfert simulation-vers-réel : des données d'entraînement limitées à une seule politique de contrôle, et des écarts sim-to-real qui fragilisent les prédictions non contraintes. La méthode génère sa supervision en faisant suivre au robot, en simulation, des mouvements humains retargetés et variés, indépendamment de la politique de déploiement finale, puis s'appuie sur un estimateur intégrant des priors physiques et de symétrie ainsi qu'une voie de contexte capteur brut. Sous un protocole unifié sur robot réel, elle réduit l'erreur moyenne d'odométrie de 31,6 à 61,7% face à la meilleure base externe testée ; l'entraînement croisé entre deux révisions de politiques de locomotion abaisse l'erreur de 86,8 à 94,6% en simulation et de 69,2 à 81,7% sur des mouvements dynamiques réels. Le code source est publié sur GitHub sous Agibot-Spatial-Intelligence/PRIMO. L'odométrie proprioceptive, qui estime position et orientation d'un robot à partir de ses seuls capteurs internes sans caméra ni LiDAR, est une brique critique pour la marche autonome des humanoïdes en usine ou en entrepôt, là où le GPS est absent et la vision peut être occultée. Le problème ciblé est structurel : la plupart des modèles existants restent liés à la politique de locomotion ayant servi à générer leurs données d'entraînement, ce qui les fragilise à chaque mise à jour de contrôleur, un frein concret pour les intégrateurs qui doivent faire évoluer leurs flottes sans tout réentraîner. En découplant l'odométrie du contrôleur de déplacement, PRIMO suggère que la généralisation sim-to-real de l'estimation d'état, faiblesse reconnue du secteur, peut se traiter par des contraintes physiques structurantes plutôt que par un simple ajout de données, une piste distincte des efforts de généralisation menés sur les modèles de manipulation de type VLA. Agibot, fabricant chinois de robots humanoïdes également connu sous le nom Zhiyuan Robotics, publie ce travail via sa division Spatial Intelligence, dédiée aux briques de perception et d'estimation d'état plutôt qu'à la seule vente de plateformes matérielles. Le recours à des mouvements humains retargetés pour combler le manque de données robotiques réelles rejoint une tendance plus large du secteur, où des laboratoires travaillant sur des modèles VLA comme GR00T N2 de Nvidia ou Helix de Figure explorent des voies similaires pour étendre la diversité des données d'entraînement au-delà de la téléopération. À ce stade, PRIMO reste une contribution de recherche accompagnée de code source public, sans annonce de déploiement en production ni de partenariat industriel associé, et sa validation indépendante sur d'autres plateformes humanoïdes que celles d'Agibot reste à venir.

Recherche⚡Actu

1 source

42

1214arXiv cs.RO 

Étude empirique et banc d'essai ouvert pour le réglage fin fédéré des modèles vision-langage-action

Une équipe de recherche publie sur arXiv (papier 2609.22973) une étude empirique sur le fine-tuning fédéré de modèles Vision-Language-Action (VLA), ces politiques combinant vision, langage et commande robotique. Trois modèles VLA pré-entraînés modernes ont été testés sur les 40 tâches simulées du benchmark de manipulation LIBERO, puis sur six tâches réelles réparties en deux expériences avec des robots physiques, les démonstrations ayant été collectées respectivement sur deux et trois sites distincts. L'étude compare plusieurs périmètres de paramètres fédérés et trois algorithmes d'agrégation, et évalue la robustesse des modèles sous changement de distribution des données. Les auteurs publient en open source l'outil ayant servi à ces essais, baptisé DecentVLA, agnostique au modèle et à l'environnement d'exécution. Le sujet touche un vrai point de friction pour l'industrie: des flottes de robots déployées chez différents clients ou sites génèrent des démonstrations locales aujourd'hui cloisonnées ou perdues, faute de moyen fiable de les mutualiser sans centraliser les données brutes, un enjeu de confidentialité et de bande passante. Premier enseignement pour les intégrateurs: le choix du périmètre de paramètres fédérés pèse plus sur la performance que l'algorithme d'agrégation retenu. Second constat, plus critique: sur robots réels, l'hétérogénéité entre sites dépasse ce que les simulations reproduisent, rendant plus difficile d'égaler un entraînement centralisé, un rappel utile face aux extrapolations trop rapides à partir de résultats obtenus en simulation. À l'inverse, l'apprentissage fédéré peut égaler le centralisé sur données hétérogènes, rester au moins aussi robuste aux changements de distribution, et permettre une personnalisation par site en ne fédérant qu'une partie de la politique tout en gardant le reste local. Le travail s'inscrit dans un contexte où les modèles VLA pré-entraînés sur de vastes jeux de données multi-robots sont devenus la base par défaut des politiques généralistes ensuite affinées localement, sans qu'il existe jusqu'ici de benchmark reproductible pour comparer les méthodes de fine-tuning fédéré. Il s'agit d'une contribution de recherche méthodologique, pas d'une annonce produit: aucun partenaire industriel, site pilote ou calendrier commercial n'est cité. La suite naturelle est l'adoption de DecentVLA par d'autres équipes pour reproduire et étendre ces comparaisons à d'autres familles de modèles et de robots.

Recherche❖Paper

1 source

42

1215arXiv cs.RO 

AdaReP : replanification adaptative face aux erreurs de modèle pour la commande prédictive par modèle du monde neuronal

Des chercheurs présentent AdaReP, une méthode qui modifie la façon dont les systèmes de controle predictif (MPC) bases sur des modèles du monde neuronaux décident de recalculer leur plan d'action. Habituellement, ces systèmes replanifient a chaque pas de temps pour limiter l'accumulation d'erreurs de prédiction, ce qui génère une charge de calcul importante. AdaReP est présente comme un wrapper "sans entrainement" (training-free) qui s'ajoute au-dessus d'un modèle du monde et d'un planificateur déjà appris, sans les modifier. Le système ajuste en continu la tolérance de replanification en fonction de l'écart mesure entre la trajectoire actuelle et le plan mis en cache, et d'une estimation locale de la sensibilité de la dynamique. Les auteurs valident l'approche sur trois types de taches : planification dans l'espace image, contrôle dans l'espace latent, et manipulation robotique réelle. Sur une étude physique de 50 essais avec un bras manipulateur, AdaReP réduit de plus de 80% le nombre de requêtes au planificateur tout en maintenant des performances comparables a une replanification systématique. Le papier, référence arXiv:2606.23079v2, est une version mise a jour d'une publication antérieure. Cette réduction cible un goulot d'étranglement connu des architectures MPC couplées a des modèles du monde neuronaux : chaque appel au planificateur, souvent un réseau lourd, coute cher en temps et en énergie, ce qui limite le déploiement embarque en temps réel sur des robots ou systèmes autonomes. En montrant qu'un plan mis en cache peut être réutilisé la plupart du temps sans dégrader la performance, AdaReP fournit un argument concret contre l'hypothèse selon laquelle replanifier a chaque pas serait nécessaire pour rester robuste aux erreurs de prédiction. Pour les intégrateurs et équipes de recherche, l'intérêt pratique tient au fait que la méthode ne nécessite ni reentrainement du modèle du monde ni modification du planificateur existant, ce qui facilite son adoption sur des piles déjà en production. Le gain mesure sur un robot physique et non uniquement en simulation répond a une critique fréquente du secteur : l'écart entre démonstrations simulées et comportement réel. Le problème s'inscrit dans la lignée des travaux sur le controle predictif base sur l'apprentissage, ou l'essor des modèles du monde neuronaux pour la robotique rend la replanification systématique de plus en plus couteuse a mesure que ces modèles gagnent en taille. Les auteurs formalisent le compromis entre réutilisation de plan et dérivé de prédiction via un cadre de regret dynamique base sur la perturbation, montrant que la pénalité d'un plan périmé dépend de trois facteurs : la tolérance de réutilisation choisie, l'écart de prédiction accumule depuis la dernière replanification, et la sensibilité locale de la dynamique. Le papier ne cite ni implémentation industrielle ni partenaire commercial, et aucun acteur français ou européen n'est mentionne dans cette publication de recherche méthodologique. Les suites évoquées concernent l'extension a d'autres familles de planificateurs et de modèles du monde, la validation restant pour l'instant limitee aux trois bancs d'essai décrits.

Recherche❖Paper

1 source

42

1216arXiv cs.RO 

La calibration marginale ne se compose pas : dépendance cachée dans la navigation robotique modulaire

Un article publié sur arXiv (référence 2609.23731v1, mise en ligne fin septembre 2026) met en évidence un problème de calibration dans les systèmes robotiques modulaires, composés de plusieurs briques logicielles développées indépendamment pour percevoir, prédire et agir. Les auteurs utilisent un pipeline de prédiction d'obstacles mobiles pour démontrer que des estimateurs de position et de vitesse, chacun individuellement bien calibré, produisent une estimation erronée de l'incertitude future une fois combinés, à cause de corrélations cachées entre leurs erreurs respectives. Par simulation, l'équipe montre que modéliser explicitement la covariance jointe entre les modules restaure la calibration du système global et améliore les performances, tandis que des bornes d'incertitude robustes aux dépendances renforcent la sécurité mais au prix d'un conservatisme accru, donc de décisions de mouvement plus prudentes et potentiellement plus lentes. Ce résultat ébranle une hypothèse répandue dans l'industrie robotique: valider chaque module isolément, capteur, prédicteur ou planificateur, suffirait à garantir un comportement fiable une fois le système assemblé. Pour les intégrateurs et responsables sécurité de flottes de robots mobiles autonomes ou de plateformes de navigation humanoïde, cela implique qu'un système bâti à partir de composants certifiés séparément peut malgré tout se retrouver soit trop confiant, avec un risque de collision non anticipé, soit inutilement prudent, avec une perte de vitesse de cycle, selon la manière dont les erreurs des composants sont corrélées entre elles. L'étude questionne donc les pratiques actuelles de certification module par module et pousse vers des interfaces de composants qui communiqueraient l'information de dépendance, plutôt qu'une simple sortie de confiance marginale. Le papier s'inscrit dans le débat sur la conception des architectures robotiques, où les pipelines modulaires classiques coexistent avec des approches bout-en-bout de type modèles vision-langage-action, qui apprennent perception, prédiction et contrôle conjointement plutôt qu'en briques séparées. En pointant une limite structurelle des architectures modulaires, l'étude nourrit indirectement l'argumentaire en faveur de l'apprentissage bout-en-bout. Le travail reste à ce stade purement en simulation, sans validation sur robot physique ni déploiement industriel annoncé; les auteurs appellent la communauté à concevoir des interfaces inter-modules transmettant l'information de dépendance statistique, ou à privilégier une calibration directe au niveau du système entier, une piste de recherche future plutôt qu'une solution immédiatement exploitable.

Recherche❖Paper

1 source

42

1217arXiv cs.RO 

AR-WAM : un modèle monde-action prêt pour les agents, conditionné par la vision, pour la manipulation robotique

Un article déposé le 22 septembre 2026 sur arXiv (2609.23578) présente AR-WAM, un modèle de manipulation robotique qui remplace les instructions en langage naturel par deux signaux visuels : une boîte englobante désignant l'objet cible et un jeton d'opération appris précisant la compétence à exécuter. Compact avec 0,5 milliard de paramètres et un encodeur visuel figé, sans encodeur de langage, il prédit l'évolution de la scène en espace latent tout en décodant les actions. Une couche de compatibilité à trois primitives, détecter, exécuter, interroger, permet à un VLM local ou une API d'agent de piloter la politique. Testé sur RoboTwin 2.0, RMBench et un robot réel bi-bras Astribot S1, il atteint 87,2% de succès en manipulation standard, gagne 5,9 points sur les tâches à mémoire et 36,7 points sur les tâches longues réelles, avec la latence la plus basse du comparatif, 14,1 millisecondes. Le choix cible un problème identifié par les auteurs : les VLA et les world action models dominants spécifient encore les tâches en langage naturel, une interface jugée ambiguë sur les références, imprécise spatialement et redondante avec la compréhension déjà portée par l'agent. En séparant le « quoi », décidé par l'agent, du « comment », exécuté par le robot via un grounding visuel explicite, AR-WAM offre une interface standardisée qui intéresse les intégrateurs cherchant à connecter des piles agentiques à des flottes de robots hétérogènes plutôt qu'à des prompts textuels ad hoc. Le bond de 36,7 points sur les tâches longues en conditions réelles suggère surtout que la faiblesse chronique des VLA sur l'horizon long peut être atténuée en délégant mémoire et récupération d'erreur à la couche agent, plutôt qu'en la faisant porter entièrement par un modèle d'action monolithique. Ces résultats restent ceux d'un article de recherche récent, validé en simulation et sur une seule plateforme robotique réelle, sans annonce de déploiement commercial ni de partenariat industriel. Astribot, dont le bras bi-bras S1 sert de banc d'essai réel, est une entreprise chinoise de manipulation robotique ; RoboTwin 2.0 et RMBench comptent parmi les bancs d'essai standards du secteur pour comparer des politiques de manipulation en simulation. L'article ne fournit ni échéancier de déploiement ni partenaire industriel identifié ; il se positionne comme une contribution méthodologique destinée à la prochaine génération de systèmes agent-robot, dans un secteur où l'exécution fiable de tâches longues sans supervision humaine reste l'un des principaux verrous avant une adoption industrielle à grande échelle.

IA physique❧Opinion

1 source

42

1218arXiv cs.RO 

MoE-ACT : passage à l'échelle de la manipulation bimanuelle multitâche avec des transformeurs à mélange d'experts conditionnés par tâche

Des chercheurs ont publié sur arXiv (2603.15265, version 2) l'article décrivant MoE-ACT, un framework de manipulation bimanuelle combinant mixture-of-experts et action chunking transformer. Le système insère des couches MoE éparses dans l'encodeur d'ACT, qui redirigent dynamiquement les tokens image vers des experts sélectionnés selon le contexte de la tâche, les observations visuelles et l'état proprioceptif des bras. Le décodeur d'action ajoute une modulation FiLM conditionnée à la tâche et une attention croisée multi-échelle pour ancrer précisément chaque geste dans l'espace. Sur le benchmark de simulation RoboTwin 2.0, couvrant 16 tâches bimanuelles complexes, MoE-ACT atteint un taux de réussite moyen de 62,0%, soit 17,4 points de plus que la version standard d'ACT. Avec seulement 195 millions de paramètres activés, le modèle dépasse de 5,1 points le modèle fondation Pi-0, qui compte 3,24 milliards de paramètres, seize fois plus. Des expériences complémentaires sur un robot réel à deux bras confirment ces résultats en conditions physiques, même si l'essentiel des chiffres cités provient du benchmark simulé. Code et documentation sont publiés en open source. Le résultat intéresse d'abord les intégrateurs cherchant à déployer des politiques multi-tâches sans la facture de calcul des grands modèles fondation. La manipulation bimanuelle multi-tâche bute régulièrement sur l'interférence entre tâches: une politique unique entraînée sur plusieurs tâches dégrade ses performances par rapport à des politiques spécialisées, phénomène connu comme le négative transfer. En routant dynamiquement le traitement visuel vers des experts spécialisés, MoE-ACT attaque ce problème sans multiplier les paramètres actifs à l'inférence, un argument pour l'embarque sur du matériel contraint en calcul et en énergie. Battre Pi-0, seize fois plus gros, alimente le débat sur la pertinence de la course à l'échelle en robotique généraliste: la spécialisation architecturale via MoE pourrait offrir un meilleur compromis performance/coût que le simple gonflement des foundation models, du moins sur des tâches bimanuelles bien délimitées. MoE-ACT prolonge ACT (Action Chunking Transformer), architecture d'imitation learning devenue référence pour le contrôle de bras robotiques, en y greffant le principe du mixture-of-experts déjà popularisé dans les grands modèles de langage. Il se positionne face aux modèles fondation vision-language-action comme Pi-0 (Physical Intelligence), dans un paysage où GR00T N2 (NVIDIA) ou Helix (Figure AI) visent aussi la manipulation généraliste. Marqué comme une version de remplacement sur arXiv, le travail reste un résultat de recherche validé sur benchmark simulé et un banc bimanuel réel, sans annonce de déploiement industriel ni partenariat commercial à ce stade.

Recherche❖Paper

1 source

42

1219arXiv cs.RO 

HEARTH : un jeu de données RGB-thermique-3D centré sur l'objet pour la manipulation robotique sensible à la température

Le dataset HEARTH, présenté dans un article publié sur arXiv (2609.23418), regroupe des captures RGB, thermiques et 3D de 90 objets physiques répartis en 18 catégories du quotidien, pour un total de 145 états d'objets enregistrés. Le pipeline associé projette les températures de surface apparentes, mesurées par caméra thermique, directement sur des maillages 3D reconstruits, grâce à une calibration caméra et un transfert de pose. Chaque objet du dataset est ainsi livré avec ses mesures de température brutes, les paramètres de la caméra, un maillage texturé en RGB et une texture thermique exploitable en simulation. Les auteurs ont ensuite construit trois tâches de manipulation dérivées du benchmark LIBERO et collecté 1200 démonstrations pour affiner un modèle vision-langage-action (VLA) préentraîné, π0.5. Résultat de l'étude d'ablation : le taux de réussite sur des tâches de sélection d'objets dépendant de la température passe de 35,0% avec une observation RGB seule à 75,0% lorsque le canal thermique est ajouté. Ce résultat met en évidence une limite concrète des modèles VLA actuels, entraînés quasi exclusivement sur des images visibles : ils échouent à raisonner sur des propriétés physiques invisibles à l'œil, comme la chaleur d'une tasse ou d'une plaque de cuisson, alors même que ce type de discrimination est critique en environnement domestique ou industriel pour la sécurité et la manipulation fine. Pour les intégrateurs robotiques, l'enseignement principal n'est pas architectural mais lié aux données : ajouter un canal thermique low-cost à un pipeline d'apprentissage existant peut plus que doubler le taux de succès sans modifier le modèle lui-même, ce qui relance la question des modalités manquantes dans les VLA génériques déployés à grande échelle. HEARTH comble un vide identifié par les auteurs : l'absence de datasets robotiques associant température mesurée, apparence et géométrie d'objets, alors que les benchmarks de manipulation comme LIBERO servent de référence commune au secteur. Le choix de π0.5 comme base, une évolution du modèle généraliste pi-0 développé par Physical Intelligence, positionne ce travail dans la lignée des VLA foundation models concurrents des approches type GR00T N2 (NVIDIA) ou Helix (Figure), qui reposent aujourd'hui sur des entrées essentiellement visuelles. L'article ne mentionne pas d'extension prévue au-delà des trois tâches testées, mais ouvre la voie à l'intégration systématique de capteurs thermiques dans les pipelines d'entraînement VLA.

IA physique⚡Actu

1 source

42

1220arXiv cs.RO 

H-VLA : modèle vision-langage-action hiérarchique avec raisonnement par actions clés et planification de mouvement dans un espace d'action unifié

Une équipe de recherche présente H-VLA, un modèle vision-langage-action hiérarchique pour la manipulation robotique, publié le 22 septembre 2026 sur arXiv (2609.22895). Contrairement aux VLA classiques, qui traduisent langage et images en actions continues et deviennent fragiles si la position des objets, la scène ou la caméra changent, H-VLA sépare le raisonnement de haut niveau de la génération du mouvement. L'architecture combine un Key-Action Model, qui prédit le sous-objectif de manipulation suivant, un Motion Planning Model, qui génère les actions denses correspondantes, et un espace d'action unifié centré sur la caméra. L'entraînement se fait en deux étapes: raisonnement sur les actions clés au pré-entraînement, puis génération de mouvement dense au fine-tuning. Sur le simulateur SimplerEnv, H-VLA atteint 91% de réussite sur Google Robot en configuration standard, 84% en variantes, et 81% sur WidowX; sur robot réel Agilex, il dépasse la meilleure référence de 10, 47 et 16 points selon que les conditions sont connues, la position d'objet est inédite, ou la scène et les objets sont inédits. Ces résultats visent le point faible des VLA en usage réel: la chute de performance quand un objet bouge ou que la caméra change. Le gain de 47 points en généralisation de position sur robot réel est le chiffre le plus parlant pour les intégrateurs, cet écart entre démonstration contrôlée et production freinant aujourd'hui l'adoption industrielle des VLA. Si cette approche hiérarchique, séparer quoi faire et comment le faire, se confirme au-delà des bancs d'essai internes, elle pourrait réduire le réentraînement nécessaire à chaque nouveau site, un enjeu de coût central pour les décideurs B2B. H-VLA s'inscrit dans la lignée des VLA existants, RT-2 et OpenVLA en recherche, Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure AI, tous confrontés au même problème de généralisation spatiale que H-VLA attaque par découplage hiérarchique plutôt que par mise à l'échelle des données. L'article, non encore revu par les pairs, limite les essais réels à la plateforme Agilex, sans partenariat industriel annoncé. Reste à voir si l'architecture sera reprise ailleurs et si les gains tiennent sur des tâches plus longues et des robots variés.

IA physique❧Opinion

1 source

42

1221arXiv cs.RO 

Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents

Des chercheurs proposent WORLDS (World-state Observation and Reasoning for Language-guided Discovery and Search), un cadre pour la recherche robotique guidée par le langage naturel sur de longs horizons, détaillé dans un preprint publié sur arXiv (arXiv:2609.23841). Le système construit un graphe persistant initialisé à partir de priors géospatiaux, mis à jour par la perception, dans lequel des "Reasoners" parallèles maintiennent plusieurs interprétations candidates concurrentes et déclenchent la collecte d'observations pour les départager, avant qu'un "Examiner" multimodal traite ces observations et qu'un "Judge" choisisse une cible ou redemande une passe supplémentaire. Sur le benchmark CityNav, WORLDS atteint 51,8% de succès de navigation sur l'ensemble des 5 311 épisodes de test, le meilleur taux publié à ce jour, soit 15,7 points de plus que la référence précédente, sous un protocole limité aux données OpenStreetMap et à l'imagerie orthographique haute résolution. Sur un sous-ensemble comparatif de 1 000 épisodes, à modèle, prior, chaîne de perception et budget de déplacement identiques, WORLDS obtient 50,0% contre 27,9% pour la meilleure base adaptée. La vérification par observations de l'Examiner apporte à elle seule 5,9 points, et même avec un effort de raisonnement réduit, WORLDS dépasse encore la référence GeoNav adaptée de 18,8 points tout en générant moins de tokens. Pour les intégrateurs de robotique autonome et les équipes travaillant sur la navigation par instructions en langage naturel, ce résultat suggère que l'écart provient bien de l'architecture de raisonnement, avec maintien d'hypothèses concurrentes et vérification active par perception, plutôt que d'un simple gain de puissance de calcul, puisque la comparaison se fait à modèle et budget identiques. Le fait que la performance se maintienne, voire s'améliore relativement, à effort de raisonnement réduit et avec moins de tokens générés est un signal concret pour des applications embarquées où la latence et la puissance de calcul sont contraintes, comme les drones. Le cadre a aussi été testé sur un quadrirotor, qui exécute les points de passage de détection générés par le système et identifie trois cibles langagières à partir de son imagerie embarquée, dont un véhicule absent de la carte initiale. Il s'agit toutefois d'un preprint de recherche non encore évalué par les pairs, sans nom d'entreprise ni date de déploiement commercial associée: la démonstration drone reste un test de validation en conditions contrôlées, pas un produit déployé sur le terrain.

Recherche❖Paper

1 source

42

1222arXiv cs.RO 

RoboTalk : apprentissage de la communication et de la coordination multi-robots à partir de démonstrations multimodales

Une équipe de recherche a publié sur arXiv un travail intitulé RoboTalk, qui présente un pipeline de génération de données synthétiques et un dataset de 7 950 trajectoires multimodales couvrant 53 tâches de manipulation mobile en cuisine. Ce corpus est conçu pour entraîner de petits modèles vision-langage (VLM), destinés à un déploiement embarqué (on-device), à communiquer entre eux et à se coordonner. Il comprend un protocole de planification de type leader-follower, des appels d'outils couvrant perception, manipulation, navigation et communication, des traces de raisonnement et des échanges en langage naturel diversifiés. Après fine-tuning de modèles open source sur ce jeu de données, les auteurs rapportent un taux de réussite de 77% sur des tâches inédites non vues à l'entraînement, contre environ 2% seulement pour les mêmes modèles non affinés. Ce résultat met en évidence un écart important entre les capacités natives des VLM génériques et ce qu'exige la coordination multi-robot sous observabilité partielle, un scénario courant dans les entrepôts, les cuisines commerciales ou les lignes de production où plusieurs bras ou robots mobiles doivent se répartir des sous-tâches sans supervision centralisée continue. Cibler des VLM compacts et embarqués plutôt que des modèles cloud volumineux répond à une contrainte concrète pour les intégrateurs : latence et dépendance réseau sont difficilement compatibles avec des tâches de manipulation synchronisées en temps réel. Le travail suggère qu'un modèle vision-langage-action entraîné pour un robot isolé ne transfère pas automatiquement vers un contexte multi-agent nécessitant une communication explicite, ce qui nuance l'hypothèse selon laquelle la seule mise à l'échelle des VLA suffirait à résoudre la coordination distribuée. Ces résultats reposent toutefois sur des données synthétiques générées par le pipeline même des auteurs et sur un domaine de tâches limité à la cuisine, ce qui invite à la prudence avant toute généralisation à des environnements industriels réels. Les auteurs situent leur travail dans un manque qu'ils jugent encore peu couvert : l'apprentissage de compétences de manipulation à partir de démonstrations multimodales progresse rapidement pour un robot unique, mais l'apprentissage conjoint de la communication inter-robots explicite et de la sélection d'actions reste peu exploré, en particulier pour des VLM légers compatibles avec un déploiement embarqué plutôt que dans le cloud. RoboTalk se positionne donc comme une ressource de recherche, dataset et méthodologie de génération de données, plutôt que comme un système ou un robot commercial prêt à l'emploi. Les suites naturelles attendues incluent l'extension à d'autres domaines que la cuisine, le passage de trajectoires synthétiques à des déploiements physiques réels, et des comparaisons avec les approches concurrentes de modèles vision-langage-action à grande échelle conçues pour un robot unique.

Recherche❖Paper

1 source

42

1223arXiv cs.RO 

Anatomie d'un effondrement en boucle fermée : étude de cas causale d'une politique VLA compressée

Une étude de cas publiée sur arXiv en septembre 2026 documente, de façon causale, l'échec en boucle fermée d'une politique VLA compressée dérivée du modèle Octo-Base. La version étudiante, distillée sur 8 couches, conserve 86% des paramètres du modèle enseignant et réussit tous les contrôles hors ligne appliqués, avec des ratios enseignant/étudiant de 0,996 et 1,000 sur les métriques de validation propres à la famille de modèles. En exécution simulée, sur une tâche de préhension-dépôt avec un bras WidowX, elle échoue pourtant totalement : 0 succès sur 72 essais, contre 40 sur 72 pour l'enseignant. La dégradation est structurée : la prise d'objet chute progressivement (déplacement à 90% du taux enseignant, saisie à 55%), tandis que le transport vers la cible échoue à 0% dans toutes les variantes testées. L'analyse fine des trajectoires isole la cause : un résidu négatif sur l'axe z, concentré en fin de geste, environ dix fois supérieur à sa valeur après correction. Quatre remèdes standards échouent sous contrôles appariés (poursuite de l'entraînement, ajout de données hors ligne dans le domaine, compensation au niveau des commandes, écrêtage du symptôme) sans restaurer aucun succès. Seul le remplacement de la moitié du flux d'entraînement par des trajectoires enseignantes issues de la distribution de déploiement rétablit une performance proche de l'enseignant (18 sur 36 contre 17 sur 36 en test) et supprime le signal défaillant. Ce résultat pointe une faille méthodologique centrale pour le déploiement des politiques VLA compressées : les métriques de validation hors ligne, y compris celles propres à chaque famille de modèles, ne garantissent pas un comportement correct en conditions réelles, même avec des scores de concordance proches de 100% avec le modèle enseignant. Pour les intégrateurs et équipes robotique qui compressent des modèles comme Octo, Pi-0, GR00T N2 ou Helix afin de réduire coût et latence d'inférence à l'edge, l'étude montre qu'une poignée de dizaines d'essais en boucle fermée suffit à révéler des échecs invisibles aux tests hors ligne, alors que les corrections intuitives, plus d'entraînement, plus de données, ajustement au niveau des commandes, ne fonctionnent pas de façon fiable. Elle confirme empiriquement, sur un cas précis et diagnostiqué causalement, l'écart déjà documenté entre évaluation hors ligne et performance réelle des politiques d'apprentissage par imitation. Les auteurs précisent ne revendiquer que l'existence du phénomène sur ce cas, pas sa généralité : il s'agit d'une étude isolée, pas d'un résultat étendu à toute compression de politique VLA. Le travail s'inscrit dans un mouvement plus large de compression des grands modèles vision-langage-action, à mesure que laboratoires et fabricants de bras manipulateurs ou d'humanoïdes cherchent à faire tourner ces politiques sur du matériel embarqué à faible latence. Aucun acteur commercial, français ou européen, n'est associé à ce travail, qui reste un preprint académique sans produit ni déploiement annoncé. Les auteurs appellent les équipes qui distillent ou quantifient des politiques robotiques à ajouter des tests en boucle fermée aux critères d'acceptation, plutôt que de se fier aux seules métriques hors ligne, aujourd'hui la norme du secteur.

Recherche⚡Actu

1 source

42

1224arXiv cs.RO 

SPARSER : projection variable parcimonieuse par exploitation de la structure séparable en perception robotique

Une équipe de recherche publie SPARSER (Sparsity Preserving Analytic Reduction for Separable Robotic Perception), une méthode d'optimisation pour les problèmes de moindres carrés non linéaires qui structurent une grande partie de la perception robotique, SLAM, localisation de réseaux de capteurs (SNL) et reconstruction 3D par vision (SfM). Le préprint, référencé arXiv:2609.24708v1 et soumis en septembre 2026, exploite la séparabilité: des variables comme les points de repère visuels (landmarks) apparaissent linéairement dans les résidus et admettent une solution fermée une fois les poses du robot fixées. La technique de projection de variables (VarPro) élimine analytiquement ces inconnues linéaires, mais restait jusqu'ici limitée en robotique par les symétries de jauge, l'invariance aux translations et rotations globales. SPARSER construit un opérateur de complément de Schur sans matrice explicite pour calculer efficacement coûts réduits, gradients et produits Hessien-vecteur, ce qui lui permet de s'intégrer à des solveurs NLS itératifs classiques. Sur des jeux de données synthétiques et réels de SLAM, SNL et SfM, la méthode est en moyenne 5 à 7 fois plus rapide que les meilleures approches existantes, sur CPU comme sur GPU, avec des gains dépassant 40x sur certains jeux de données. Sur du SLAM multi-robots corrompu par des données aberrantes, sa variante robuste, fondée sur IRLS, est 2 à 16 fois plus rapide qu'un solveur GNC de référence. Le code C++ et l'ensemble des jeux de données sont publiés en open source. Pour les concepteurs de piles logicielles robotiques, ce gain de vitesse au niveau du solveur d'optimisation, souvent le goulot d'étranglement des systèmes SLAM et de reconstruction 3D embarqués, ouvre la voie à du traitement temps réel sur du matériel plus contraint ou à davantage de robots traités simultanément dans une flotte. Contrairement aux annonces produit du secteur humanoïde, il s'agit ici d'une contribution purement algorithmique et non vérifiée par les pairs: les gains annoncés reposent sur des benchmarks contrôlés par les auteurs eux-mêmes, même si la comparaison porte sur des solveurs état de l'art reconnus plutôt que sur des démonstrations isolées. VarPro existe depuis des décennies pour la régression non linéaire séparable, mais son usage restait marginal en robotique à cause des symétries de jauge propres aux problèmes de pose et de cartographie. SPARSER se positionne face aux bibliothèques de référence du domaine comme GTSAM, Ceres Solver ou g2o pour l'optimisation SLAM, et face aux solveurs robustes de type GNC pour la gestion des données aberrantes en SLAM multi-robots. La publication conjointe du code et des jeux de données doit permettre à la communauté d'intégrer directement SPARSER dans des pipelines existants, la prochaine étape naturelle étant son adoption ou sa validation indépendante par d'autres équipes de recherche en perception robotique.

Recherche❖Paper

1 source

42

1225arXiv cs.RO 

Apprendre à conduire sur Mars : estimation visuelle multimodale de la franchissabilité pour la navigation hors Terre

Un consortium de chercheurs publie le 22 septembre sur arXiv (2609.24952) un nouveau jeu de données et une méthode d'estimation de la traversabilité des terrains pour la navigation martienne. Depuis son atterrissage dans le cratère Jezero, le rover Perseverance de la mission Mars 2020 a parcouru 45 kilomètres en 500 sols, entre dunes de sable, zones rocheuses et affleurements de roche plate, sous contrôle humain ou via son planificateur embarqué ENav. Le jeu de données assemblé à partir de ces trajets combine images stéréo en niveaux de gris, poses, mesures d'accéléromètre, angles de la suspension rocker-bogie, ainsi que des estimations d'inclinaison et de glissement des roues. Entraîné sur ces données multimodales, le modèle proposé, sensible à l'incertitude, atteint un AUROC de 0,874 et un score F1 de 0,758 sur le jeu Mars 2020, devançant la meilleure méthode existante de 0,058 et 0,156 point respectivement, avec les meilleures précision et rappel moyens. Les représentations visuelles obtenues ont ensuite été intégrées au planificateur ENav et testées sur un banc d'essai physique de rover. Ce travail comble un manque concret pour l'autonomie robotique hors monde connu: l'absence de jeux de données à grande échelle pour entraîner des systèmes de navigation par apprentissage dans des environnements où la latence de communication interdit tout télépilotage réactif. Le gain de performance mesuré sur des données réelles de mission, et non simulées, appuie l'idée que des représentations visuelles apprises peuvent compléter les heuristiques géométriques classiques pour juger de la franchissabilité d'un terrain. Pour les équipes concevant des rovers ou des robots terrestres destinés à des environnements non cartographiés, comme des mines, des sites sinistrés ou d'autres corps planétaires, l'étude confirme la viabilité d'une approche fondée sur l'expérience de conduite multimodale et livre un jeu de référence réutilisable au-delà du seul cas martien. Le jeu de données s'appuie sur l'exploitation opérationnelle de Perseverance, dont le planificateur autonome ENav a progressivement pris en charge une part croissante des déplacements depuis l'atterrissage en 2021, dans la lignée des systèmes AutoNav utilisés par les précédentes missions Spirit, Opportunity et Curiosity du JPL/NASA. Cette nouvelle approche se positionne comme une extension par apprentissage automatique de méthodes historiquement fondées sur la stéréo-vision géométrique. Les auteurs annoncent la mise à disposition prochaine du jeu de données complet, du code et de vidéos de démonstration sur un site dédié, ouvrant la voie à des comparaisons avec d'autres méthodes de traversabilité alors que de futures missions, retour d'échantillons martiens ou exploration lunaire, devront elles aussi arbitrer entre autonomie embarquée et supervision humaine limitée par la latence.

Recherche❖Paper

1 source

42

1226arXiv cs.RO 

G6D : solveur de pose 6D RGB-D sans apprentissage pour la manipulation robotique

Un preprint arXiv publié en septembre 2026 (référence 2609.23566v1, page projet sur ai4control.github.io/G6D-Project-Page) présente G6D, un solveur d'estimation de pose 6D pour la manipulation robotique qui fonctionne sans apprentissage automatique. À partir d'une image RGB-D, d'un masque de l'objet, des paramètres intrinsèques de la caméra et d'un modèle CAO, l'algorithme génère des hypothèses de pose par mise en correspondance géométrique avec des gabarits de référence, puis les affine en comparant silhouette et profondeur observées. Le nombre d'hypothèses est ajustable pour arbitrer précision et temps de calcul, et une configuration purement CPU, sans GPU, est proposée. Les auteurs rapportent des résultats sur LineMOD et cinq jeux BOP19, complétés par des essais réels de pick-and-place sur robot. Le problème visé est concret pour les intégrateurs : sur un robot, la perception partage un budget de calcul limité avec la planification et le contrôle, ce qui complique l'embarquement des modèles de vision volumineux qu'utilisent les méthodes zero-shot récentes. En s'appuyant uniquement sur la géométrie, sans modèle préentraîné ni réentraînement par objet, G6D promet un déploiement plus léger et une chaîne de traitement interprétable, contrairement aux représentations apprises opaques. La mention de "performance avancée" dans le résumé reste toutefois du vocabulaire d'abstract académique, et les benchmarks cités (LineMOD, BOP19) mesurent la recherche, pas un déploiement industriel à l'échelle ; l'article ne précise pas avoir été relu par des pairs. G6D s'inscrit dans une tension classique du secteur entre modèles zero-shot à large échelle, capables de généraliser à des objets inédits mais coûteux en embarqué, et méthodes géométriques classiques, plus frugales mais historiquement moins robustes à la généralisation. En s'appuyant sur un modèle CAO par objet plutôt que sur de l'apprentissage profond, G6D vise les cas où le calcul embarqué est contraint, un scénario courant en préhension industrielle. Le code et les ressources sont publics sur la page du projet, ouvrant la voie à une reproduction indépendante des résultats, mais aucun pilote industriel ni partenariat n'est annoncé : le travail reste, à ce stade, au niveau de la publication de recherche.

Recherche❖Paper

1 source

42

1227arXiv cs.RO 

Arbres de comportement pour systèmes robotiques : étude empirique des pratiques et expériences

Une étude empirique publiée sur arXiv (arXiv:2609.22404v1, fin septembre 2026) examine l'adoption réelle des arbres de comportement (behavior trees, BT), devenus en une décennie l'un des modèles dominants pour coordonner les missions de systèmes robotiques. Les auteurs combinent une recherche-action menée dans une entreprise automobile et une enquête auprès de 34 praticiens de la robotique, en contexte académique comme industriel. Les BT améliorent la communication d'équipe et la lisibilité de la logique de décision des robots, au-delà de leur rôle de coordination de missions. Les praticiens signalent toutefois des choix d'architecture et d'intégration ROS non triviaux, des décisions de granularité multi-facteurs, des bibliothèques marquées par des lacunes de documentation, un ordonnancement optimal des nœuds jugé difficile, et des avis partagés sur le passage à l'échelle. Pour les intégrateurs et décideurs robotique B2B, l'étude comble un vide empirique rare sur un standard de facto déjà utilisé pour orchestrer robots mobiles, humanoïdes ou industriels, mais jusque-là peu documenté sur le terrain. Elle contredit l'hypothèse d'un outillage mature : faute de lignes directrices adéquates, les équipes recourent à des pratiques ad hoc qui freinent la réutilisation, la maintenance et l'évolution du logiciel, un risque pour toute organisation industrialisant sa pile robotique autour des BT. L'écart entre la promesse de simplicité modulaire des BT et la complexité vécue au quotidien constitue un signal utile avant tout engagement à grande échelle sur cette architecture. Nées dans l'IA du jeu vidéo, les BT se sont diffusées en robotique via l'écosystème ROS, où elles ont progressivement supplanté les machines à états finis comme couche de coordination, avant d'être elles-mêmes concurrencées par la montée des politiques apprises et des modèles vision-langage-action promettant une coordination apprise plutôt que codée en arbre. L'entreprise automobile partenaire n'est pas nommée par les auteurs, qui situent leur travail dans la continuité de dix ans d'adoption croissante des BT en robotique. L'étude conclut sur des recommandations croisées pour les praticiens adoptant les BT et pour les chercheurs voulant approfondir la compréhension empirique de cette adoption, sans annoncer de nouvel outil ni de norme à court terme.

Recherche❖Paper

1 source

42

1228arXiv cs.RO 

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

Recherche❖Paper

1 source

42

1229arXiv cs.RO 

VT-Bridge : relier les VLA fondation préentraînés aux VTLA par adaptation résiduelle légère

Un article publié sur arXiv (identifiant 2609.22606v1) présente VT-Bridge, une méthode d'adaptation résiduelle légère permettant de transformer des modèles Vision-Language-Action (VLA) déjà entraînés en modèles Vision-Tactile-Language-Action (VTLA), sans réentraînement complet ni modification de l'architecture d'origine. Plutôt que d'entraîner un VTLA à partir de zéro, ce qui exige d'énormes volumes de données vision-tactile et une puissance de calcul importante, VT-Bridge ajoute un adaptateur résiduel identique sur différents socles VLA, avec des poids spécifiques à chaque backbone, pour affiner les actions à la fréquence d'exécution du robot. Concrètement, la méthode ne nécessite que 50 démonstrations vision-tactile maximum par tâche pour ajuster le socle VLA et entraîner un adaptateur de seulement 0,98 million de paramètres. Testée sur trois backbones VLA représentatifs, π0, π0.5 et SmolVLA, sur quatre tâches de manipulation à fort contact physique, la méthode fait passer le taux de réussite moyen de 11,7% (avec un simple ajustement du VLA au niveau de la tâche) à 62,9%. Le code et les démonstrations sont disponibles sur une page projet dédiée. Ce résultat s'adresse directement aux intégrateurs et laboratoires qui ont déjà déployé des piles logicielles VLA mais butent sur les tâches de manipulation fine nécessitant un retour tactile, comme l'insertion de pièces ou la préhension d'objets fragiles, un angle mort connu des modèles vision-langage seuls. En évitant l'entraînement d'un VTLA complet, VT-Bridge réduit fortement la barrière de données et de calcul pour ajouter la perception tactile à des systèmes existants, et sa généralisation sur trois architectures différentes suggère qu'une telle approche d'adaptateur pourrait devenir une pratique standard plutôt qu'une démonstration isolée. Il s'agit toutefois d'un résultat de recherche non encore validé par relecture par les pairs, obtenu sur quatre tâches en environnement contrôlé, et non d'un produit commercial ou d'un déploiement industriel. Le travail s'inscrit dans la lignée des modèles VLA généralistes tels que π0 ou SmolVLA, conçus pour ancrer perception visuelle et langage dans l'action robotique, mais historiquement peu adaptés aux tâches à contact riche faute de retour tactile intégré. Les approches VTLA existantes imposaient jusqu'ici un réentraînement lourd, réservé aux acteurs disposant de grands jeux de données tactiles. En proposant un pont léger et réutilisable entre VLA et VTLA, les auteurs visent à démocratiser l'accès à la manipulation tactile augmentée, les prochaines étapes annoncées portant sur l'extension des benchmarks et la publication du code associé à la page projet.

Recherche⚡Actu

1 source

42

1230arXiv cs.RO 

PackLab : un cadre complet pour développer, entraîner et évaluer les MLLM en bin packing robotique

Des chercheurs présentent PackLab, un framework complet pour développer, entraîner et évaluer des modèles de langage multimodaux (MLLM) appliqués au bin packing robotique, où chaque placement d'objet conditionne l'espace disponible pour les suivants. Publié sur arXiv (2609.23784), le système combine trois briques : PackLab-Suite, une plateforme de simulation physique générant à grande échelle des trajectoires d'empilement variées pour l'entraînement et l'évaluation des résultats ; PackLab-VLM, un modèle multimodal spécialisé qui perçoit l'état évolutif des objets et du contenant pour choisir l'objet suivant et prédire son placement en boucle fermée ; et PackLab-Bench, un benchmark standardisé proposant plusieurs niveaux de difficulté pour une évaluation systématique. Le code, le modèle, le jeu de données et le benchmark sont publiés en accès libre sur GitHub, sous le dépôt Correr-Zhou/PackLab. Le bin packing robotique est un cas d'usage central en logistique et en préparation de commandes, une décision séquentielle sur horizon long où les solutions existantes reposent soit sur des heuristiques géométriques manuelles optimisant des objectifs prédéfinis, soit sur des politiques d'apprentissage par renforcement entraînées par essais-erreurs sur des configurations fixes, deux approches jugées peu robustes face à la diversité réelle des objets et des contenants. Les auteurs indiquent que PackLab-VLM surpasse en moyenne ces heuristiques classiques, les méthodes de RL traditionnelles et des MLLM généralistes sur plusieurs jeux d'objets et configurations de contenants, un résultat à prendre avec prudence puisqu'il provient des auteurs eux-mêmes sans validation indépendante tierce. Pour les intégrateurs logistiques, le signal reste notable : les modèles multimodaux entraînés spécifiquement pourraient traiter la planification combinatoire aussi bien que la manipulation fine, domaine où l'approche VLA s'était surtout illustrée jusqu'ici. Le travail s'inscrit dans la généralisation des MLLM aux tâches de décision robotique en boucle fermée, au delà de la perception et de la manipulation guidée par le langage. PackLab-VLM n'est pas un simple habillage d'un modèle généraliste appliqué tel quel à la tâche : il est spécifiquement entraîné via les trajectoires générées par PackLab-Suite, distinction que les auteurs mettent en avant en comparant leurs résultats à ceux de MLLM généralistes non spécialisés. Aucun déploiement industriel ni partenaire commercial n'est mentionné dans la publication : il s'agit à ce stade d'une contribution de recherche académique, avec mise à disposition ouverte du code et du benchmark comme référence pour la communauté, avant toute validation sur robot physique réel et tout élargissement à des objets et contenants encore plus hétérogènes.

Recherche❖Paper

1 source

42

1231arXiv cs.RO 

REBOOT : de l'échec à la récupération, un jeu de données et un benchmark pour l'assemblage de précision

Une équipe de recherche a mis en ligne fin septembre 2026 sur arXiv (2609.22591) REBOOT, pour Recovery Episode Benchmark for Off-nominal Trajectories, un jeu de données et un benchmark de manipulation robotique construit autour de l'échec comme signal d'apprentissage à part entière. L'ensemble comprend 2 160 démonstrations réparties sur 18 tâches d'assemblage de précision, chacune découpée en cinq phases communes : alignement en prise, engagement en prise, transport, alignement en dépôt et engagement en dépôt, ce qui permet une évaluation phase par phase plutôt qu'un simple résultat final binaire. Des échecs sont introduits à chaque phase puis appariés à des trajectoires de récupération réalisées par des experts, qui ramènent le système vers un état permettant de poursuivre la tâche. Chaque tâche est annotée en symétrie rotationnelle, précision d'engagement et direction d'assemblage via des paires installation-retrait, avec des flux RGB-D synchronisés sur quatre points de vue et des descriptions en langage naturel par phase. La moitié des démonstrations est experte, l'autre reproduit des échecs observés lors de déploiements réels de politiques entraînées par imitation. Trois architectures ont été testées : un transformeur à chunks d'actions, un modèle de diffusion et π0-FAST. Les jeux d'entraînement robotique actuels contiennent presque exclusivement des démonstrations réussies, et les benchmarks existants réduisent la performance à un score binaire de succès ou d'échec, ce qui masque où et pourquoi une politique échoue réellement. En mesurant des taux de complétion par phase, REBOOT révèle des points de défaillance propres à chaque architecture, invisibles en évaluation binaire classique. Pour les intégrateurs et laboratoires qui déploient des politiques vision-language-action sur des tâches d'assemblage industriel, cela offre un diagnostic localisé, permettant d'identifier si l'échec survient à l'alignement, à l'engagement ou pendant le transport de la pièce, et fournit une base pour entraîner explicitement la capacité de récupération après erreur, une condition nécessaire à l'assemblage de précision en environnement réel non contrôlé. Le benchmark s'inscrit dans l'essor des politiques vision-language-action génériques telles que π0, GR00T N2 ou Helix, dont la promesse se heurte encore à l'écart entre démonstrations en laboratoire et fiabilité sur des tolérances millimétriques. Contrairement aux jeux de référence existants comme Open X-Embodiment ou DROID, centrés sur le volume de démonstrations réussies, REBOOT se présente comme le premier construit explicitement autour de l'échec et de sa récupération. Le jeu de données et le code associés sont publiés en accès libre (nanayawoa.github.io/REBOOT). Il s'agit d'une contribution de recherche en prépublication, sans déploiement industriel annoncé à ce stade ; son adoption par les laboratoires et fournisseurs de piles VLA reste à observer dans les prochains mois.

Recherche❖Paper

1 source

41

1232arXiv cs.RO 

Tactile-JEPA : un apprentissage auto-supervisé conscient de la topologie pour capteurs tactiles distribués

La recherche en robotique tactile franchit une étape avec Tactile-JEPA, une méthode d'apprentissage auto-supervisé publiée le 22 septembre 2026 sur arXiv (2609.24385) et dont le code est disponible sur GitHub (E-Kovtun/tactile). Contrairement aux capteurs tactiles à base de caméra, largement couverts par les méthodes existantes, Tactile-JEPA cible les peaux électroniques distribuées, dont les éléments de détection sont épars et disposés de façon irrégulière sur la surface du capteur. La méthode exploite le graphe de connectivité des capteurs pour guider un masquage spatial, puis entraîne le modèle à prédire les embeddings des éléments masqués à partir du reste, avec un masquage à double échelle capturant à la fois les détails de contact locaux et l'état global de la surface. Testée sur trois jeux de données couvrant des capteurs magnétiques et piézorésistifs, différentes morphologies de robots et des configurations à un ou deux capteurs, la méthode réduit l'erreur d'estimation de force de 6,3% et l'erreur d'orientation en main de 20,8% par rapport à l'état de l'art antérieur, avec des gains similaires en apprentissage de politiques. Pour l'industrie robotique, ce résultat comble un angle mort concret: alors que les encodeurs visuels pré-entraînés sont devenus la norme dans les pipelines d'apprentissage robotique, les encodeurs tactiles sont encore souvent entraînés from scratch sur des signaux bruts et bruités, ce qui limite leur capacité représentationnelle. Or la manipulation dextre en contact riche, notamment sous occlusion visuelle, dépend justement de cette modalité. Les résultats suggèrent que la qualité du pré-entraînement, plus que le capteur lui-même, conditionne l'utilité réelle du tactile dans une politique de manipulation, un point pertinent pour les architectures VLA qui cherchent à intégrer davantage de modalités que la seule vision. Le travail s'inscrit dans la lignée des architectures JEPA popularisées par les travaux de Yann LeCun chez Meta pour l'apprentissage de représentations prédictives, jusqu'ici surtout appliquées à la vision. Il reste à ce stade une contribution académique, sans annonce de déploiement industriel ni de partenariat constructeur: le code est publié pour permettre la réplication, mais aucun pilote ni intégration produit n'est mentionné.

Recherche❖Paper

1 source

41

1233arXiv cs.RO 

Diagnostic physique en test : est-ce payant ? Une politique figée achète des preuves qu'elle ne lit jamais

Un preprint publié sur arXiv (2609.22299v1) étudie le diagnostic physique en temps de test : face à des conditions inconnues, un robot collecte des indices sur ce qui a changé avant d'ajuster son comportement. Les auteurs isolent six conditions nécessaires pour qu'un tel diagnostic améliore réellement l'action, dont l'identifiabilité de la condition physique et l'usage effectif de la preuve collectée. Cette chaîne tient intégralement en environnement contrôlé, mais se rompt dès le transfert vers des mécanismes inédits : pour les décisions exigeant la trace complète, le décodeur figé garde son choix inchangé, alors qu'un simple modèle linéaire lisant les incréments de trace retrouve la bonne réponse sur ces mêmes mécanismes exclus de l'entraînement. L'échec se concentre sur le niveau de preuve le plus riche, où la décision tombe au hasard, un écart que masque la précision agrégée. Le résultat contredit l'hypothèse courante en robotique adaptative selon laquelle identifier un changement physique suffit à améliorer le comportement. Pour les concepteurs de politiques de type VLA ou de décodeurs figés entraînés puis déployés tels quels, l'étude montre que l'identification réussie ne garantit ni l'usage de la preuve ni une adaptation utile : chaque étape doit être vérifiée séparément. Elle questionne aussi la fiabilité des métriques usuelles, une précision agrégée élevée pouvant masquer un effondrement total sur les décisions les plus exigeantes en preuve tant que les cas plus simples compensent la moyenne, un avertissement pour l'évaluation de robots censés s'adapter en ligne à des variations de charge ou de terrain. Ce travail est méthodologique : aucune entreprise ni produit commercial n'est cité, et rien n'indique de déploiement réel au delà des bancs d'essai des auteurs. Il prolonge les recherches sur le transfert sim-to-real et sur les politiques de contrôle de type VLA, dont il interroge la promesse d'adaptation en ligne à partir de preuves collectées en temps de test. Les auteurs opposent leur décodeur figé à un modèle linéaire de référence, qui n'exploite que les incréments de trace et montre que l'information nécessaire existe mais reste inutilisée. La même rupture apparaît, selon eux, à d'autres maillons lors de tests sur des environnements publics déjà établis, signe d'un problème plus général. Aucun calendrier de suite n'est annoncé ; l'étude se veut un cadre d'évaluation pour les futurs travaux sur le diagnostic physique embarqué.

Recherche❖Paper

1 source

41

1234arXiv cs.RO 

Pilotage des politiques dans l'espace latent : un cadre efficace et flexible pour le transfert entre morphologies

Un article déposé sur arXiv en septembre 2026 (2609.22521) présente Latent Policy Steering (LPS), un cadre destiné à réduire le coût de collecte de démonstrations pour l'apprentissage de politiques visuomotrices en robotique. Le principe repose sur une phase de pré-entraînement agnostique à l'embodiment : un modèle du monde (World Model, WM) basé sur l'image est entraîné avec du flux optique sur des données issues de plusieurs types de robots et d'humains, pour capturer la dynamique visuelle commune de la façon dont le monde réagit au mouvement. Ce WM est ensuite affiné sur l'embodiment cible avec de véritables actions robotiques, puis utilisé pour orienter la politique de base en recherchant, dans son espace latent, des plans proches des données de fine-tuning. LPS est présenté comme agnostique à la politique, donc compatible avec différents algorithmes sans nécessiter leur réentraînement. Sur les benchmarks Robomimic et en conditions réelles, les auteurs rapportent des gains relatifs de performance de 16% et 62% pour Diffusion Policy, et de 8% et 14% pour Pi0.5, obtenus avec seulement 50 démonstrations sur un embodiment cible jamais vu à l'entraînement. Ces résultats visent un point de blocage central de la robotique apprenante : les écarts d'embodiment et les espaces d'action incompatibles empêchent aujourd'hui de réutiliser directement les grands jeux de données robotiques et humains disponibles, obligeant chaque plateforme à collecter ses propres démonstrations coûteuses. Si les gains se confirment au-delà des conditions de test des auteurs, une méthode capable d'améliorer une politique existante avec seulement 50 démonstrations et sans réentraînement réduirait sensiblement le coût d'intégration pour les fabricants qui adaptent un modèle générique à un nouveau bras ou une nouvelle pince. Il s'agit toutefois d'un article de recherche non encore relu par les pairs, dont les chiffres reposent sur les évaluations propres des auteurs ; l'ampleur du gain de 62% en conditions réelles mérite d'être lue avec prudence tant qu'elle n'a pas été reproduite indépendamment. Le travail s'inscrit dans la lignée des politiques génératives comme Diffusion Policy et des modèles vision-langage-action tels que Pi0.5, utilisés ici comme bases à améliorer plutôt que comme concurrents directs. Il répond à une problématique déjà identifiée par les laboratoires travaillant sur des modèles généralistes multi-robots, où le transfert cross-embodiment reste un obstacle au passage à l'échelle malgré la multiplication des jeux de données publics. L'article ne mentionne aucun acteur industriel ni feuille de route de déploiement : LPS reste, à ce stade, une contribution méthodologique validée en simulation et sur un nombre limité de plateformes réelles, sans calendrier annoncé pour une intégration en dehors du cadre académique.

Recherche❖Paper

1 source

41

1235arXiv cs.RO 

HIGenNTO : génération évolutive d'interactions humanoïdes par optimisation de trajectoire dans l'espace de bruit

Des chercheurs présentent HIGenNTO (Humanoid Interaction Generation via Noise-space Trajectory Optimization), décrit dans un article publié sur arXiv le 22 septembre 2026 (arXiv:2609.22611v1). Le framework s'attaque à un problème concret de l'apprentissage par imitation chez les robots humanoïdes : les références de mouvement issues de capture de mouvement (motion capture) se dégradent en cas d'occlusion ou de contact physique rapproché, et le retargeting vers un squelette robotique introduit des incohérences géométriques et de contact. La méthode optimise le bruit initial d'un modèle de mouvement pré-entraîné et conditionné par texte, sous des contraintes spatio-temporelles et de scène éparses, afin de générer des trajectoires d'interaction humanoïde-scène qui respectent les contacts souhaités, évitent les collisions et conservent un appui stable, tout en préservant le réalisme du modèle de base. Ces mouvements, générés depuis zéro ou composés en séquences longues par étapes, sont ensuite exécutés par des politiques de suivi en simulation, puis utilisés pour entraîner des politiques visuomotrices conditionnées par la profondeur, fonctionnant uniquement avec les capteurs embarqués. L'équipe a déployé ces politiques sur un robot Unitree G1 pour quatre tâches riches en contacts, parmi huit tâches évaluées au total, dont trois ont été proposées et compilées (prompts, contraintes, scènes) par un agent de codage autonome. L'intérêt principal tient au contournement d'un goulot d'étranglement connu du secteur : la difficulté d'obtenir des données de démonstration fiables pour des interactions physiques complexes (s'asseoir, pousser, manipuler un objet), sans dépendre de capture de mouvement humaine coûteuse et imparfaite. Le recours à un agent de codage pour générer automatiquement des spécifications de tâches ouvre une piste de mise à l'échelle des pipelines de données, un enjeu central pour les laboratoires qui développent des modèles VLA comme Pi-0, GR00T N2 ou Helix. Il faut toutefois noter l'échelle limitée de la démonstration, huit tâches seulement, dont quatre validées sur robot réel, ce qui en fait une preuve de concept académique plutôt qu'un système prêt pour un déploiement industriel. Le choix du Unitree G1, plateforme largement utilisée en recherche académique pour son coût accessible, situe ce travail dans la lignée des efforts combinant modèles génératifs de mouvement et politiques d'exécution par simulation, sans acteur commercial ni implication d'un intégrateur français ou européen. Aucun calendrier de pilote industriel n'est annoncé, le travail restant à ce stade cantonné à la validation en laboratoire et à l'extension future du nombre de tâches couvertes.

Recherche❖Paper

1 source

41

1236arXiv cs.RO 

Les modèles du monde robotiques ne sont pas invariants à la façon dont les actions sont écrites

Un article publié sur arXiv (2609.23252v1) montre qu'un world model robotique s'effondre lorsqu'on change simplement la façon d'écrire les actions, cibles articulaires absolues ou déplacements relatifs à l'état courant, tout en lui soumettant la même trajectoire commandée. Sur trois jeux de données robotiques et deux morphologies, la récupération de trajectoires se dégrade d'un facteur 2,6 à 13,4 et la sélection d'action conditionnée par un objectif tombe de 53% à 15% de réussite. Sur l'environnement PushT, les deux représentations internes du même futur deviennent quasi orthogonales, avec un cosinus de similarité de 0,067, jusqu'à -0,377 dans le pire cas, alors qu'elles restent mutuellement reconstructibles à R² = 0,996, ce qui écarte toute perte d'information. Un test conçu pour distinguer une reparamétrisation valide d'un résumé avec perte rejette trois des quatre axes candidats proposés par les auteurs. Le résultat pèse sur un secteur qui traite le choix entre encodage absolu et delta comme un détail interchangeable, rarement documenté d'un composant à l'autre. Un world model utilisé pour évaluer une politique hors ligne, planifier ou retrouver des trajectoires similaires peut ainsi répondre silencieusement à une question différente dès que cette convention diverge entre les briques assemblées, sans message d'erreur, seulement un effondrement des métriques. Pour les intégrateurs combinant des composants entraînés séparément, cela nuance l'hypothèse selon laquelle les world models généralisent au-delà de leurs conditions d'entraînement exactes, puisque l'échec survient ici sans aucun changement de capteur, de caméra ou de tâche. Ce travail comble un angle mort de la littérature sur la robustesse des modèles robotiques, jusqu'ici centrée sur les perturbations visuelles, recadrage, bruit, pose de caméra, sans jamais auditer le canal d'action. La réparation proposée moyenne les deux encodages au niveau de la fonction de perte durant l'entraînement, ce qui restaure la performance, alors que moyenner les sorties, valable pour des probabilités, échoue pour des prédictions à valeur directionnelle. Sur PushT, ce moyennage reste toutefois incomplet, l'accord dans le pire cas ne remontant qu'à 0,78, contre 0,995 avec une pénalité de désaccord, ce qui laisse ouverte la question pour les politiques vision-langage-action déployées à plus grande échelle.

Recherche❖Paper

1 source

41

1237arXiv cs.RO 

MaskVLA : le masquage visuel contre le surapprentissage des trajectoires des modèles vision-langage-action

Publiée sur arXiv en cross-listing sous la référence 2609.23565v1 (septembre 2026), MaskVLA est une méthode de finetuning pour les modèles vision-langage-action (VLA) qui pilotent des bras robotiques à partir d'instructions et de flux caméra. Le constat de départ : finetunés sur des jeux de démonstrations limités, ces modèles mémorisent des trajectoires spécifiques au lieu d'apprendre une politique généralisable, un phénomène que les auteurs nomment le "trajectory overfitting". La méthode masque aléatoirement une petite portion du flux vidéo de la caméra principale durant l'entraînement, forçant le modèle à mieux exploiter la caméra de poignet et à apprendre des traits visuels plus fins. Sur le benchmark de simulation RoboTwin 2.0, MaskVLA améliore le taux de réussite moyen de 23,2 % face à Pi-0 et de 16,8 % face à OpenVLA-OFT, un gain confirmé sur un bras robotique réel de la plateforme ALOHA. La rareté des démonstrations réelles oblige la plupart des laboratoires à finetuner leurs VLA sur des jeux de données restreints, produisant des politiques fragiles dès qu'un objet change de position ou d'apparence : le problème visé n'est donc pas anecdotique. Qu'une simple restriction du signal de la caméra principale, technique de régularisation légère et peu coûteuse, suffise à dégager des gains à deux chiffres face à des références établies comme Pi-0 et OpenVLA-OFT suggère que la marge de progrès des VLA ne tient pas qu'à l'échelle du pré-entraînement mais aussi à l'exploitation de l'information multicaméra, en particulier la caméra de poignet, souvent sous-utilisée dans les politiques bout-en-bout des plateformes bi-bras comme ALOHA. Contrairement à une nouvelle architecture, MaskVLA reste une recette d'entraînement facile à intégrer dans des pipelines existants. Le travail reste au stade de preprint, sans revue par les pairs confirmée ni produit commercial associé. Il s'inscrit dans la lignée des travaux sur la généralisation des politiques VLA initiés par Pi-0 de Physical Intelligence et OpenVLA-OFT, utilisés ici comme étalons de comparaison, aux côtés d'autres modèles généralistes du secteur comme GR00T N2 de Nvidia ou Helix de Figure AI, qui visent la même robustesse avec peu de démonstrations. RoboTwin 2.0 et la plateforme ALOHA, issue des travaux de téléopération bas coût de Stanford et Berkeley, servent de terrain de validation standard pour ce type de méthode. Aucun acteur français ou européen n'est cité dans cette étude, et les auteurs ne donnent aucun calendrier de suite.

Recherche❧Opinion

1 source

41

1238arXiv cs.RO 

InsertAnything : insertion de précision par contact, transférable de la simulation à la réalité

Une équipe de recherche a publié en septembre 2026 sur arXiv (2609.24511) InsertAnything, un système d'apprentissage par renforcement pour l'insertion robotique de précision entraîné entièrement en simulation, sans démonstration réelle ni réglage fin après déploiement. La politique combine la pose cible de la pièce avec un retour de force tridimensionnel compact capté au bout des doigts du préhenseur, ce qui lui permet de rechercher l'alignement et de corriger sa trajectoire même quand la position estimée du trou est erronée ; une récompense « gated » découplée coordonne les phases d'alignement et d'insertion, tandis qu'un lissage du signal de force et des écarts-types indépendants de l'état stabilisent l'apprentissage. Les politiques obtenues réalisent des insertions réelles sur des jeux nominaux allant jusqu'à 0,02 mm, tout en réduisant les forces de contact maximales en cas d'erreur de positionnement du trou. Le système décroche le premier score parfait, 20 sur 20, au benchmark peg-in-hole de ManipulationNet sous son protocole « Human-in-the-Loop », avec des mouvements d'insertion entièrement autonomes ; une politique unique, entraînée uniquement sur une tâche hexagonale simulée, atteint par ailleurs un taux de réussite de 95 % sur huit tâches d'insertion réelles jamais vues à l'entraînement. Le code, les scripts d'expérimentation, les assets de simulation et les checkpoints entraînés sont publiés en open source sur le site du projet. L'insertion de précision à fort contact reste un goulot d'étranglement de l'assemblage robotique industriel : les faibles jeux mécaniques rendent la tâche très sensible aux erreurs d'alignement et sujette au blocage, et chaque nouvelle géométrie de pièce exigeait jusqu'ici une collecte de données réelles ou un réentraînement dédié. En montrant qu'une politique unique formée en simulation sur une seule géométrie se généralise à huit tâches inédites et à des jeux jusqu'à 0,02 mm sans aucune donnée réelle, ces résultats s'attaquent directement à l'écart classique entre simulation et réalité qui freine le déploiement industriel des politiques apprises. Pour les intégrateurs, cela ouvre potentiellement une voie pour réduire le temps de mise en service lors d'un changement de référence de pièce, un enjeu central en électronique et en assemblage mécanique de précision. Le résultat reste cependant un score de benchmark en environnement de recherche, pas un déploiement industriel documenté, et le protocole « Human-in-the-Loop » du test autorise normalement une intervention humaine que le système n'a ici pas eu besoin de solliciter. Le travail s'inscrit dans la lignée des recherches combinant apprentissage par renforcement et retour de force pour résoudre le « peg-in-hole », un banc d'essai classique de la manipulation robotique fine, aux côtés d'approches plus généralistes de type vision-langage-action. Aucun industriel n'est associé à la publication, qui reste à ce stade un preprint arXiv sans mention de laboratoire ni de partenaire dans le résumé et non encore validé par les pairs, mais la mise en open source des scripts de simulation et d'expérimentation, des assets et des checkpoints doit permettre une reproduction indépendante des résultats, sans qu'un calendrier de pilote industriel ou de transfert commercial ne soit pour l'instant annoncé.

Recherche❖Paper

1 source

41

1239arXiv cs.RO 

Uranus : la nouvelle infrastructure de simulation pour l'IA incarnée

Une équipe de recherche a publié sur arXiv (2609.24815, en ligne depuis le 22 septembre 2026) Uranus, un simulateur robotique piloté par les données, construit autour d'un modèle de diffusion autorégressif conditionné par des trajectoires articulaires. Le système reçoit en ligne les trajectoires futures de position articulaire et génère, sans horizon fixe, une image latente par pas de temps, équivalant à quatre images RGB, à 24 images par seconde après optimisation de l'inférence. Il propose aussi une interface unifiée pour une génération multi-vues synchronisée, compatible avec différentes morphologies de robots et configurations de caméras. Les auteurs publient le code et les poids du modèle après évaluation sur données en distribution et hors distribution. La simulation reste le principal goulot d'étranglement de l'entraînement des politiques robotiques: l'interaction réelle est coûteuse et lente, contre une construction manuelle coûteuse pour les simulateurs physiques classiques. En remplaçant la modélisation explicite de la physique par un modèle génératif appris sur des données, Uranus s'inscrit dans la tendance des modèles du monde appliqués à la robotique, où la vidéo générée sert de proxy d'environnement pour entraîner et évaluer des politiques. Le débit de 24 images par seconde compte pour les intégrateurs, car un simulateur trop lent ne peut pas boucler avec une politique en cours d'apprentissage. Il s'agit toutefois d'une publication de recherche aux limites reconnues par ses auteurs, non d'un produit commercial. Ce travail rejoint un courant de recherche plus large sur les modèles de diffusion vidéo et les "world models" appliqués à l'IA incarnée, où plusieurs laboratoires explorent des approches génératives pour compléter les moteurs physiques classiques dans l'entraînement de politiques robotiques. Uranus ne s'accompagne d'aucune annonce de partenariat industriel ni de déploiement sur un robot commercial: il s'agit d'une prépublication arXiv assortie d'une mise à disposition ouverte du code et des poids, destinée à permettre à d'autres équipes de reproduire et d'étendre les résultats, sans pilote industriel ni calendrier produit à ce stade.

Recherche❖Paper

1 source

40

1240arXiv cs.RO 

Une méthode pour un transfert simulation-réel efficace en manipulation, via des modèles du monde pré-entraînés par imitation en ligne

Des chercheurs publient une méthode pour l'apprentissage par imitation en manipulation robotique lorsque les données réelles expertes sont rares, dans un article arXiv (2510.02538, version 2, republication d'une soumission précédente). Le constat de départ: les méthodes d'imitation purement offline souffrent d'une mauvaise couverture des données et se dégradent fortement en performance une fois déployées. La solution proposée est un framework sim-to-real construit autour de "world models" (modèles internes de la dynamique de l'environnement), qui combine un pré-entraînement par imitation en ligne dans un simulateur robotique avec un ajustement fin (finetuning) réalisé ensuite sur un nombre limité de données réelles. En exploitant les interactions en ligne dans le simulateur, cette approche comble en partie le manque de couverture des méthodes offline classiques. Les résultats chiffrés annoncés font état d'une amélioration du taux de succès d'au moins 31,7 % en transfert sim-to-sim et de 23,3 % en transfert sim-to-real, comparé aux meilleures méthodes d'imitation offline existantes. Ce travail cible directement le goulot d'étranglement qui freine aujourd'hui le déploiement des politiques de manipulation robotique en usine: la collecte de démonstrations réelles reste lente, coûteuse et limitée en diversité de situations couvertes. En montrant qu'une phase de pré-apprentissage en simulation, suivie d'un finetuning léger sur peu de données réelles, réduit la dégradation typique du passage sim-to-real, l'étude apporte une preuve empirique que ce fossé n'est pas encore résolu par la seule accumulation de données, mais peut être significativement réduit par le design de la boucle d'apprentissage elle-même. Pour les intégrateurs et décideurs robotique B2B qui misent sur des politiques de type VLA ou du behavior cloning à grande échelle, ce résultat suggère qu'investir dans l'architecture de simulation et de modélisation du monde peut être plus rentable que de multiplier les heures de téléopération réelle. Cette approche s'inscrit dans une lignée de recherche distincte du pur behavior cloning à la Pi-0 ou GR00T N2, en misant plutôt sur des représentations prédictives de la dynamique du monde pour accélérer l'apprentissage de politiques avant tout transfert vers le réel. Aucun acteur français ou européen n'apparaît dans ce travail, qui reste à ce stade une contribution académique validée en simulation et sur des transferts de banc d'essai, sans déploiement industriel annoncé. Le statut "replace" sur arXiv indique une révision après une première version, probablement en vue d'une soumission à une conférence de robotique.

Recherche❖Paper

1 source

40

1241arXiv cs.RO 

Couverture de zone pilotée par la densité pour systèmes multi-robots non holonomes, avec garantie de sécurité

Un nouveau papier publié sur arXiv (référence 2609.22668v1, catégorie "new") propose une méthode appelée Density-Driven Optimal Control combiné à un filtre de sécurité par fonction de barrière de contrôle, destinée à coordonner des flottes de robots non-holonomes lors de tâches de couverture de zone. Le problème identifié est concret : quand on applique le D2OC classique à des robots à contraintes non-holonomes (comme des robots à roues différentielles), les garanties de sécurité calculées sur la trajectoire de référence ne se traduisent pas fidèlement dans les commandes physiques réellement envoyées aux actionneurs, créant un écart entre sécurité certifiée sur le papier et sécurité réelle. Les auteurs corrigent ce décalage en appliquant la contrainte de sécurité directement sur les entrées physiques du robot, via un point de anticipation (look-ahead) qui linéarise le système par retour d'état, et en dérivant une marge de sécurité tenant compte de la géométrie de ce point, de l'encombrement du robot et de son mouvement à chaque intervalle de contrôle. Les tests ont été menés en simulation puis validés expérimentalement sur plusieurs robots non-holonomes réels de la plateforme Robotarium. Pour l'industrie de la robotique multi-agents, ce travail s'attaque à un problème récurrent et sous-estimé : des algorithmes de coordination prouvés sûrs mathématiquement peuvent échouer une fois transposés sur du matériel réel à cause des contraintes physiques de direction et d'actionnement, un écart particulièrement critique pour les flottes d'AMR en entrepôt ou en logistique où la distance de sécurité inter-robots est une exigence opérationnelle stricte. Les résultats montrent que la nouvelle approche maintient la séparation physique requise tout en conservant une performance de couverture comparable aux méthodes classiques de suivi de référence, ces dernières pouvant respecter la sécurité en théorie tout en la violant en pratique. Ce travail s'inscrit dans la lignée des recherches sur le contrôle de flottes de robots mobiles pour des tâches de couverture optimale, un domaine où le D2OC constituait déjà une approche reconnue pour répartir des équipes de robots selon des distributions spatiales non uniformes, par exemple pour la surveillance ou l'exploration. La validation sur Robotarium, plateforme de test multi-robots à accès distant opérée par le Georgia Institute of Technology, reste un cadre de recherche académique plutôt qu'un déploiement industriel, et l'article ne précise pas de calendrier de transfert vers des applications commerciales.

Recherche❖Paper

1 source

40

1242arXiv cs.RO 

Quel terrain est le meilleur ? Apprentissage de préférences par prototypes VLM pour le classement de la praticabilité hors-piste

Un article de recherche publié sur arXiv (2609.23673v1, soumission croisée cs.RO/cs.CV) présente TravPro, une méthode qui apprend à un robot mobile à classer les terrains praticables entre eux, et pas seulement à détecter les obstacles. Le problème identifié: la navigation hors route par vision s'appuie aujourd'hui sur la segmentation sémantique ou la détection de zone libre, qui indiquent la nature d'un terrain (herbe, gravier, boue) mais pas lequel préférer parmi plusieurs options franchissables. TravPro contourne l'absence de vérité terrain universelle pour un tel score en transformant les annotations existantes en paires de régions ordonnées, puis en entraînant un petit module de lecture sur les tokens visuels d'un modèle vision-langage (VLM) gelé, regroupés en une banque fixe de prototypes. Ce module sert ensuite de professeur pour générer des cartes de préférence denses par pseudo-étiquetage, distillées dans un modèle étudiant RGB léger qui produit une carte de préférence de terrain accompagnée d'un masque excluant obstacles et arrière-plan. Sur cinq domaines jamais vus à l'entraînement, TravPro atteint une précision par paires moyenne de 0,915, contre 0,783 pour la meilleure méthode de référence. Pour les concepteurs de robots mobiles et de véhicules autonomes tout-terrain (agriculture, forêt, défense, exploration), ce travail répond à une limite concrète des architectures actuelles: un score de traversabilité figé par classe sémantique ne dit rien de la préférence relative entre deux surfaces également franchissables, ce qui pénalise la planification de trajectoire en environnement non structuré. L'approche évite aussi le coût d'une annotation dense pixel par pixel en réutilisant des labels grossiers déjà disponibles. Point notable pour les équipes tentées de s'appuyer directement sur des VLM: les auteurs montrent que solliciter le modèle par simple prompt, ou utiliser la même supervision comme cible dense classique, ne produit pas cet ordre de préférence. C'est la manière dont les tokens et les comparaisons sont exploités qui fait la différence, pas le modèle en lui-même. Le travail s'inscrit dans la lignée des recherches sur l'estimation de traversabilité, historiquement fondées sur des coûts par classe réglés à la main ou sur la confiance de détection de zone libre, et plus récemment sur les VLM pour une compréhension de terrain en vocabulaire ouvert. Aucune entreprise ni produit commercial n'est associé à cette publication: il s'agit d'une contribution académique, sans pilote annoncé ni déploiement réel à ce stade. Les auteurs positionnent leur contribution comme une reformulation du problème en tâche de classement supervisée par comparaisons faibles, plutôt qu'une nouvelle architecture de perception, ouvrant la voie à une intégration ultérieure dans des piles de navigation pour robots tout-terrain.

Recherche❖Paper

1 source

40

1243arXiv cs.RO 

Quantification bas-débit native des modèles vision-langage-action via repliement cohérent : FoldQuantVLA

Des chercheurs détaillent FoldQuantVLA, un framework de quantification post-entraînement pour modèles vision-langage-action (VLA), dans un preprint publié sur arXiv (2609.24433v1). La méthode préserve une représentation d'activation cohérente de la calibration jusqu'à l'exécution native en entiers, en combinant mise à l'échelle par canal, transformées de Hadamard par blocs et quantification dynamique par token, sans réentraîner la politique. Des plugins TensorRT exécutent en 4 bits (poids et activations, W4A4) les projections du backbone langage et de l'expert d'action, sur GPU Ada et sur Jetson AGX Orin. Testé sur LIBERO, SimplerEnv, trois checkpoints GR00T et π0.5, le W4A4 gagne 1,20 à 1,33x sur Orin et 1,25 à 1,52x sur desktop face à TensorRT en flottant. En repassant certaines projections du module langage en 8 bits, le succès de GR00T N1.7 sur quatre tâches réelles grimpe de 80,0% à 92,5% sur 80 essais par configuration, pour 1 ms de latence supplémentaire sur Orin. Pour les intégrateurs, l'enjeu n'est pas le gain de vitesse, modeste (1,2 à 1,5x), mais la preuve qu'une quantification agressive et uniforme dégrade mesurablement le comportement du robot : la chute de 92,5% à 80,0% de succès entre configuration mixte et W4A4 uniforme montre que la latence gagnée coûte cher à la fiabilité si le compromis bits/couches est mal calibré. La méthode permet d'exécuter des VLA volumineux directement sur du matériel embarqué comme le Jetson Orin, sans datacenter ni réentraînement, réduisant le coût d'ingénierie du déploiement en périphérie. Elle offre aux décideurs B2B une méthode reproductible pour arbitrer précision et vitesse couche par couche, plutôt qu'un choix binaire entre flottant complet et quantification uniforme. Le travail s'inscrit dans les efforts pour exécuter en temps réel des VLA de référence comme GR00T N1.7 (NVIDIA) et π0.5 (Physical Intelligence), conçus sur GPU de datacenter mais visés pour l'inférence embarquée. FoldQuantVLA adapte au contexte robotique des techniques de compression déjà connues pour les grands modèles de langage, scaling par canal et transformées de Hadamard, couplées à une quantification dynamique par token propre à la boucle observation-action. Le preprint, soumis en septembre 2026, ne précise ni affiliation industrielle ni calendrier de production ; les tests reposent sur deux plateformes robotiques réelles non identifiées, sans code public ni partenariat annoncé avec un fabricant de robots.

Recherche❖Paper

1 source

40

1244arXiv cs.RO 

Architecture reconfigurable à double opposition pour la manipulation et l'assemblage à une main

Publié sur arXiv (2609.22871v1) sous le titre "A Reconfigurable Dual-Opposition Architecture for Single-Hand Assembly and Manipulation", ce travail de recherche présente une main robotique à quatre doigts indépendamment actionnés, organisés en deux paires d'opposition virtuelle (virtual finger, VF), dont la configuration relative est ajustée par une paume reconfigurable. L'objectif est de permettre à une seule main de saisir simultanément deux pièces distinctes tout en contrôlant leur mouvement relatif, une opération typique de l'assemblage industriel incluant la saisie, l'alignement, le vissage et le pressage. Les auteurs ont construit un modèle cinématique des doigts et de la paume ainsi qu'une formulation de l'espace de travail conditionnée par la taille des objets, puis caractérisé le suivi des mouvements articulaires et de la paume. En simulation, la main atteint un taux de réussite moyen de 98,6% pour la rotation continue de sphères de 40 à 230 mm de diamètre, contre 73,8% pour la LEAP Hand, une main de référence open source. Après un réglage fin de la politique face à des perturbations externes multidirectionnelles, le taux grimpe à 92,8% contre 45,2% pour la LEAP Hand, et des démonstrations matérielles confirment la rotation en main d'objets de tailles variées à partir de politiques entraînées en simulation. Ce travail cible un verrou précis: la plupart des mains dextres sont conçues pour manipuler un seul objet à la fois, alors que l'assemblage en main de deux pièces distinctes exige de maintenir deux prises simultanées tout en pilotant leur position relative, une contrainte rarement adressée par les architectures existantes. Des expériences d'ablation montrent que l'abduction/adduction des doigts et la reconfiguration de la paume sont toutes deux nécessaires à la réussite de l'assemblage en main, ce qui suggère que le gain de robustesse provient autant du design mécanique que de l'apprentissage par renforcement seul. Pour les intégrateurs et équipes R&D en robotique industrielle, la comparaison chiffrée face à une main de référence connue offre un point de repère plus crédible que des vidéos sélectionnées sans baseline, et pèse dans le débat sur l'écart entre démonstrations et usage réel. Le travail reste toutefois au stade de la preuve de concept en laboratoire, sans volumes de déploiement ni partenariat industriel annoncés. La LEAP Hand, utilisée ici comme point de comparaison, est une main robotique dextre open source largement adoptée par la communauté recherche en manipulation, ce qui en fait une baseline standard pour ce type de benchmark. Le paysage des mains dextres reste par ailleurs dominé par des architectures fixes à cinq doigts, comme la Shadow Hand ou l'Allegro Hand, ou par des mains simplifiées intégrées aux humanoïdes commerciaux, rarement optimisées pour la saisie simultanée de deux pièces plutôt que la simple préhension. L'article ne mentionne ni calendrier de commercialisation ni partenaire industriel; les prochaines étapes évoquées portent sur l'extension des tâches d'assemblage testées et une validation matérielle plus poussée au-delà des démonstrations de rotation présentées.

Recherche❖Paper

1 source

40

1245arXiv cs.RO 

Whole-Body UMI : transfère les compétences de manipulation aux humanoïdes par génération de mouvement en temps réel

Un article publié le 22 septembre 2026 sur arXiv (2609.22829) présente Whole-Body UMI (WB-UMI), une méthode qui étend l'Universal Manipulation Interface (UMI), protocole de collecte de démonstrations par préhenseur portatif qui évite la téléopération, au contrôle corps entier des robots humanoïdes. Le système ajoute un générateur de mouvement temps réel conditionné par la position de l'effecteur, entraîné séparément sur des données de capture de mouvement retargetées, sans capteurs corporels ni démonstrations appariées. En déploiement, une architecture asynchrone combine une politique de diffusion apprise sur les démonstrations UMI natives, ce générateur de mouvement et un contrôleur corps entier avec compensation de latence. Testée sur le robot G1 d'Unitree, l'approche atteint 90% de réussite pour fermer un tiroir, 80% pour un pick-and-place sur étagère, 40% pour une tâche combinant déplacement et prise (Loco-PnP), et 30% pour un lancer de balle. Cet écart de performance, de 90% à 30% selon les tâches, montre que le transfert de compétences captées à la main vers un contrôle corps entier reste partiel, les mouvements dynamiques comme le lancer restant nettement plus difficiles que des gestes quasi-statiques. Pour l'industrie humanoïde, l'enjeu dépasse la démonstration technique : la téléopération demeure le principal goulot d'étranglement pour entraîner des politiques vision-language-action sur des robots à jambes, et découpler l'apprentissage de la coordination corps entier de celui de la sémantique de tâche réduirait la dépendance à des données coûteuses capturées directement sur le robot. Le travail teste ainsi, en boucle fermée sur robot réel, l'hypothèse qu'une interface de collecte générique comme UMI peut s'étendre aux humanoïdes sans instrumentation corporelle supplémentaire. UMI avait été conçu comme un outil de collecte à bas coût pour l'apprentissage de politiques de manipulation, via un préhenseur instrumenté plutôt qu'un robot téléopéré. WB-UMI s'inscrit dans une compétition plus large de modèles vision-language-action et d'architectures de contrôle humanoïde, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui visent toutes à réduire le coût de la collecte de données réelles. Contrairement à ces initiatives industrielles, WB-UMI reste une contribution académique en preprint, validée sur quatre tâches avec un seul robot, le G1 d'Unitree, sans partenaire annoncé ni calendrier de déploiement.

Recherche❖Paper

1 source

40

1246arXiv cs.RO 

MimicAgent : compétences quadrupèdes via génération de trajectoire à partir d'instructions

MimicAgent est un framework présenté dans un article de recherche publié sur arXiv (2609.24145v1) qui automatise l'apprentissage de compétences dynamiques chez les robots quadrupèdes. Plutôt que de régler manuellement les fonctions de récompense du reinforcement learning, un exercice fastidieux que les auteurs surnomment "graduate student descent", le système s'appuie sur un agent logiciel qui génère, à partir d'un simple prompt textuel, des trajectoires de référence codées. Ces trajectoires, bien que grossières, servent ensuite à entraîner des politiques de RL guidées par l'exemple, validées en simulation et sur robot réel. En utilisant Claude Fable 5.1 comme moteur de leur système agentique, les chercheurs rapportent que 87% des prompts testés génèrent des trajectoires sémantiquement alignées avec la compétence demandée. Le problème ciblé est structurel : contrairement aux humanoïdes, qui exploitent de vastes bases de capture de mouvement humain pour l'apprentissage guidé par l'exemple, les quadrupèdes ne disposent d'aucune référence équivalente et imposent en général une ingénierie de récompense spécifique à chaque compétence. Si la méthode se confirme au-delà des cas démontrés dans l'article, elle promettrait de réduire le temps d'ingénierie nécessaire pour doter un robot quadrupède de nouvelles compétences dynamiques, un enjeu concret pour les intégrateurs cherchant à accélérer leurs cycles de développement. Elle illustre aussi un glissement d'usage des LLM en robotique : générer des données de démonstration plutôt qu'écrire directement des fonctions de récompense. MimicAgent se positionne comme une réponse aux limites d'Eureka, le système antérieur qui tentait d'automatiser le reward shaping via des LLM mais peinait, selon les auteurs, à généraliser à des compétences et morphologies variées. L'approche s'inspire des succès obtenus par le RL guidé par l'exemple chez les humanoïdes, appuyés sur des jeux de données de motion capture à grande échelle. Publié comme simple article arXiv, sans affiliation industrielle mise en avant ni partenariat commercial annoncé, il s'agit à ce stade d'une contribution académique, dont les suites attendues porteraient sur l'extension à davantage de compétences et à des morphologies de robots plus diverses.

Recherche❖Paper

1 source

40

1247arXiv cs.RO 

Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle

Un article publié sur arXiv (référence 2609.23131v1, catégorie "nouveau") présente un système robotique en boucle fermée destiné à retrouver un objet désigné en langage naturel par rapport à un contenant de référence, dans des scènes partiellement observables. À chaque étape, le système arbitre entre quatre options: recueillir davantage de preuves visuelles, interagir avec la scène, saisir un candidat, ou s'abstenir. Il maintient une croyance conjointe persistante sur l'identité de la cible, sa relation au contenant et sa présence, structurée en trois hypothèses (objet suivi, cible non observée, cible absente), mise à jour par des observations catégorielles issues d'un modèle vision-langage (VLM) conditionnées par le point de vue. L'éligibilité de la prise est calibrée par prédiction conforme et combinée à la faisabilité robotique pour décider du moment de l'engagement, tandis qu'une planification en espace de croyances à horizon fini sélectionne les actions de collecte d'information. Sur cinq scénarios simulés, la méthode réussit 19 épisodes sur 25, contre 12 sur 25 pour la meilleure référence adaptée à la tâche, et c'est la seule politique testée à obtenir au moins une réussite dans chacun des cinq scénarios. Des essais sur robot réel montrent une ré-observation en boucle fermée et une récupération autonome après des échecs de prise provoqués artificiellement, mais des échecs de point de vue injectés se traduisent par de faux abandons, le robot renonçant à tort. Ces résultats s'adressent directement à un problème connu de la manipulation robotique en logistique et en intralogistique: la plupart des systèmes actuels supposent une observabilité quasi complète de la scène, ce qui s'effondre dès qu'un objet est partiellement occulté dans un bac ou un tiroir. En formalisant explicitement le choix entre agir, observer davantage ou renoncer, ce travail illustre une piste pour réduire les échecs silencieux des pipelines vision-langage-action (VLA) déployés en conditions réelles, où la confiance mal calibrée d'un modèle mène souvent à des prises ratées plutôt qu'à un report prudent. Les auteurs notent toutefois eux-mêmes une limite importante: leurs ablations montrent que le système complet ne surpasse pas systématiquement des variantes simplifiées, ce qui nuance la promesse d'un gain automatique lié à la complexité du cadre proposé. Ce travail s'inscrit dans la lignée des recherches académiques sur la prise de décision sous incertitude en robotique de manipulation, à la croisée des modèles vision-langage et de la planification bayésienne, sans lien annoncé avec un produit commercial ou un déploiement industriel. Il reste à ce stade au niveau de la validation en simulation complétée par des essais limités sur robot physique, et non un système prêt à l'emploi. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers une plateforme commerciale, ce qui distingue clairement cette contribution des annonces produit du secteur des humanoïdes ou des bras robotiques en entrepôt.

Recherche❖Paper

1 source

40

1248arXiv cs.RO 

CARE : correction atomique guidée par l'expérience pour les politiques vision-langage-action

Une équipe de chercheurs a publié le 24 septembre 2026 sur arXiv (référence 2609.24118v1) un article présentant CARE, pour Corrective Atomic Robotic Execution, un framework destiné à améliorer la récupération des politiques Vision-Language-Action (VLA) lorsque l'exécution d'une tâche de manipulation robotique dévie de sa trajectoire nominale. Plutôt que de générer des données correctives à partir de perturbations manuelles ou aléatoires, comme le font les approches existantes, CARE collecte des rollouts ayant échoué, modélise les déviations post-échec en fonction de l'étape de la tâche, puis synthétise à partir de ces distributions empiriques des états d'échec représentatifs et des démonstrations correctives. Au moment de l'exécution, le système combine une planification par étapes avec un suivi 3D ancré physiquement pour déclencher des ajustements ponctuels ou des reprises d'opération, sans perdre la progression déjà accomplie sur la tâche. Les auteurs introduisent également un nouveau benchmark, le Failure State Recovery Benchmark (FSR-Bench), conçu pour évaluer spécifiquement la capacité de récupération à partir d'états d'échec intermédiaires, qu'il s'agisse de déviations locales ou d'anomalies structurelles. Testé sur plusieurs backbones VLA, en simulation et sur des tâches réelles à deux bras, CARE affiche des gains moyens de taux de réussite de 14,5 points en simulation et 15,9 points en conditions réelles. Le code, les modèles et les données sont publiés sur GitHub. Ce travail s'attaque directement à un point faible connu des politiques VLA: leur robustesse s'effondre dès que l'exécution s'écarte du script appris, un écart classique entre démonstration contrôlée et déploiement réel. Pour les intégrateurs et les équipes robotique en entreprise, le message est clair: empiler des données de démonstrations réussies ne suffit pas à obtenir un système fiable en production, il faut des mécanismes dédiés à la détection et à la correction des échecs. Cela nuance l'hypothèse selon laquelle le passage à l'échelle des modèles VLA résoudrait seul le problème de généralisation, et remet la question de la récupération d'erreur au centre des critères d'évaluation avant tout déploiement industriel. Le papier s'inscrit dans la lignée des politiques VLA généralistes pour la manipulation, sans revendiquer de lien avec un produit commercial ou un robot humanoïde particulier: il s'agit d'une contribution de recherche publiée en preprint, non encore validée par relecture par les pairs, avec un code ouvert permettant sa reproduction. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes attendues concernent l'extension de FSR-Bench à d'autres familles de politiques VLA et la validation sur davantage de plateformes robotiques réelles au-delà des configurations à deux bras testées ici.

Recherche❧Opinion

1 source

40

1249arXiv cs.RO 

Post-entraînement en ligne stable et efficace pour VLA en conditions réelles via l'amélioration de politique ancrée sur le replay asynchrone

Une équipe de recherche publie sur arXiv (papier 2609.22888, soumis en septembre 2026) une méthode baptisée RAPolicy (Replay-Anchored Policy improvement), destinée a l'entrainement en ligne de modèles vision-langage-action (VLA) sur robot réel. Le système fait tourner en parallèle la collecte de trajectoires et l'apprentissage, en ancrant les mises a jour du critique et de l'acteur sur les actions rejouées depuis un buffer de replay plutôt que sur des prédictions d'actions futures. Le critique apprend des valeurs au niveau de blocs d'actions et construit ses cibles de Bellman sans prédire l'action suivante, ce qui réduit le calcul nécessaire. L'acteur, a flux en une seule étape, réutilisé le bruit initial stocke pendant le rollout et s'entraine par vraisemblance conditionnelle pondérée par l'avantage. Teste sur quatre taches isolées et un scenario conjoint a cinq taches en conditions réelles, avec un budget d'entrainement en ligne de seulement une a deux heures, RAPolicy part de politiques déjà affinées sur dix démonstrations par tache. Il atteint un taux de réussite moyen de 86,3% sur les taches isolées, et fait grimper le taux de réussite global du scenario multi-tache de 52% a 88%, tout en préservant les taches déjà maîtrisées et en améliorant les plus faibles. Ce résultat s'attaque a un point de friction connu du post-entrainement en ligne des VLA sur robot réel: l'instabilité de l'apprentissage par renforcement lorsque les données arrivent en flux continu et que la politique change pendant la collecte. Pour les intégrateurs et décideurs B2B, l'enjeu concret est le cout d'adaptation: passer d'une politique généraliste a une compétence fiable sur une nouvelle tache en une a deux heures de pratique, avec seulement dix démonstrations de départ et moins d'interventions humaines que les méthodes de référence, change l'économie d'un déploiement capable d'apprendre sur site plutôt qu'en laboratoire. Le résultat va aussi a l'encontre de l'hypothèse répandue selon laquelle le fine-tuning en ligne des VLA reste trop instable hors des environnements simules, même si l'évaluation reste limitée a cinq taches et aux conditions de laboratoire des auteurs, sans réplication indépendante ni comparaison sur des taches plus complexes ou des robots tiers. Cette approche s'inscrit dans la lignée des modèles VLA généralistes tels que Pi-0, GR00T N2 ou Helix, pretraines sur de larges corpus de démonstrations puis adaptes a des taches spécifiques, une étape qui repose habituellement sur davantage de démonstrations ou sur du reinforcement learning hors ligne, deux voies gourmandes en données ou fragiles en stabilité. RAPolicy se positionne comme une alternative asynchrone a ces méthodes, misant sur l'ancrage dans les trajectoires rejouées pour stabiliser simultanément critique et acteur. Les auteurs mettent a disposition une page de projet avec, selon toute vraisemblance, code et vidéos de démonstration, mais ne précisent ni institution ni calendrier pour une intégration a des piles VLA commerciales existantes.

IA physique❧Opinion

1 source

40

1250arXiv cs.RO 

Méthode de prévision multimodale d'étiquettes pour séries temporelles visuo-motrices apériodiques

Une équipe de recherche présente une nouvelle méthode de prévision multimodale destinée à une tâche inédite en apprentissage profond : anticiper les chutes pendant la locomotion de robots humanoïdes, à partir de vision égocentrique et de proprioception. Publié sur arXiv (référence 2609.07930, version 2), le travail introduit deux jeux de données de référence, l'un issu de simulation, l'autre de matériel réel. Les auteurs proposent une architecture combinant variables endogènes et exogènes, entraînée selon un protocole qui impose un échantillonnage rigoureusement indépendant et identiquement distribué (i.i.d.) des exemples d'entraînement. Les gains annoncés sont statistiquement significatifs face aux méthodes existantes : au moins 12,73% d'amélioration sur les données réelles et au moins 10,40% sur les données de simulation. Le code et les jeux de données seront publiés après acceptation de l'article. L'apport est autant conceptuel que technique. La plupart des benchmarks de prévision de séries temporelles, qu'ils s'appuient sur des architectures Transformer ou MLP, supposent une quasi périodicité des signaux. Les auteurs montrent que cette hypothèse s'effondre dès que les trajectoires de marche sont suffisamment variées, et que les méthodes récentes peinent alors à généraliser, quel que soit le camp du débat Transformer contre MLP. Pour les intégrateurs et concepteurs de systèmes de sécurité en robotique humanoïde, cela pointe un angle mort : les outils de prévision standards ne sont pas directement transposables à la détection précoce de chute, une fonction pourtant critique avant tout déploiement en environnement industriel ou partagé avec des humains. Le travail traduit aussi un glissement plus large de la recherche humanoïde, qui déplace son attention de la seule stabilité du contrôle moteur vers des couches logicielles de sécurité prédictive. Le document est signalé comme une soumission de remplacement sur arXiv, c'est à dire une version révisée d'un travail déjà déposé, en attente d'acceptation en conférence ou revue. Aucun acteur industriel n'est cité : il s'agit d'une contribution académique, sans lien annoncé avec un fabricant de robot humanoïde en particulier. La prochaine étape est la publication du code et des données dès l'acceptation de l'article, ce qui permettra à la communauté de reproduire les résultats et de comparer d'autres méthodes sur ces deux nouveaux benchmarks.

Recherche❖Paper

1 source