Aller au contenu principal

Actualités robotique — page 14

7 328 articles au fil, du plus récent au plus ancien.

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?
651Robotics Business Review 

Les fonctions de sécurité de votre robot fonctionnent déjà. Et si leurs données d'entrée étaient falsifiées ?

Les chercheurs de VicOne LAB R7, l'équipe de recherche en cybersécurité de l'éditeur VicOne, publient une analyse sur un angle mort de la sécurité fonctionnelle des robots : une fonction de sécurité peut s'exécuter exactement comme conçue tout en agissant sur une information falsifiée. Leurs essais portent sur plusieurs cas. Dans un test sur un chien robot piloté par Gemma 4 E4B, le texte d'une affiche a été interprété comme une instruction et a modifié le déplacement de la machine. Dans une simulation de robot de service hospitalier tournant avec Nemotron sur NVIDIA Jetson AGX Orin, un audio forgé, inaudible pour l'humain, a changé le comportement simulé. Lors d'un événement de bug bounty en robotique, les chercheurs ont injecté un message ROS 2/DDS dans un robot qui devait rester immobile sous un réglage de contrôle sûr, et il s'est mis en mouvement. Ils citent aussi des travaux publiés : un patch visuel qui réduit le taux de réussite de modèles vision-langage-action (VLA) en simulation, et FreezeVLA, où une image adversariale amène des modèles à ignorer les instructions suivantes. L'exemple du gyroscope d'un humanoïde, perturbé par une onde sonore à sa fréquence de résonance, reste une hypothèse : l'attaque acoustique a été démontrée sur des drones, pas sur un humanoïde, et aucune chute n'a été provoquée. L'intérêt pour les intégrateurs et les responsables sécurité tient au déplacement de la question. Les évaluations de sécurité traitent souvent la combinaison de plusieurs défauts accidentels comme improbable. Un attaquant, lui, choisit le moment et peut rejouer le même déclencheur, ce qui change le calcul du risque sans rendre le dommage inévitable. Le point opérationnel est l'indépendance réelle des protections : un arrêt de sécurité qui s'appuie sur les mêmes lectures, estimations ou messages que la commande principale peut être trompé par la même manipulation. La redondance de capteurs doit elle aussi passer un test adversarial, car si une seule action influence les deux entrées, leur concordance rassure moins qu'on ne le croit. Les auteurs évoquent à ce titre une recherche en conduite autonome où un objet physique piégé a trompé un système combinant caméra et LiDAR. Il faut toutefois relativiser : ces résultats viennent d'un éditeur qui vend de la sécurité, dans des conditions de laboratoire, de simulation ou de bug bounty, sans démonstration de dommage physique sur un robot déployé. Le sujet arrive alors que les robots mobiles, les cobots et les humanoïdes entrent dans des environnements partagés avec des humains, et que les VLA font de la perception ouverte (texte, image, son) une surface de commande à part entière. Les normes de sécurité fonctionnelle, historiquement centrées sur les pannes aléatoires, intègrent encore peu la manipulation volontaire des entrées. La contribution de VicOne s'inscrit dans l'effort de rapprochement entre sûreté et cybersécurité, avec une cartographie des défauts accidentels et des manipulations délibérées menant aux mêmes issues, de la perte de contrôle au dommage physique. Le texte, tronqué avant ses recommandations détaillées, laisse attendre des conseils sur le renforcement des tests et des preuves à fournir. Ce sera à surveiller du côté des constructeurs d'humanoïdes et de robots de service, ainsi que de leurs fournisseurs de modèles, qui devront montrer que leurs garde-fous ne dépendent pas des mêmes entrées que la tâche qu'ils encadrent.

Societe/EthiqueOpinion
1 source
La nouvelle main du robot Atlas pourrait surpasser les conceptions de type humain
652IEEE Spectrum Robotics 

La nouvelle main du robot Atlas pourrait surpasser les conceptions de type humain

Boston Dynamics a présenté une nouvelle main pour son humanoïde Atlas, conçue pour la production en série plutôt que pour la recherche. La génération précédente, à trois doigts, savait réaliser des mouvements surhumains mais n'avait jamais été pensée pour des volumes de plusieurs dizaines ou centaines de milliers d'unités. La nouvelle main passe de 7 à 13 degrés de liberté (DOF), ajoute un quatrième doigt et permet l'écartement des doigts (splay), nécessaire pour saisir la poignée d'un outil à gâchette, comme une perceuse ou une torche de soudage. Le petit doigt a été supprimé, décision prise, selon Alberto Rodriguez, directeur du Robot Behavior, après une journée passée par son équipe avec l'auriculaire scotché à l'annulaire. Avec seulement 13 DOF, la main utilise moins d'actionneurs, plus gros et plus puissants, intégrés directement dans les articulations en entraînement direct. Le cahier des charges annoncé par l'entreprise comprend l'usage d'outils, la robustesse, une simulation fidèle, une fabrication de masse et une réparation à faible coût, avec une forme assez proche de la main humaine pour entraîner le robot à partir de démonstrations humaines. Aucun prix ni cadence de production n'a été communiqué. L'enjeu est un changement de philosophie dans la course à la main humanoïde. Beaucoup de concurrents misent sur des mains très anthropomorphes, capables de manipulations fines spectaculaires, mais fragiles ou chères, au point de rester surtout des outils de recherche et de démonstration. Boston Dynamics fait le pari inverse : sacrifier la ressemblance cosmétique pour gagner en fiabilité, en manufacturabilité et en coût. « Une main est un compromis de conception impitoyable », résume Rodriguez, pour qui beaucoup de designs actuels sacrifient justement fiabilité et fabricabilité. L'écartement des doigts dépasse même les capacités humaines, et l'entreprise compte sur l'apprentissage par renforcement pour découvrir et exploiter ces mouvements supplémentaires. Pour un intégrateur ou un COO industriel, le critère pertinent devient la tenue en service et le coût de maintenance, plus que l'élégance des vidéos. Reste que l'entreprise affirme la polyvalence de la main « pour l'horizon prévisible » sans publier de données d'endurance, de taux de panne ou de charge utile : il s'agit à ce stade d'une annonce de conception, pas d'un déploiement mesuré. Cette annonce s'inscrit dans la transition d'Atlas, passé de plateforme de recherche à produit industriel, où des questions longtemps ignorables, comme la durabilité ou le coût de réparation, deviennent centrales. Elle place Boston Dynamics face à des concurrents qui exhibent des mains quasi humaines, tout en défendant une voie plus pragmatique, proche de celle de la préhension industrielle. La compatibilité avec les démonstrations humaines et la simulation propre vise à alimenter l'entraînement des politiques de manipulation, un point clé pour les modèles VLA actuels. La suite dépendra de la validation sur site, des volumes réels et du coût unitaire, éléments à surveiller avant de juger si ce compromis tient ses promesses hors du laboratoire.

HumanoïdesOpinion
1 source
Flourish 1 : un robot semi-humanoïde à roues tient 12 heures et soulève plus de 1,4 kg
653Interesting Engineering 

Flourish 1 : un robot semi-humanoïde à roues tient 12 heures et soulève plus de 1,4 kg

La startup californienne Flourish Robots, basée à San Francisco, sort de l'ombre avec Flourish 1, un robot domestique semi-humanoïde présenté le 29 septembre. Les précommandes sont ouvertes pour les 50 premiers exemplaires, à 3 555 dollars pièce, avec des livraisons annoncées à partir de décembre 2026. La machine mesure 1,10 m (3 pieds 7 pouces) pour 20 kg (44 livres), repose sur une base à roues, deux bras et un corps à translation verticale qui lui permet d'atteindre des surfaces en hauteur. Son autonomie atteint 12 heures, mais sa capacité de charge totale plafonne à 1,5 kg (3,3 livres). Les tâches visées sont le ramassage de chaussures, vêtements et jouets, l'essuyage de tables, le transport d'objets et l'arrosage des plantes. L'entreprise évoque aussi le chargement d'un lave-vaisselle et le nettoyage d'une litière pour chat. Le propriétaire enseigne chaque tâche par démonstration physique via une application mobile, sans code, en environ 30 minutes, puis le robot peut la répéter ou la planifier. Le fondateur et CEO Antoine Marcel reconnaît que l'exécution reste lente. Un tour de table pré-seed mené par Families Fund a été levé, sans montant divulgué. Ce qui retient l'attention n'est pas la performance brute, mais l'arbitrage assumé : un matériel volontairement limité (préhenseurs simples, faible charge utile) pour tenir un prix très inférieur au marché. À titre de comparaison, le NEO de 1X est affiché à 20 000 dollars ou 499 dollars par mois. Sur le plan logiciel, Flourish ne vise pas un modèle généraliste unique de type VLA (vision-langage-action) capable de tout faire dans n'importe quel foyer. Elle affine des modèles pré-entraînés par domicile, par objet et par tâche, et découpe chaque tâche en fonctions distinctes : pour une chaussette, navigation pour la repérer, IA physique pour la saisir, puis navigation vers le panier à linge. Cela réduit la sophistication requise de l'IA de manipulation, au prix d'une généralisation moindre : un robot entraîné dans un logement peut peiner si l'environnement change fortement, même si l'entreprise affirme tolérer des variations de position des objets, d'éclairage et d'encombrement. Pour les intégrateurs et décideurs, c'est un test grandeur nature d'une hypothèse concurrente de la course au généralisme : la valeur domestique pourrait venir de la spécialisation par foyer plutôt que d'un modèle universel. Il faut toutefois rester prudent : il s'agit d'une annonce avec précommandes, pas d'un produit livré, et aucune vidéo, durée de cycle ni taux de réussite n'est cité pour étayer les 30 minutes d'apprentissage ou la fiabilité des tâches les plus délicates comme le lave-vaisselle. Le robot dit fonctionner en autonomie, sans téléopérateur distant, avec caméras et LiDAR pour surveiller l'environnement, et des bras conçus pour s'arrêter lorsqu'une personne entre dans leur zone d'atteinte. Ce point est notable face à des concurrents domestiques qui s'appuient encore sur de l'assistance humaine à distance. Le marché se segmente entre humanoïdes chers et robots plus modestes, et la tenue des 50 livraisons de décembre servira de premier indicateur : prix tenable, apprentissage reproductible chez des particuliers, et capacité à valider la sécurité en environnement non contrôlé.

HumanoïdesActu
1 source
La NASA prépare des robots humanoïdes à des missions dangereuses sur la Lune et sur Mars
654Interesting Engineering 

La NASA prépare des robots humanoïdes à des missions dangereuses sur la Lune et sur Mars

La NASA structure une approche de la robotique humanoïde pour l'exploration lunaire et martienne autour de la Dexterous Robotics Team du Johnson Space Center, à Houston. Cette équipe de 16 personnes, dirigée par Shaun Azimi, s'appuie sur l'héritage de Robonaut 2, resté sept ans à bord de la Station spatiale internationale, et de Valkyrie, premier humanoïde bipède de l'agence. Son banc d'essai principal est iMETRO (Integrated Mobile Evaluation Testbed for Robotics Operations), qui réunit des maquettes d'habitats, des outils de simulation et un « rock yard » extérieur, ouvert aux ingénieurs de la NASA comme aux partenaires privés. Deux essais sont cités. Le logiciel de PickNik Inc. a permis à un bras robotique de repérer l'écoutille d'un vaisseau, de tourner le loquet, d'ouvrir la lourde porte et d'y transférer du fret. Un stagiaire de la NASA a pour sa part écrit le code permettant à un bras commercial d'inspecter et d'entretenir un congélateur de stockage à froid de type station spatiale. L'article ne donne aucun chiffre de performance (taux de réussite, temps d'exécution, nombre d'essais), ni de calendrier de déploiement. L'enjeu est moins l'humanoïde en lui-même que l'autonomie qui le pilote. Avec un délai radio de quelques secondes vers la Lune et de plus de 20 minutes vers Mars, la téléopération directe est inopérante. Le modèle testé à iMETRO est donc semi-autonome : astronautes ou contrôle au sol donnent des ordres de haut niveau, et le robot gère seul la coordination œil-main. C'est la même logique que celle des modèles vision-langage-action (VLA) développés pour l'industrie terrestre, mais dans un cadre où l'erreur ne se rattrape pas. Le discours de la NASA est aussi à lire pour ce qu'il est : les démonstrations décrites sont des tâches isolées en environnement de test contrôlé, loin d'une qualification pour le vol. Elles montrent toutefois un effet de retour sur la conception : des poignées plus grandes ou un éclairage plus fort, utiles aux robots comme aux astronautes. Pour les concepteurs d'habitats et les intégrateurs, cela annonce des exigences de « robot-compatibilité » dans les cahiers des charges. Ce programme s'inscrit dans une lignée de plus de dix ans de robotique dextre à la NASA, de Robonaut 2 à Valkyrie, désormais prolongée par des collaborations avec le secteur privé, qui fournit logiciels et bras du commerce. L'objectif immédiat est le premier avant-poste lunaire, la « Moon Base », puis de futures missions habitées vers Mars. Le texte ne cite ni calendrier ni partenaire industriel d'humanoïdes, et ne situe pas ces travaux face aux acteurs commerciaux comme Figure, Tesla (Optimus) ou Apptronik, qui ont eux aussi des liens avec l'agence ou ses sous-traitants. La suite dépendra de la capacité de ces briques logicielles à passer des essais au sol à des démonstrations en orbite ou sur la surface lunaire, étape que la NASA n'a pas encore annoncée.

HumanoïdesActu
1 source
Comment Maven Robotics compte automatiser le travail industriel, une tâche à la fois
655Robotics Business Review 

Comment Maven Robotics compte automatiser le travail industriel, une tâche à la fois

Maven Robotics, start-up de Santa Clara (Californie) fondée en 2024, affirme avoir conçu quatre itérations de son manipulateur mobile, levé 100 millions de dollars (dont une Série A annoncée le mois dernier) et signé un contrat de production avec son premier client. Selon Hamza Derbas, cofondateur et CEO, les robots tournent aujourd'hui 16 heures par jour, cinq jours par semaine, avec jusqu'à 99 % de disponibilité. Le robot repose sur une base à roues volontairement compacte, capable de passer les portes, tout en conservant une grande allonge : il atteint le fond d'une palette de 48 pouces (121,9 cm) ou des rayonnages jusqu'à 3 m de haut, avec une charge utile de 30 kg. Les deux premiers cas d'usage déployés sont la palettisation de caisses mixtes et la manutention de bacs (totes). Le « système Maven » ne se limite pas au robot : il inclut l'intégration avec l'infrastructure informatique du client, la coopération avec les opérateurs humains ou en flotte, et le « Maven Network », une couche d'apprentissage partagé où une erreur rencontrée en Californie doit permettre à un robot au Japon de la gérer dès le lendemain. Le nom du client et le site de déploiement ne sont pas précisés, et les chiffres de disponibilité sont des déclarations de l'entreprise, sans audit indépendant ni définition de ce que recouvre l'« uptime ». L'intérêt tient à l'approche : partir des tâches à accomplir sur le terrain, puis en déduire la morphologie, plutôt que d'adapter un robot humanoïde à la recherche d'un problème. Maven soutient que la forme bipède n'est pas nécessaire pour un robot polyvalent en usine ou en entrepôt, et que la combinaison base roulante compacte, bras à grande portée et 30 kg de charge couvre déjà une part significative du travail industriel pénible. Pour un intégrateur ou un COO, le signal est la cadence de service annoncée (deux postes par jour, cinq jours sur sept) et le passage du pilote au contrat de production, deux jalons qui séparent encore beaucoup d'acteurs du secteur de la démonstration. Reste à vérifier la tenue sur la durée, le taux d'interventions humaines et le temps de cycle, absents de l'entretien. Maven évoque aussi la généralisation par accumulation de compétences, mais à ce stade il s'agit d'une ambition plus que d'un résultat prouvé au-delà de deux flux de travail. Le contexte est celui d'un marché dominé par le discours humanoïde, où Figure, Tesla (Optimus) ou Agility misent sur les jambes, tandis que des manipulateurs mobiles sur roues, comme ceux de Dexterity ou Mobile Industrial Robots dans d'autres segments, cherchent un déploiement plus rapide. Derbas explique que l'équipe a travaillé avec quelques partenaires dès le départ, sur le terrain plutôt qu'en laboratoire, pour cibler des flux maîtrisables rapidement avant de les étendre. Cette stratégie de pénurie de main-d'œuvre (plus de 500 000 postes industriels non pourvus aux États-Unis, selon lui) vise un marché où l'on peut déjà vendre. La suite dépendra de la capacité de Maven à ajouter de nouvelles compétences sans dégrader la fiabilité, à multiplier les clients au-delà du premier et à démontrer que le réseau d'apprentissage partagé fonctionne à l'échelle. Aucun calendrier de déploiement ni prix n'a été communiqué.

IndustrielActu
1 source
ANYbotics lance Shift pour simplifier la gestion des flottes de robots et passer les inspections à l'échelle
656Robotics Business Review 

ANYbotics lance Shift pour simplifier la gestion des flottes de robots et passer les inspections à l'échelle

ANYbotics, l'entreprise zurichoise fondée en 2016 et connue pour son quadrupède ANYmal, a lancé Shift, une plateforme cloud destinée à piloter des flottes de robots d'inspection et à convertir leurs relevés en actions de maintenance. Elle s'organise en quatre modules. Shift Fleet centralise la planification, la supervision et le contrôle des missions multi-robots, qu'un système de contrôle distribué (DCS) peut déclencher directement. Shift Insight croise mesures thermiques, acoustiques, visuelles et gaz avec les conditions de fonctionnement (vitesse moteur, charge, température ambiante) pour ne qualifier d'anomalie que ce que le contexte justifie : surchauffe, décharge partielle, fuite, désalignement. Shift Connect transforme les anomalies confirmées en ordres de travail via des connecteurs prêts à l'emploi et des API REST standard, vers des DCS (Yokogawa), des GMAO, des ERP (SAP, IBM Maximo), des plateformes APM (GE Vernova APM) et des couches de jumeau numérique (Cognite, Oracle). Les notifications passent par e-mail et Microsoft Teams, avec SMS et WhatsApp prévus. Shift Maps fournit un jumeau numérique du site, où les cibles d'inspection sont importées par identifiant d'actif. Un moteur, Shift AI, apprend à partir de l'ensemble des modules. Le produit Data Navigator sera migré automatiquement vers Shift lors d'une prochaine mise à jour. Aucun prix ni calendrier de déploiement client n'a été communiqué dans les éléments disponibles. Pour les industriels, l'enjeu se déplace du robot vers la donnée : la valeur d'une inspection autonome dépend moins de la locomotion que de sa capacité à alimenter les outils de maintenance déjà en place. ANYbotics met en avant le chiffre de 1,4 billion de dollars de pertes annuelles dues aux pannes non détectées pour les 500 plus grandes entreprises mondiales, avec une moyenne de 250 000 dollars par heure d'arrêt. Il s'agit d'estimations de l'entreprise, à prendre comme argument commercial et non comme mesure indépendante. L'approche contextuelle de la détection d'anomalies répond à un frein classique de la robotique d'inspection, les fausses alertes qui noient les ingénieurs fiabilité. Son efficacité réelle reste à démontrer : aucun taux de détection, de faux positifs ni retour client chiffré n'accompagne l'annonce. Les promesses d'économies « de plusieurs millions » citées par le PDG Péter Fankhauser relèvent à ce stade de l'affirmation. L'intégration bidirectionnelle, où un seuil process déclenche une nouvelle ronde robotisée, est en revanche un vrai différenciateur si elle fonctionne en production. Ce lancement s'inscrit dans la montée en gamme logicielle des fabricants de robots d'inspection, qui cherchent à s'ancrer dans les systèmes d'information industriels plutôt qu'à vendre uniquement du matériel. ANYbotics, qui cible l'énergie, la production d'électricité, la métallurgie, les mines et la chimie, y est en concurrence frontale avec Boston Dynamics et son Spot, associé à Orbit, ainsi qu'avec d'autres acteurs du quadrupède d'inspection comme Ghost Robotics et Unitree, plus agressif sur le prix mais moins avancé sur l'intégration industrielle. En s'appuyant sur des standards déjà adoptés par les grands comptes, ANYbotics réduit la charge d'intégration pour un premier client, un point que l'entreprise a défendu auprès de The Robot Report par la voix de Jacob Euler-Rolle, responsable produit. La suite dépendra des premiers déploiements multi-sites et de la publication de résultats mesurables sur la réduction des arrêts non planifiés.

IndustrielActu
1 source
GroundingPI : un modèle fondation d'ancrage pour l'intelligence physique, fondé sur des primitives visuelles
657arXiv cs.RO 

GroundingPI : un modèle fondation d'ancrage pour l'intelligence physique, fondé sur des primitives visuelles

GroundingPI est un modèle de fondation de 4 milliards de paramètres dédié au « grounding » visuel, c'est-à-dire la capacité de désigner précisément l'objet visé et de le localiser, y compris dans un environnement encombré ou pour de très petits objets. Il génère des points et des boîtes englobantes sous forme de coordonnées quantifiées, intégrées à un vocabulaire partagé avec le texte. L'entraînement combine préentraînement multimodal et spatial, fine-tuning supervisé, puis apprentissage par renforcement avec GRPO, à partir de jeux de données publics et de « data engines » dédiés. Sur 34 benchmarks couvrant 11 capacités perceptives, face à 44 modèles de référence, il atteint 73,68 % en moyenne, contre 71,54 % pour GPT-6 Astra, pourtant plus gros. En aval, utilisé comme backbone visuel, il bat tous les backbones courants testés sur RoboTwin 2.0 dans les quatre scénarios hors distribution, jusqu'à 24,8 % en relatif face au meilleur d'entre eux. Sur RoboCasa-GR1, il entraîné avec 50 % des démonstrations dépasse les références entraînées avec 75 %. Sur nuScenes, il obtient une erreur L2 moyenne en boucle ouverte de 0,296 m. Pour les équipes qui développent des politiques VLA (vision-langage-action) ou des modèles monde-action, le résultat s'attaque à un point faible peu discuté : la perception de ces systèmes provient de backbones généralistes de vision-langage ou de génération vidéo, qui échouent justement sur les objets minuscules, les scènes denses et les contraintes de latence du contrôle en boucle fermée. Le gain de 25 % de données de démonstration sur RoboCasa-GR1 est le chiffre le plus parlant pour un intégrateur, car la collecte de démonstrations reste le principal poste de coût de l'apprentissage par imitation. L'étude suggère aussi que la perception gagne à être préentraînée séparément, avec des effets d'échelle observés à la fois en manipulation et en conduite autonome. Elle relève enfin l'intérêt du grounding dense et le rôle de l'OCR comme catalyseur de l'apprentissage perceptif. Les réserves habituelles s'appliquent : il s'agit de benchmarks de simulation (RoboTwin, RoboCasa) et d'une évaluation de conduite en boucle ouverte, qui prédit mal le comportement en boucle fermée. Aucune démonstration sur robot réel ni mesure de latence n'est rapportée dans le résumé. Ces travaux s'inscrivent dans la tendance qui consiste à greffer sur des VLA, comme Pi-0 ou GR00T, des encodeurs issus de modèles de vision-langage généralistes, dont les limites spatiales sont connues. Le choix d'un modèle de 4 milliards de paramètres répond à la contrainte d'embarquement et de vitesse. L'étude reste un preprint arXiv, sans mention de calendrier de publication des poids ni de déploiement industriel. La suite logique serait de confirmer ces gains sur matériel réel et de voir si les développeurs de VLA adoptent un backbone de perception dédié plutôt que des modèles généralistes.

RecherchePaper
1 source
GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail
658arXiv cs.RO 

GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail

Des chercheurs publient sur arXiv GestAdapt, un cadre de génération de gestes d'accompagnement de la parole (co-speech gestures) conditionné par l'espace de travail disponible pour les poignets du robot. L'idée de départ est que, pour une même phrase, plusieurs gestes sont plausibles. Un robot placé près d'un mur, par exemple, doit choisir un geste adapté à cette contrainte, et non produire un geste libre qu'on déformerait ensuite. Le système s'entraîne sur six corpus de gestes co-verbaux, réunis grâce à une représentation commune du mouvement, ce qui permet de retransposer les gestes vers différents robots. Dans l'étude utilisateurs, les gestes générés sous contraintes d'espace modifiées obtiennent une note moyenne de 3,24/5. La variante sans conditionnement d'espace obtient 2,43/5 et les mouvements de référence 3,68/5. Sur le robot humanoïde Reachy2, les mouvements issus de GestAdapt arrivent en tête dans 69,7 % des comparaisons. Tous les mouvements comparés sont soumis aux mêmes contraintes d'espace, y compris les mouvements humains de référence, retransposés puis contraints après coup. Le résultat touche à un point peu visible des démonstrations d'humanoïdes : la gestuelle d'un robot de service ou d'accueil se déploie dans des lieux réels, avec des comptoirs, des cloisons, des passants, et pas dans une pièce dégagée. L'étude indique que contraindre le geste pendant sa génération donne de meilleurs résultats que de corriger a posteriori une trajectoire libre, au risque d'en dégrader le naturel. Pour les intégrateurs d'humanoïdes interactifs, cela plaide pour intégrer la géométrie de l'environnement dans le modèle de génération plutôt que dans une couche de filtrage en aval. Il faut toutefois relativiser. Avec 3,24/5, le système reste nettement sous les gestes humains de référence, et l'écart avec la variante sans contrainte (0,81 point) est mesuré dans une étude utilisateurs dont la taille d'échantillon n'est pas précisée dans le résumé. Le classement sur robot ne porte que sur un seul modèle. Le choix de Reachy2 est notable pour l'écosystème européen. Ce bras-torse humanoïde est développé par Pollen Robotics, société française de la région bordelaise, et il sert de plateforme d'évaluation dans ce travail. Cela confirme sa place dans la recherche en interaction homme-robot, même si le résumé ne dit pas si l'équipe est liée à Pollen. GestAdapt s'inscrit dans la génération de gestes pilotée par la parole, qui repose surtout sur des modèles entraînés sur des données humaines, avec peu de prise en compte des limites physiques de l'espace de travail. Il s'agit d'une publication de recherche, sans produit, sans déploiement ni calendrier annoncés. Les prochaines étapes probables sont des évaluations sur d'autres morphologies et en conditions d'usage réelles, avec des contraintes d'espace plus variées.

RecherchePaper
1 source
Vers des VLA en temps réel : débruitage de flux en deux étapes adapté aux phases, et évaluation au niveau système
659arXiv cs.RO 

Vers des VLA en temps réel : débruitage de flux en deux étapes adapté aux phases, et évaluation au niveau système

Les modèles vision-langage-action (VLA) se heurtent à un décalage temporel : l'inférence tourne à basse fréquence, alors que l'exécution robotique exige des cadences élevées. Une étude publiée sur arXiv (2609.39822, préprint non évalué par les pairs) mesure ce décalage de bout en bout. Côté modèle, le débruitage répété du Flow Matching pèse lourd dans le coût d'inférence. Côté robot, les retards viennent surtout de l'acquisition des données de perception, de l'ordonnancement des communications et de la réponse physique. Les auteurs observent que le champ de vitesse reste stable en amplitude et en direction au début de l'intégration, puis subit de fortes corrections directionnelles dans les dernières étapes. Ils en tirent un débruitage non uniforme en deux étapes, qui ramène le nombre de pas de 10 à 2 et le temps d'inférence du modèle de 61,557 ms à 21,956 ms. Ils présentent aussi un framework VLA distribué temps réel, avec des cadences indépendantes pour l'inférence, la publication des actions et le contrôle du robot, une acquisition modulaire des observations et une journalisation de la provenance des actions. Avec π0.5 comme référence, six méthodes d'exécution temps réel sont comparées sur une tâche physique de pliage de vêtements à long horizon. Le résultat le plus utile pour un intégrateur : Legato est la meilleure méthode entraînée, et le Temporal Smoothing la meilleure méthode sans entraînement. Les deux se distinguent par le taux de réussite, le temps de réalisation, la continuité des actions et la douceur des accélérations. Associer le débruitage en deux étapes à ces méthodes réduit nettement le coût d'inférence, pour une baisse modeste des performances. Le résumé ne chiffre pas cette baisse. Il faut aussi relativiser : une seule tâche, sur un seul modèle de base, ne permet pas de généraliser. Ce travail déplace l'attention de la seule vitesse du modèle vers l'ensemble de la chaîne. Les gains de latence ne servent à rien si la perception, la communication et l'actionneur restent le goulot, et c'est précisément ce que montrent les mesures. Pour les équipes qui déploient des VLA sur des robots réels, les méthodes sans entraînement sont une voie peu coûteuse, puisqu'elles se greffent sur un modèle existant sans réentraînement. Cela fragilise l'idée que la fluidité des démonstrations de VLA tient au seul modèle, et rappelle que l'écart entre démo et réalité se joue aussi dans l'architecture logicielle et le timing système. Le contexte est celui de la montée des VLA à base de Flow Matching, dont la famille π de Physical Intelligence est l'exemple le plus visible, et de leur passage des laboratoires vers des tâches longues et déformables comme le pliage de linge. Les concurrents travaillent les mêmes verrous par d'autres voies : réduction du nombre de pas de diffusion, exécution asynchrone par morceaux d'actions, lissage temporel. Les auteurs concluent à la nécessité d'une optimisation conjointe de l'inférence et du timing du système robotique. Le résumé n'indique ni publication du code ni validation sur d'autres plateformes ou d'autres tâches, qui seront nécessaires pour confirmer la portée de ces résultats.

RecherchePaper
1 source
Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA
660arXiv cs.RO 

Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA

Des chercheurs publient sur arXiv une analyse des échecs de généralisation des modèles vision-langage-action (VLA), accompagnée d'une méthode de correction baptisée Equivariant Counterfactual Training (ECT). Le constat de départ est que des VLA dépassent 90 % de réussite sur les tâches vues à l'entraînement et résistent aux changements parasites qui ne modifient pas l'action requise (éclairage, objets non pertinents). Ils échouent en revanche dès qu'une modification contrefactuelle impose une action différente, par exemple permuter la position de deux objets. Les auteurs nomment ce défaut « instruction-action binding » : la politique réagit au langage comme à la vision, mais ne les combine pas pour choisir l'action adaptée. Les analyses comportementales, menées sur des versions affinées de π0.5 et de GR00T-N1.7, montrent que les rollouts ratés répètent souvent le comportement de la tâche source ou basculent vers une autre tâche démontrée. Le langage n'est donc pas ignoré : il sert d'index vers une famille de trajectoires connues, et le retour visuel n'en ajuste que l'exécution. Sur le simulateur LIBERO-PRO, l'ECT complet fait passer le taux de réussite moyen de π0.5 en permutation de positions de 36 % à 59 %. Sur CALVIN, où les contreparties existent déjà dans les données, la seule fonction de perte ECT améliore l'enchaînement de cinq tâches sans nouvelle démonstration. Sur un bras UR5e réel, à budget de démonstrations constant, le succès sur positions inédites passe de 8 % à 88 %. Ces résultats portent sur un point central pour le déploiement industriel : un score de robustesse agrégé peut masquer une faiblesse structurelle. Un VLA qui encaisse les perturbations visuelles banales peut rester un récupérateur de trajectoires, incapable de reconfigurer son geste quand la même consigne exige un mouvement différent dans une scène modifiée. Pour un intégrateur, c'est le cas typique d'une cellule dont l'agencement change entre deux lots. Le travail suggère aussi qu'une partie du problème tient à la composition des données et à l'objectif d'imitation, et non à la taille du modèle : lorsque l'action reste conditionnellement étroite, une solution ancrée dans la scène et une solution indexée sur l'instruction sont indiscernables sur les démonstrations. Corriger cela par des paires contrefactuelles, plutôt que par plus de volume, est une piste peu coûteuse. Une réserve s'impose : le gain de 8 % à 88 % vient d'un seul robot et d'un protocole à budget fixe, et le gain en simulation (+23 points) est plus modeste. L'étude s'inscrit dans une série de travaux sur les limites de généralisation des VLA, alors que π0.5 de Physical Intelligence et la famille GR00T de NVIDIA servent de références ouvertes pour les politiques généralistes. Les benchmarks comme LIBERO-PRO et CALVIN ont été conçus pour mesurer cette généralisation, et les auteurs montrent que certains scores flatteurs reposent sur la mémorisation. Les suites probables sont des validations sur d'autres plateformes, des tâches plus longues et d'autres architectures de VLA. Il s'agit d'un préprint non évalué par les pairs, sans produit ni déploiement annoncé.

RecherchePaper
1 source
Filtrage de sécurité multi-liens pour les politiques VLA autour d'obstacles mobiles
661arXiv cs.RO 

Filtrage de sécurité multi-liens pour les politiques VLA autour d'obstacles mobiles

Une politique vision-langage-action (VLA) peut mener à bien une tâche de manipulation tout en renversant des objets sans rapport avec elle, si bien que le taux de réussite seul ne dit rien de la sécurité en environnement encombré. Une équipe publiant sur arXiv propose un « bouclier » sans entraînement, qui s'ajoute à une politique VLA préentraînée sans la réentraîner. Il protège le gripper, le poignet et l'avant-bras avec cinq ellipsoïdes, et filtre chaque mouvement commandé par un seul programme de barrière, face à un ellipsoïde d'exclusion ajusté à partir d'une image RGB-D au reset. Un flux optique épars déplace ensuite le centre de cet ellipsoïde avec le danger, sans nouvelle détection ni nouvel ajustement. Sur six conditions simulées de mouvement du danger, la collision passe de 65,62 % à 27,27 % et le « safe-success » (tâche accomplie sans collision) de 29,35 % à 50,43 %. Sur matériel embarqué hétérogène, la barrière à cinq ellipsoïdes tourne sur CPU en 2,2 ms au 99e centile. L'élagage du préfixe vision-langage et la réduction des étapes de flow matching ramènent chaque appel à la politique π0.5 de 343 à 177,3 ms sur GPU intégré. Sur un bras physique SO-101, quatre tâches : le bras a touché le danger dans 3 épisodes protégés sur 16, contre 11 sur 16 sans bouclier. L'intérêt tient à ce que ce travail s'attaque à un angle mort de l'évaluation des VLA : les benchmarks mesurent la complétion de tâche, pas les dégâts collatéraux, et un taux de réussite élevé peut masquer un comportement inacceptable dans un atelier ou une cuisine réels. Le résultat montre aussi qu'une couche de sécurité peut s'ajouter à un modèle figé, ce qui évite de reprendre un entraînement coûteux, et qu'elle tient dans le budget de calcul d'un système embarqué. Les ablations indiquent que protéger uniquement l'effecteur final est insuffisant, et que le suivi du danger récupère l'essentiel de la protection perdue quand son estimation reste figée au reset. Pour un intégrateur, c'est un argument concret en faveur de filtres de sécurité modulaires plutôt que d'une sécurité « apprise » dans la politique. Il faut toutefois relativiser. Une collision résiduelle de 27 % en simulation reste élevée pour un déploiement industriel, et l'essai réel ne porte que sur 16 épisodes par condition, un échantillon trop mince pour une conclusion statistique ferme. Le danger y est modélisé par un seul ellipsoïde, ce qui limite la portée face à des obstacles multiples ou déformables. Ces résultats s'inscrivent dans la lignée des fonctions de barrière de contrôle (CBF) appliquées à la manipulation, désormais greffées sur des politiques génératives comme π0.5 de Physical Intelligence. Le SO-101, bras open source à bas coût issu de l'écosystème LeRobot de Hugging Face, rend l'approche reproductible par de petites équipes. La suite logique serait une validation sur des bras industriels et des obstacles multiples, sans calendrier annoncé.

RecherchePaper
1 source
ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions
662arXiv cs.RO 

ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions

Les politiques robotiques de type « foundation model » prédisent des séquences d'actions (action chunks), mais le nombre d'actions à exécuter avant de replanifier reste généralement un hyperparamètre fixe. Une équipe académique, dont le projet est hébergé sur Hugging Face, publie sur arXiv ChunkTrust, un cadre qui traite cet horizon d'exécution comme une variable latente, inférée à partir des signaux internes de l'action expert. Son composant central, l'Action-aware Horizon Selector (AHS), ne demande aucun entraînement. Il combine la stabilité spectrale intra-chunk des traces de génération avec la continuité inter-chunk entre l'historique exécuté et les actions prédites. Un posterior Beta en ligne, avec oubli par noyau, suit les préférences d'horizon d'une replanification à l'autre. Un module optionnel léger, le Query-based Horizon Adapter (QHA), apprend un a priori dense conditionné par le contexte, tandis que la politique de base reste gelée. Sur RoboTwin2.0 (50 tâches), l'AHS gagne 6,80 points de succès sur π0.5. Sur RoboCasa GR1 Tabletop, il gagne 9,67 points sur Qwen3GR00T. Avec QHA, le gain monte à 9,44 points sur un sous-ensemble de huit tâches avec π0.5. Sur quatre tâches domestiques réelles, le score de processus normalisé moyen passe de 50,4 % à 57,5 %. L'intérêt pratique tient à ce que le réglage de l'horizon d'exécution est souvent traité comme un détail de déploiement, alors qu'il pèse directement sur la réussite. Un horizon long donne des mouvements fluides, mais il réagit mal aux perturbations. Un horizon court est plus réactif, mais plus saccadé et plus coûteux en calcul. Obtenir un gain sans réentraîner ni modifier le modèle de base est précieux pour les intégrateurs, qui peuvent amender des politiques existantes sans repasser par la collecte de données. Le gain mesuré en conditions réelles est plus modeste que celui des simulateurs, avec +7,1 points sur un score de processus. Cet écart rappelle que les benchmarks simulés surestiment souvent les progrès transférables. Seules quatre tâches réelles sont évaluées, et l'article ne détaille ni la taille des essais ni la variance. Ces résultats restent donc des indications, pas une validation à l'échelle. Ce travail s'inscrit dans la lignée des méthodes de découpage d'actions (action chunking) et de commande à horizon glissant, popularisées par ACT et les politiques de diffusion, puis reprises par les modèles VLA comme π0.5 de Physical Intelligence et la famille GR00T de NVIDIA. Il rejoint d'autres travaux sur l'exécution asynchrone et le lissage des transitions entre chunks, qui visent à réduire les à-coups lors de la replanification. Aucun déploiement industriel ni calendrier de pilote n'est annoncé, il s'agit d'une prépublication v1 non évaluée par les pairs. La suite logique consisterait à valider l'approche sur davantage de plateformes, de tâches longues et de politiques à architectures variées, ainsi qu'à mesurer le surcoût de latence de l'AHS et du QHA en boucle fermée.

RecherchePaper
1 source
ART-TEB : planification adaptative de trajectoire pour robots mobiles en environnements encombrés
663arXiv cs.RO 

ART-TEB : planification adaptative de trajectoire pour robots mobiles en environnements encombrés

Des chercheurs proposent ART-TEB, un algorithme de raffinement adaptatif de trajectoires pour robots mobiles évoluant dans des environnements encombrés, décrit dans la version 2 d'un preprint arXiv (2510.26142). Il s'agit d'une publication académique, validée en simulation et lors d'essais en conditions réelles, mais pas d'un produit commercial ni d'un déploiement industriel. La méthode se déroule en deux étapes. D'abord, un test de collision conservateur, appliqué segment par segment, subdivise récursivement les portions de chemin jugées risquées jusqu'à ce que le risque de collision disparaisse. Ensuite, une correction de chaque pose, fondée sur la direction de séparation par rapport à l'obstacle et sur une recherche linéaire, garantit que chaque pose de la trajectoire est sans collision et aussi dégagée que possible des obstacles. Les auteurs annoncent jusqu'à 3,12 fois plus de réussites et des temps de planification moyens jusqu'à 23,7 fois plus courts que les approches de l'état de l'art. Des essais sur robot réel confirment le passage dans des environnements très contraints, avec une planification rapide. Le sujet est moins spectaculaire que les humanoïdes, mais il touche un point faible bien connu de la robotique mobile en entrepôt, en usine ou en hôpital : les couloirs étroits, les allées encombrées et les zones de manœuvre serrées où les planificateurs locaux échouent ou produisent des trajectoires peu efficaces. Pour les intégrateurs d'AMR, un échec de planification se traduit directement par des arrêts, des interventions humaines et une perte de débit. Un gain de temps de calcul important compte aussi pour les plateformes embarquées à ressources limitées, où le budget de calcul est partagé avec la perception et la localisation. Le nom de l'algorithme indique une filiation avec TEB (Timed Elastic Band), planificateur très répandu dans l'écosystème ROS. Il s'agit donc d'une amélioration potentiellement adoptable, plutôt que d'un changement complet d'architecture. Ces chiffres demandent toutefois de la prudence. Les multiplicateurs « jusqu'à » sont des maxima, et le résumé ne précise ni les méthodes de référence, ni les scénarios, ni la distribution des résultats. Le nombre d'essais réels et les robots utilisés ne sont pas non plus indiqués. Le contexte est celui d'une planification locale qui reste un verrou pratique malgré des décennies de travaux : TEB, les approches par fenêtre dynamique ou les méthodes d'optimisation sous contraintes montrent régulièrement leurs limites dans les espaces confinés. La suite dépendra de la publication du code et de tests indépendants sur des flottes réelles. Le marché de la navigation autonome, des AMR aux robots de service, reste très concurrentiel, et ce type de brique logicielle gagne en valeur lorsqu'elle s'intègre dans des piles existantes.

RecherchePaper
1 source
Les limites de planification des modèles du monde latents
664arXiv cs.RO 

Les limites de planification des modèles du monde latents

Une étude publiée sur arXiv (2609.39235) cartographie les limites de planification des modèles du monde latents, ces prédicteurs censés permettre à un robot d'« imaginer » l'évolution de son environnement avant d'agir. Les auteurs construisent des prédicteurs conditionnés par l'action sur cinq encodeurs visuels auto-supervisés gelés : V-JEPA 2, V-JEPA 2.1, VideoMAEv2, VideoPrism et DINOv2. Ils les évaluent sur diverses tâches de manipulation Meta-World et sur des interactions réelles tirées de BridgeData V2. Avec des rollouts de cinq pas, longueur d'entraînement du prédicteur, le modèle ne classe correctement les actions que pour des cibles situées 5 à 10 pas de contrôle plus loin, alors que les objectifs des tâches se trouvent à 16 à 53 pas. Un prédicteur 81 fois plus grand ou un entraînement sur des rollouts plus longs n'étendent pas cette portée. L'encodeur, lui, influence la portée et le succès en boucle fermée, V-JEPA 2.1 se montrant le plus régulier. Le point le plus significatif est que cette limite ne vient pas d'une prédiction imparfaite. Avec le vrai simulateur, donc une prédiction parfaite, le succès tombe de 92 % à 41 % lorsque la cible passe de 5 à 20 pas au-delà d'un rollout de cinq pas. Le goulet d'étranglement est donc la structure de la planification, pas seulement la qualité du modèle. Pour des objectifs lointains, l'imagination pure réussit dans 23 % des épisodes, la planification avec retour d'information (MPC) monte à 30 %, un rollout aussi long que la distance à l'objectif atteint 47 %, et des sous-objectifs experts proches atteignent 76 %. Pour les intégrateurs et les équipes R&D, cela tempère l'idée qu'il suffit de grossir le modèle ou les données : il faut des horizons imaginés plus longs ou une décomposition hiérarchique en sous-objectifs. Cela invite aussi à lire avec prudence les démonstrations qui montrent ce que ces modèles réussissent sans préciser à quelle distance se trouvait le but. L'étude arrive alors que les modèles du monde de la famille JEPA, portés par Meta, sont présentés comme une voie vers des robots généralistes, en concurrence avec les approches VLA (vision-langage-action) qui prédisent directement les actions. Les auteurs montrent une complémentarité : dans sa plage de planification, un modèle du monde peut filtrer huit actions proposées par une politique VLA et faire passer son succès de 65 % à 77 % sur 16 tâches. Il s'agit de résultats académiques, en simulation et sur données robotiques existantes, sans déploiement industriel ni produit annoncé. Les suites probables portent sur des rollouts plus longs, des sous-objectifs générés automatiquement et l'intégration à des VLA, sans calendrier précisé.

RecherchePaper
1 source
LIBERO-Agent : évaluation d'agents généralistes pour la manipulation incarnée directe
665arXiv cs.RO 

LIBERO-Agent : évaluation d'agents généralistes pour la manipulation incarnée directe

Des chercheurs publient sur arXiv LIBERO-Agent, un benchmark qui teste si les agents généralistes savent piloter directement un robot manipulateur. Ces agents planifient, utilisent des outils et corrigent leur comportement à partir de retours. Les approches existantes leur demandent soit de soumettre un programme Python de contrôle pour toute la tâche, soit d'appeler des compétences robotiques de haut niveau. Ici, l'agent évolue dans un environnement interactif. Il choisit les observations à consulter, les traite avec ses propres outils et émet des commandes d'action natives. Le benchmark réunit 200 tâches dans un cadre commun. Sa suite principale compte 30 tâches, réparties pour isoler la perception, l'exécution à court horizon et la composition à long horizon. Les agents réussissent bien la perception et les tâches courtes faciles, mais leurs scores chutent nettement sur les tâches courtes difficiles et sur les séquences longues. GPT-6 Astra obtient la meilleure performance globale. Le résultat nuance l'idée que les capacités agentiques acquises dans les environnements numériques se transfèrent mécaniquement au monde physique. Le goulot d'étranglement est la fiabilité, pas la compréhension de la scène. Pour un intégrateur ou un COO industriel, un agent généraliste n'est donc pas, en l'état, un substitut crédible à un modèle VLA (vision-langage-action) entraîné sur des données d'action. Les auteurs notent que des observations plus riches améliorent la manipulation à court horizon, alors que l'effet des démonstrations dépend de l'agent et du format. L'avantage de GPT-6 Astra tient surtout à l'interaction avec des mécanismes, en particulier quand un contact physique prolongé est nécessaire. Ses échecs restants viennent d'interférences entre étapes successives et d'erreurs géométriques. Ce travail s'inscrit dans la course entre deux voies. La première est celle des VLA spécialisés comme Pi-0, GR00T N2 ou Helix, entraînés sur des données de manipulation. La seconde consiste à réutiliser des modèles généralistes comme agents. LIBERO-Agent est un outil d'évaluation, pas un produit ni un déploiement. Le résumé ne précise ni matériel réel, ni temps de cycle, ni coût d'inférence, ni comparaison directe avec les VLA, des données indispensables avant toute lecture industrielle. La suite logique est l'adoption du benchmark par d'autres laboratoires et sa confrontation aux modèles robotiques dédiés.

RecherchePaper
1 source
Mémoriser, s'adapter, ignorer : diagnostiquer les mécanismes d'apprentissage des robots selon la variation des données d'entraînement
666arXiv cs.RO 

Mémoriser, s'adapter, ignorer : diagnostiquer les mécanismes d'apprentissage des robots selon la variation des données d'entraînement

Une étude publiée sur arXiv (v1, septembre 2026) s'attaque à une question que les équipes de robotique manipulent surtout à tâtons : pourquoi faire varier les données d'entraînement améliore-t-il la robustesse d'une politique de manipulation, et jusqu'où faut-il aller ? Les auteurs travaillent sur la randomisation de domaine (DR) en simulation et sur la curation de démonstrations pour l'apprentissage par imitation. Ils font varier la taille, la couleur et le type des objets, l'éclairage de la scène et les instructions en langage naturel. Les cas d'étude couvrent du pick-and-place par apprentissage par renforcement dans ManiSkill, ainsi que le fine-tuning de modèles vision-langage-action (VLA) sur les benchmarks LIBERO et RoboTwin. L'outil de diagnostic principal est le noyau tangent neuronal empirique (NTK), qui permet d'inspecter les représentations internes en plus du comportement observé. Les résultats sont validés sur du matériel réel avec de l'imitation de type ACT. Le principal résultat est que le NTK distingue deux régimes d'apprentissage. Avec trop peu de variation, la politique « mémorise » des situations séparées, par exemple une conduite pour un grand cube et une autre pour un petit cube. Avec une variation suffisante, elle « s'adapte » à la situation en cours. Un rapport signal sur bruit construit sur le NTK indique en outre si la politique a appris à « ignorer » un facteur non pertinent, comme traiter de la même façon un cube bleu et un cube rouge au lieu d'entretenir deux sous-politiques. Les auteurs en tirent des consignes pratiques pour dimensionner un schéma de DR, choisir un modèle et repérer l'apprentissage par raccourci (shortcut learning). Ce n'est ni un produit ni un déploiement, mais un travail de méthode, et les chiffres de gain ne figurent pas dans le résumé. Pour les intégrateurs et les équipes qui entraînent des VLA, l'intérêt est de remplacer l'essai-erreur coûteux, qui reste la norme pour régler les paramètres de randomisation, par un diagnostic mesurable avant le déploiement. Cela traite directement l'écart entre démonstration et réalité : une politique qui réussit en benchmark peut n'avoir mémorisé que des cas particuliers, sans généraliser. Une limite à garder en tête : le NTK empirique est coûteux à calculer sur de très gros modèles, et la validation matérielle annoncée repose sur ACT, bien plus petit que les VLA de fondation. Le résumé ne dit pas si le diagnostic reste fiable à cette échelle. Ces travaux s'inscrivent dans un mouvement d'interprétabilité appliquée à l'apprentissage robotique. Il s'est développé avec la montée des VLA et les critiques récurrentes sur la fragilité de LIBERO, souvent soupçonné de récompenser la mémorisation. Reste à voir si les équipes industrielles adopteront ce type de métrique pour auditer leurs jeux de données avant d'entraîner à grande échelle.

RecherchePaper
1 source
Gain d'information marginal dépendant du chemin, accéléré par GPU, pour l'exploration autonome
667arXiv cs.RO 

Gain d'information marginal dépendant du chemin, accéléré par GPU, pour l'exploration autonome

Des chercheurs publient sur arXiv (2609.40297) une méthode d'accélération GPU pour calculer le gain d'information marginal dépendant du chemin, utilisé dans l'exploration autonome par des robots. Les planificateurs à échantillonnage évaluent des points de vue candidats selon leur gain d'information attendu et leur coût d'exécution. Ce gain est estimé par lancer de rayons volumétrique, coûteux en calcul. Les candidats sont donc évalués comme s'ils étaient indépendants, ce qui ignore le recouvrement entre points de vue successifs sur un même chemin. La nouvelle approche ne stocke ni ne fusionne les voxels inconnus observés le long de chaque chemin. Elle représente les observations antérieures par des tampons de profondeur (depth buffers). Les rayons d'un candidat sont projetés dans les tampons de ses ancêtres pour détecter ce qui est déjà couvert et l'exclure du gain. L'arbre de planification est parcouru niveau par niveau, ce qui préserve la dépendance entre points de vue et leurs orientations (yaw) optimisées, tandis que les nœuds et rayons d'un même niveau sont traités en parallèle sur GPU. L'écart au gain marginal exact, calculé avec des tables de hachage de voxels, reste de 5 à 10 %. L'accélération atteint 118x sur un GPU de bureau et 28x sur un NVIDIA Jetson Orin NX, module embarqué. L'intérêt est double. D'abord, le gain marginal, plus fidèle que l'hypothèse d'indépendance, devenait jusqu'ici trop lent pour tourner en ligne, notamment sur le calcul embarqué des robots mobiles. Un facteur 28 sur Jetson Orin NX rend l'approche plausible sur des machines réelles, sans dépendre d'une station au sol. Ensuite, les résultats montrent un gain concret. En simulation, sur trois environnements et deux planificateurs, le gain marginal réduit le temps pour atteindre 95 % de couverture dans cinq des six combinaisons planificateur-environnement. En conditions réelles, la réduction atteint 30 %, avec des arrêts d'exploration plus précoces. Ces chiffres viennent toutefois d'un seul article, avec un nombre limité de scénarios, et le détail des environnements réels et du nombre d'essais n'est pas précisé dans le résumé. La combinaison de rayons parallèles sur GPU et de tampons de profondeur pourrait intéresser les intégrateurs d'inspection autonome, de cartographie de sites industriels ou de recherche et sauvetage, où chaque minute de couverture compte. Ce travail s'inscrit dans la lignée des planificateurs d'exploration par échantillonnage de type arbre aléatoire (RRT), qui dominent l'exploration 3D de robots aériens et terrestres. Leur limite récurrente est le coût du calcul de gain par lancer de rayons, qui a poussé à simplifier le modèle. L'article lève cette simplification sans changer l'architecture des planificateurs, puisque la méthode a été intégrée à deux d'entre eux existants. Les noms des planificateurs, des environnements et des plateformes testées ne figurent pas dans le résumé. Il s'agit d'une publication de recherche, sans produit ni déploiement commercial annoncé. La suite logique serait une validation sur davantage de robots, de terrains et de tailles de cartes, ainsi qu'une intégration dans des piles logicielles ouvertes largement utilisées.

RecherchePaper
1 source
STARS : de la dynamique spatiotemporelle aux représentations sociales dans l'interaction homme-robot
668arXiv cs.RO 

STARS : de la dynamique spatiotemporelle aux représentations sociales dans l'interaction homme-robot

Des chercheurs ont publié sur arXiv (2609.40245) SocialNav-SUB, le Social Navigation Scene Understanding Benchmark, un jeu de données et un banc d'essai de questions-réponses visuelles (VQA) conçu pour mesurer la compréhension de scène des modèles vision-langage (VLM) en navigation sociale. Les questions couvrent trois niveaux de raisonnement : spatial, spatio-temporel (relations entre agents au fil du temps) et social (intentions humaines). Elles s'appuient sur des scénarios réels de robots évoluant parmi des humains. Les VLM de pointe testés sont comparés à deux références : un consensus d'annotateurs humains et une approche simple à base de règles. Le résultat principal est que le meilleur VLM atteint une probabilité d'accord avec les réponses humaines jugée encourageante, mais reste en dessous de la méthode à règles et du consensus humain. Le résumé ne donne ni scores chiffrés, ni noms de modèles, ni taille du jeu de données. Le code et les données sont publiés sur le site du projet (larg.github.io/socialnav-sub). L'enjeu est la validation d'une hypothèse très répandue : puisque les VLM savent reconnaître des objets, raisonner par bon sens et saisir le contexte, ils devraient convenir aux décisions de navigation « socialement conformes » d'un robot dans un hall, un couloir ou un entrepôt partagé avec des personnes. Cette étude suggère qu'il y a un écart entre ces capacités génériques et la compréhension fine d'une scène dynamique, qui conditionne la sécurité. Le fait qu'une heuristique à règles batte le meilleur modèle est un signal pour les intégrateurs. Avant de confier une décision de navigation à un VLM, il faut mesurer ses perceptions sociales de base et ne pas se fier aux démonstrations. Le benchmark offre aussi une méthode d'évaluation reproductible, qui manquait : aucune évaluation systématique de ces conditions n'existait jusqu'ici, selon les auteurs. Il faut toutefois rester prudent. Sans les chiffres détaillés, l'ampleur de l'écart reste difficile à jauger, et un test en VQA n'équivaut pas à une navigation en boucle fermée sur un robot. Ce travail s'inscrit dans la multiplication d'usages des modèles de fondation en robotique, des VLA (vision-langage-action) aux planificateurs pilotés par VLM, souvent évalués sur des tâches de manipulation ou de navigation sans dimension sociale. La navigation sociale, jusqu'ici dominée par des méthodes classiques (modèles de forces sociales, apprentissage par renforcement, règles de distance et de priorité), voit arriver des approches à base de VLM, dont la fiabilité n'avait pas été comparée de façon systématique. Les auteurs présentent leur benchmark comme une base pour adapter ces modèles, par exemple par ajustement fin ou par couplage avec des modules à règles. Les prochaines étapes probables sont l'évaluation de nouveaux VLM, l'ajout de données et le passage de la compréhension de scène à des tests de navigation sur robot réel.

RecherchePaper
1 source
Panne d'image ou gel d'image : analyse des modes de défaillance physiques des modèles VLA face aux défauts de caméra
669arXiv cs.RO 

Panne d'image ou gel d'image : analyse des modes de défaillance physiques des modèles VLA face aux défauts de caméra

Des chercheurs publient sur arXiv une analyse des modes de défaillance physique des modèles vision-langage-action (VLA) lorsque leurs caméras tombent en panne. L'étude porte sur π0.5 et GR00T, soumis à deux types de fautes d'entrée : le « blackout » (image noire) et le « freeze » (image figée). Les auteurs observent que, même quand le taux de réussite des tâches est aussi bas dans les deux cas, les comportements physiques diffèrent nettement. Le gel d'image produit des mouvements articulaires plus extrêmes. Le blackout survenant après la fermeture de la pince provoque davantage de chutes d'objets, surtout quand le modèle n'a pas accès à la proprioception, c'est-à-dire à l'état courant du robot. Des expériences d'intervention sélective montrent que la proprioception compense en partie l'absence de représentation visuelle du robot et réduit les contacts avec des objets non ciblés. Elle ne suffit cependant pas à rétablir la réussite de la tâche lorsque l'information sur l'objet issue de la caméra poignet disparaît, même avec l'aide de la vue de scène restante. Deux parades sont testées : un entraînement avec coupures de caméra et le remplacement, sans réentraînement, des embeddings visuels défaillants. Des essais sur robot réel complètent le travail. Ces résultats déplacent la question de la robustesse des VLA. Le taux de succès, métrique dominante dans les démonstrations et les benchmarks, masque la nature de l'échec : deux pannes qui donnent le même score peuvent avoir des conséquences physiques très différentes, entre un bras qui s'emballe et un objet qui tombe. Pour un intégrateur ou un responsable sécurité, c'est un point de conception critique, car un cobot ou un humanoïde piloté par VLA ne peut pas se contenter d'un indicateur de réussite pour être jugé sûr en atelier ou en entrepôt. L'étude montre aussi que les deux mitigations, si elles améliorent le succès dans certaines conditions, peuvent augmenter les contacts non désirés ou les perturbations des objets voisins. Les essais réels confirment qu'une tâche menée à bien sous caméra défaillante peut impliquer des interactions physiques non prévues. Un bon résultat peut donc cacher un comportement dangereux. Le travail s'inscrit dans la montée en puissance de politiques généralistes comme π0.5 et GR00T, désormais évaluées au-delà de la seule performance nominale. Les pannes de capteurs, fréquentes en production (câble, poussière, saturation, latence), restent peu étudiées au regard de leur poids dans un déploiement réel. Les auteurs plaident pour des politiques qui exploitent l'information encore disponible, état du robot et vues restantes, afin de limiter les mouvements dangereux. Il s'agit d'un preprint, sans revue par les pairs à ce stade, et ses conclusions portent sur deux modèles et des conditions de test précises. Elles appellent à être reproduites sur d'autres architectures avant d'en tirer des règles générales de certification.

RecherchePaper
1 source
SteerQuant : orienter l'erreur de quantification par une mise à l'échelle guidée par les actions dans les modèles monde-action
670arXiv cs.RO 

SteerQuant : orienter l'erreur de quantification par une mise à l'échelle guidée par les actions dans les modèles monde-action

Des chercheurs publient SteerQuant, un cadre de quantification 4 bits conçu pour les « world-action models » (WAMs), ces modèles qui génèrent conjointement des états futurs du monde et des actions par débruitage itératif. Un même jeu de poids traite des flux hétérogènes (tokens vidéo, proprioceptifs et d'action). Le système associe une cartographie de l'effet des erreurs de quantification de chaque flux sur l'action finale à un calibrage du scaling des canaux partagés, puis ajuste le scaling des activations par flux et par étape de débruitage. Il s'accompagne de Rudder, un moteur d'inférence 4 bits qui fusionne scaling et compensation de sortie dans les kernels bas débit. En W4A8 et W4A4, le taux de succès moyen sur LIBERO reste à 0,8 point de pourcentage du modèle pleine précision, avec jusqu'à 2,23 fois d'accélération du débruitage face au BF16 sur trois WAMs, et une mémoire GPU de pointe réduite. Sur un robot réel à deux bras, le déploiement W4A8 offre un gain de 1,35 fois en inférence de bout en bout, à succès moyen constant par rapport au BF16. L'enjeu tient à un constat simple : en contrôle, la précision numérique ne suffit pas comme critère. Une même erreur de quantification n'a pas le même effet selon le flux où elle survient, et une erreur sur un token vidéo peut compter bien moins qu'une erreur sur un token d'action. En orientant l'erreur vers les calculs qui pèsent peu sur l'action finale, sans dupliquer les poids ni monter la précision de certains flux, la méthode évite les compromis habituels de la quantification mixte. Pour les intégrateurs, c'est une piste concrète pour embarquer des WAMs, jusqu'ici lourds à cause du débruitage itératif, sur des GPU embarqués limités en mémoire et en latence. Le chiffre réel mérite toutefois lecture attentive : 1,35 fois en bout en bout contre 2,23 fois sur le seul débruitage montre que le gain se dilue dès que l'on mesure la chaîne complète. LIBERO reste de plus un benchmark de simulation, et l'essai réel se limite à un robot à deux bras dont le détail des tâches n'est pas donné ici. Ces travaux s'inscrivent dans la montée des modèles qui prédisent à la fois le monde et l'action, en complément des VLA (vision-langage-action) comme Pi-0 ou GR00T. Ces modèles sont coûteux en calcul, ce qui freine leur passage en production. La quantification 4 bits était déjà éprouvée sur les LLM et sur certains VLA, mais peu adaptée à ces architectures multi-flux. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, sans annonce de produit ni de pilote industriel. La suite logique serait une validation sur davantage de plateformes, de tâches longues et de matériels embarqués, ainsi qu'une éventuelle ouverture du code de Rudder.

RecherchePaper
1 source
TERRA : reconstruction, retargeting et contrôle adaptés au terrain pour la locomotion musculosquelettique
671arXiv cs.RO 

TERRA : reconstruction, retargeting et contrôle adaptés au terrain pour la locomotion musculosquelettique

Des chercheurs du laboratoire CNAI de l'EPFL, à Lausanne, ont publié sur arXiv TERRA, un pipeline complet de reconstruction, de retargeting et de contrôle de la locomotion musculo-squelettique sur terrain non plat. À partir de simples trajectoires cinématiques, sans scène associée, le système reconstitue la géométrie d'appui en combinant des a priori sur le terrain, des contacts estimés et une « évidence négative d'espace libre », c'est-à-dire les zones que le corps n'a manifestement pas occupées. Le retargeting vers le modèle musculo-squelettique respecte des contraintes anatomiques, de continuité des tendons et de contact. Les auteurs ont assemblé des paires mouvement-terrain issues de cinq jeux de données, soit 9,4 heures de locomotion variée, et y ont entraîné une politique unique de contrôle à actionnement musculaire. Sur les benchmarks de reconstruction, de retargeting et de suivi sur données retenues, TERRA améliore la précision du terrain, réduit nettement les violations anatomiques et d'interaction, et affiche le plus haut taux de complétion parmi les familles de terrains prises en charge. Les chiffres détaillés ne figurent pas dans le résumé, et il s'agit d'un preprint non évalué par les pairs, évalué en simulation. L'intérêt dépasse la biomécanique. Les agents pilotés par muscles simulés savent reproduire des mouvements humains de plus en plus complexes, mais presque toujours sur sol plat, faute de jeux de données où le mouvement est aligné avec la géométrie du terrain. TERRA contourne ce verrou en inférant le terrain à partir du mouvement seul, ce qui permet de réutiliser des archives de capture existantes sans les réacquérir. Pour la robotique, la portée est indirecte mais réelle : les humanoïdes actuels utilisent des actionneurs rotatifs, et les modèles musculo-squelettiques servent surtout à la biomécanique, à la conception de prothèses et d'exosquelettes, ou à l'étude de la marche pathologique. Une politique unique couvrant plusieurs terrains suggère que l'apprentissage par renforcement à grande échelle peut s'étendre à des corps à très haute dimensionnalité. Rien n'indique en revanche un transfert vers du matériel physique. Ce travail prolonge une série de résultats sur les agents musculo-squelettiques entraînés par RL, tandis que le suivi de mouvement humain par retargeting s'est surtout développé pour les humanoïdes classiques, comme dans les travaux de style GR00T de NVIDIA ou les politiques de suivi de capture de mouvement. Côté européen, l'EPFL occupe une position forte à l'interface entre contrôle neuromécanique et robotique, et les applications d'exosquelettes, où Wandercraft en France est un acteur de référence, pourraient bénéficier à terme de modèles de locomotion sur terrain irrégulier. La suite logique serait l'extension à davantage de familles de terrains, la validation sur des mouvements réels de patients et, plus loin, le test sur des systèmes physiques. Aucun calendrier n'est annoncé, et un site de projet est disponible sur cnai.epfl.ch/terra.

RecherchePaper
1 source
Exploration systématique des capacités de GPT-6 Astra comme politiques incarnées
672arXiv cs.RO 

Exploration systématique des capacités de GPT-6 Astra comme politiques incarnées

Une équipe de chercheurs publie sur arXiv (2609.38537) une évaluation systématique de GPT-6 Astra utilisé non plus seulement comme planificateur de haut niveau, mais comme politique embarquée générant directement des actions robotiques numériques. Six domaines sont testés, en contrôle direct, en coopération avec des politiques apprises et en adaptation par retour d'information. En manipulation à pince, le contrôle hybride avec π0.5 atteint 48 % de réussite sur un sous-ensemble de RoboDojo. En manipulation dextre, il atteint 50 % sur dix essais DexJoCo guidés par l'expérience, tandis que le contrôle direct des doigts peine à coordonner les contacts. En manipulation mobile, il atteint 38,7 % sur RoboCasa365. En navigation, Astra mène les comparaisons locales avec 92 % sur RxR et 82 % sur la recherche d'objets HM3D, au prix de détours importants. En locomotion, aucune des cinq tentatives successives sur un parcours d'obstacles n'atteint l'arrivée. En loco-manipulation humanoïde, Astra dépasse les méthodes de référence sur 13 des 30 tâches HumanoidBench, avec des contrôleurs corps entier pré-entraînés. L'intérêt tient à la mesure d'un écart que les démonstrations masquent souvent : un modèle généraliste prend de bonnes décisions de tâche, mais n'en fait pas pour autant un contrôleur physique fiable. Le résultat plaide pour des architectures hiérarchiques, où le grand modèle corrige les cibles, prépare les contacts et délègue l'exécution fine à une politique spécialisée. Pour un intégrateur ou un COO industriel, le coût est un frein concret : 624,8 millions de tokens pour le mode assisté contre 1,132 milliard en contrôle direct, sur 50 instances par condition. Une course de locomotion de 30 secondes exige 250 appels, d'environ 39,86 secondes chacun, avec la physique mise en pause pendant l'inférence. Le temps réel reste donc hors de portée. Ces travaux s'inscrivent dans la tendance des modèles de fondation « cerveau » associés à des contrôleurs bas niveau, déjà visible dans les architectures à deux systèmes de type Helix ou GR00T et dans les politiques VLA comme π0.5 de Physical Intelligence, ici utilisée comme partenaire. Il s'agit d'une étude académique, avec des sous-ensembles de benchmarks et des comparaisons locales, et non d'un produit livré ni d'un déploiement réel. Les taux de succès modestes en manipulation dextre et mobile en témoignent. Les prochaines étapes probables concernent la réduction de la latence, des modèles plus légers pour la boucle de contrôle et une meilleure génération de références de mouvement.

RecherchePaper
1 source
Apprentissage continu de la traversabilité du terrain par l'expérience pour robots quadrupèdes
673arXiv cs.RO 

Apprentissage continu de la traversabilité du terrain par l'expérience pour robots quadrupèdes

Des chercheurs publient sur arXiv (2609.39755v1) un pipeline d'apprentissage continu qui permet à un robot quadrupède d'estimer, avant tout contact, la manière dont un terrain va se comporter sous ses pattes. Le système part d'images prises avant le contact, encodées par un modèle DINOv3 dont les poids restent figés pendant l'entraînement. Ces descripteurs visuels sont convertis en cinq indicateurs proprioceptifs, pondérés selon la fiabilité de leur mesure : glissement plan du pied, force de réaction normale moyenne, indice de traction, coût de transport et taux de charge à l'impact. Un régresseur évidentiel compact fournit ces prédictions avec leurs incertitudes aléatoire et épistémique. Les prédictions et l'incertitude épistémique sont projetées dans une carte locale multicouche, puis fusionnées en un score de traversabilité prudent dont les pondérations se règlent sans réentraînement. L'implémentation ROS2 a été évaluée sur un Unitree Go2, en simulation et sur matériel réel, avec des modèles entraînés séparément dans chaque domaine. Sur un flux séquentiel de trois terrains inédits, le replay avec validation réduit de 23,1 % la dégradation de la log-vraisemblance négative (NLL) sur les données d'ancrage, par rapport à un replay sans validation, pour une adaptation comparable aux nouveaux terrains. L'intérêt tient à ce que la traversabilité est apprise à partir de l'expérience de locomotion. La géométrie et l'apparence visuelle ne disent pas si le robot va glisser, comment ses pieds seront chargés ou combien d'énergie il dépensera. Le mécanisme de validation s'attaque à l'oubli catastrophique : un modèle candidat ne remplace le prédicteur déployé que s'il progresse sur les données récentes sans perdre au-delà d'une tolérance fixée sur les données historiques. Pour un exploitant de robots d'inspection sur site industriel, minier ou extérieur, cela rend envisageable une mise à jour en cours de mission, sans cycle de réentraînement hors ligne. Les limites sont nettes : le gain de 23,1 % est relatif à une variante de la même méthode et non à une référence externe, l'évaluation hardware ne porte que sur trois terrains, et le Go2 est une plateforme de recherche légère. Rien n'indique non plus une validation à grande échelle ou en conditions industrielles. Il s'agit d'un résultat académique, pas d'un produit. Ce travail s'inscrit dans la lignée des approches de navigation par traversabilité auto-supervisée, qui utilisent les signaux proprioceptifs comme étiquettes pour des prédictions visuelles, et de l'essor des modèles de fondation visuels comme DINO utilisés comme encodeurs figés. Le Go2 d'Unitree reste la plateforme de référence des laboratoires, ce qui facilite la reproduction. Il reste à voir si le code sera publié, si la méthode tient sur de plus longues séquences de terrains et sur des robots plus lourds comme ceux d'ANYbotics ou de Boston Dynamics, ou si elle sera intégrée à des politiques de locomotion apprises de bout en bout.

RecherchePaper
1 source
Fiatlux : un banc d'essai à long horizon pour l'escalade d'échelle et le remplacement d'ampoule par un robot humanoïde
674arXiv cs.RO 

Fiatlux : un banc d'essai à long horizon pour l'escalade d'échelle et le remplacement d'ampoule par un robot humanoïde

Des chercheurs publient sur arXiv (2609.38216) Fiatlux, un benchmark de simulation bâti sur NVIDIA Isaac Lab, où un humanoïde Unitree G1 doit remplacer une ampoule en un seul épisode. Le robot place un escabeau sous un plafonnier ou une applique murale, grimpe dessus, retire l'ampoule usagée de sa douille, en visse une neuve, puis dépose l'ancienne dans une caisse de rebut. L'épisode est découpé en douze environnements de sous-tâches, notés par des « portes » pondérées selon leur difficulté. Le succès exige que la nouvelle ampoule soit bien vissée, que l'ancienne soit jetée, qu'aucune ne tombe et qu'un seuil de fragilité ne soit pas dépassé. Un crédit partiel est accordé aux essais incomplets. Deux modes d'observation coexistent : un mode standard, limité aux signaux qu'un robot réel pourrait mesurer ou estimer, et un mode privilégié qui expose l'état exact du simulateur. Les auteurs fournissent des références : RSL-RL PPO, des modèles VLA (vision-langage-action) NVIDIA GR00T N1.7 en zero-shot, et des contrôleurs corps entier. Ils publient aussi les enregistrements téléopérés ayant servi à définir et vérifier les critères de réussite. Code et données sont disponibles sur fiatlux-bench.github.io. L'intérêt tient à ce que les benchmarks actuels séparent la manipulation sur table, les tâches domestiques à plat et la locomotion ou manipulation humanoïde. Aucun ne combine mobilité verticale et travail dextre sur une charge fragile dans un même épisode long. C'est pourtant le profil de nombreuses tâches de maintenance en bâtiment ou en site industriel : accéder en hauteur, stabiliser le corps, manipuler un objet délicat. La séparation entre modes standard et privilégié permet de mesurer l'écart entre ce qu'un robot réel perçoit et ce que le simulateur sait, donc une partie du fossé sim-to-real. Il faut toutefois rester prudent. L'article annonce des implémentations de référence, mais l'extrait ne fournit aucun taux de réussite. On ignore donc si les modèles VLA en zero-shot franchissent ne serait-ce que les premières portes. Il s'agit d'un banc d'essai en simulation, sans validation sur matériel réel ni déploiement. Le G1 de Unitree, humanoïde compact et relativement abordable, est devenu une plateforme courante de recherche, ce qui explique ce choix. GR00T N1.7 s'inscrit dans la famille de modèles fondation de NVIDIA pour humanoïdes, face à des approches concurrentes comme Pi-0 de Physical Intelligence ou Helix de Figure. Isaac Lab, de son côté, sert de socle standard pour l'apprentissage par renforcement en simulation. La suite logique consiste à voir si des équipes soumettent des résultats sur Fiatlux, et si des politiques entraînées sur ces douze sous-tâches se transfèrent sur un robot physique. Cela dépendra aussi de la fidélité de la simulation des contacts avec l'ampoule et la douille.

RecherchePaper
1 source
DrivingBench : les modèles vision-langage peuvent-ils conduire une Toyota Corolla ?
675arXiv cs.RO 

DrivingBench : les modèles vision-langage peuvent-ils conduire une Toyota Corolla ?

DrivingBench, un nouveau benchmark publié sur arXiv (2609.38948), place pour la première fois, à la connaissance de ses auteurs, des modèles vision-langage généralistes aux commandes d'une vraie voiture. Les modèles reçoivent les images d'une caméra montée sur une Toyota Corolla via trois outils, puis commandent directement l'angle de volant et la vitesse sur un parcours de cônes dans un parking, à basse vitesse. Le véhicule peut continuer à rouler pendant que le modèle réfléchit, et chaque nouvelle commande remplace celle en cours. Quatre modèles ont été testés dans leurs environnements natifs (Codex, Claude Code, Cursor), avec jusqu'à trois tentatives par conversation: GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol et Grok 4.6. Seul Astra termine le parcours, à sa deuxième tentative. Aucun autre modèle ne dépasse 50 % du tracé. Deux des quatre progressent nettement d'une tentative à l'autre lorsqu'ils conservent leur contexte. L'intérêt tient à ce que le test mesure ce que les benchmarks numériques ignorent: la boucle complète observer, agir, surveiller, corriger et tenir un objectif long sous contrainte de latence. Ici, le temps d'inférence fait partie de la tâche, puisque la voiture avance pendant que le modèle délibère. Le résultat tempère l'idée que de bons scores sur des tâches logicielles se transfèrent mécaniquement au monde physique: un seul modèle sur quatre boucle un parcours à basse vitesse, sur un terrain dégagé et sans trafic. L'amélioration entre tentatives suggère aussi que la mémoire de contexte compense en partie le manque de précision spatiale, ce qui intéresse les concepteurs d'agents pour la robotique mobile. Les auteurs relèvent enfin que le format de sortie des outils et la formulation de la consigne ont suffi à décider si un modèle conduisait ou refusait, un point de fragilité à garder en tête pour toute intégration industrielle. Ce travail s'inscrit dans le débat sur l'écart entre compétence numérique et compétence incarnée. Il se distingue des approches de conduite autonome classiques, entraînées de bout en bout ou spécialisées sur des données routières, car il évalue des modèles généralistes sans entraînement dédié. Il diffère aussi des VLA robotiques, conçus pour émettre des actions à haute fréquence. Ici, la boucle de contrôle passe par des agents de code, avec une latence qui reste élevée. Il faut rester prudent: l'échantillon est de quatre modèles, avec trois essais maximum, ce qui limite la portée statistique, et le test n'évalue pas la sécurité. Les auteurs publient le harnais, les prompts, la carte du parcours et les traces avec vidéo et télémétrie, ce qui permet à d'autres laboratoires de reproduire et d'étendre l'expérience, par exemple avec des vitesses plus élevées ou des environnements plus complexes.

RecherchePaper
1 source
Apprentissage neuro-symbolique de prédicats pour un contrôle robotique sûr et sémantique
676arXiv cs.RO 

Apprentissage neuro-symbolique de prédicats pour un contrôle robotique sûr et sémantique

Des chercheurs ont publié sur arXiv (version 1, référence 2609.39594) NEUPRO, pour « Neuro-Symbolic Predicate Learning for Semantic Safe Robot Control ». Cette méthode apprend des représentations de sécurité réutilisables à partir de connaissances fournies par des humains. Les exigences de sécurité d'une tâche s'écrivent sous forme de règles symboliques lisibles. Un raisonneur différentiable les évalue, et les gradients remontent à travers ces règles jusqu'à un extracteur de caractéristiques. Celui-ci transforme les observations brutes (images, capteurs) en concepts pertinents pour la sécurité. L'extracteur reste donc « doucement » ancré dans une sémantique compréhensible par l'humain. Il permet une évaluation transparente des contraintes et se transfère d'une tâche à l'autre. Les auteurs publient aussi REASON, présenté comme le premier jeu de données de référence sur robot réel pour la spécification interprétable de la sécurité. Les expériences menées sur REASON indiquent que NEUPRO apprend des caractéristiques critiques généralisables d'une tâche à l'autre et fournit des explications explicites des violations de sécurité. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille du jeu de données. L'enjeu est la certification et l'acceptation de robots dans des environnements partagés. Aujourd'hui, la sécurité est le plus souvent codée par des formulations mathématiques ou logiques opaques, ou par des fonctions de coût denses réglées à la main pour chaque tâche. Ces approches fonctionnent sur des cas précis, mais elles expliquent mal pourquoi une action est jugée sûre ou dangereuse. Elles se réutilisent aussi difficilement d'une application à l'autre. Pour un intégrateur ou un responsable sécurité, une règle lisible et auditable vaut davantage qu'un score de coût inexplicable. Cela vaut en particulier face aux exigences de traçabilité des normes industrielles et du règlement européen sur l'IA. La transférabilité entre tâches pourrait aussi réduire le coût de ré-spécification de la sécurité à chaque nouveau déploiement. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par des pairs, sans comparaison chiffrée publique avec les méthodes de référence. Le caractère « doux » de l'ancrage sémantique signifie aussi que la fidélité des concepts appris n'est pas garantie. Ces travaux s'inscrivent dans la montée des approches neuro-symboliques en robotique. Elles cherchent à combiner la perception apprise des réseaux de neurones et le raisonnement explicite de la logique. Elles répondent à la fragilité des politiques de bout en bout et des modèles vision-langage-action (VLA), dont le comportement reste difficile à borner. Les concurrents sont multiples : les fonctions de barrière de contrôle (control barrier functions), l'apprentissage par renforcement sous contraintes, la logique temporelle et les filtres de sécurité fondés sur des modèles de langage. La suite dépendra de la publication de REASON et du code, qui permettra de reproduire les résultats. Il faudra aussi voir s'ils tiennent sur d'autres robots, hors du laboratoire, et face à des contraintes de sécurité temps réel.

RecherchePaper
1 source
Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?
677arXiv cs.RO 

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?

Des chercheurs publient Ego4WAM, une étude systématique sur l'usage des données humaines égocentriques (captées en vue subjective, typiquement par caméra portée) pour entraîner des robots. Le travail s'appuie sur un cadre unifié de « world-action model » (WAM), dont le backbone reste fixe afin d'isoler l'effet de chaque variable. Quatre facteurs sont disséqués : l'alignement entre démonstrations humaines et tâche robotique, la durée des données, la diversité des tâches, et le type de supervision (avec ou sans étiquettes d'action), ainsi que la façon d'employer ces données dans le pipeline d'entraînement. Les résultats sont validés en boucle fermée sur robots réels et sur RoboDojo, un environnement d'évaluation. Les auteurs ne communiquent dans le résumé ni volumes en heures, ni taux de réussite chiffrés, ni plateformes robotiques précises. Trois constats ressortent. Les démonstrations humaines alignées améliorent nettement la généralisation hors distribution et réduisent la quantité de données robot nécessaires sur la tâche cible. La durée et la diversité des tâches n'agissent pas sur les mêmes capacités en aval. Enfin, une supervision vidéo seule, sans action annotée, reste efficace et constitue une bonne base avant un entraînement vidéo-action. Il s'agit d'un preprint arXiv (v1), non relu par les pairs, et l'absence de chiffres dans le résumé impose de consulter l'article complet pour mesurer l'ampleur des gains. L'enjeu est pratique pour les équipes qui constituent des jeux de données de manipulation. Jusqu'ici, les travaux montraient surtout qu'ajouter des données humaines améliorait les performances, sans dire lesquelles comptaient. Ego4WAM suggère que la course aux heures de vidéo est un indicateur trop grossier : un volume modeste de démonstrations bien alignées avec la tâche peut valoir davantage qu'un grand corpus générique. Pour un intégrateur ou un industriel, cela oriente la collecte vers des captations ciblées, moins coûteuses que la téléopération robotique, et valide l'intérêt des vidéos sans actions, bien plus faciles à obtenir à grande échelle. Cela nuance aussi l'hypothèse d'un passage à l'échelle par simple accumulation. Le contexte est celui d'une ruée vers les données humaines : Ego4D a fourni un large corpus égocentrique, tandis que plusieurs acteurs de la robotique humanoïde et des modèles VLA (vision-langage-action) misent sur la capture humaine pour contourner le coût de la téléopération. Les modèles du monde orientés action prolongent cette tendance en prédisant conjointement vidéo et actions. Les prochaines étapes probables sont des comparaisons sur davantage de plateformes et de tâches longues, ainsi qu'une reproduction par d'autres laboratoires. Aucun déploiement industriel ni acteur français ou européen n'est mentionné à ce stade.

RecherchePaper
1 source
Apprentissage à partir des retours d'exécution grâce à l'auto-évolution par banque d'échecs pour les modèles vision-langage-action (VLA)
678arXiv cs.RO 

Apprentissage à partir des retours d'exécution grâce à l'auto-évolution par banque d'échecs pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2609.39820v1) FailBank, un cadre d'auto-évolution en quatre étapes pour les modèles vision-langage-action (VLA), ces politiques de manipulation robotique qui généralisent à de nombreuses tâches. Pendant la collecte, un module de sécurité fixe fondé sur des fonctions barrières de contrôle (CBF) joue le rôle d'enseignant en simple observation : il produit des corrections contrefactuelles pendant que la politique garde le contrôle du robot. Une étape d'admission tenant compte du résultat transforme ensuite les propositions utiles en cibles correctives. Les actions réussies et non corrigées sont conservées comme « ancres silencieuses ». L'ensemble alimente des mises à jour LoRA protégées, c'est-à-dire un réglage fin léger qui limite la dérive du modèle. Les essais portent sur le benchmark VLA-Arena, à deux niveaux de difficulté et avec deux architectures VLA. Face aux politiques de base, le taux de réussite progresse de 8,5 et 6,9 points de pourcentage, et le coût cumulé induit par la politique (contacts non désirés) baisse de 35,6 % et 23,8 %. Face au blindage à l'exécution seul, le gain est de 25,4 et 9,5 points de réussite, à coût comparable. Le résultat touche un angle mort des déploiements en environnement encombré, où il faut concilier réussite de la tâche et absence de contacts involontaires. Un « shield » d'exécution corrige chaque action isolément mais laisse la politique intacte. Si la politique propose sans cesse des gestes que le bouclier rejette, le désaccord devient permanent et peut bloquer la progression de la tâche. FailBank traite ces corrections comme un signal d'apprentissage durable plutôt que comme une contrainte temporaire. Pour un intégrateur, cela suggère que les journaux d'interventions de sécurité, déjà produits en exploitation, peuvent servir de données d'amélioration sans nouvelle téléopération. Il faut cependant relativiser : les gains sont modestes (de 7 à 9 points de réussite face aux politiques de base), mesurés uniquement en simulation, et l'écart avec le blindage varie fortement selon l'architecture (25,4 contre 9,5 points). Aucune validation sur robot physique n'est rapportée. Ce travail s'inscrit dans l'effort de rendre les VLA fiables au-delà de la démonstration. La sécurité à l'exécution par CBF est une brique classique de la commande, mais elle était jusqu'ici appliquée sans retour vers la politique. L'approche se rapproche de l'apprentissage par correction humaine ou par échecs, avec ici un enseignant automatisé. Les prochaines étapes à surveiller sont le transfert sim-to-real, le test sur d'autres benchmarks et la robustesse de l'admission des corrections à long terme. Les noms des deux architectures et des auteurs ne figurent pas dans le résumé disponible, et le préprint n'a pas encore été relu par des pairs.

RecherchePaper
1 source
WB-WAM : pré-entraînement hétérogène corps-main pour la locomanipulation humanoïde
679arXiv cs.RO 

WB-WAM : pré-entraînement hétérogène corps-main pour la locomanipulation humanoïde

Des chercheurs publient WB-WAM, un « World Action Model » (modèle qui prédit conjointement la vidéo future et les actions) conçu pour la manipulation mobile des humanoïdes (loco-manipulation). Il apprend à partir de 1 880,2 heures de vidéos et de données de mouvement annotées de façon partielle. Un espace d'action physique commun fusionne des annotations hétérogènes : articulations du corps, déplacement de la base (root) et doigts de la main dextre. Les priors ainsi obtenus sont affinés par une étape intermédiaire baptisée PICO, puis adaptés aux tâches robotiques avec une supervision auxiliaire par cinématique directe. Les auteurs ont construit WB-Datasets, qui combine démonstrations humaines égocentriques retargetées sur le robot et trajectoires robotiques. En simulation, le modèle atteint 81,9 % de réussite sur HumanoidArena. En conditions réelles, il affiche 84,0 % de succès moyen sur cinq tâches. L'article ne précise ni le robot utilisé, ni le nombre d'essais par tâche, ni les modèles de référence comparés dans ces chiffres. Le point central tient à la donnée. Les corpus de pré-entraînement robotique couvrent mal les mouvements du corps entier, alors que les humanoïdes doivent coordonner jambes, torse, bras et mains dans une même tâche. WB-WAM suggère qu'on peut combler ce manque en réutilisant des démonstrations humaines égocentriques, plus faciles à collecter que la téléopération sur robot. Les auteurs affirment que la mi-formation PICO alignée sur la tâche améliore les performances et réduit le nombre de démonstrations réelles nécessaires. Pour un intégrateur, c'est un levier de coût : le goulot d'étranglement actuel est le volume de données robot, pas l'architecture. À nuancer : 84 % de réussite sur cinq tâches reste un chiffre de laboratoire, sans information sur la durée de cycle, la robustesse hors distribution ou la fiabilité sur de longues périodes, qui comptent pour un déploiement industriel. Le résultat soutient la voie des modèles vidéo-action, sans prouver qu'elle passe à l'échelle en production. Ce travail s'inscrit dans la montée des modèles d'action fondés sur la vidéo générative, en parallèle des VLA (vision-langage-action) comme Pi-0, GR00T ou Helix. Ces derniers se concentrent souvent sur la manipulation à bras fixes ou semi-mobile, tandis que WB-WAM vise le corps entier, mains dextres comprises. Les acteurs de l'humanoïde industriel (Figure, Tesla avec Optimus, Agility, ainsi que les acteurs européens comme Wandercraft ou Enchanted Tools) font face au même problème de données, ce qui rend les approches de transfert depuis l'humain stratégiques. Il s'agit ici d'une prépublication arXiv (version 2), sans produit ni pilote annoncé. La suite à surveiller : la publication du code et des jeux de données WB-Datasets, la reproduction par d'autres équipes, et la validation sur des tâches plus longues et plus variées.

RecherchePaper
1 source
Imitation conditionnée par un plan pour récupérer des objets malgré l'auto-occlusion en encombrement dense
680arXiv cs.RO 

Imitation conditionnée par un plan pour récupérer des objets malgré l'auto-occlusion en encombrement dense

Des chercheurs présentent TRACE, un cadre d'imitation conditionnée par un plan, conçu pour extraire un objet d'un encombrement dense lorsque le bras robotique masque lui-même les objets qu'il déplace. Le système initialise un jumeau numérique à partir d'une seule observation non occultée. Un enseignant privilégié, qui accède à l'état complet de la scène simulée, y génère une trajectoire nominale fixe. Un étudiant récurrent combine le contexte local de cette trajectoire, des observations partielles des objets et la proprioception pour choisir des actions qui corrigent les écarts par rapport à la prédiction. Le clonage comportemental initialise l'étudiant, puis DAgger l'affine avec des étiquettes de l'enseignant sur les états réellement visités par l'étudiant. En simulation, sur 511 scènes de test, TRACE atteint 90,7 % de succès, contre 43,4 % pour la simple relecture de la trajectoire nominale et 96,7 % pour l'enseignant en boucle fermée. À budget égal de 26 373 étiquettes, la supervision sur les états de l'étudiant donne 87,8 %, contre 66,7 % pour le clonage des seules démonstrations expertes. Sur un UR5e, le taux de succès est de 90,0 %, contre 95,0 % pour l'enseignant, et le temps d'exécution total passe de 192,7 s à 67,3 s. L'intérêt tient à ce que le résultat cible un goulot concret de la manipulation en environnement encombré : les retraits répétés du bras pour retrouver de la visibilité. L'enseignant en boucle fermée en impose en moyenne 16,8 par essai pendant la poussée, ce qui explique l'essentiel de l'écart de durée. TRACE les évite et ne conserve qu'un retrait final pour évaluer la saisissabilité de l'objet. Pour un intégrateur, le gain d'un facteur 2,9 sur le temps de cycle, pour une perte de cinq points de succès, est le compromis à retenir. Le déploiement ne requiert ni requêtes à l'enseignant ni simulations en ligne pendant la poussée, ce qui allège les contraintes de calcul embarqué. L'expérience montre aussi que l'échantillonnage sur les états de l'étudiant apporte un gain au-delà du seul nombre d'étiquettes, un argument en faveur de DAgger face au clonage pur. Les réserves sont classiques : l'échantillon réel (probablement 20 essais, d'après les pourcentages) est mince, un seul bras est testé, et la méthode suppose une première vue dégagée pour construire le jumeau numérique. Ces travaux s'inscrivent dans la lignée des approches enseignant-étudiant avec information privilégiée, déjà courantes en locomotion et en manipulation, ici appliquées au cas précis de l'auto-occultation. Ils se distinguent des politiques généralistes de type VLA (vision-langage-action), comme Pi-0 ou GR00T, qui visent la généralité plutôt que la robustesse sur une tâche étroite. Il s'agit d'une prépublication arXiv sans produit ni déploiement industriel annoncé. Les auteurs promettent de publier code et données sur trace-retrieval.github.io, ce qui permettra de vérifier les résultats. Les suites logiques seraient de tester d'autres bras et d'autres densités d'encombrement, puis de traiter des scènes où l'observation initiale est elle-même partiellement occultée, condition plus proche des applications de picking en entrepôt.

RecherchePaper
1 source
Retargeting de mouvement à dense résolution temporelle pour robots à pattes
681arXiv cs.RO 

Retargeting de mouvement à dense résolution temporelle pour robots à pattes

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée DTMR (Dense Temporal Motion Retargeting) pour adapter à des robots à pattes des mouvements issus d'humains ou d'animaux. Le problème visé est l'écart morphologique entre la source et le robot : une réception de saut ou un temps de vol humain ne sont pas réalisables tels quels par une machine aux masses, couples et inerties différents. Les approches classiques corrigent soit la géométrie, soit le timing, soit les deux en séquence. DTMR optimise le timing et le contrôle dans un seul problème, et le terme « dense » signifie que le tempo est ajusté à chaque pas de contrôle. Le problème est résolu par un MPC (commande prédictive) à échantillonnage, exécuté en parallèle sur GPU. L'évaluation porte sur deux heures de mouvements humains retargetés sur quatre robots humanoïdes. Les auteurs affirment que DTMR surpasse les méthodes de référence, surtout sur les mouvements dynamiques. À budget de déformation temporelle égal, il retargete plus précisément qu'une base qui optimise aussi la dimension temporelle, avec un calcul environ 19 fois plus rapide. Des politiques entraînées sur ces références ont été transférées sur un humanoïde réel. L'intérêt tient à la place de cette étape dans la chaîne de production des comportements humanoïdes. Les politiques apprises par imitation ou par renforcement, qu'elles soient en simulation ou destinées au déploiement, dépendent de la qualité des trajectoires de référence. Si un saut est mal cadencé, la politique apprend soit à compenser par des artefacts, soit échoue. Ne déformer le temps que là où c'est nécessaire préserve le reste du mouvement, ce qui compte pour les gestes expressifs ou les tâches de loco-manipulation. Le gain d'un facteur 19 réduit le coût de préparation de grands corpus de mouvements, un goulot réel pour qui veut passer de quelques démos à des bibliothèques de compétences. Il faut toutefois rester prudent : le transfert réel n'est mentionné que sur un seul robot, sans taux de réussite ni précisions sur la nature des mouvements testés. Les comparaisons se font contre des baselines choisies par les auteurs, et la métrique de précision n'est pas détaillée dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans une lignée qui va du retargeting cinématique par optimisation de pose aux pipelines de suivi de mouvement humain (type DeepMimic, puis les approches de tracking à grande échelle sur humanoïdes) et à l'essor du MPC par échantillonnage accéléré sur GPU. Il intéresse directement les acteurs qui entraînent des modèles généralistes à partir de données de mouvement humain, comme Figure, Tesla (Optimus), Unitree, Agility ou NVIDIA avec GR00T, ainsi que les laboratoires européens travaillant sur la locomotion, dont Wandercraft côté français. Les suites probables sont une diffusion du code et une validation sur davantage de plateformes et de mouvements à forte dynamique, comme les sauts, les roulades ou la course. Elles passeront aussi par l'intégration dans les pipelines d'entraînement de politiques complètes.

RecherchePaper
1 source
Yggdrasil : un graphe de scène 3D organisé par couches pour des requêtes en temps réel
682arXiv cs.RO 

Yggdrasil : un graphe de scène 3D organisé par couches pour des requêtes en temps réel

Des chercheurs publient sur arXiv (2609.38640) Yggdrasil, un graphe de scène 3D (3DSG) conçu pour être efficace à la fois à la génération et à la consommation. C'est une structure hiérarchique « layer-first », bâtie sur des nœuds, des arêtes et des couches génériques. Elle peut représenter ce que produisent déjà les pipelines de perception existants, en intérieur comme en extérieur, à plat ou hiérarchique. Elle répond nativement aux requêtes positionnelles et sémantiques des tâches en aval. Face à une implémentation de référence de type DSG publiée, les requêtes sont jusqu'à 121 fois plus rapides. Toutes les requêtes mesurées prennent entre 2 et 127 microsecondes, sur un poste de travail comme sur un appareil embarqué. Les auteurs les comparent au budget de 200 microsecondes par keyframe d'un consommateur de 3DSG. Yggdrasil a été intégré à trois pipelines publiés : prédiction de trajectoire humaine, navigation vers un objet cible et planification de mouvement attentive aux humains. Le temps passé sur le graphe de scène baisse jusqu'à 99 %. L'implémentation, le banc d'essai et les trois intégrations sont disponibles en ligne. Ce travail s'attaque à un goulot d'étranglement peu visible. Les graphes de scène 3D servent aux robots à comprendre et à manipuler leur environnement. La recherche s'est surtout concentrée sur leur construction, rarement sur leur interrogation. Chaque pipeline finit donc par contourner sa propre structure et paie une latence incompatible avec le budget temps réel de la boucle de perception. Pour un intégrateur ou un ingénieur robotique, le message est que la représentation de la scène peut peser autant que le modèle de perception ou le planificateur. Réduire de 99 % le temps consacré au graphe libère du budget de calcul, notamment sur du matériel embarqué à la puissance limitée. Il faut toutefois rester prudent. Ce sont des micro-benchmarks sur des requêtes choisies par les auteurs, comparés à une seule base de référence. La mention « premier 3DSG conçu pour la génération et la consommation » est une revendication des auteurs. Aucune démonstration sur robot physique ni déploiement industriel n'est mentionné. Il s'agit d'un preprint, et non d'un produit livré. Le contexte est celui d'une génération de systèmes qui s'appuient sur des graphes de scène hiérarchiques, du type Hydra et ses « Dynamic Scene Graphs ». Ils relient pièces, objets et agents pour la navigation sémantique et l'interaction homme-robot. Leur croissance a multiplié les formats propres à chaque projet, avec des coûts d'accès rarement évalués. Yggdrasil vise un format commun et peu coûteux à interroger. Son code ouvert et ses trois intégrations permettent à d'autres équipes de reproduire les résultats. La suite dépendra d'une adoption par d'autres pipelines, de tests sur des scènes dynamiques et de grande échelle, et d'une validation sur des plateformes mobiles réelles. Le preprint n'annonce ni pilote industriel ni calendrier.

RecherchePaper
1 source
Redonner vie au « Code as Policy » : des agents de pointe écrivent, appellent et font évoluer les outils robotiques
683arXiv cs.RO 

Redonner vie au « Code as Policy » : des agents de pointe écrivent, appellent et font évoluer les outils robotiques

Des chercheurs publient URAI (Universal Robot-Agent Interface), un cadre qui sépare les rôles entre modèles de pointe et code exécutable pour la manipulation robotique. Un agent de programmation écrit des outils robotiques réutilisables ou spécifiques à une tâche à partir de l'intention de la tâche, puis les affine grâce au retour d'exécution et aux consignes humaines. Un agent d'exécution choisit et paramètre ces outils d'après les observations courantes. Chaque appel déroule localement un mouvement complet (approche, saisie, retrait) avant de rendre la main à l'agent. Les révisions validées persistent d'un épisode à l'autre sans toucher aux poids du modèle, et une interface graphique et une API communes donnent aux humains et aux agents accès aux mêmes outils. Sur cinq tâches du banc RoboDojo et quatre agents d'exécution figés, le taux de succès agrégé passe de 18,0 % à 53,0 % par rapport au contrôle direct des bouts de doigts, avec le gain le plus net sur Swap Blocks. Trois agents sur quatre terminent leurs épisodes 1,3 à 1,5 fois plus vite, avec 1,5 à 1,7 fois moins de tokens de sortie. Le coût de DeepSeek-V4-Flash, lui, varie à peine. Le cadre est aussi évalué sur sept tâches réelles avec un robot bimanuel AgileX : manipulation d'objets, pliage de textile et morpion en interaction avec un humain. L'intérêt tient à l'arbitrage que ce travail rend mesurable. Faire raisonner un modèle de pointe à chaque mouvement élémentaire rend la manipulation lente et gourmande en tokens, ce qui pèse directement sur la latence et le coût d'exploitation d'un déploiement. Ici, le code absorbe les séquences de mouvement, et le modèle ne garde que la décision de haut niveau entre deux appels. Le résultat le plus instructif est la comparaison avec un programme écrit à l'avance : avec les mêmes outils, il n'atteint que 24 %, contre 56 % pour deux agents qui décident après chaque appel. Autrement dit, la boucle de rétroaction au niveau du modèle compte autant que la qualité des outils. À nuancer : les gains de vitesse ne sont pas uniformes, l'évaluation en simulation reste limitée à cinq tâches, et les résultats réels sur sept tâches AgileX sont décrits sans les chiffres détaillés dans le résumé. Pour un intégrateur, l'idée d'une bibliothèque d'outils améliorable sans réentraînement est séduisante, mais sa robustesse en production reste à démontrer. Ce travail relance l'approche « code as policy », où un modèle de langage génère directement du code de contrôle. Cette approche avait montré ses limites lorsque le programme généré gérait seul toutes les décisions suivantes. URAI y répond en gardant le modèle dans la boucle. Il se place face aux politiques VLA (vision-langage-action) entraînées de bout en bout, comme Pi-0 ou GR00T, qui exigent des données de téléopération et des mises à jour de poids, alors qu'URAI s'appuie sur des modèles génériques figés et sur l'écriture d'outils. Les deux voies pourraient se combiner, des VLA fournissant des primitives que des agents orchestreraient. Il s'agit d'un preprint (arXiv, v1) : aucun produit, calendrier de déploiement ni partenaire industriel n'est annoncé. Les prochaines étapes à surveiller sont une validation sur davantage de tâches réelles, des comparaisons directes avec des VLA, et la reproductibilité sur d'autres matériels que l'AgileX.

RecherchePaper
1 source
StreamRig : exploiter la géométrie interne du rig pour l'odométrie multi-caméra en flux continu
684arXiv cs.RO 

StreamRig : exploiter la géométrie interne du rig pour l'odométrie multi-caméra en flux continu

Des chercheurs ont publié sur arXiv StreamRig, un cadre d'odométrie visuelle en flux continu pour les robots et véhicules équipés de caméras synchronisées et calibrées. Le principe, dit « freeze-and-stream », repose sur un modèle de fondation 3D multi-vues gelé, qui perçoit conjointement les images du rig grâce à la calibration. Trois modules seulement sont entraînés, pour 74,6 millions de paramètres au total. Un Rig-Resampler compresse les caractéristiques visuelles, un CausalBridge applique une attention causale avec cache clé-valeur, et une tête légère régresse les poses du rig. Un protocole de réancrage périodique stabilise l'estimation sur de longues séquences. La supervision se limite aux poses relatives, avec un entraînement en deux étapes : préentraînement de relocalisation de groupe, puis entraînement causal sur le rig. Les tests couvrent NCLT, TartanGround, KITTI-360 et ZJH, un jeu de données collecté par les auteurs sur un robot humanoïde. Pour ZJH, l'entraînement n'utilise que de la simulation et l'évaluation en conditions réelles se fait sans réglage préalable (zero-shot). Le code est publié sur GitHub. Selon les auteurs, StreamRig obtient sur les quatre jeux de données une dérive en translation et en rotation inférieure à celle des modèles de streaming monoculaires et des modèles hors ligne exploitant le rig, tout en gardant un coût d'inférence faible. La comparaison exclut toutefois les modèles « oracle », et l'article ne donne pas, dans son résumé, de valeurs chiffrées de dérive ni de latence. Ces gains restent donc à vérifier sur les tableaux complets. L'intérêt pour l'industrie est double. D'abord, la plupart des modèles de fondation 3D en streaming sont conçus pour une seule caméra, alors que robots mobiles, véhicules autonomes et humanoïdes embarquent déjà plusieurs caméras synchronisées dont la géométrie fixe est gaspillée. Ensuite, la validation zero-shot sur un humanoïde réel, après entraînement purement simulé, est un indice en faveur du transfert sim-to-real. Elle repose cependant sur un seul jeu de données maison, sans pilote industriel. Ces travaux s'inscrivent dans la vague de modèles de fondation géométriques multi-vues, dont la logique de feed-forward 3D remplace les pipelines SLAM classiques, et dans la recherche de variantes causales adaptées au temps réel. Les concurrents directs sont les approches monoculaires en streaming et les modèles multi-vues hors ligne, qui servent ici de références. L'approche de gel du modèle de base limite le coût d'entraînement, un argument pour les équipes sans grands moyens de calcul. Les auteurs étudient aussi l'effet de fenêtres d'entraînement plus longues sur l'inférence à long horizon, signe que la tenue de la dérive sur de très longs trajets reste un point ouvert. La suite probable passera par des évaluations indépendantes, des tests embarqués sur matériel contraint et une intégration à des piles de navigation de robots mobiles.

RecherchePaper
1 source
ECHO-G : génération de mouvements de robot humanoïde incarné synchronisés à la parole
685arXiv cs.RO 

ECHO-G : génération de mouvements de robot humanoïde incarné synchronisés à la parole

Des chercheurs publient sur arXiv ECHO-G, un cadre de génération de mouvements corporels complets synchronisés à la parole pour robots humanoïdes. Le système repose sur un Speech-Grounded Diffusion Transformer (SGDiT), conditionné à la fois par l'audio de la parole et par des transcriptions horodatées. Il associe des caractéristiques acoustiques alignées image par image à un contexte linguistique au niveau du token, en préservant leurs granularités distinctes. L'entraînement utilise le rectified flow matching, et le modèle apprend les relations un-à-plusieurs entre un énoncé et les mouvements possibles, directement dans l'espace du robot (articulations du humanoïde) plutôt que dans celui du corps humain. Les auteurs introduisent aussi un jeu de données audio-texte-robot dérivé de BEAT2, ainsi qu'un benchmark couvrant trois axes : les caractéristiques de la gestuelle co-verbale, la qualité du mouvement robotique et l'efficacité à l'exécution. Une démonstration sur un humanoïde physique est présentée. Le code d'entraînement, d'inférence et d'évaluation, ainsi que les données, sont publiés via la page du projet. L'article ne précise ni le robot utilisé, ni le nombre de degrés de liberté, ni les temps d'inférence chiffrés dans son résumé. L'intérêt tient à la méthode. Jusqu'ici, la gestuelle des robots parlants passe souvent par un pipeline en deux temps : un modèle génère un mouvement humain (squelette ou corps paramétrique SMPL), puis un retargeting l'adapte à la cinématique du robot. Cette étape introduit des pertes : limites articulaires, contraintes d'équilibre, différences de proportions. Selon les auteurs, la génération directe en espace robot l'emporte sur les pipelines de génération humaine plus retargeting évalués. Ce résultat vaut pour les baselines testées, pas pour l'ensemble de l'état de l'art. L'ablation montre aussi que combiner audio (prosodie, rythme) et texte (contenu sémantique) améliore les résultats par rapport à chaque modalité seule, ce qui plaide pour des gestes à la fois bien rythmés et pertinents. Pour les intégrateurs de robots d'accueil, de service ou de démonstration, cela ouvre la voie à une expressivité moins scriptée. Les limites sont claires : la validation matérielle semble se limiter à une démonstration, l'évaluation subjective repose sur une étude de notation vidéo, et aucune donnée de déploiement réel n'est fournie. ECHO-G s'inscrit dans la lignée des travaux de génération de gestes co-verbaux sur le jeu de données BEAT et sa version BEAT2, conçus pour des avatars humains et non pour des robots. Le passage à l'espace robot rejoint une tendance plus large, celle des modèles génératifs entraînés directement sur l'embodiment cible, déjà visible dans les politiques VLA et les approches par flow matching. Le jeu de données dérivé et le benchmark pourraient servir de référence commune, à condition que d'autres équipes les adoptent et les testent sur des morphologies différentes. Les prochaines étapes à surveiller sont la généralisation à d'autres humanoïdes, la mesure de la latence en conditions réelles et l'intégration avec des systèmes de dialogue en temps réel.

RecherchePaper
1 source
mmHRI : vers une interaction humain-robot préservant la vie privée grâce au radar à ondes millimétriques
686arXiv cs.RO 

mmHRI : vers une interaction humain-robot préservant la vie privée grâce au radar à ondes millimétriques

Des chercheurs proposent mmHRI, un cadre de manipulation robotique multimodal qui utilise un radar à ondes millimétriques (mmWave) pour guider l'interaction humain-robot sans caméra RGB. Le travail, publié sur arXiv (v2), repose sur deux choix d'architecture. Le premier est un traitement en double flux, qui apprend à la fois à partir des tenseurs radar bruts non filtrés et des nuages de points radar pour estimer les actions et les poses 3D de la personne. Le second est un modèle d'espace d'états à mémoire (MSSM), qui conserve les caractéristiques radar passées pour limiter les variations brusques de pose et d'action. Les états humains estimés sont ensuite convertis en instructions textuelles structurées, qui pilotent une politique vision-langage-action (VLA) chargée de la manipulation en boucle fermée et des réactions adaptées à la présence humaine. Dans un scénario de confidentialité où un rideau masque la personne, le système atteint 85,09 % de précision en reconnaissance d'actions, devant les approches radar existantes. Les essais robotiques portent sur la livraison et la récupération d'objets sous occlusion visuelle, avec des performances décrites comme stables sur des sujets, des encombrements et des environnements non vus à l'entraînement. L'intérêt tient au verrou qu'il cible. La plupart des systèmes d'interaction humain-robot dépendent de caméras RGB qui observent en continu, ce qui les rend difficiles à déployer dans les lieux où l'imagerie identifiable est restreinte, comme les chambres d'hôpital ou certains restaurants. Le radar mmWave détecte le mouvement à travers des barrières sans produire d'image reconnaissable, ce qui ouvre une voie pour les robots d'assistance, de livraison ou de logistique hospitalière. Le travail montre aussi qu'une politique VLA peut être pilotée par un état humain textuel issu d'un capteur non visuel, plutôt que par des images. Les limites sont à garder en tête : 85 % de précision signifie encore environ une action sur sept mal interprétée. Il s'agit d'un résultat de laboratoire, avec peu d'informations publiques sur le nombre d'essais, le vocabulaire de gestes et les temps de cycle, et sans déploiement en conditions cliniques réelles. Ce résultat s'inscrit dans deux évolutions. D'un côté, la manipulation guidée par VLA progresse, avec des modèles comme Pi-0, GR00T ou Helix, qui restent presque tous centrés sur la vision. De l'autre, la recherche sur le radar mmWave pour la reconnaissance d'actions et l'estimation de pose humaine avance depuis plusieurs années, mais elle était rarement couplée à la manipulation en boucle fermée. Les auteurs présentent mmHRI comme le premier cadre multimodal de manipulation robotique guidé par radar et respectueux de la vie privée, une revendication d'antériorité qu'il faudra vérifier. Aucun pilote industriel, calendrier ni partenaire n'est annoncé. Les prochaines étapes naturelles sont la validation sur davantage de gestes et de matériaux de barrière, puis des tests en milieu hospitalier ou en restauration.

RecherchePaper
1 source
RoboCoach : des modèles du monde comme coachs actifs pour les compétences robotiques composables
687arXiv cs.RO 

RoboCoach : des modèles du monde comme coachs actifs pour les compétences robotiques composables

Des chercheurs présentent RoboCoach, un cadre de « coaching » piloté par un modèle du monde, destiné à améliorer des compétences robotiques réutilisables sans multiplier les démonstrations de bout en bout. Le système repose sur CoachWorld, un modèle du monde conditionné par l'action et partagé entre les compétences. Il exécute en imagination des « experts » de compétences (des adaptateurs spécialisés) dans une boucle baptisée RIDI (Route-Imagine-Diagnose-Improve). Un juge de progression consigne la première sous-tâche qui échoue. L'agrégation de ces échecs imaginés détermine quelles démonstrations de sous-tâches collecter et quels adaptateurs mettre à jour. L'évaluation couvre deux suites de simulation et deux plateformes réelles, Franka et AgileX. Avec seulement 150 démonstrations supplémentaires, le taux de succès passe de 13,3 % à 75,0 % sur Franka et de 40,0 % à 83,8 % sur AgileX. Sur 22 paires tâche-politique, le succès imaginé et le succès réel sont corrélés (rho = 0,840). Sur quatre compositions de tâches jamais vues, les experts coachés atteignent 35,0 % de succès en moyenne, contre 0 % pour une politique partagée mise à jour avec des démonstrations collectées uniformément. L'enjeu touche au coût de la donnée, principal goulot d'étranglement de la manipulation à long horizon. Les tâches enchaînent des compétences réutilisées dans de nombreuses combinaisons, et collecter des démonstrations complètes pour chaque variante ne passe pas à l'échelle. Cibler la sous-tâche qui échoue en premier plutôt que d'élargir la collecte à l'aveugle est une réponse pragmatique pour un intégrateur qui doit amortir ses campagnes de téléopération. La corrélation de 0,840 suggère aussi qu'un modèle du monde peut servir de banc d'essai pour prioriser la collecte avant de mobiliser du matériel réel. Deux réserves s'imposent. Il s'agit d'un preprint, et 22 paires constituent un échantillon restreint. Le gain de 35,0 % sur compositions inédites reste modeste en valeur absolue : il prouve un transfert, pas une généralisation robuste. Les 0 % du témoin montrent surtout que la mise à jour uniforme ne transfère pas, ce qui dépend du protocole choisi par les auteurs. Ce travail s'inscrit dans la montée des politiques modulaires et des modèles du monde, face aux approches VLA monolithiques entraînées de bout en bout, qui demandent des volumes de données croissants. Il prolonge les efforts d'auto-amélioration des robots, où le système décide lui-même quoi apprendre ensuite. L'article ne précise ni code ouvert ni calendrier de déploiement industriel : une page projet est annoncée, mais aucune suite commerciale ne l'est. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues, avec davantage de plateformes et de compositions, ainsi que la fiabilité du juge de progression, dont dépend tout le diagnostic. Aucun acteur français ou européen n'est cité dans ces travaux.

RecherchePaper
1 source
Ébauche : un outil paramétrique pour explorer la conception de robots
688arXiv cs.RO 

Ébauche : un outil paramétrique pour explorer la conception de robots

Une équipe de chercheurs publie sur arXiv Draft, un outil de génération paramétrique qui compile n'importe quel arbre paramétrique de chaînes sérielles en un modèle MJCF (le format de description de MuJoCo) directement exploitable en simulation, sans passer par la CAO. L'outil s'appuie sur une enquête portant sur 114 actionneurs et 49 descriptions de robots publiées, dont il tire des tendances chiffrées pour fixer les paramètres libres de chaque conception (masses, dimensions, caractéristiques moteur). Pour valider l'approche, les auteurs ont reconstruit les jumeaux numériques de quatre robots du commerce : les masses obtenues s'écartent de la réalité d'un facteur d'erreur moyen géométrique de 1,10, soit environ 10 %. Une démonstration compare enfin trois quadrupèdes à l'aide d'un curriculum d'apprentissage par renforcement en deux étapes. Il s'agit d'une prépublication v1, sans relecture par les pairs, et aucun code ni déploiement industriel n'est annoncé dans le résumé. L'enjeu est celui du coût d'itération. Aujourd'hui, chaque modification de morphologie (longueur d'un segment, choix d'un actionneur) doit être reportée dans la CAO, puis convertie en modèle de simulation avant que le travail sur la commande ne puisse reprendre. Ce cycle freine l'exploration conjointe de la forme et du contrôleur. Les méthodes de co-conception existantes utilisent en général un générateur écrit pour une seule plateforme, ou ne vérifient pas que les conceptions produites sont réalistes au regard de données matérielles réelles. Draft cherche à combiner généralité et ancrage dans le réel. Pour un intégrateur ou un bureau d'études, cela permet de comparer rapidement des variantes de robots avant de s'engager sur du matériel. La validation reste toutefois limitée : seule la masse est citée, avec quatre robots et sans précision sur les inerties, les couples ou la dynamique. Les résultats ne disent donc pas encore si les politiques apprises en simulation se transfèrent au robot physique. Ce travail s'inscrit dans le courant de la co-conception morphologie-contrôle, qui progresse avec la généralisation des politiques entraînées par apprentissage par renforcement massivement parallèle sous simulateurs GPU. Les approches précédentes restaient généralement liées à une plateforme précise, souvent un quadrupède ou une main. Draft cible les chaînes sérielles, ce qui couvre les pattes et les bras, mais pas les mécanismes à boucles fermées ni les structures parallèles. La suite logique serait d'étendre la validation aux inerties et aux limites des actionneurs, puis de tester le transfert vers du matériel réel. Les auteurs n'annoncent à ce stade ni calendrier ni partenaire industriel.

RecherchePaper
1 source
Sur quoi porter l'attention, quoi retenir : représentation visuo-tactile conditionnée par la compétence, avec mémoire d'événements guidée par la progression
689arXiv cs.RO 

Sur quoi porter l'attention, quoi retenir : représentation visuo-tactile conditionnée par la compétence, avec mémoire d'événements guidée par la progression

Une équipe de chercheurs publie sur arXiv (2609.38494) une méthode de représentation visuo-tactile conditionnée par la compétence pour la manipulation robotique, avec un site de projet associé. Le principe : l'importance relative de la vision et du toucher change selon l'étape de la tâche. La vision guide l'approche, tandis que le toucher, par son évolution temporelle, décide de la saisie, de l'alignement et du contact. Les politiques multimodales actuelles utilisent pourtant des contextes temporels et des stratégies de fusion fixes. Les auteurs proposent que la primitive de compétence interrogée (par exemple saisir, tourner, glisser) conditionne la fusion de jetons d'observation à court terme, propres à chaque modalité. Le modèle consulte en parallèle une mémoire d'événements éparse, qui ne conserve que les observations terminales des K dernières compétences exécutées. L'évaluation porte sur l'estimation de la progression d'une compétence, sur trois tâches riches en contacts. Les auteurs annoncent une réduction de 87 % du délai de détection de glissement face à des modèles de progression de pointe affinés, de 67,5 % du délai de détection d'achèvement d'une torsion face à une ablation vision seule, et de 92 % de l'erreur de progression sur une tâche de recherche à l'aveugle grâce à la mémoire éparse. Pour les intégrateurs et les équipes qui développent des politiques VLA ou de manipulation dextre, le résultat déplace la question habituelle. Le débat porte souvent sur la taille du modèle ou l'architecture de la politique, alors que les auteurs soutiennent que la formation de l'observation (quoi regarder, sur quelle durée, avec quel capteur) est un goulot central. Les gains se concentrent là où l'achèvement d'une action se définit par le contact ou par l'historique de la tâche : détecter un glissement ou savoir qu'une torsion est finie, ce que la vision seule perçoit tardivement ou pas du tout. Cela rappelle que le tactile n'est utile que si l'architecture lui accorde la bonne fenêtre temporelle, et que la détection d'échec ou de fin de geste est un levier de fiabilité à l'échelle. Il faut toutefois rester prudent : ces chiffres sont des délais d'estimation de progression mesurés sur trois tâches de laboratoire, pas des taux de réussite de manipulation en déploiement. Les baselines et le matériel exacts devront être vérifiés dans le papier complet. Ce travail s'inscrit dans la montée des politiques généralistes (VLA comme Pi-0 ou GR00T) et de la manipulation visuo-tactile, où les capteurs tactiles à base de gel optique se démocratisent mais restent mal exploités par des architectures conçues pour la vision. L'approche rejoint les recherches sur la mémoire à long horizon et la décomposition en compétences, qui visent à rendre les politiques robustes sur des séquences longues. Il s'agit d'une prépublication v1, sans pilote industriel ni code produit annoncé dans le résumé. Les prochaines étapes à surveiller sont l'intégration dans une politique complète de bout en bout, des tests sur des mains multi-doigts et une validation hors laboratoire.

RecherchePaper
1 source
Au-delà de la scène actuelle : préhension référencée par événements avec sélection active de la vue
690arXiv cs.RO 

Au-delà de la scène actuelle : préhension référencée par événements avec sélection active de la vue

Des chercheurs présentent BeyondSCe, un système de préhension robotique « zero-shot » conçu pour un cas inédit : exécuter une demande qui désigne un objet, ou une partie d'objet, par le rôle qu'il a joué dans un événement passé plutôt que par son nom ou son apparence. Le robot observe d'abord des personnes manipuler des objets, puis reçoit plus tard une consigne qui renvoie à cet historique. Il doit alors identifier la cible à partir de l'historique des événements et de la scène courante, puis la localiser pour la saisir. Si la cible est masquée, le système combine un a priori d'événement, reconstitué à partir de l'historique, avec la géométrie de la scène actuelle afin de choisir des points de vue de caméra susceptibles de la révéler. L'ensemble repose uniquement sur des modèles pré-entraînés, sans entraînement spécifique à la tâche. Les tests sur robot réel utilisent une seule caméra RGB-D montée au poignet. Le taux de réussite atteint 76 % pour les cibles initialement visibles et 77 % pour les cibles occultées, contre 40 % et 55 % pour la meilleure référence de chaque condition. Sur quatre scènes supplémentaires fortement encombrées, il passe de 75 % à 95 % de réussite et réduit le nombre moyen de vues de 3,35 à 2,20. Le résultat touche à une limite concrète des robots de service et d'assistance : la plupart des systèmes de saisie pilotés par le langage supposent que l'objet est visible et nommable. Une consigne du type « rapporte la tasse que Paul a utilisée tout à l'heure » suppose au contraire une mémoire des interactions et la capacité d'aller chercher l'objet hors du champ de vue. Le gain sur les cibles occultées est le point le plus parlant : l'a priori d'événement améliore à la fois la réussite et l'efficacité de la perception active, y compris face à une référence qui disposait de la boîte englobante 3D réelle de la cible. Pour un intégrateur, l'intérêt est qu'une chaîne de modèles de fondation, sans réentraînement, suffit à franchir ce palier avec un capteur bon marché. Il faut toutefois relativiser : il s'agit d'un résultat académique en laboratoire, publié sur arXiv (pré-publication non évaluée par des pairs). Le nombre d'essais et la diversité des scènes ne sont pas précisés, et 76 % de réussite reste loin des seuils exigés en production. Ce travail s'inscrit dans la montée des systèmes de manipulation zero-shot qui assemblent des modèles de vision-langage, de segmentation et de planification de grasp, et dans l'essor de la perception active, où le robot déplace sa caméra pour réduire l'incertitude. Les approches de type VLA (vision-langage-action) se concentrent surtout sur la scène présente, sans mémoire explicite d'événements passés. L'article ne cite ni déploiement industriel ni calendrier de transfert. Les suites logiques seraient des historiques plus longs et bruités, des environnements dynamiques et une validation sur d'autres robots que le dispositif de test.

RecherchePaper
1 source
Commande barrière progressive par apprentissage pour bras manipulateurs dont les erreurs initiales dépassent les bornes de suivi prescrites
691arXiv cs.RO 

Commande barrière progressive par apprentissage pour bras manipulateurs dont les erreurs initiales dépassent les bornes de suivi prescrites

Des chercheurs proposent un contrôleur à barrière progressive pour bras manipulateurs capable de démarrer une tâche avec une erreur de suivi supérieure à la tolérance imposée. Publiée sur arXiv (2503.14669, version 2), la méthode contracte graduellement la borne d'erreur initiale jusqu'à la valeur requise, dans un temps prescrit. Le robot peut donc commencer en dehors de la borne finale, que l'erreur directe de position articulaire respecte une fois la transition achevée. La loi de commande, en forme fermée, associe un retour à barrière progressive et un terme de couple adaptatif en ligne, fondé sur une structure acteur-critique. Une analyse de Lyapunov établit la bornitude des signaux en boucle fermée et donne des conditions suffisantes pour respecter la borne finale. Les simulations portent sur un bras à deux axes, avec grandes erreurs initiales, saturation des actionneurs, variations dynamiques, perturbations et erreurs de mesure. Le terme adaptatif réduit de 45,1 % l'erreur quadratique moyenne médiane par rapport au même contrôleur sans adaptation (poids nuls). Les auteurs cartographient aussi les erreurs initiales acceptables selon le temps de transition, à limites de couple fixées. Un essai sur un Niryo Ned3 Pro, avec positions mesurées et courants moteur, illustre le suivi. Pour les intégrateurs, le point utile est pratique. Les contrôleurs à barrière classiques (contraintes de type barrier Lyapunov) supposent que l'erreur initiale est déjà dans la tolérance. C'est souvent faux en production, après un arrêt d'urgence, un changement d'outil, une reprise de tâche ou un recalage imparfait. Ce travail traite cette limite de façon explicite et chiffre le compromis entre durée de transition et erreur initiale absorbable sous couples bornés. Cette cartographie est exploitable pour dimensionner un démarrage sûr. La portée reste limitée, car les résultats viennent surtout d'un modèle à deux axes en simulation et d'une seule expérience qualitative sur un bras éducatif. Rien n'indique de test sur un manipulateur industriel à six axes ou sept axes, ni de comparaison avec des commandes déjà déployées. La réduction de 45,1 % est un gain relatif face à une variante du même contrôleur, pas face à un état de l'art industriel. Ce travail prolonge la ligne des commandes à contraintes de sortie, issues des fonctions de barrière de Lyapunov et du contrôle à performance prescrite, que les adaptations par réseaux de neurones ou apprentissage par renforcement ont ensuite enrichies. Il se distingue des politiques apprises de bout en bout (VLA comme Pi-0 ou GR00T N2), qui ne fournissent pas de garantie formelle de suivi. Ici, la garantie vient de la couche de commande bas niveau. La suite logique serait une validation sur bras industriels à plus grand nombre de degrés de liberté. Les auteurs n'annoncent ni pilote ni calendrier. La version 2 porte la mention « replace », ce qui indique une révision d'un texte déjà publié.

RecherchePaper
1 source
AnyStep-WAM : distillation alignée sur le budget et inférence adaptative pour les modèles d'action du monde
692arXiv cs.RO 

AnyStep-WAM : distillation alignée sur le budget et inférence adaptative pour les modèles d'action du monde

Des chercheurs proposent AnyStep-WAM, un cadre qui rend ajustable le nombre d'étapes de débruitage des « world action models » (WAM). Ces modèles couplent une prédiction visuelle de la scène à la génération d'actions, et reposent aujourd'hui sur un débruitage itératif à nombre d'étapes fixe. La méthode combine deux briques. D'abord, une distillation « budget-aligned » à partir de trajectoires d'un modèle enseignant gelé, qui entraîne des flow maps conditionnées par l'intervalle de temps, avec des adaptateurs low-rank partagés. Le modèle peut ainsi générer des actions en une seule étape ou en plusieurs étapes de raffinement. Ensuite, un ordonnanceur léger « risque-bénéfice » estime, à partir d'un unique aperçu en une étape, la difficulté de la scène (courbure de la trajectoire de l'enseignant) et la fidélité attendue de l'élève pour chaque budget. Il retient le plus petit budget qui satisfait l'exigence de fidélité adaptée au risque. Les tests portent sur trois WAM très utilisés, Motus, FastWAM et LingBotVA, sur le benchmark RoboTwin 2.0. Le nombre moyen d'étapes de débruitage baisse de 60,2 %, 49,8 % et 85,28 % respectivement, à taux de réussite inchangé. À budget d'une seule étape, l'entraînement AnyStep améliore le taux de succès de 7,07, 12,08 et 8,94 points ou pourcentages (l'article ne précise pas) selon le modèle. Six tâches de manipulation réelles viennent compléter l'évaluation. L'enjeu est la latence de décision, un des freins à l'utilisation de modèles génératifs sur des robots réels. Le débruitage à coût constant gaspille du calcul sur les gestes faciles, comme l'approche ou le transport, alors que seuls les gestes critiques (insertion, saisie fine) exigent de la précision. Allouer le calcul selon la scène rapproche les WAM de fréquences de contrôle compatibles avec des cadences industrielles, sans changer de modèle de base. Le fait que la méthode s'applique à trois architectures distinctes suggère une approche générique plutôt qu'un réglage sur mesure, ce qui intéresse les intégrateurs qui comparent coûts d'inférence et embarqué. Il faut toutefois rester prudent : les gains les plus nets sont mesurés en simulation, sur RoboTwin 2.0. Les six tâches réelles ne sont pas détaillées dans le résumé, et aucun temps de cycle ni gain de latence en millisecondes n'est donné, seulement des réductions d'étapes. La réduction d'étapes ne se traduit pas mécaniquement en gain de temps mesuré sur matériel. Ce travail s'inscrit dans une série de recherches qui cherchent à accélérer les politiques génératives, après les flow maps, la distillation en une étape et les modèles consistency. Les WAM, qui apprennent à prédire l'évolution visuelle du monde avec les actions, se placent en alternative aux VLA (vision-language-action) comme Pi-0 ou GR00T, au prix d'un calcul plus lourd. C'est ce surcoût que AnyStep-WAM vise à réduire. Il s'agit d'un preprint arXiv (version 2 du 2609.33748), sans relecture par les pairs ni déploiement industriel annoncé. La suite logique serait une validation sur plus de tâches réelles, avec mesure de la latence de bout en bout et de la robustesse hors distribution.

RecherchePaper
1 source
Dream4ACT : une interface d'action visuelle partagée pour la modélisation vidéo-action multi-morphologies
693arXiv cs.RO 

Dream4ACT : une interface d'action visuelle partagée pour la modélisation vidéo-action multi-morphologies

Dream4ACT, présenté sur arXiv (2609.40153v1), est un modèle du monde conçu pour modéliser conjointement la vidéo et l'action de robots de morphologies différentes. Son principe central est une interface visuelle partagée, baptisée « action views ». Les configurations articulaires cibles du robot sont rendues par cinématique directe à partir du fichier URDF, depuis quatre caméras virtuelles prescrites. Observations et actions prennent ainsi la même forme d'image, ce qui leur permet de partager un autoencodeur vidéo et un transformeur de diffusion (DiT). L'entraînement repose sur du « masked flow-matching ». En choisissant quelles séquences futures sont corrompues, un seul modèle entraîné conjointement assure la dynamique directe, la dynamique inverse et la génération simultanée d'observations et d'actions. Pour obtenir des commandes exécutables à partir des vues d'action prédites, les auteurs proposent un mécanisme de récupération multivue sous contrainte URDF, sans apprentissage et sans décodeur propre à chaque embodiment. Les résultats annoncés sont un taux de succès moyen de 88,98 % sur RoboTwin 2.0 et un score global de 65,66 sur TriWorldBench. L'enjeu est de savoir si les modèles de génération vidéo (VGM), riches en connaissances spatio-temporelles, peuvent servir de base à la commande robotique. Les vecteurs d'action articulaires gênent cet usage, car leur dimension et leur sémantique changent d'un robot à l'autre et ils n'ont pas de structure dans l'espace image. Les visualisations de l'effecteur terminal, elles, ne décrivent pas la configuration complète du bras. Dream4ACT contourne le problème en traitant l'action comme une image, tout en conservant la géométrie articulée propre à chaque robot. Pour un intégrateur ou une équipe de recherche, l'intérêt est de réutiliser un même backbone vidéo pour plusieurs plateformes sans réentraîner un décodeur par morphologie. Les chiffres sont à relativiser : RoboTwin 2.0 est un benchmark en simulation. Rien n'est dit ici sur un transfert sur robot réel, sur la latence d'inférence ni sur les comparaisons avec des politiques VLA établies. Le résultat est une contribution de recherche, pas un produit ni un déploiement. Ce travail s'inscrit dans la montée des « world models » et des approches vidéo-action, qui cherchent à exploiter des modèles génératifs préentraînés plutôt que des politiques entraînées de zéro. Il se place face aux VLA qui prédisent directement des vecteurs d'action, comme Pi-0 ou GR00T, et face aux modèles vidéo conditionnés par l'action, qui restent souvent propres à un seul embodiment. Le score sur TriWorldBench, qualifié de « compétitif » par les auteurs, mesure la prédiction multivue conditionnée par l'action. L'article n'indique ni acteur européen impliqué ni calendrier de suite. Les étapes à surveiller sont la validation sur matériel réel, le passage à des morphologies plus variées (mains dextres, humanoïdes) et la publication de code ou de poids permettant une reproduction indépendante.

RecherchePaper
1 source
PRICE des segments d'actions : attribution de crédit physique et relationnelle pour l'apprentissage par renforcement incarné
694arXiv cs.RO 

PRICE des segments d'actions : attribution de crédit physique et relationnelle pour l'apprentissage par renforcement incarné

Des chercheurs proposent PRICE (Physical Relations for Inferring Credit from Episodes), une méthode d'apprentissage par renforcement (RL) pour post-entraîner des politiques vision-langage-action (VLA) à partir du seul signal de succès ou d'échec en fin d'épisode. Le problème visé est connu : le RL basé sur le résultat attribue le même avantage à tous les « action chunks » (blocs d'actions) d'une trajectoire. Un épisode raté pénalise donc des gestes initiaux pourtant utiles, comme s'ils avaient causé l'échec. PRICE s'appuie sur deux composants : un graphe relationnel physique, qui regroupe les résultats d'épisodes courants et passés aux frontières de chunks correspondantes pour estimer des « potentiels de succès », et une attribution de crédit filtrée par un seuil de confiance, qui utilise les variations de ces potentiels pour affiner la supervision au niveau de la trajectoire. Les tests couvrent les benchmarks LIBERO et RoboTwin 2.0, ainsi que des robots réels. Les auteurs annoncent un taux de réussite supérieur aux références basées sur le résultat et un apprentissage plus rapide. L'article ne fournit pas, dans son résumé, de chiffres précis ni de détail sur les robots ou les tâches réels. L'enjeu est pratique : le RL de post-entraînement des VLA se heurte à la rareté du signal. Les approches existantes de granularité fine passent par des évaluateurs appris (modèles de récompense, critiques), qui exigent une supervision propre à chaque tâche ou un entraînement supplémentaire. PRICE vise à s'en passer, en exploitant l'idée que des rollouts atteignant des situations physiques comparables peuvent se servir mutuellement de référence. Si ce principe tient hors des benchmarks, il réduirait le coût d'adaptation d'une politique à un nouveau poste de travail, un point sensible pour les intégrateurs qui doivent affiner un VLA sur site avec peu d'ingénierie de récompense. Les auteurs ajoutent une analyse reliant les changements de potentiel « oracle » à l'objectif de succès terminal, avec une borne directionnelle à échantillon fini, et des tests de continuation indépendants montrant que les crédits retenus correspondent bien à une progression locale. Reste une réserve : LIBERO et RoboTwin 2.0 sont des environnements simulés, et la validation réelle, dont l'ampleur n'est pas précisée ici, est le vrai test de la robustesse du graphe de correspondance face au bruit physique. Ce travail s'inscrit dans la course au post-entraînement des VLA par RL, après les premières familles de modèles généralistes (Pi-0, GR00T, Helix), où le fine-tuning supervisé atteint ses limites et où le RL devient le levier de fiabilité. Les auteurs revendiquent une première, à leur connaissance, pour l'attribution de crédit au niveau des chunks sans évaluateur auxiliaire, une affirmation non vérifiée indépendamment à ce stade. Il s'agit d'une prépublication arXiv, sans produit ni déploiement industriel annoncé. Les prochaines étapes à surveiller sont la réplication par d'autres laboratoires, l'application à de plus grands modèles VLA et la démonstration sur des tâches longues, où le problème d'attribution de crédit est le plus aigu.

RecherchePaper
1 source
Co-conception outil-politique pour la pesée de poudres en automatisation de laboratoire
695arXiv cs.RO 

Co-conception outil-politique pour la pesée de poudres en automatisation de laboratoire

Des chercheurs proposent un cadre de co-conception qui optimise simultanément la forme d'un outil de dosage et la politique de contrôle qui le pilote, pour la pesée automatisée de poudres en laboratoire. Publié sur arXiv (2609.39797v1), le travail s'attaque à ce que les auteurs décrivent comme l'un des goulets d'étranglement de l'automatisation de laboratoire : la dynamique non linéaire et hétérogène des matériaux pulvérulents. Les robots chimistes utilisent aujourd'hui des outils standards conçus pour la dextérité de la main humaine, dont la géométrie fixe impose la dynamique que la politique doit réguler. Le cadre repose sur une optimisation à deux niveaux visant à minimiser l'erreur de dosage sur une distribution cible de coulabilités de poudres. La boucle externe fait varier la profondeur, la largeur et la topologie des pointes du bord de l'outil, par optimisation bayésienne et hyperband. La boucle interne entraîne une politique de contrôle pour chaque morphologie candidate. Une métrique de similarité géométrique permet d'initialiser l'entraînement à partir de politiques déjà calculées pour des designs proches, ce qui permet d'explorer 28 % de configurations en plus à budget de calcul égal. L'évaluation porte sur sept matériaux aux dynamiques physiques distinctes, dans une simulation robot-matière calibrée sur la coulabilité. Les auteurs annoncent une réduction de 45 % des erreurs de pesée en conditions réelles par rapport à un outil standard, y compris sur des matériaux jamais vus à l'entraînement. L'intérêt tient au changement de point de vue : plutôt que de perfectionner la commande autour d'un outil hérité des mains humaines, l'équipe traite la géométrie de l'outil comme une variable de conception à part entière. Pour les intégrateurs de laboratoires autonomes, la pesée de poudres reste une étape qui bloque souvent l'enchaînement complet des opérations, et un gain de 45 % sur l'erreur, s'il se confirme, réduirait les reprises et la consommation de réactifs. Le résultat sur matériaux inédits est le point le plus significatif, car il suggère que la morphologie apprise capture des propriétés générales d'écoulement plutôt qu'un surajustement à sept poudres. Il faut toutefois rester prudent : il s'agit d'une préprint non évaluée par les pairs, le résumé ne précise ni la nature de l'outil standard de référence, ni le nombre d'essais réels, ni les masses visées, et ne donne aucune donnée sur le temps de cycle. Le travail alimente aussi la question du transfert de la simulation au réel dans la manipulation de matière granulaire, où il apporte une validation expérimentale partielle. Ce travail s'inscrit dans la montée des laboratoires autonomes, où la manipulation de solides reste en retard sur celle des liquides, déjà bien standardisée. La co-conception outil-politique prolonge les approches de co-optimisation morphologie-contrôle issues de la robotique générale, ici appliquées à un outil de dosage plutôt qu'à un robot complet. L'article ne cite pas de partenaire industriel ni d'acteur européen, et aucun pilote ou calendrier de déploiement n'est annoncé. La suite logique serait de tester des outils fabriqués par impression 3D sur une plus large gamme de poudres et de plateformes de laboratoire, puis d'intégrer la démarche à des flux de synthèse complets.

RecherchePaper
1 source
Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde
696arXiv cs.RO 

Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde

Des chercheurs publient Uni-VLaT, une méthode qui greffe un sens du toucher distribué sur tout le corps à des politiques VLA (vision-langage-action) préentraînées pour piloter un humanoïde en loco-manipulation. Le principe est d'ajouter une voie tactile dont l'état latent n'est pas seulement entraîné à produire des actions, mais aussi à prédire les représentations tactiles, proprioceptives et visuelles futures. Ce second objectif construit un contexte multimodal ancré dans le tactile. Les auteurs testent le système sur cinq tâches réelles : locomotion déclenchée par le toucher, interaction physique prolongée, contact avec un humain et loco-manipulation. Le taux de réussite moyen atteint 75 %, soit 43 points de plus qu'une base sans entrée tactile et 7 points de plus qu'une base tactile sans supervision prédictive. Sur deux architectures VLA préentraînées, le balayage de table gagne 30 points sur chacune, et la tâche « Back-Tap Walking » (marcher en réponse à une tape dans le dos) progresse de 85 à 90 points. Les ablations indiquent que la prédiction tactile contextualisée et les cibles futures absolues sont déterminantes. L'enjeu est de combler un angle mort des VLA actuels, qui reposent sur la vision et la proprioception. Quand la zone de contact est masquée, par exemple un bras qui frotte une surface ou une main humaine posée sur le dos, ces deux signaux ne suffisent pas à caractériser l'interaction. Contrairement aux capteurs de force ou de couple placés en quelques points prédéfinis, une peau tactile distribuée conserve la cartographie spatiale du contact sur tout le corps. Le résultat le plus parlant pour un intégrateur est la distinction entre simple ajout d'un capteur et apprentissage prédictif : la modalité brute apporte 36 points sur les 43 gagnés, mais la supervision prédictive rend la fusion plus robuste. Cela suggère que les politiques généralistes peuvent être étendues à de nouvelles modalités sans repartir de zéro, un point utile pour la cobotique humanoïde en contact avec des opérateurs. Les limites sont nettes : cinq tâches seulement, un robot de laboratoire, aucun chiffre sur les temps de cycle, la robustesse à long terme ou la durabilité des capteurs. Ce n'est ni un produit ni un déploiement. Ce travail s'inscrit dans la montée en puissance des modèles VLA pour humanoïdes, dont Pi-0, GR00T ou Helix, pour l'essentiel centrés sur la vision, le langage et la proprioception. Le tactile reste le parent pauvre de ces architectures, freiné par le coût, la fragilité et le câblage des peaux électroniques. La question d'une sensibilité corps entier concerne aussi des acteurs européens comme Wandercraft ou Enchanted Tools, dont les robots opèrent près des humains, même si l'article ne cite aucun partenaire industriel. Les prochaines étapes probables sont une validation sur davantage de plateformes et de capteurs, puis une comparaison avec des approches de contrôle en force, avant tout transfert industriel.

RecherchePaper
1 source
EmbodiRSI : l'auto-amélioration récursive pour une adaptation des robots économe en données
697arXiv cs.RO 

EmbodiRSI : l'auto-amélioration récursive pour une adaptation des robots économe en données

Des chercheurs publient sur arXiv EmbodiRSI, un système « agentique » d'auto-amélioration récursive (RSI) pour adapter des politiques de manipulation robotique à de nouvelles tâches et environnements. Le principe repose sur une boucle « real-to-sim-to-real » : une simulation spécifique à la tâche est construite à partir du scénario de déploiement cible, puis sert d'environnement peu coûteux pour améliorer la politique par itérations avant son retour sur le robot physique. Deux mécanismes ferment la boucle. La Collaborative Error Correction génère, avec l'aide d'un agent, des trajectoires correctives à partir des états que la politique a réellement atteints. L'Adaptive Data Collection oriente la génération de démonstrations expertes vers les faiblesses actuelles de la politique. Sur trois environnements de table et 14 sous-tâches, le taux de réussite autonome en simulation, équilibré par scène, passe de 50,4 % à 83,5 % en deux mises à jour RSI. Avec 400 trajectoires simulées adaptatives et seulement dix trajectoires réelles de raffinement par sous-tâche, le système atteint 83,1 % de réussite réelle, contre 75,0 % pour une adaptation à partir de 200 démonstrations réelles par sous-tâche. L'enjeu est le coût de la donnée, principal goulot d'étranglement du déploiement de politiques de type VLA ou d'imitation chez les intégrateurs. Ici, le volume de données réelles est divisé par vingt (10 contre 200 démonstrations par sous-tâche) pour un résultat supérieur de plus de huit points. Si ce résultat se confirme, la simulation spécifique au site cesse d'être un simple banc d'essai et devient un espace de travail réutilisable pour le préchauffage, l'évaluation répétable, le diagnostic des échecs et la génération ciblée de données. Cela réduit la dépendance à la téléopération, coûteuse en main-d'œuvre. Le résultat nuance aussi l'idée que le sim-to-real exige une simulation généraliste : une simulation étroite, construite pour un seul déploiement, peut suffire. Des réserves s'imposent toutefois. Les tâches sont de la manipulation sur table, le nombre de sous-tâches est limité, la fidélité de la reconstruction de scène n'est pas détaillée dans le résumé, et aucun temps de cycle, taux de panne ni coût de construction de la simulation n'est donné. Le travail reste une prépublication, sans pilote industriel annoncé. Ce travail s'inscrit dans la poussée actuelle vers l'adaptation efficace en données des politiques généralistes, alors que le fine-tuning post-entraînement par démonstrations réelles reste la pratique dominante. Il rejoint les approches de reconstruction de scènes pour la simulation (real-to-sim), de génération de données synthétiques et de boucles d'amélioration pilotées par des agents, explorées par les grands laboratoires et les équipes derrière des modèles comme Pi-0 ou GR00T. L'originalité tient au pilotage de la collecte par les échecs observés de la politique, plutôt qu'à une génération de données uniforme. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et sur des objets déformables ou en contact riche, la réplication par des tiers, la publication du code et des benchmarks, et surtout un test en conditions industrielles, où la variabilité des scènes dépasse largement celle d'un plateau de laboratoire.

RecherchePaper
1 source
DSDyn-VLA : un cadre à double flux pour la manipulation dynamique, avec perception du mouvement, anticipation et correction en temps réel
698arXiv cs.RO 

DSDyn-VLA : un cadre à double flux pour la manipulation dynamique, avec perception du mouvement, anticipation et correction en temps réel

Des chercheurs proposent DSDyn-VLA, un cadre « lent-rapide » à double flux destiné à la manipulation d'objets en mouvement, comme sur un convoyeur, un cas où les modèles vision-langage-action (VLA) actuels décrochent. L'article, publié sur arXiv (2609.39198), identifie trois écarts. L'écart de perception : une image statique ne porte aucune information de mouvement. L'écart de latence : le temps d'inférence rend l'action obsolète quand elle est exécutée. L'écart de contrôle : les « action chunks » sont joués en boucle ouverte, sans ajustement en temps réel. Le « Flow-Planner », lent, joue le rôle de planificateur macro. Il ajoute au VLA du flux optique pour la perception temporelle, ainsi qu'un mécanisme de « conscience de l'état futur » qui anticipe la latence d'inférence. Le « Res-Refiner », rapide, est une politique d'apprentissage par renforcement légère qui injecte des corrections résiduelles haute fréquence, en boucle fermée, dans les chunks planifiés. Les auteurs publient aussi DynBench, un banc d'essai sous MuJoCo de neuf tâches de manipulation dynamique. Ils annoncent une baisse de plus de 76 % du taux d'échec face à l'état de l'art en configuration à forte latence sur le benchmark Kinetix. Ils annoncent aussi un taux de succès environ 6 fois supérieur à celui de PI0.5 en conditions réelles dynamiques, et environ 5 fois supérieur sur DynBench. Code et poids doivent être publiés en open source. Ces résultats visent une faiblesse que les intégrateurs connaissent bien : les VLA brillent en démonstration sur des scènes statiques, mais la logistique et la production réelles impliquent des pièces qui bougent, comme les convoyeurs, le tri à la volée ou le transfert vers un opérateur. Si ces gains tiennent, l'architecture suggère qu'un VLA généraliste ne suffit pas et qu'une couche de correction rapide, séparée du modèle de fondation, est nécessaire. Cela rejoint le découpage système 1 / système 2 déjà visible dans plusieurs architectures commerciales. Des réserves s'imposent toutefois. Les multiples (6x, 5x) sont relatifs à une base de comparaison PI0.5 qui n'était pas conçue pour ce régime, et un ratio élevé peut refléter un taux de succès de départ très bas. Le protocole réel (nombre d'essais, vitesse des objets, matériel) n'est pas précisé dans le résumé, et il s'agit d'une prépublication non évaluée par des pairs. Le travail s'inscrit dans la course à la réduction de la latence des VLA, notamment le « real-time chunking » et les approches d'exécution asynchrone, qui traitent surtout la continuité des actions plutôt que le suivi d'objets mobiles. Les concurrents directs sont les familles Pi de Physical Intelligence, dont PI0.5 sert de référence, et les modèles à double système comme Helix de Figure ou GR00T de NVIDIA. Aucun acteur européen n'est cité dans le résumé. La suite dépendra de la publication effective du code et des poids, de la reproduction des résultats par des tiers, et d'un passage de DynBench, entièrement simulé, à des cadences industrielles réelles.

IA physiqueOpinion
1 source
Corriger le OÙ, préserver le COMMENT : généralisation compositionnelle des modèles vision-langage-action (VLA) par guidage référentiel
699arXiv cs.RO 

Corriger le OÙ, préserver le COMMENT : généralisation compositionnelle des modèles vision-langage-action (VLA) par guidage référentiel

Des chercheurs proposent ReGuide (Referential Guidance), un module d'enrobage « training-free » qui s'ajoute à des politiques Vision-Language-Action (VLA) déjà entraînées, sans toucher à leurs poids ni à leur architecture. À partir des poses d'objets fournies par un module de grounding externe, il combine un « rebinding » sémantique et un « rebinding » géométrique. Il guide l'effecteur terminal vers des configurations couvertes par les démonstrations d'entraînement, centrées sur le référent désigné par l'instruction. La politique gelée reprend alors le contrôle et termine la tâche. Les tests en simulation ont porté sur plusieurs architectures VLA, puis sur un robot réel. Les gains de taux de réussite sous décalage compositionnel atteignent jusqu'à 56,8 points de pourcentage en simulation et 75,0 points sur le robot physique. Les performances sur les tâches standard sont préservées. L'article est un préprint arXiv (v1), donc non évalué par les pairs. Il ne précise pas, dans son résumé, les noms des modèles testés, le robot utilisé ni le nombre d'essais. Ces résultats visent un point faible connu des VLA. Entraînés de bout en bout sur des jeux de données robotiques peu variés, ces modèles exploitent des raccourcis visuels : ils associent une action à des éléments sans rapport avec la tâche (arrière-plan, disposition de la scène) plutôt qu'à la sémantique de l'instruction. Un objet, une destination ou un décor déjà vus séparément ne peuvent alors pas être recombinés dans une configuration nouvelle. Les auteurs observent que, dans ce cas, le VLA échoue surtout à se localiser globalement (WHERE), tout en conservant ses compétences de manipulation locale (HOW). Corriger la cible plutôt que réapprendre le geste évite le recours à de nouvelles données ou à un réentraînement par backbone. Pour un intégrateur, c'est une piste pratique pour fiabiliser une politique déjà déployée. Le revers est la dépendance à un module de perception qui fournit des poses d'objets fiables. Les gains les plus élevés correspondent aussi à des scénarios de décalage choisis par les auteurs, et non à des conditions d'usine. Les approches existantes reposent sur une perception centrée sur la tâche ou sur une diversification ciblée des données. Elles n'offrent pas de mécanisme explicite pour la recomposition d'éléments inédits et exigent des modifications spécifiques à chaque architecture, avec réentraînement. ReGuide se positionne comme un correctif extérieur, compatible avec différents backbones. Sa validité à grande échelle reste à démontrer : le résumé ne mentionne ni tâches longues, ni scènes encombrées, ni déploiement industriel. Les prochaines étapes à surveiller sont la publication du code et des détails expérimentaux, la comparaison avec des politiques réentraînées sur des données plus diversifiées, et la robustesse face aux erreurs du module de grounding.

RecherchePaper
1 source
SynIL : exploiter la synergie pour l'apprentissage par imitation hors ligne à partir de jeux de démonstrations imparfaites
700arXiv cs.RO 

SynIL : exploiter la synergie pour l'apprentissage par imitation hors ligne à partir de jeux de démonstrations imparfaites

Des chercheurs proposent SynIL (Synergy-based Imitation Learning), un cadre d'apprentissage par imitation hors ligne conçu pour exploiter des jeux de démonstrations imparfaits sans intervention humaine. Le problème visé est connu : les performances de l'imitation se dégradent fortement quand les données contiennent des démonstrations sous-optimales ou bruitées. Les méthodes existantes filtrent ou repondèrent les données, mais elles exigent en général une présélection manuelle de démonstrations expertes de référence, ou des heuristiques propres à chaque tâche. SynIL s'en passe : il évalue automatiquement la qualité de chaque transition, sans étiquette. Il quantifie la « synergie motrice », c'est-à-dire la structure coordonnée et de faible dimension du mouvement, que les neurosciences associent au niveau de maîtrise motrice. À partir de cette mesure, il produit des signaux de récompense denses, au niveau de chaque transition, par régression auto-supervisée. Les tests portent sur les benchmarks de locomotion D4RL et sur des jeux Robomimic de manipulation issus de plusieurs opérateurs humains. Les auteurs rapportent que ces récompenses corrèlent fortement avec les récompenses réelles de l'environnement. SynIL dépasse nettement le clonage comportemental (BC). Il atteint des résultats comparables à ceux de l'apprentissage par renforcement hors ligne entraîné sur les vraies récompenses, et meilleurs en téléopération humaine à récompense éparse. L'enjeu est pratique pour quiconque collecte des données de téléopération à grande échelle. Les jeux de démonstrations réels mélangent opérateurs aguerris et novices, essais hésitants et gestes parasites. Le tri manuel ne passe pas à l'échelle, alors que les politiques généralistes de type VLA dépendent de volumes toujours plus grands. Un score de qualité calculé sans référence experte pourrait réduire le coût de curation et rendre exploitables des données jusque-là écartées. Le résultat sur récompenses éparses est le plus intéressant, puisque c'est le cas habituel de la manipulation réelle, où la récompense se limite souvent à un succès ou un échec en fin d'épisode. Des réserves s'imposent : il s'agit d'un préprint (arXiv, v1) non évalué par des pairs. Les validations se limitent à des benchmarks simulés ou à des jeux de données standard, sans robot physique ni humanoïde. L'hypothèse selon laquelle la synergie reflète la compétence reste à vérifier sur des morphologies et des tâches plus variées. Ces travaux s'inscrivent dans un courant plus large de pondération et de filtrage des données pour l'apprentissage hors ligne, face à la montée des corpus de téléopération agrégés par les laboratoires et les fabricants d'humanoïdes. Le lien avec la biomécanique et les neurosciences motrices est relativement peu exploité dans ce champ. L'article ne mentionne ni code publié, ni calendrier de déploiement, ni partenaire industriel. L'étape suivante logique serait une validation sur robots réels et sur des modèles fondation de grande taille.

RecherchePaper
1 source