Actualités robotique — page 17

7 308 articles au fil, du plus récent au plus ancien.

39

801arXiv cs.RO 

Se souvenir de ses actions : mémoire de l'historique d'actions et débruitage à double expert pour les politiques VLA à long horizon

Des chercheurs proposent ActMem-VLA, une architecture qui ajoute une mémoire de l'historique des actions à un modèle vision-langage-action (VLA) déjà entraîné, sans le ré-entraîner. Le système greffe sur une politique de base figée (fine-tunée puis gelée) un plugin composé d'un module mémoire basé sur Mamba, un modèle à espace d'états, et d'un expert léger baptisé PreAction Expert (PAE). Mamba encode les actions déjà exécutées, et cette mémoire conditionne le PAE avec le contexte courant. Pendant les premières étapes de débruitage, à fort bruit, le PAE oriente la progression de la tâche. Il transmet ensuite l'action partiellement débruitée à l'Action Expert (AE) figé, qui affine les détails sur les étapes restantes à faible bruit. Seuls Mamba et le PAE sont optimisés. Sur le benchmark LIBERO-Mem, ActMem-VLA atteint 80,8 % de réussite moyenne sur les dix tâches, contre 65,2 % pour π0.5 et 49,5 % pour MemoryVLA, pour seulement 3,45 % de paramètres supplémentaires. Sur quatre tâches réelles, le gain moyen sur π0.5 est de 28,8 %. L'article ne précise pas s'il s'agit de points de pourcentage ou d'un gain relatif. L'enjeu est le « perceptual aliasing » : à deux étapes différentes d'une tâche longue, l'observation et l'état du robot peuvent être quasi identiques, alors que l'action correcte diffère. Sans accès à l'historique, la politique hésite ou répète une étape déjà faite. Le résultat compte pour les intégrateurs, car la mémoire est ici un module ajouté à un VLA existant, sans repartir d'un entraînement complet. Un modèle de base validé en production pourrait ainsi gagner en fiabilité sur les séquences longues (assemblage multi-étapes, kitting, tri) pour un surcoût de calcul modeste. Le score de 80,8 % montre aussi qu'il reste près d'une tentative sur cinq en échec. LIBERO-Mem est de plus un benchmark de simulation conçu pour tester la mémoire, et l'évaluation réelle ne porte que sur quatre tâches, sans détail public dans le résumé sur le nombre d'essais. Le travail s'inscrit dans une série de méthodes qui injectent des indices temporels ou de progression dans les VLA, par conditionnement de features, modification de l'a priori d'action ou guidage de l'échantillonnage. MemoryVLA, comparé ici, fait partie de cette famille. Le coût de ces approches, qui entraînent conjointement la mémoire et le VLA de base, motive la séparation choisie par les auteurs entre pilotage conditionné par l'historique et raffinement par la politique figée. Le point de comparaison principal reste π0.5 de Physical Intelligence. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs. Aucun déploiement industriel ni code n'est mentionné dans le résumé, et les prochaines étapes probables sont une validation sur d'autres bases VLA et sur des tâches réelles plus longues.

Recherche❖Paper

1 source

39

802arXiv cs.RO 

ProAct-VLM : replanification de tâches vision-langage avant l'échec, avec retour de perception continu

Une équipe de chercheurs publie sur arXiv ProAct-VLM, un cadre de planification de tâches pour la manipulation robotique. Il intègre un modèle vision-langage (VLM) dans une boucle de perception en temps réel. Le code et la page projet sont hébergés sur GitHub (moured/ProAct-VLM). Le système surveille l'environnement en continu pendant l'exécution d'une tâche longue et replanifie dès qu'un changement pertinent apparaît, avant que l'action en cours n'échoue. Les auteurs l'ont comparé à plusieurs approches de référence et l'ont testé avec différents VLM comme backbone. Ils rapportent de meilleurs taux de succès et une meilleure efficacité sur des tâches de manipulation dynamiques à long horizon. Le résumé publié ne donne ni chiffres précis, ni nom de robot, ni liste des baselines. Le gain reste donc à vérifier dans le texte complet. Le problème visé est courant en déploiement : une pièce déplacée, un objet tombé ou un opérateur qui passe suffisent à rendre un plan périmé ou dangereux. Les pipelines à règles, réglés à la main pour des scénarios précis, se généralisent mal en milieu ouvert. Les cadres à base de VLM existants replanifient surtout de façon réactive, après un échec d'exécution ou lors d'un contrôle en fin de tâche. Certains vérifient des conditions avant chaque action, mais ces contrôles ponctuels ne voient pas ce qui change pendant le mouvement. ProAct-VLM propose de passer d'une correction après l'échec à une anticipation pendant l'exécution. Pour un intégrateur, l'enjeu est de réduire les arrêts, les reprises et les risques de collision dans les environnements semi-structurés, comme la logistique ou l'assemblage avec présence humaine. Il faut toutefois rester prudent. Une boucle de perception continue couplée à un VLM pose des questions de latence, de coût de calcul et de fausses alertes qui déclenchent des replanifications inutiles. Le résumé n'en dit rien. Ce travail s'inscrit dans le mouvement qui utilise les modèles vision-langage comme planificateurs de haut niveau, en complément des politiques VLA (vision-langage-action) qui pilotent directement les actionneurs. Les cadres de replanification réactifs et les vérifications de préconditions constituent les références directes. Ils sont cités comme les limites que ProAct-VLM cherche à dépasser. Il s'agit d'une prépublication (v1) non évaluée par des pairs. On ne sait pas encore si les résultats ont été obtenus en simulation ou sur robot réel, ni sur quelles plateformes. Les prochaines étapes à surveiller sont la publication du code, la reproduction indépendante et des tests sur matériel avec des perturbations réelles.

Recherche❖Paper

1 source

39

803arXiv cs.RO 

Le débruitage résiduel permet une coordination multi-agents à la demande, avec peu d'échantillons

Des chercheurs proposent ALTER, une méthode d'adaptation qui permet à des politiques de diffusion mono-robot préentraînées de coordonner plusieurs robots à partir d'un très petit nombre de démonstrations collaboratives. Le principe repose sur une « tête de coordination » qui prédit un débruiteur résiduel, lequel transforme le comportement individuel de la politique de base en comportement d'équipe lorsque la situation l'exige. L'exécution reste décentralisée : chaque robot n'agit qu'à partir de ses propres observations visuelles, sans communication explicite entre agents. Pour conserver les compétences individuelles, l'équipe mélange ses quelques démonstrations collaboratives avec des données auto-distillées, générées par la politique de base elle-même pendant l'entraînement du débruiteur résiduel. En simulation, ALTER obtient un meilleur taux de réussite de coordination que les méthodes de référence, avec une rétention des compétences d'origine nettement supérieure. Les expériences sur robots réels montrent des tendances similaires. Le résumé publié ne chiffre toutefois ni les taux de réussite, ni le nombre de démonstrations, ni les tâches ou plateformes testées. L'enjeu est d'abord économique. Collecter des données de téléopération à plusieurs robots coûte bien plus cher que pour un seul, et l'espace des configurations d'équipe croît vite. Réutiliser des politiques mono-robot déjà entraînées, avec peu de données supplémentaires, réduit ce coût. Le second apport est la préservation du comportement solo. Un fine-tuning naïf pour la coordination tend à dégrader les compétences d'origine (oubli catastrophique), ce qui obligerait à maintenir deux politiques distinctes. Avec ALTER, un même modèle peut travailler seul ou en équipe, ce qui intéresse les intégrateurs qui déploient des flottes hétérogènes, par exemple des bras ou des humanoïdes assignés tantôt à un poste isolé, tantôt à une tâche à deux (portage d'objets volumineux, assemblage bimanuel réparti sur deux machines). L'absence de communication limite aussi la dépendance à un réseau, point sensible en environnement industriel. Il s'agit néanmoins d'un travail académique dont la portée dépend de la complexité réelle des tâches testées, ce que le résumé ne permet pas d'évaluer. Ce travail s'inscrit dans la vague des politiques de diffusion et des modèles vision-langage-action (VLA) préentraînés, comme Pi-0, Helix ou GR00T, qui offrent de bonnes compétences de manipulation mais restent conçus pour un agent unique. La coordination multi-robot relevait jusqu'ici de la planification centralisée ou de l'apprentissage multi-agent entraîné de zéro, gourmand en données et en calcul. Les approches concurrentes cherchent à entraîner conjointement des politiques d'équipe ou à ajouter des canaux de communication appris. ALTER prend la voie inverse, celle d'une adaptation légère par résidu. Le papier, une version révisée (v2) sur arXiv, n'annonce ni code ni déploiement. Les prochaines étapes à surveiller sont le passage à plus de deux robots, la robustesse face à des robots hétérogènes et la validation sur des tâches industrielles longues.

Recherche❖Paper

1 source

38

804arXiv cs.RO 

Guidage des modes au niveau de la trajectoire pour la planification de mouvement contrôlable de robots multiples par diffusion

Une équipe de chercheurs publie sur arXiv (2609.36530) une méthode de planification de mouvement par modèles de diffusion, pensée pour conserver plusieurs solutions faisables tout en tenant compte d'indications grossières fournies en amont. Le principe est de guider la génération dans l'espace des trajectoires « propres », c'est-à-dire reconstruites à chaque pas de la diffusion inverse, plutôt que dans l'espace bruité. Cette trajectoire reconstruite sert d'espace commun pour deux types d'informations. Les coûts de planification, comme l'évitement d'obstacles, sont intégrés par raffinement à base de gradient. Un a priori partiel, par exemple un tronçon de trajectoire ou une région souhaitée, est injecté progressivement aux niveaux de bruit correspondants, avec une force de guidage décroissante au fil des pas. Pour plusieurs robots, il suffit d'ajouter un coût de collision entre agents. Le résumé annonce des essais sur des tâches mono et multi-robots, avec synthèse de trajectoires contrôlable, solutions faisables variées et coordination sûre. Il ne donne aucun chiffre : ni taux de succès, ni nombre de robots, ni temps de calcul, ni matériel utilisé. L'enjeu est technique mais concret pour la coordination de flottes. Un planificateur classique renvoie souvent une seule trajectoire, alors qu'un opérateur ou un système de supervision veut pouvoir dire « passe plutôt par ici » sans figer le résultat. Un guidage trop strict par l'a priori détruit la diversité qui fait l'intérêt des diffusions, et un guidage trop faible ignore l'intention de l'opérateur. Ici, le relâchement progressif de la contrainte cherche le compromis : l'a priori fixe le mode global de la solution dans les premières étapes, puis le modèle affine les détails librement. Pour un intégrateur d'AMR (robots mobiles autonomes) ou de cellules multi-bras, cela pourrait faciliter l'injection de règles de circulation ou de préférences humaines dans un planificateur génératif. Le résumé ne prouve pas que cela tienne hors laboratoire. Il ne dit rien des garanties de sécurité, de la latence en temps réel ni du passage à l'échelle avec le nombre d'agents, trois points décisifs pour un déploiement industriel. Ce travail s'inscrit dans la série de méthodes qui appliquent les modèles de diffusion à la planification de trajectoires, popularisée par des approches comme Diffuser et Diffusion Policy. Ces méthodes ajoutent du guidage par coût, mais restent en difficulté pour combiner des a priori partiels et de la multimodalité. Les alternatives classiques, comme la planification par échantillonnage, l'optimisation de trajectoire ou les approches par conflits pour le multi-agent, offrent davantage de garanties formelles mais peu de génération multimodale pilotable. Il s'agit d'une prépublication (v1) et rien n'indique à ce stade de code publié, de comparaison chiffrée ou de test sur robots réels. La suite logique serait une validation sur matériel, une comparaison avec les planificateurs multi-agents établis et une évaluation du coût de calcul.

Recherche❖Paper

1 source

38

805arXiv cs.RO 

CST-WM : un modèle du monde à structure causale pour le suivi visuel incarné

Des chercheurs proposent CST-WM, un modèle du monde à structure causale pour le suivi visuel incarné (embodied visual tracking), publié sur arXiv (2609.06302v2). La tâche consiste à choisir des actions qui gardent une cible mobile visible à bonne distance, puis à la retrouver après une occlusion, une sortie de champ ou le croisement d'un élément distracteur. Le suivi est formulé comme une planification sur les preuves futures de présence de la cible, à l'aide d'un modèle du monde conditionné par l'action. L'état du modèle est scindé en trois branches (preuve de la cible, robot, observation). La transition supprime le lien direct, au même pas de temps, entre l'action et la preuve de la cible, mais conserve le chemin passant par le mouvement du robot et les vues qui en résultent. Couplé à un contrôle prédictif par rollouts (MPC), un modèle unique gère le suivi stable et la réacquisition après perte. Sur EVT-Bench et Habitat 3.0, il est évalué en suivi standard, en récupération après perte et en transfert entre jeux de données. Sur un quadrupède Unitree Go2, il réussit 20 essais réels sur 30 (occlusion, croisement de distracteurs, mouvements rapides), contre 14 sur 30 pour TrackVLA. L'intérêt tient au diagnostic d'un défaut discret mais répandu. Dans les données de suivi enregistrées, les actions de la politique de collecte sont corrélées à la position de la cible. Un prédicteur générique apprend alors un raccourci, où l'action courante est écrite directement dans la prédiction de la cible. Les auteurs appellent cela l'hallucination causale. Les rollouts semblent plausibles, mais le classement des actions candidates repose sur une mauvaise raison, ce qui dégrade précisément la planification. Les résultats vont dans ce sens : retirer le masque d'action provoque la plus forte baisse de réacquisition parmi les ablations. Hors ligne, l'erreur de rollout multi-pas est plus faible et le classement des actions s'accorde mieux avec celui du simulateur. Pour les intégrateurs, le message est qu'un modèle du monde entraîné sur des logs opérationnels peut être trompé par des biais de collecte, et que l'ajout d'une structure causale se montre plus utile que davantage de données. Les limites sont claires : 30 essais par méthode sur un seul robot restent un échantillon réduit, et l'écart de 20 contre 14 sur 30 demande confirmation à plus grande échelle. Ces travaux se positionnent face aux suiveurs réactifs et aux approches VLA (vision-langage-action) comme TrackVLA, qui mappent directement les observations vers les actions sans anticiper les conséquences. Ils s'ajoutent aux modèles du monde utilisés en planification robotique, en y injectant une contrainte causale explicite. Le Go2, plateforme de recherche courante, sert de banc d'essai réaliste, mais aucun déploiement industriel ni produit n'est annoncé : il s'agit d'une publication académique. Les prochaines étapes probables sont des validations sur d'autres morphologies, des environnements plus denses et des mesures de latence de planification, que le résumé ne précise pas.

Recherche❖Paper

1 source

38

806arXiv cs.RO 

DORA : algorithme de relais de données orienté divergence pour équipes de robots partiellement connectées

Des équipes de drones (UAV) déployées pour des missions de recherche et de surveillance opèrent souvent en réseaux partiellement connectés, où chaque robot doit arbitrer entre explorer la zone et relayer l'information à ses coéquipiers. Un article publié sur arXiv (2609.36395, première version) formalise ce cas sous le nom de HMAC (heterogeneous mission-aware coverage). Le problème couple une couverture complète de la zone par plusieurs robots avec la découverte de cibles pertinentes pour la mission (MRT), contrainte par les capacités de détection de chaque appareil et par des communications intermittentes. Les auteurs proposent DORA (Divergence-Oriented Data-Relay Algorithm), qui déclenche les échanges selon la valeur de l'information pour l'équipe, et non selon la seule découverte. Chaque robot mesure la divergence entre son état d'information et son estimation de ce que savent ses coéquipiers, en combinant pertinence pour la mission, nouveauté, incertitude du capteur et âge de l'information. L'algorithme est évalué en simulation dans quatre environnements, avec des densités d'objets et des structures spatiales différentes, puis validé sur une plateforme UAV physique. Il réduit le délai de résolution des MRT jusqu'à 74,8 % par rapport aux méthodes classiques de planification temporelle des communications. L'enjeu porte sur l'hétérogénéité sémantique des flottes. Une observation sans intérêt pour le robot qui la fait peut être décisive pour un coéquipier doté d'un autre capteur ou d'un autre détecteur. Un protocole qui relaie à intervalles fixes gaspille alors une bande passante rare, ou retarde l'information critique. Pour les intégrateurs qui préparent des flottes mixtes d'inspection, de sécurité ou de secours, notamment dans des zones sans couverture réseau fiable, l'idée d'orchestrer la communication par la valeur de l'information plutôt que par un calendrier est directement transposable. Il faut toutefois relativiser le chiffre de 74,8 %. C'est un maximum obtenu contre des références temporelles, sans indication dans le résumé sur la valeur moyenne ni sur la variabilité selon les environnements. La validation physique reste elle aussi présentée sans détail sur l'échelle, le nombre d'appareils ou les conditions. On est donc face à un résultat de recherche, pas à un produit livré ni à un déploiement réel. Le travail s'inscrit dans la lignée des recherches sur la coordination multi-robots sous connectivité limitée, où l'on gère classiquement le compromis entre exploration et maintien du lien, ou la synchronisation périodique des cartes. La nouveauté revendiquée tient à la prise en compte de la pertinence sémantique et de l'âge de l'information dans une équipe hétérogène. Aucun calendrier d'application ni partenaire industriel n'est annoncé. Les suites logiques seraient des essais sur des flottes plus grandes, avec des pertes de liaison plus réalistes, et une comparaison avec d'autres approches fondées sur la valeur de l'information, avant tout transfert vers des solutions commerciales de drones en essaim.

Recherche❖Paper

1 source

38

807arXiv cs.RO 

Optimisation directe du modèle du monde par l'expérience : apprendre le monde au-delà de l'imitation des actions

Des chercheurs proposent DEWO (Direct Experience World-Model Optimization), une méthode d'apprentissage post-déploiement pour les World-Action Models (WAM), ces politiques robotiques qui génèrent des actions tout en prédisant l'évolution visuelle des interactions physiques. Le principe consiste à ne plus seulement imiter les actions, mais à raffiner aussi les représentations du monde à partir de l'expérience visuelle du robot. DEWO repère les points de bascule d'une interaction, apprend des futurs réussis comme des futurs échoués pour alimenter un guidage sans classifieur (classifier-free guidance), et ajoute une tête de valeur qui estime l'avancement de la tâche à partir des représentations vidéo. Ce guidage ne s'active en inférence que lorsque la progression stagne. Sur cinq tâches du benchmark DexJoCo, la méthode améliore le taux de succès moyen pour les trois formulations de WAM testées. Sur quatre tâches réelles avec les mains Wuji et Sharpa, une évaluation en grille 3 x 3 montre que deux cycles d'apprentissage en déploiement font passer le succès de 51,0 % à 71,7 % dans les cellules comptant au moins un succès initial, soit un gain de 20,7 points. L'intérêt tient au diagnostic. Les boucles d'amélioration actuelles, souvent fondées sur l'imitation de démonstrations ou de trajectoires réussies, corrigent le comportement sans rendre les prédictions du modèle plus justes. Or en manipulation dextre, de petites erreurs d'exécution s'accumulent dans un espace d'actions de grande dimension et écartent le robot de la distribution d'entraînement du modèle, ce qui dégrade aussi ses prédictions. Les ablations indiquent que la supervision visuelle des suites réussies et échouées améliore à la fois la prédiction et le contrôle, au-delà de la seule supervision par les actions. Pour les intégrateurs, le message est que les données d'échec, généralement jetées, deviennent utiles. Il faut toutefois nuancer : le gain réel de 20,7 points est mesuré uniquement dans les cellules avec au moins un succès initial, donc sur un sous-ensemble favorable, et les résultats viennent d'un preprint sans validation par les pairs ni détail sur les volumes de données ou le temps de cycle. Ce travail s'inscrit dans la montée des modèles du monde appliqués à la robotique, où la prédiction vidéo est couplée à la politique d'action, en complément des VLA (vision-langage-action) classiques. Le déploiement continu reste l'un des verrous du secteur : les politiques progressent surtout par rejeu de démonstrations ou par apprentissage par renforcement, coûteux sur du matériel réel. Le choix des mains Wuji et Sharpa, deux plateformes dextres à nombreux degrés de liberté, cible précisément le segment où les écarts entre démonstration et réalité sont les plus marqués. L'article ne cite ni pilote industriel ni calendrier de commercialisation, et il s'agit d'une preuve de concept de recherche. La suite logique serait de tester la méthode sur davantage de tâches et de plateformes, avec des cycles de déploiement plus nombreux et des mesures de robustesse à plus long terme.

Recherche❖Paper

1 source

38

808arXiv cs.RO 

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire

Des chercheurs proposent un cadre de retargeting de mouvement qui convertit une simple vidéo RVB monoculaire en mouvements coordonnés du haut du corps pour un robot dual-bras à main dextre. Le système repose sur une reconstruction unifiée corps-mains : les estimations image par image du corps, les observations à l'échelle de la vidéo et les détails des mains contraignent ensemble un unique état du Momentum Human Rig (MHR), un modèle corporel différentiable. Les artefacts transitoires sur les mains sont corrigés directement dans l'espace des paramètres. Le mouvement est ensuite décrit par des grandeurs géométriques (directions des segments du bras, configuration du coude, orientation relative des paumes, relations bilatérales des poignets), puis exécuté par une cinématique inverse en plusieurs étapes et une adaptation propre à la main du robot. Au sein d'un système plus large, Across-VAM gère la génération vidéo et Across-WAM la mise en correspondance humain-robot. L'évaluation porte sur 16 vidéos (1 769 images source), dont 10 séquences de langue des signes et 6 de saisie. L'erreur moyenne de reprojection des mains passe de 22,36 à 7,21 pixels par rapport à SAM 3D Body. Les 16 trajectoires ont été rejouées en simulation cinématique, et deux mouvements représentatifs (signes, saisie) ont été démontrés sur un robot réel. Pour l'industrie, l'intérêt tient à la source de données. La vidéo monoculaire est la matière première la moins chère pour l'apprentissage par démonstration, bien moins coûteuse que la téléopération ou les gants de capture. Mais le transfert vers un robot bute sur un problème concret : corps et mains sont reconstruits à des échelles différentes, les cinématiques divergent et les mouvements distaux fins se perdent. Une réduction de l'erreur de reprojection de plus des deux tiers sur les mains est significative pour la dextérité, là où les pipelines existants dégradent le plus. Des réserves s'imposent toutefois. L'échantillon est très réduit (16 vidéos), le succès en simulation ne mesure que la faisabilité cinématique, sans dynamique ni contact, et la validation physique se limite à deux démonstrations qualitatives, sans taux de réussite chiffré. Le gain est mesuré contre un seul point de comparaison, et le cas de la langue des signes, bien que parlant, reste éloigné de la manipulation industrielle. Ce travail s'inscrit dans la course à la donnée pour les modèles de politique robotique. Les acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à exploiter des vidéos humaines à grande échelle pour nourrir leurs VLA, et la qualité du retargeting devient un goulot d'étranglement. La séparation entre génération vidéo (Across-VAM) et mapping humain-robot (Across-WAM) suggère une architecture modulaire pensée pour relier des modèles génératifs à l'exécution. Les prochaines étapes à surveiller sont une évaluation sur davantage de séquences, des taux de succès en manipulation réelle avec contacts, et une intégration avec des politiques apprises. Le papier est un preprint sur arXiv, non évalué par les pairs, et aucun calendrier de déploiement n'est annoncé.

Recherche❖Paper

1 source

38

809arXiv cs.RO 

GlassFormer : apprentissage de la segmentation du verre en temps réel par fusion radar-profondeur

Des chercheurs présentent sur arXiv (2609.36844) GlassFormer, un réseau de segmentation de surfaces transparentes qui fusionne un radar à ondes millimétriques avec un capteur RGB-D. Le réseau est un transformeur léger, et le radar y est injecté par attention inter-modale sous la forme d'un a priori spatial. Les auteurs l'évaluent sur deux jeux de test : un split mixte couvrant tous les types de scènes, où GlassFormer atteint 0,88 mIoU, et un split dédié aux conditions de faible luminosité, conçu pour mettre en difficulté les méthodes purement visuelles, où il atteint 0,59 mIoU. Ils affirment que l'inférence tourne en temps réel sur des plateformes à ressources limitées. L'article ne donne ni la carte embarquée testée, ni la fréquence d'images, ni la taille des jeux de données dans son résumé. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Le vitrage est un cas d'échec connu de la perception robotique. La caméra RGB voit l'arrière-plan derrière la vitre, et les capteurs de profondeur (LiDAR, temps de vol, RGB-D) renvoient des mesures invalides ou celles du fond. Un robot mobile peut alors prendre une cloison vitrée, une porte ou un miroir pour de l'espace libre. C'est un risque de collision, et aussi un risque de sécurité pour les AMR et les humanoïdes qui évoluent dans les bureaux, hôpitaux, halls, commerces et entrepôts vitrés. L'idée centrale est d'exploiter l'incohérence entre modalités : le radar réfléchit fortement sur le verre, alors que la vision et la profondeur échouent au même endroit. Le résultat sur le split faible luminosité est le plus instructif. Les indices visuels appris par les approches RGB (reflets, contours, contexte sémantique) se dégradent dans le noir, en cas d'éblouissement ou face à un verre sans texture. Les 0,59 mIoU montrent que le radar aide beaucoup, mais qu'un problème reste ouvert : le score est nettement inférieur à celui du split mixte. Les gains face aux bases visuelles restent à vérifier, car le résumé ne les chiffre pas. Ils sont évalués sur les splits des auteurs, sans preuve de généralisation à d'autres capteurs ou bâtiments. Jusqu'ici, la segmentation du verre reposait surtout sur des réseaux RGB ou RGB-D, qui apprennent des indices visuels et fonctionnent bien sous un éclairage et un angle favorables. Le radar millimétrique est déjà présent sur beaucoup de plateformes mobiles pour sa robustesse à la lumière, à la poussière et à la fumée, mais il reste peu utilisé pour la cartographie sémantique fine. Pour les intégrateurs, cela ouvre la voie à des capteurs peu coûteux ajoutés aux piles de perception existantes, au lieu de LiDAR plus chers. Les prochaines étapes probables sont des tests sur robot réel, des comparaisons avec des méthodes multimodales concurrentes, la publication du jeu de données et du code, et une intégration à la navigation. Rien de tel n'est annoncé à ce stade.

Recherche❖Paper

1 source

38

810arXiv cs.RO 

RoboHarn-Evo : évolution de connaissances physiques hiérarchiques pour une manipulation robotique qui s'auto-améliore

Des chercheurs publient sur arXiv RoboHarn-Evo, un « harnais » à double boucle qui fait évoluer une base de connaissances physiques hiérarchiques (HPK, Hierarchical Physical Knowledge) à partir de l'expérience d'interaction, sans jamais mettre à jour les poids du modèle de base. La HPK comporte deux niveaux. La connaissance de tâche indique quelle sous-tâche exécuter et quand elle est achevée. La connaissance d'action décrit des stratégies géométriques relatives à l'objet et leurs effets physiques. À l'exécution, l'agent récupère l'entrée pertinente au niveau de décision concerné, puis l'adapte à la scène courante et à l'objectif. D'un épisode à l'autre, le retour physique sert à réviser les entrées anciennes, à ajuster leur domaine d'applicabilité et à réorganiser la base pour les récupérations suivantes. Sur le benchmark RMBench, le gain moyen de succès atteint 24,2 points selon les modèles d'agent. Avec 80 déroulés d'interaction, le succès sur tâches hors entraînement passe de 48,3 % à 75,0 % pour GPT-5.5 et de 70,0 % à 88,3 % pour GPT-6. Le système corrige plus de 83 % des erreurs de connaissance historiques tout en conservant 95,8 % des connaissances valides. En transfert zéro-shot de RMBench vers RoboDojo, il gagne 35,0 et 25,0 points selon les configurations. L'intérêt tient à la place de l'amélioration. Les modèles vision-langage pilotent bien la planification longue durée, mais la réussite dépend de l'effet réel des interactions locales : saisie, insertion, alignement. Ici, le progrès vient d'une mémoire externe, lisible et révisable, et non d'un réentraînement ou d'un fine-tuning. Pour un intégrateur, cela suggère une piste d'adaptation sur site moins coûteuse, avec des connaissances auditables, corrigeables et potentiellement transférables d'une cellule à l'autre. Le taux de conservation de 95,8 % répond au risque classique des mémoires d'agents, qui accumulent des règles erronées ou obsolètes. Deux réserves s'imposent toutefois. Les résultats portent sur des benchmarks, très probablement simulés, avec des échantillons de test réduits : les pas de 1,7 point suggèrent une soixantaine de tâches ou d'épisodes hors entraînement, donc des marges d'incertitude notables. Rien n'est dit non plus des temps de cycle, du coût d'inférence ni de la robustesse sur du matériel réel. Le transfert zéro-shot reste par ailleurs un test entre deux environnements de simulation, pas une preuve de généralisation au monde physique. Ce travail s'inscrit dans la tendance des agents « auto-améliorants » par mémoire et bibliothèques de compétences, transposée à la manipulation. Il se place face aux approches qui passent par l'apprentissage des poids, comme les modèles VLA (vision-langage-action) de type Pi-0, GR00T ou Helix, qui exigent des données de téléopération et du calcul d'entraînement. Il s'appuie sur des modèles de fondation généralistes pour la planification et laisse l'expérience physique enrichir la connaissance externe. La suite logique serait une validation sur robots réels, avec bruit de perception et contacts non modélisés, puis une comparaison directe avec des VLA affinés à budget d'interaction équivalent. Aucun pilote industriel ni calendrier n'est annoncé à ce stade.

Recherche❖Paper

1 source

38

811arXiv cs.RO 

Apprendre à explorer la cinématique cachée pour manipuler des objets articulés

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode pour manipuler des objets articulés, comme des portes et des tiroirs, dont la cinématique réelle ne se devine pas à la seule vue. Le système maintient une distribution de croyance sur le type d'articulation (rotoïde, prismatique) et sur ses paramètres. Cette croyance est initialisée par un prior génératif, puis mise à jour par filtrage bayésien à partir du mouvement observé de la pièce. Pour la fournir à la politique, les auteurs la convertissent en champ de flux d'articulation par point : le mouvement que le postérieur actuel prédit pour chaque point de l'objet. La politique est entraînée par apprentissage par renforcement, avec pour récompense l'entropie retirée du postérieur par chaque interaction. Sur le benchmark PartManip, la méthode dépasse les approches précédentes en manipulation de portes et de tiroirs. Elle atteint 61,7 % de succès sur ArticuRiddle, un nouveau jeu de données d'objets dont l'apparence suggère une mauvaise articulation, contre 44,4 % pour la meilleure méthode antérieure. Les résultats proviennent de simulation, et le résumé ne mentionne aucun test sur robot physique. L'enjeu dépasse la performance brute. Les méthodes de perception active existantes cherchent, à chaque pas, l'action unique qui réduit le plus l'incertitude. Cette recherche gloutonne ne s'étend pas sur un horizon long, faute de modèles directs de la dynamique de contact et d'inertie, eux-mêmes inconnus. Déplacer ce coût vers l'entraînement, pour que l'exploration informative devienne un comportement appris, évite un calcul d'inférence à chaque pas. Le choix de la représentation compte aussi : selon les auteurs, le flux d'articulation généralise mieux qu'un encodage latent de la croyance ou qu'un flux suivi sur l'observation, car il porte le biais inductif du mouvement articulé. Pour un intégrateur, la portée est concrète. Les robots de service, de logistique ou de cuisine rencontrent des portes, tiroirs et armoires dont l'apparence trompe. Cela dit, un gain de 17 points reste un score de 61,7 %, loin d'une fiabilité de déploiement. La différence avec ce que les grands modèles VLA font aujourd'hui reste nette : ils imitent des démonstrations plutôt que de lever activement une ambiguïté. Ce travail s'inscrit dans la lignée de la perception interactive et de l'estimation de modèles articulés, où PartManip a servi de référence pour la manipulation de parties d'objets. ArticuRiddle cible un point faible connu : les priors visuels appris qui échouent quand la forme trompe. Les auteurs ne citent pas de partenaire industriel, ni de calendrier de transfert. Les suites logiques sont une validation sur bras réels, où le bruit tactile et le frottement compliquent le filtrage bayésien, puis l'intégration dans des politiques généralistes. Le projet est documenté sur hiddenkinematics.github.io.

Recherche❖Paper

1 source

38

812arXiv cs.RO 

Prise de décision conditionnée par les affordances : combler l'écart sémantico-spatial en navigation vision-langage inter-étages zéro-shot

Des chercheurs proposent PACE (Preference-refined Affordance-Conditioned Execution), un module d'exécution locale supervisé qui vient se greffer sur des planificateurs sémantiques « zero-shot » figés pour la navigation guidée par le langage (VLN) entre étages. Le module convertit les indices sémantiques liés aux transitions (escalier, porte, passage étroit) en une pose d'affordance traversable, à long horizon et centrée sur l'agent. Il conditionne ensuite la génération d'actions à court horizon sur cette cible spatiale. Un post-entraînement par raffinement de préférences tenant compte des échecs s'appuie sur des paires issues de rollouts, qui opposent les comportements normaux ou de récupération aux comportements amplifiant la déviation. PACE a été intégré à six navigateurs VLN zero-shot open source. Sur les sous-ensembles multi-étages de R2R-CE et RxR-CE, le taux de succès moyen passe de 16,35 % à 27,65 % et de 4,76 % à 12,06 %. Des essais en conditions réelles, dans des environnements inédits, sont également rapportés. L'enjeu tient à un écart que les démonstrations masquent souvent : un planificateur fondé sur un grand modèle peut choisir la bonne destination sans que le robot sache franchir l'obstacle. Atteindre le pied d'un escalier ou l'entrée d'une porte ne garantit pas la traversée, car il faut trouver une pose exécutable et corriger les erreurs d'action qui s'accumulent. Le gain relatif est net (environ +70 % sur R2R-CE, presque le triple sur RxR-CE), et il est obtenu sur six planificateurs différents sans les modifier. Cela plaide pour une couche d'exécution spatiale séparée du raisonnement sémantique. Il faut toutefois relativiser : les taux absolus restent bas, à 27,65 % et 12,06 %, très loin d'une fiabilité exploitable en site industriel, et les tests réels ne sont pas chiffrés dans le résumé. Les résultats portent sur des benchmarks simulés, pas sur un produit ni un déploiement. Ce travail s'inscrit dans le courant des navigateurs VLN généralistes, où des modèles vision-langage ou des grands modèles de langage planifient sans entraînement spécifique à la tâche. Leur point faible reste l'exécution physique dans les zones contraintes, en particulier le changement d'étage, sous-représenté dans les évaluations classiques. PACE s'attaque à ce cas précis avec une approche modulaire, là où d'autres acteurs de l'IA embarquée privilégient des politiques VLA de bout en bout. Il s'agit d'une publication de recherche (arXiv, version 2), sans annonce de pilote ni calendrier commercial. La suite logique serait une validation quantifiée sur robots réels, avec des mesures de robustesse en conditions variées, avant toute intégration dans des piles de navigation industrielles.

Recherche❖Paper

1 source

38

813arXiv cs.RO 

Au-delà de l'importance des tokens : préserver les échafaudages spatiaux pour une inférence VLA efficace

Une équipe de chercheurs propose GeoScaffold, une méthode d'élagage (pruning) des tokens visuels pour les modèles vision-langage-action (VLA), qui ne demande aucun réentraînement. Le travail, publié sur arXiv (2609.36967), part d'un constat : les stratégies existantes retiennent des tokens visuels individuels selon leur pertinence sémantique pour la tâche, sans tenir compte de l'information spatiale que la manipulation exige. Pour tester cette limite, les auteurs construisent une référence volontairement simple, « Stride », qui échantillonne uniformément les tokens sur la séquence visuelle aplatie en une dimension, soit un élagage purement géométrique. Sur pi 0.5 et le benchmark de simulation LIBERO, GeoScaffold conserve seulement 20 % des tokens visuels tout en maintenant un taux de succès moyen de 93,2 %, avec une accélération de 1,78 fois de la phase de prefill par rapport au modèle non élagué. Le résultat le plus instructif tient au comportement de Stride. À certains taux d'élagage, cette méthode naïve dépasse l'élagage sémantique et l'élagage aléatoire, mais elle s'effondre dès que le budget de tokens baisse légèrement. Les auteurs l'expliquent par le « rayon de couverture spatiale », c'est-à-dire le plus grand angle mort créé dans l'image par l'ensemble des tokens conservés, et ils observent une forte corrélation entre ce rayon et le succès des tâches. Pour les équipes qui cherchent à faire tourner des VLA sur du calcul embarqué, le message est clair : choisir les tokens « importants » ne suffit pas, il faut aussi préserver l'échafaudage géométrique de la scène. Cela remet en cause l'idée, héritée de la vision par ordinateur généraliste, que la pertinence sémantique suffit à guider la compression pour le contrôle robotique. Le gain reste modeste sur le prefill, et il est mesuré uniquement en simulation. Aucune validation sur robot réel, latence de bout en bout ou consommation n'est annoncée dans le résumé. GeoScaffold découpe chaque image en régions spatiales, répartit le budget de tokens entre régions selon des poids de pertinence pour la tâche, puis choisit à l'intérieur de chaque région des tokens « d'échafaudage » par échantillonnage du point le plus éloigné (farthest point sampling), afin de réduire le rayon de couverture local. Il s'inscrit dans une série de travaux sur l'accélération des VLA, dont pi 0.5 de Physical Intelligence est ici le modèle de référence, et qui cherchent à réduire le coût d'inférence sans repasser par l'entraînement. LIBERO reste un banc d'essai en simulation, dont les scènes sont plus régulières que celles d'un site industriel, ce qui limite la portée des 93,2 % annoncés. La suite logique serait un test sur d'autres architectures VLA et sur matériel réel, mais aucun calendrier n'est communiqué.

Recherche❖Paper

1 source

38

814arXiv cs.RO 

EgoAlign : combler l'écart entre humains et robots humanoïdes pour la loco-manipulation à longue portée

Des chercheurs de Lambda Humanoid présentent EgoAlign, un cadre de construction de données qui transforme des démonstrations humaines filmées en vue égocentrique en supervision d'actions et d'états exploitable par un humanoïde, sans aucune démonstration collectée sur robot physique. Le système s'appuie sur le modèle et le simulateur du robot cible, dont le retour d'exécution guide la collecte. Il conserve les références de locomotion pour la marche périodique guidée par la vision, et adapte la géométrie d'interaction du haut du corps par alignement d'échelle puis raffinement en boucle avec le contrôleur. Un rejeu causal reconstruit ensuite les états du robot et les étiquettes de tokens de mouvement, appariés aux observations humaines. Un modèle vision-langage-action (VLA) est affiné uniquement sur ces données adaptées, puis déployé en zero-shot sur un humanoïde réel. Les politiques réalisent des déplacements d'objets sur longue distance, la navigation vers des positions d'arrivée jamais vues et une interaction avec le pied évaluée de façon indépendante. Le travail, publié sur arXiv (2609.38046), est accompagné d'une page de projet. L'enjeu est celui de la donnée, principal goulot d'étranglement des VLA humanoïdes. La téléopération produit des démonstrations propres mais reste coûteuse et immobilise un robot sur site. Les vidéos égocentriques humaines sont bien moins chères, mais elles souffrent de différences d'échelle corporelle, de réponse du contrôleur et d'états robot manquants. Les auteurs affirment que le raffinement améliore l'alignement des mains en simulation et le taux de réussite de saisie sur robot réel par rapport à un simple alignement cinématique, et que la collecte humaine réduit le temps d'acquisition sur site face à la téléopération. Ces résultats vont dans le sens d'un transfert humain vers humanoïde exploitable pour la locomotion-manipulation, un domaine où la marche et la manipulation sont rarement apprises ensemble. Le résumé ne chiffre toutefois ni les taux de réussite, ni le gain de temps, ni le nombre de démonstrations, ni le modèle de robot ou de VLA utilisés. Sans ces données, difficile de juger la robustesse hors des tâches choisies pour la démonstration. Ce travail s'inscrit dans une course à la donnée humaine qui mobilise plusieurs acteurs. Des projets comme GR00T chez Nvidia, Pi-0 chez Physical Intelligence ou Helix chez Figure explorent des pistes voisines, mêlant téléopération, simulation et vidéo humaine à grande échelle. La spécificité d'EgoAlign tient à l'usage d'un contrôleur du corps entier continu et polyvalent, et à l'absence totale de données robot physiques. Il s'agit ici d'un résultat de recherche, sans produit ni déploiement industriel annoncé. La prochaine étape logique serait une validation sur davantage de tâches, de morphologies et de volumes de données, avec des comparaisons chiffrées à la téléopération. Aucun acteur français ou européen n'est cité dans ce travail.

Recherche❖Paper

1 source

38

815arXiv cs.RO 

Encore : découverte à base d'agents de stratégies de manipulation à partir de quelques démonstrations

Des chercheurs présentent ENCORE, un système où un agent de programmation apprend des stratégies de manipulation robotique à partir de quelques démonstrations, non pas comme données d'entraînement mais comme éléments à lire et analyser. Un « builder » déterministe transforme chaque démonstration en un dossier regroupant des images clés multi-vues, les événements du gripper, des bandes d'images et la trajectoire complète. L'agent étudie ce dossier, écrit un programme de politique de contrôle s'appuyant sur une API fixe de perception et d'action, l'affine sur quelques essais de développement, puis le fige avant une évaluation scellée qui ne révèle jamais le signal de succès. Sur LIBERO-PRO, le premier programme produit par l'agent réussit déjà la moitié des tâches perturbées lorsqu'il dispose de démonstrations, contre une seule tâche sans elles. Une fois figés, les programmes atteignent 96,3 % de réussite, contre 89,3 % pour le meilleur système agentique antérieur utilisant le même modèle de langage. Sur RoboDojo, dont les consignes ne précisent pas le but, aucun programme ne réussit sans démonstrations. Le système fonctionne aussi sur un robot bimanuel réel, qui apprend le passage de cube d'une main à l'autre et le retournement de tasse à partir de cinq démonstrations chacune. L'intérêt tient à ce que ce travail déplace le problème. Les agents de code savent écrire et déboguer des programmes, mais une consigne en une phrase ne dit rien de la prise, de l'ordre des contacts ou de l'état final attendu, et l'agent en est réduit à l'essai-erreur. Les résultats sur RoboDojo montrent que ces informations ne se devinent pas : sans démonstration, le taux de réussite est nul. L'approche produit des politiques sous forme de code, donc lisibles et modifiables, ce qui attire les intégrateurs qui redoutent l'opacité des VLA. Le protocole d'évaluation scellé répond aussi à une critique fréquente sur les benchmarks agentiques, où le signal de succès peut fuiter vers l'agent. Il faut toutefois rester prudent : LIBERO-PRO est un banc de test simulé, l'écart de 7 points porte sur un seul modèle de langage, et la validation réelle se limite à deux tâches simples sur un seul robot. Ce travail s'inscrit dans deux courants. D'un côté, les modèles VLA comme Pi-0 ou GR00T apprennent des politiques de bout en bout à partir de grands volumes de données. De l'autre, les systèmes agentiques qui génèrent du code de contrôle à partir de modèles de langage, dont ENCORE dépasse le meilleur représentant testé. La question qui reste ouverte est celle du passage à l'échelle : des tâches longues, des objets déformables, des scènes non structurées. L'article, publié sur arXiv (2609.37359), ne mentionne ni déploiement industriel ni calendrier de pilote.

Recherche❖Paper

1 source

38

816arXiv cs.RO 

Wrench-ACT : améliorer les politiques robotiques pour les tâches riches en contacts grâce au contrôle direct des torseurs d'effort

Des chercheurs proposent Wrench-ACT, une politique d'apprentissage par imitation qui prédit des « wrenches » (torseurs effort/couple, soit force et moment) comme unique sortie d'action, transmises directement à un contrôleur de force pur. L'architecture de base est ACT (Action Chunking with Transformers). Les modèles sont entraînés tâche par tâche sur des démonstrations bilatérales de wrenches, puis évalués sur cinq tâches de manipulation riche en contacts. Selon les auteurs, la politique égale ou dépasse les références fondées sur la position sur les cinq tâches, avec des gains variables selon le degré de régulation délibérée de la force que chaque tâche exige. Des ablations croisées indiquent que l'interface de collecte bilatérale et l'espace d'action en wrenches contribuent chacun de façon indépendante à la performance. Plus de 1000 démonstrations en wrenches seront publiées sur un site compagnon à la parution. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs. Le résumé ne donne ni taux de réussite chiffrés, ni robot utilisé, ni description précise des tâches. L'enjeu est de sortir du paradigme dominant, où les politiques apprises (ACT, Diffusion Policy, et la plupart des VLA) prédisent des positions ou des poses cibles. Même quand la force est mesurée, elle sert souvent d'observation seule, ou bien elle est prédite puis exécutée par un contrôleur hybride force/position. Ici, la politique pilote directement l'interaction physique. Le résultat le plus utile pour un intégrateur porte sur les données. La qualité de la démonstration dépend de la téléopération à retour d'effort, qui capte la régulation volontaire de la force par l'opérateur. Une téléopération purement cinématique ne la capte pas. Cela pèse sur les cas d'usage industriels comme l'assemblage, l'insertion, le ponçage ou le polissage, où la position seule est fragile. Cela suggère aussi que le goulot d'étranglement se déplace vers l'instrumentation de la collecte, avec des maîtres à retour de force plus coûteux et plus complexes que les manettes ou les exosquelettes courants. Un bémol s'impose : les gains restent modestes sur les tâches qui demandent peu de contrôle de force, et on ne sait pas si l'approche se généralise au-delà de modèles mono-tâche. Ce travail s'inscrit dans le prolongement d'ACT, popularisé par les plateformes ALOHA, et des efforts pour ajouter le toucher et la force aux politiques visuo-motrices. Il se place face aux approches hybrides et aux VLA généralistes, qui restent surtout centrés sur la position. La diffusion du jeu de données pourra servir de référence commune si sa qualité se confirme. Les prochaines étapes à surveiller sont les tests multi-tâches, l'intégration dans des modèles de fondation et des essais sur des lignes industrielles réelles.

Recherche❖Paper

1 source

38

817arXiv cs.RO 

Robotique recompositionnelle : une modularité interdomaine, en ensemble ouvert et tout au long de la vie, au-delà de la morphologie

Des chercheurs proposent de déplacer l'objectif de la robotique modulaire : plutôt que de construire des robots dont la structure change, concevoir des robots dont les capacités fondamentales peuvent évoluer. Publié sur arXiv (2609.37734, première version), le papier définit la « robotique recompositionnelle », une adaptation sur un ensemble hétérogène de modules couvrant le matériel, le logiciel, le calcul et les comportements. Chaque composant y est abstrait par les interfaces qu'il requiert et qu'il fournit, ce qui permet de raisonner sur l'ensemble de manière holistique. Les auteurs introduisent deux mesures : l'« intégration span », qui désigne l'étendue des domaines reconfigurables (cinémato-dynamique, perception, calcul, comportements de coordination de haut niveau), et l'« intégration inertia », qui mesure la résistance à la reconfiguration. Le texte s'appuie sur deux systèmes déployés et sur des travaux de recherche en cours, sans chiffres de performance dans le résumé disponible. Il s'agit d'un cadre conceptuel et d'une liste de questions ouvertes, pas d'un produit ni d'une démonstration commerciale. L'argument vise une limite du champ. Les travaux récents sur les robots modulaires savent changer de morphologie en ligne, choisir la morphologie à adopter et propager ce choix jusqu'à la planification de mouvement et au contrôle. Selon les auteurs, l'inertie d'intégration y est donc faible côté structure, mais reste élevée dans les autres domaines. Un robot reconfigurable dans un seul domaine a une capacité de changement limitée par rapport à un robot reconfigurable sur plusieurs. Pour les intégrateurs et les responsables industriels, cela déplace la question : changer un préhenseur ou un bras suffit rarement si la perception, le logiciel de contrôle et la logique de mission doivent être réécrits à la main. Le papier suggère que la valeur pratique de la modularité dépend des interfaces standardisées entre couches, pas seulement de connecteurs mécaniques. Ce constat rejoint les difficultés bien connues du déploiement, où le coût d'intégration domine souvent celui du matériel. Il s'agit toutefois d'une thèse à valider : aucune preuve d'un gain mesurable n'apparaît dans le résumé. Ce travail prolonge deux décennies de recherche sur les robots modulaires auto-reconfigurables, qui ont surtout optimisé la forme et la locomotion. Il croise aussi des courants actuels, comme les modèles vision-langage-action (VLA) généralistes, qui déplacent la capacité vers le logiciel, et les architectures logicielles à composants du type ROS. Les auteurs ne désignent pas dans ce résumé d'entreprises concurrentes ni d'acteurs européens. La suite est celle d'un programme de recherche : formaliser les interfaces entre modules, définir des critères de comparaison via l'intégration span et l'intégration inertia, puis tester la recomposition en environnement ouvert et sur la durée de vie du robot, dimensions annoncées par le titre (inter-domaines, ensemble ouvert, apprentissage tout au long de la vie).

Recherche❖Paper

1 source

38

818arXiv cs.RO 

Conception et validation d'une main robotique dextérique à tendons antagonistes, à fonctionnement bidirectionnel

Une équipe de chercheurs publie sur arXiv (référence 2609.36241) la conception d'une main robotique dextre anthropomorphe à 17 degrés de liberté, capable de saisir aussi bien côté paume que côté dos. La main mesure 200 mm de long, pèse 220 g et est imprimée en 3D. Son principe repose sur un routage de tendons antagonistes bidirectionnel. La flexion et l'extension (sauf pour l'articulation couplée) ainsi que l'abduction et l'adduction sont pilotées activement, sans ressort de rappel passif. Tous les degrés de liberté peuvent donc franchir leur position neutre et fermer une prise sur l'une ou l'autre face. Les mesures rapportées sont une erreur de transmission moteur-articulation de 3,0 % en moyenne, une bande passante articulaire moyenne de 13,2 Hz, une force maximale au bout du doigt de 29 N et une répétabilité de positionnement jusqu'à 0,15 mm. La main obtient un score de Kapandji de 8 et réalise les 33 types de prises de la taxonomie GRASP. Elle a aussi été testée sur des tâches de préhension côté paume et côté dos. Le travail s'attaque à une limite peu discutée des mains dextres. La plupart reproduisent la morphologie humaine et en héritent un espace de préhension à sens unique. Pour saisir depuis la face opposée, le poignet ou le bras doit se réorienter, ce qui coûte du temps, de l'espace et de la cinématique dans des cellules encombrées ou des tâches de manipulation en poche ou derrière un obstacle. Les mains réversibles existantes contournent le problème avec des doigts non anthropomorphes, souples ou spécialisés. Elles perdent alors la compatibilité avec les données de démonstration humaines, qui alimentent l'apprentissage par imitation et les VLA (vision-langage-action). Ici, la réversibilité est obtenue sans sacrifier la morphologie humaine. La compacité et la masse de 220 g sont un atout pour un montage sur bras collaboratif ou sur humanoïde. Il faut toutefois rester prudent. Il s'agit d'un prototype de laboratoire, validé sur banc et sur quelques tâches. Le papier ne donne ni endurance, ni fiabilité sur cycles longs, ni coût. Or l'usure et la tension des tendons sont les points faibles habituels des mains à câbles. Un Kapandji de 8 sur 10 indique aussi une opposition du pouce encore incomplète. Le contexte est celui d'une course à la main dextre, portée par les humanoïdes. Tesla vise une main à 22 DOF pour Optimus, Figure et son modèle Helix misent sur la manipulation à cinq doigts, et Shadow Robot, Sharpa ou Inspire proposent des mains commerciales ou de recherche. Presque toutes partagent l'asymétrie paume-dos que ce travail cherche à lever. Aucun partenaire industriel, calendrier de commercialisation ou publication du code n'est annoncé. La prochaine étape sera de valider l'approche en boucle fermée avec des politiques apprises, puis d'en tester la durabilité en conditions réelles.

Recherche❖Paper

1 source

38

819arXiv cs.RO 

Video2STL : ancrer des spécifications temporelles générées par un VLM pour l'apprentissage des robots

Video2STL est un cadre logiciel qui convertit des vidéos sans annotation d'actions en spécifications paramétriques de logique temporelle de signaux (Signal Temporal Logic, STL), puis s'en sert pour entraîner des robots. Un modèle vision-langage (VLM) en extrait une trace d'événements sémantiques indépendante de l'embodiment et construit une banque de spécifications symboliques. Le modèle fixe la structure de la tâche, tandis que les seuils numériques des prédicats et les bornes temporelles sont calibrés à partir de trajectoires robotiques réussies. Pour l'apprentissage, les auteurs séparent deux échelles de temps. Des spécifications à court horizon fournissent des récompenses denses via la robustesse quantitative sur fenêtre glissante. Un moniteur causal appliqué à une spécification à long horizon verse une récompense de progression unique pour chaque préfixe temporel valide. Sur quatre tâches de manipulation, Video2STL atteint 85,8 % de succès « au moins une fois » et 67,0 % de succès en fin d'épisode. Le PPO dense natif obtient 81,5 % et 59,5 %, et Text2Reward 65,0 % et 42,3 %. En locomotion quadrupède, les politiques générées avec Qwen-3.8 et GPT-5.6 atteignent 100 % de succès de 0,3 à 2,1 m/s, avec une efficacité énergétique restée compétitive à haute vitesse. Le point notable tient à la lisibilité de la récompense. Les méthodes actuelles transforment les images en scores de similarité ou de valeur scalaires, ou demandent à un modèle de fondation d'écrire directement du code de récompense. Dans les deux cas, la structure temporelle de la tâche reste difficile à inspecter, à ancrer dans le monde physique et à réutiliser. Une spécification STL se lit, se vérifie et se modifie, ce qui compte pour un intégrateur qui doit justifier le comportement d'une politique auprès d'un client. Le transfert entre morphologies, de vidéos humaines ou animales vers un robot, est aussi un argument pour réduire le coût de collecte de démonstrations dédiées. Les résultats appellent toutefois des réserves : l'écart avec le PPO natif est modeste (environ 4 points en succès unique), l'avantage sur Text2Reward est plus net, et l'évaluation porte seulement sur quatre tâches et un banc de locomotion, sans déploiement réel annoncé. Le seuil de succès en fin d'épisode, à 67 %, reste loin d'un niveau industriel. Ce travail s'inscrit dans la lignée des méthodes de récompense générées par LLM (Text2Reward, Eureka) et de l'apprentissage à partir de vidéos, qui butent sur la définition de ce qu'il faut transférer. La logique temporelle est déjà employée en robotique pour la vérification et la planification, mais rarement comme pont entre perception par VLM et apprentissage par renforcement. Il s'agit d'un preprint arXiv, accompagné d'une page projet, sans produit ni calendrier de commercialisation. Les prochaines étapes probables sont la validation sur robot physique, l'extension à des tâches plus longues et à des VLA (vision-language-action models) pour comparaison, et l'évaluation de la robustesse face à des spécifications erronées produites par le VLM.

Recherche❖Paper

1 source

38

820arXiv cs.RO 

T$^2$Mem : apprendre une mémoire au moment du test pour la robotique

Des chercheurs présentent sur arXiv T²Mem, un cadre qui donne une mémoire à une politique vision-langage-action (VLA) pré-entraînée qui n'en avait pas. La méthode repose sur l'entraînement au moment du test (test-time training). Le système ne retraite pas tout l'historique à chaque décision. Il encode les observations passées dans des « poids rapides » compacts, mis à jour en ligne par apprentissage auto-supervisé. Une interface ancrée dans les observations extrait l'information vision-langage qui alimente la mémoire, puis renvoie le contexte récupéré à l'action expert de la politique. L'entraînement alterne entre mémoire et politique, chacune restant figée pendant l'optimisation de l'autre. Sur les 16 tâches du benchmark RoboMME, le taux de succès moyen passe de 17,93 % à 56,83 % par rapport à la politique de base. T²Mem dépasse aussi les méthodes à mémoire récurrente rapportées dans ce benchmark. Les auteurs annoncent une inférence au moins trois fois plus rapide que les méthodes explicites, mesurée par profilage contrôlé. Ce travail s'attaque à une faiblesse structurelle des VLA. Ils décident surtout à partir de l'observation courante, alors que de nombreuses tâches de manipulation dépendent d'informations qui ne sont plus visibles, comme un objet masqué ou une étape déjà exécutée. Point notable : la mémoire est apprise à partir des seules démonstrations d'actions, sans modèle de raisonnement externe ni annotations dédiées. Cela réduit le coût de données et la complexité d'intégration. Le gain de latence compte pour les boucles de contrôle temps réel. Plusieurs réserves s'imposent. Il s'agit d'un préprint évalué sur benchmark, et le résumé ne mentionne ni validation sur robot physique ni déploiement. L'accélération est mesurée par les auteurs eux-mêmes. Enfin, 56,83 % de réussite moyenne reste loin d'une fiabilité industrielle. Le contexte est celui de politiques généralistes qui ont progressé en dextérité mais restent largement sans état. Les approches de mémoire existantes reposent sur des historiques explicites, des modules de raisonnement externes ou des mémoires récurrentes, d'où la comparaison menée ici avec ces dernières. Le résumé ne nomme pas la politique de base utilisée, ce qui limite pour l'instant la lecture de la portée du gain. Un site projet est annoncé. Les prochaines étapes à surveiller sont la reproduction sur d'autres politiques de base, les essais sur robots réels et une éventuelle reprise du principe dans les modèles de fondation robotiques commerciaux.

Recherche❖Paper

1 source

38

821arXiv cs.RO 

PreferenceFlow : guidage à l'inférence des politiques robotiques à flow matching à partir des interventions humaines

Des chercheurs proposent PreferenceFlow, une méthode qui améliore au moment de l'inférence une politique robotique « flow-matching » déjà entraînée, sans signal de récompense et sans modifier ses poids. Le principe : lorsqu'un opérateur humain reprend la main sur le robot, son segment d'action (« chunk ») est apparié à celui que le robot aurait généré depuis le même état de conditionnement. Ces paires servent à entraîner un modèle de préférence. À l'inférence, les auteurs reprennent la mise à jour d'échantillonnage QGF, en remplaçant son gradient de valeur par le gradient de préférence, calculé sur une estimation de l'action « propre ». Deux termes de perte encadrent ce guidage : une perte de plafonnement limite les gradients excessifs sur les paires d'intervention, et une perte de gradient nul décourage tout guidage près des actions issues de démonstrations expertes. Sur quatre tâches réelles d'insertion de précision avec un bras Franka, le taux de succès moyen atteint 90,5 %, contre 69 % pour la politique figée. Le travail est publié sur arXiv (2609.36872, première version) et n'a pas encore été relu par des pairs. L'enjeu est très concret pour les intégrateurs. Les politiques génératives (flow-matching ou diffusion, dont la famille Pi-0) savent exprimer des comportements complexes, mais elles dérapent face aux décalages de distribution rencontrés en production : une pièce légèrement déplacée, un jeu d'ajustement différent. Les correctifs classiques par apprentissage par renforcement exigent une fonction de récompense difficile à écrire en manipulation réelle, et un réentraînement du modèle de base. Ici, la correction passe par des interventions de téléopérateurs, déjà courantes en déploiement, sans toucher aux poids, ce qui simplifie la validation et évite de dégrader les compétences existantes. Le gain de plus de 21 points sur des insertions de précision est significatif, mais des réserves s'imposent : quatre tâches, un seul type de robot (Franka), aucun chiffre fourni sur le nombre d'interventions nécessaires ni sur le temps de cycle ou le surcoût de calcul du guidage. Les ablations indiquent que la régularisation des gradients et l'ordre correct des étiquettes de préférence comptent, mais seulement « dans les conditions évaluées ». Ce travail s'inscrit dans une série de méthodes visant à corriger les politiques VLA et génératives après entraînement : apprentissage à partir d'interventions humaines (type HG-DAgger), guidage par fonction de valeur (QGF, sur lequel PreferenceFlow s'appuie) et affinage par renforcement, plus lourd. L'approche par préférences locales se positionne entre ces options, avec un coût d'annotation réduit à des corrections ponctuelles. Les prochaines étapes à surveiller sont la démonstration sur d'autres embodiments, sur des politiques de grande taille comme Pi-0 ou GR00T, et sur des tâches longues, ainsi que la mesure de la latence ajoutée, déterminante pour la commande en temps réel. Aucun déploiement industriel ni produit n'est annoncé : il s'agit d'un résultat de recherche.

Recherche❖Paper

1 source

38

822arXiv cs.RO 

Repenser les représentations pour la modélisation monde-action

Des chercheurs proposent ReWAM, un modèle « monde-action » (world-action model) qui apprend conjointement une politique de contrôle robotique et la prédiction des observations futures, en s'appuyant sur des features DINO pré-entraînées plutôt que sur un pré-entraînement génératif vidéo. Sur le benchmark simulé RoboTwin 2.0, il atteint 93,6 % de réussite. Sur RoboDojo, il obtient un score moyen de 12,29 et un taux de succès de 8,28 %, avec environ 600 heures de données d'embodiment pour le pré-entraînement. Deux mécanismes structurent l'ensemble. Une Feature Calibration et un Temporal Representation Bottleneck compressent les features DINO en états du monde compacts, adaptés à la modélisation de la dynamique. Un Action-Grounded Representation Shaping n'achemine vers ce goulot que les gradients issus de la perte d'action. La politique décide ainsi de ce que la représentation encode, tandis que le modèle du monde apprend comment elle évolue. Il s'agit d'un travail de recherche (preprint arXiv), sans produit ni déploiement associé. L'intérêt tient à la conclusion des comparaisons contrôlées. Ni la fidélité de reconstruction, ni des features perceptuelles pré-entraînées prises isolément ne garantissent un apprentissage de politique efficace. Cela remet en cause une hypothèse répandue : les world models vidéo, coûteux à pré-entraîner, seraient la voie évidente vers des politiques généralistes. Ici, un espace latent compact, façonné par l'action, suffit à un score élevé sur RoboTwin 2.0 sans génération vidéo. Pour les équipes qui évaluent des architectures VLA (vision-language-action) ou monde-action, cela suggère qu'un budget de calcul peut se déplacer du pré-entraînement génératif vers la conception de la représentation. Deux réserves s'imposent. Les 93,6 % relèvent d'un benchmark simulé, qui ne dit rien du transfert sim-to-real. Et le 8,28 % sur RoboDojo montre qu'une tâche plus exigeante reste très loin d'être résolue, ce que le chiffre de RoboTwin masque. Ce travail s'inscrit dans la montée des modèles monde-action, qui cherchent à unifier la prédiction de futurs observés et le contrôle, en concurrence avec les VLA purs comme Pi-0 ou GR00T, et avec les approches fondées sur des modèles vidéo génératifs. Le choix de DINO prolonge l'usage des features auto-supervisées comme backbone visuel en robotique. Les prochaines étapes à surveiller sont une validation sur robot réel, des comparaisons à données de pré-entraînement équivalentes, et la publication du code et des poids. Le preprint ne mentionne pas de partenaire industriel ni d'acteur français ou européen.

Recherche❖Paper

1 source

38

823arXiv cs.RO 

MVG-WAM : modélisation monde-action intégrant la géométrie multi-vues pour la manipulation robotique

Des chercheurs publient MVG-WAM (Multi-View Geometry-Aware World-Action Model), un modèle monde-action pour la manipulation robotique, décrit dans le preprint arXiv 2609.37793. Il repose sur un modèle vidéo pré-entraîné qui prédit à la fois la dynamique visuelle et les actions. Le modèle atteint 99,1 % de réussite moyenne sur LIBERO et 92,07 % sur RoboTwin 2.0. En conditions réelles, il obtient 91,3 % de succès sur 150 essais répartis sur trois tâches, avec la plateforme bimanuelle Cobot Magic. Le résumé ne détaille ni les tâches, ni le nombre d'essais par tâche, ni la comparaison avec des modèles concurrents. Il ne s'agit ni d'un produit ni d'un déploiement, mais d'un résultat de recherche. Les World-Action Models (WAM) exploitent les connaissances visuelles des modèles vidéo pour piloter des bras robotiques. Leur point faible est l'interface multi-caméras. Les images synchronisées sont en général juxtaposées en mosaïque, ou leurs tokens sont concaténés. Les relations géométriques entre caméras restent donc implicites, ce qui complique le lien entre le contexte global de la scène et la géométrie locale nécessaire au contact. MVG-WAM traite les vues comme des projections d'un même monde physique. Il combine un état global contraint par la géométrie épipolaire avec des états géométriques propres à chaque vue. Un routage sensible aux caméras fournit à chaque région vidéo son contexte géométrique et l'état global partagé. Le modèle est aussi ancré à l'échelle métrique par une supervision de profondeur future à plusieurs horizons, sans décodage de profondeur pendant l'exécution des actions. Le coût d'inférence n'augmente donc pas. Ces résultats situent MVG-WAM dans la course aux politiques généralistes issues de modèles vidéo, face aux VLA (vision-langage-action) comme Pi-0 ou GR00T. Il faut relativiser les scores. LIBERO est quasi saturé, avec des performances proches de 99 % pour plusieurs méthodes, et il discrimine donc peu. RoboTwin 2.0 est un benchmark de simulation bimanuelle plus exigeant. Le test réel de 150 essais reste modeste, sur un seul robot, et sans détail sur les conditions ni les échecs. L'écart entre benchmark et terrain n'est donc pas mesuré. Pour les intégrateurs, l'intérêt est ailleurs. Les configurations multi-caméras sont la norme en atelier, et une représentation qui exploite explicitement la calibration pourrait améliorer la précision sans capteurs supplémentaires. Reste à savoir si le gain se confirme sur des scènes non vues et des cadences industrielles. Ce travail prolonge la vague des modèles monde-action, qui greffent la prédiction vidéo sur le contrôle robotique, en parallèle des VLA fondés sur des modèles vision-langage. Ces deux approches se disputent la position de fondation pour la manipulation. Le preprint n'annonce ni code, ni calendrier, ni pilote industriel, et n'a pas été relu par des pairs. La suite logique serait une évaluation sur d'autres plateformes, des tâches plus longues et des comparaisons directes avec les VLA et WAM de référence.

Recherche❖Paper

1 source

38

824arXiv cs.RO 

WayFinder : modèle vision-langage-action hiérarchique pour la génération de points de passage sans apprentissage préalable et le contrôle cinématique bas niveau

Des chercheurs proposent WayFinder, un cadre hiérarchique de type Vision-Langage-Action (VLA) destiné à la navigation autonome. Il évite le fine-tuning, coûteux et propre à chaque robot et à chaque tâche. L'architecture sépare deux niveaux. Un modèle de langage multimodal (MLLM) tourne hors du robot, en zero-shot. Il reçoit le contexte linguistique et des cartes d'état, puis génère des waypoints stratégiques. En parallèle et de façon asynchrone, une politique légère embarquée assure le contrôle cinématique en temps réel, à haute fréquence, à partir du retour continu des capteurs. Les tests ont eu lieu uniquement en simulation, dans Microsoft AirSim, sur quatre environnements de complexité variable et avec trois tailles de MLLM, pour arbitrer entre efficacité de prédiction et coût de calcul. Le MLLM n'est interrogé que lors des échecs de navigation. Les auteurs annoncent un taux de réussite supérieur aux politiques bas niveau de référence, avec un gain pouvant atteindre 27,45 %. Ce travail s'attaque à un point de friction connu des VLA : la généralisation impressionnante des modèles se heurte, sur le terrain, à une exécution peu fiable et à des coûts d'adaptation par plateforme. Découpler le raisonnement lent, délégué à un grand modèle distant, du contrôle rapide embarqué est une approche pragmatique pour un intégrateur. Elle évite de réentraîner un modèle pour chaque morphologie et limite les appels d'inférence coûteux, puisque le MLLM n'intervient qu'en cas de blocage. Il faut toutefois relativiser. Le « jusqu'à 27,45 % » est un maximum, dépendant de la configuration retenue. Le papier ne donne ici aucun résultat sur matériel réel, et l'écart entre simulation et déploiement reste entier. La dépendance à un modèle hors bord pose aussi la question de la latence et de la connectivité en environnement industriel. Enfin, la comparaison porte sur des politiques bas niveau de référence, pas sur d'autres VLA hiérarchiques. Le contexte est celui d'une littérature qui multiplie les architectures à deux niveaux, un module de raisonnement lent au-dessus d'un contrôleur rapide, illustrées côté humanoïdes par des systèmes comme Helix ou GR00T. WayFinder applique cette logique à la navigation, en s'appuyant sur AirSim, simulateur classique pour drones et véhicules. Il s'agit d'une prépublication arXiv (v1) et non d'un produit livré, sans partenaire industriel ni pilote annoncé. Les prochaines étapes utiles seraient une validation sur robot physique, une mesure de la latence de bout en bout et des comparaisons directes avec les autres approches hiérarchiques.

Recherche❖Paper

1 source

38

825arXiv cs.RO 

CogWAM : aligner la cognition sémantique et la modélisation du monde et de l'action via des interfaces événementielles

CogWAM, un modèle « monde-action » (world-action model) guidé par la cognition, est décrit dans un preprint arXiv (2609.37721v1). Son principe est de placer entre le raisonnement sur la tâche et l'apprentissage monde-action une interface sémantique explicite, appelée Semantic State. Cet état persistant mémorise les événements de la tâche déjà accomplis et la sous-tâche active. Il n'est mis à jour que lorsque les observations signalent une transition sémantique, si bien que le contexte de tâche survit à plusieurs séquences d'actions (action chunks). Deux familles de requêtes conditionnées par la progression, WORLD et ACTION, extraient l'information utile à la prédiction du futur et à la génération des commandes. À l'entraînement, le Semantic State fournit un contexte de progression commun aux deux branches. À l'inférence, la branche de prédiction est supprimée et les actions sont produites directement à partir des observations et de l'état maintenu. Sans pré-entraînement supplémentaire sur des actions de robot, le modèle atteint 15,56 de score et 11,70 % de taux de succès sur RoboDojo, et revendique l'état de l'art sur BiCoord. Les essais réels portent sur de la manipulation bimanuelle en boucle fermée, avec 16,4 régénérations du Semantic State en moins qu'une mise à jour à chaque pas de temps. Le texte ne précise ni la base de comparaison de ce chiffre, ni le nombre d'essais, ni les tâches réelles. L'intérêt tient à un problème connu des politiques robotiques récentes : additionner raisonnement sémantique et prédiction du monde futur ne garantit pas que les prédictions locales et les actions restent cohérentes avec l'avancement de la tâche. En rendant la progression explicite et en ne la recalculant que sur événements, CogWAM vise aussi le coût de calcul, puisque retirer la branche de prédiction à l'inférence allège le déploiement. Pour un intégrateur, la persistance du contexte sur des tâches longues à deux bras est le vrai sujet, plus que le score. Il faut cependant relativiser. Un taux de succès de 11,70 % sur RoboDojo reste très bas en valeur absolue, et ce type de benchmark simulé ne dit rien de la fiabilité en production. Aucun temps de cycle, aucune plateforme matérielle ni aucun taux de succès réel ne sont fournis. On reste au stade de la recherche académique, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la convergence entre modèles vision-langage-action (VLA), tels que Pi-0, GR00T ou Helix, et modèles du monde qui prédisent les observations futures. Le premier ensemble apporte la généralisation sémantique. Le second apporte une représentation de la dynamique physique. La difficulté est de les faire coopérer sur des horizons longs. CogWAM propose une réponse par une mémoire d'événements structurée, là où d'autres approches s'appuient sur des planificateurs hiérarchiques ou sur des contextes visuels longs. Le preprint ne mentionne aucun pilote, aucune diffusion de code ni aucun calendrier. Les prochaines étapes à surveiller sont une évaluation sur davantage de tâches réelles, des comparaisons directes avec les VLA de référence et une éventuelle publication des poids.

Recherche❖Paper

1 source

38

826arXiv cs.RO 

RoboFin3D : une plateforme de transfert simulation-réel pour la finition robotisée de surfaces

Des chercheurs présentent RoboFin3D, une plateforme de simulation vers réel (sim-to-real) dédiée à la finition de surface robotisée, publiée sur arXiv sous la référence 2609.37560v1. Elle repose sur Isaac Sim, le simulateur de NVIDIA, et sur le moteur physique Newton, et reproduit les opérations de meulage et de ponçage avec une physique de contact. La géométrie de la pièce, qui change à mesure que la matière est enlevée, est représentée par un champ de distance signé (SDF). Celui-ci sert au calcul des contacts, à la mise à jour en direct et au rendu, sans maillage intermédiaire. Un second champ, dit de surface, modélise l'évolution progressive de l'aspect pendant le ponçage. Les auteurs ajoutent WeldGen, un module d'échantillonnage de cordons de soudure, qui génère des soudures sur 8 918 maillages de pièces réelles pour produire des assets variés. Les paramètres de simulation sont calibrés sur des essais physiques, et l'évaluation compare la fidélité du simulateur au monde réel. Côté perception, un fine-tuning de SAM2 avec des données uniquement simulées fait passer l'IoU (intersection sur union) de segmentation des zones non poncées de 77,15 % à 84,47 %. En combinant données synthétiques et réelles, il atteint 97,41 %. Il s'agit d'une publication de recherche, pas d'un produit commercialisé, et aucun déploiement industriel n'est mentionné. Le meulage et le ponçage sont parmi les tâches les plus difficiles à automatiser en robotique industrielle. Elles reposent sur un contact continu, une force contrôlée et une pièce dont la forme change pendant l'opération. Les essais physiques consomment des pièces et se reproduisent mal, ce qui freine la comparaison entre méthodes et l'entraînement de politiques apprises. Un simulateur qui met à jour la géométrie en temps réel et reste calibré sur des mesures réelles répond à ce blocage. Le résultat sur SAM2 montre aussi que la donnée synthétique seule apporte un gain net, environ 7 points d'IoU. Elle ne suffit toutefois pas, puisque l'écart avec les 97,41 % du mélange synthétique et réel reste important. Le sim-to-real n'est donc pas résolu pour cette tâche : la simulation sert surtout à réduire le besoin de données réelles annotées. Pour les intégrateurs, l'intérêt est de valider des trajectoires et des stratégies d'inspection avant de sacrifier des pièces. Les auteurs ne donnent ni temps de cycle ni comparaison directe avec des procédés industriels en production, et la fidélité n'est démontrée que sur leurs propres essais. Ce travail s'inscrit dans l'essor d'Isaac Sim et de Newton, moteur physique porté par l'écosystème NVIDIA, qui cherche à étendre la simulation à des tâches riches en contacts, au-delà de la manipulation d'objets rigides. La finition de surface reste un terrain occupé par des cellules robotisées sur mesure et par des opérateurs qualifiés, notamment en soudure, en carrosserie et en aéronautique. Les jeux de données synthétiques et la simulation calibrée sont l'une des voies pour entraîner les modèles vision-action sur ces procédés. La suite logique serait de tester des politiques de contrôle de force apprises en simulation puis transférées sur robot, et de valider la plateforme sur d'autres matériaux et abrasifs. Le papier ne mentionne ni code ouvert ni partenaire industriel.

Recherche❖Paper

1 source

38

827arXiv cs.RO 

Sélection de candidats adaptée à l'exécuteur via un certificat de faisabilité

Une équipe de chercheurs propose, dans un preprint arXiv (2609.36597), un cadre de sélection de candidats fondé sur un « certificat de faisabilité » pour les architectures robotiques modulaires. Dans ces systèmes, le planificateur de mouvement est séparé d'un exécuteur en aval, qui applique des contraintes dures dépendant de l'état. Un candidat géométriquement valide peut donc se révéler incompatible avec l'ensemble de commandes réellement disponible pour l'exécuteur. La méthode construit un « témoin de commande » à partir de l'ensemble de contraintes dures de l'exécuteur, aux états prédits le long de la trajectoire simulée, puis le vérifie face aux contraintes d'origine. La génération des candidats, leur classement et l'exécuteur restent inchangés. Sur 5 085 évaluations numériques à géométrie valide, réparties sur deux modèles de robots, 795 n'admettaient aucune commande faisable par l'exécuteur. Aucune de ces 795 n'a été certifiée, mais 7,09 % des cas faisables de référence restent non certifiés. Le résultat est utile pour les intégrateurs, car il chiffre un écart que les piles logicielles masquent souvent : environ 16 % des candidats validés par la géométrie (795 sur 5 085) ne pouvaient de fait pas être exécutés. Le certificat est suffisant mais conservateur : il ne produit aucun faux positif sur cet échantillon, au prix d'un rejet de certains candidats pourtant exécutables. Les simulations contrôlées sur bras FR3 et sur RB-Y1 à base fixe montrent que l'admission par certificat modifie fréquemment le candidat retenu. Une base de comparaison par programmation linéaire (LP) exacte, calculée a posteriori, révèle un conservatisme dépendant de la plateforme. Le compromis n'est pas gratuit : par rapport à la sélection purement géométrique, l'admission par certificat s'accompagne d'une couverture plus faible des commandes du planificateur et d'une erreur de suivi nominale plus élevée, sans avantage constant en réserve d'interaction à l'état atteint. Il s'agit donc d'un garde-fou de faisabilité, pas d'un gain de performance. Ces résultats proviennent uniquement de simulation, sans validation sur matériel. Le travail s'inscrit dans le découpage classique entre planification (MoveIt, OMPL) et exécution, où les contraintes de l'exécuteur ne remontent pas jusqu'au planificateur. Plutôt que de réécrire l'un ou l'autre, les auteurs ajoutent une couche d'admission, ce qui la rend compatible avec des chaînes existantes. Une étude complémentaire avec MoveIt/OMPL applique la même règle à des ensembles de candidats produits par un planificateur externe. Le FR3 est le bras de Franka Robotics et le RB-Y1 est une plateforme de Rainbow Robotics, mais le préprint ne mentionne aucun acteur européen ni aucun pilote industriel. La suite logique passe par des essais sur robots réels, par une réduction du conservatisme du certificat et par une évaluation sur des exécuteurs de production.

Recherche❖Paper

1 source

38

828arXiv cs.RO 

BlenDAgger : contrôle partagé par mélange pour l'apprentissage par imitation interactif

Des chercheurs proposent Blended DAgger (BlenDAgger), une méthode de collecte de données pour l'apprentissage par imitation, décrite dans un preprint arXiv. Lors des interventions humaines, le système ne laisse pas l'opérateur prendre le contrôle total du robot. Il mélange en continu les actions de la politique et celles du démonstrateur, selon un principe de contrôle partagé. La méthode a été testée sur cinq tâches de manipulation, deux en conditions réelles et trois en simulation. Sur les deux tâches réelles, la politique finale atteint une performance autonome supérieure d'au moins 30 points de pourcentage à celle obtenue avec HG-DAgger, la référence où l'humain reprend la main de façon binaire. Les transitions entre politique et intervention humaine sont 57 % plus fluides, et les trajectoires corrigées sont 14 % plus proches des données d'entraînement. Une étude utilisateur (n=14) sur les deux tâches réelles montre une collecte plus rapide (facteur de Bayes de 13,32), sans différence perçue subjectivement par les opérateurs. L'enjeu est le coût de la donnée corrective, principal goulot d'étranglement des politiques de manipulation entraînées par imitation. La téléopération complète pour corriger un robot est fatigante, et les démonstrations humaines sont rarement optimales. Un opérateur qui ne fait que guider la politique produit des données plus cohérentes avec sa distribution. Cela réduit le décalage entre ce que le robot sait faire et ce qu'on lui enseigne, et pourrait diminuer le temps opérateur nécessaire pour affiner une politique, un poste de coût réel pour les intégrateurs. Les résultats restent toutefois ceux d'un laboratoire. Le résumé ne précise ni les tâches, ni le robot, ni les taux de réussite absolus, ni le nombre de démonstrations. Un écart de 30 points peut donc partir d'une base basse. L'échantillon de 14 participants reste modeste. Cette approche s'inscrit dans la lignée de DAgger (2011) et de HG-DAgger (2019), qui ont popularisé l'apprentissage par imitation interactif. Elle rejoint la vague actuelle du fine-tuning de politiques généralistes à partir de corrections humaines, comme les VLA de type Pi-0 ou GR00T. Le preprint n'annonce ni code, ni déploiement industriel, ni calendrier. Aucun acteur français ou européen n'est cité dans le résumé. La suite dépendra d'une validation sur d'autres robots, d'autres tâches et de plus gros modèles.

Recherche❖Paper

1 source

38

829arXiv cs.RO 

Modélisation unifiée vision-toucher-action à partir de démonstrations humaines pour la manipulation dextérique

Des chercheurs proposent UVTA, un cadre qui exploite des démonstrations humaines enregistrées avec retour tactile pour améliorer les politiques de manipulation dextre des robots. L'équipe a d'abord construit un système de capture de mouvement tactile, qui enregistre de façon synchrone les images, les signaux tactiles et les mouvements de la main. Avec cet outil, elle a constitué le jeu de données UVTA, qui couvre cinq tâches riches en contacts. Il comprend 1 000 démonstrations humaines et 150 démonstrations robot par tâche. Le modèle associé, un Unified Visual-Tactile-Action Model, projette l'humain et le robot dans des représentations tactiles et d'action alignées. Il prédit conjointement les trajectoires futures d'action et de toucher. Les démonstrations humaines supervisent ainsi l'apprentissage de représentations sensibles au contact, et seules les actions du robot sont exécutées au déploiement. Lors d'évaluations sur robot réel, sur les cinq tâches, la méthode atteint 70 % de réussite moyenne. La meilleure base de comparaison visuo-tactile plafonne à 29 %, et une ablation d'architecture à 42 %. L'enjeu tient au goulot d'étranglement des données tactiles. La téléopération de mains dextres ne renvoie à l'opérateur qu'un retour tactile limité, ce qui rend les démonstrations robot riches en toucher difficiles à collecter à grande échelle. Les auteurs contournent le problème avec l'hypothèse que la main change mais que la physique de l'interaction reste la même. Les données humaines deviennent alors une source de supervision plus abondante et plus variée. Les performances progressent avec le nombre de démonstrations humaines et ne saturent pas à 1 000 par tâche. Cela suggère qu'une montée en volume pourrait encore améliorer les résultats, sans que le papier le démontre au-delà. Pour les intégrateurs et les équipes qui développent des politiques de préhension fine, l'idée est de déplacer l'effort de collecte du robot vers l'humain, moins coûteux. Elle vise les tâches où la vision seule échoue, comme l'insertion, la manipulation en occlusion ou le contrôle de force. Il s'agit d'un travail académique, pas d'un produit, et il faut lire les chiffres avec prudence. Le score de 70 % porte sur seulement cinq tâches, avec 150 démonstrations robot par tâche, dans un cadre de laboratoire. Le résumé ne précise ni la main utilisée, ni les capteurs tactiles, ni le nombre d'essais, ni la nature exacte des tâches. L'écart avec les bases de comparaison (29 % et 42 %) est net, mais il dépend de choix de baselines que seul le texte complet permet d'apprécier. Le papier s'inscrit dans un courant de recherche qui cherche à apprendre la manipulation à partir de vidéos et de gants de capture humains, pour dépasser la téléopération. Il ajoute ici la modalité tactile, encore peu présente dans les grands modèles vision-langage-action (VLA). La version 2 de l'article sur arXiv et une page projet (uni-vta.github.io) sont disponibles. Aucun déploiement industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

38

830arXiv cs.RO 

Certificats de sécurité géométriques robustes face aux adversaires pour robots non holonomes et obstacles en manœuvre

Des chercheurs proposent, dans une prépublication arXiv (2609.37126v1), un certificat de sécurité géométrique conçu pour la navigation de robots non holonomes face à des obstacles capables de manoeuvrer activement dans des limites bornées. Le travail introduit les AR-DPCBF (Adversarially Robust Dynamic Parabolic Control Barrier Functions). Le principe est de tenir compte du pire effet possible des manoeuvres admissibles de l'obstacle directement dans la géométrie de l'ensemble sûr, par une contraction en forme close des paramètres du certificat. Les auteurs démontrent des conditions suffisantes d'invariance avant de l'ensemble contracté, sous une dynamique de type bicyclette cinématique à entrées bornées. Quand la capacité de l'obstacle est inconnue, un estimateur à fenêtre glissante fournit une borne supérieure à haute probabilité, et la garantie est conservée avec la probabilité de couverture correspondante. Des variantes « souple » et « tamponnée » restaurent la faisabilité dans les environnements denses. Les simulations, menées en variant capacités, densités d'obstacles et écarts de capacité, montrent une baisse substantielle des violations de barrière et des collisions. Aucun chiffre précis n'est donné dans le résumé, et il s'agit de résultats de simulation uniquement, sans essai sur robot réel. L'intérêt est double. Les méthodes de fonctions barrières de contrôle (CBF) robustes traitent d'ordinaire les actions de l'obstacle comme une perturbation générique, donc trop conservatrice ou mal calibrée. Les approches par jeux différentiels, plus fidèles, restent trop coûteuses en calcul pour de la navigation en ligne. Ici, la propriété structurelle des certificats en ligne de vue (LoS) fait que les actions du robot et de l'obstacle entrent par un même gain géométrique dépendant de l'état. Ce gain s'annule dans la comparaison du pire cas, et le jeu se réduit à comparer la capacité de manoeuvre de l'obstacle à la plus faible des autorités longitudinale et de direction du robot. Pour un intégrateur, cela ouvre la voie à des garanties formelles légères pour des AMR ou véhicules à direction de type voiture évoluant parmi des chariots, humains ou autres robots. Le résultat contredit aussi l'idée qu'une robustification ponctuelle de la dérivée de la barrière suffirait : selon les simulations, c'est la géométrie du certificat qu'il faut contracter. Ce travail s'inscrit dans la lignée des CBF, devenues un outil standard pour filtrer les commandes d'un planificateur ou d'une politique apprise, y compris les VLA. Les limites sont claires : modèle cinématique simplifié, obstacles à capacité bornée et estimée statistiquement, et absence de validation matérielle. Les suites logiques seraient des essais sur plateformes réelles et une extension à des dynamiques plus riches. Le texte ne cite aucun acteur industriel ni européen.

Recherche❖Paper

1 source

38

831arXiv cs.RO 

Apprendre la navigation sociale à partir de vidéos Internet dans l'espace d'états de la politique

Des chercheurs proposent, dans un preprint arXiv (v1), un pipeline qui transforme de simples vidéos monoculaires de personnes en train de marcher en environnements d'entraînement en boucle fermée pour la navigation sociale de robots. Le système ne reconstruit ni ne rend d'observations photoréalistes. Il représente la scène statique par une carte de traversabilité métrique, qui subit une transformation rigide lorsque le robot se déplace de façon contrefactuelle. Les trajectoires des piétons extraites de la vidéo sont rejouées telles quelles dans le temps. La dynamique directe est donc définie dans l'espace d'état de la politique elle-même. La politique entraînée atteint 81,2 % de réussite sur le benchmark indépendant Arena, contre 75,0 % pour la meilleure base de comparaison, et réussit 19 essais réels sur 20 sans fine-tuning. Le résumé ne précise ni la plateforme robotique, ni les sites d'essai, ni le nombre de vidéos utilisées. L'intérêt tient au coût des données. Entraîner une politique robuste de navigation sociale exige des simulateurs variés, avec des agencements de scènes, des terrains et des mouvements humains divers. Construire ces mondes et scripter le comportement des piétons reste long et cher. En s'appuyant sur des vidéos disponibles sur Internet, cette approche déplace le goulot d'étranglement de la modélisation manuelle vers la collecte de vidéos. Elle contourne aussi une partie du problème sim-to-real : comme la politique n'apprend pas sur des images synthétiques, l'écart visuel entre simulation et réel se réduit. L'hypothèse défendue est que la navigation locale dépend surtout de deux informations, la zone traversable et le mouvement des piétons proches. Le résultat de 19/20 la soutient, mais avec des réserves. Le gain de 6,2 points sur Arena est réel sans être spectaculaire. Vingt essais réels donnent un intervalle de confiance large. Le rejeu de trajectoires enregistrées suppose aussi que les piétons ne réagissent pas au robot, ce qui limite la fidélité des interactions. Le travail s'inscrit dans une lignée de recherches sur la navigation sociale : simulateurs à foules scriptées, apprentissage par renforcement dans des scènes synthétiques, puis apprentissage à partir de vidéos humaines. Il rejoint la tendance plus large qui consiste à exploiter des données vidéo à grande échelle pour l'entraînement de politiques robotiques. Les prochaines étapes probables sont des tests sur plusieurs morphologies (quadrupèdes, humanoïdes), dans des foules plus denses et avec des piétons réactifs. La question de la transposition aux plateformes commerciales, notamment aux robots mobiles opérant dans des espaces partagés, restera ouverte tant que le code, les données et les conditions d'essai ne seront pas publiés et reproduits indépendamment.

Recherche❖Paper

1 source

38

832arXiv cs.RO 

LexiconVLA : apprentissage de codebooks d'actions atomiques réutilisables pour des tâches inédites

Des chercheurs proposent LexiconVLA, une méthode qui construit un « lexique » d'actions atomiques réutilisables pour aider les modèles vision-langage-action (VLA) à généraliser à des tâches jamais vues. Le travail, publié sur arXiv, s'appuie sur un jeu de données maison, AtomAction, qui compte 57 803 segments issus de 69 tâches. Deux codebooks sont appris : l'un, global, capture la structure d'interaction partagée entre tâches (saisir, pousser, insérer), l'autre, de détail, conserve les variations fines d'exécution. Un module d'alignement visuel-action couple la reconstruction de trajectoire à partir des changements d'état visuels et la prédiction du résultat visuel à partir des codes d'action. Un planificateur et un adaptateur sensible à la scène traduisent un nouvel objectif en sous-tâches conditionnées par ces codes, exécutées par une politique unique. Aucun expert spécialisé par compétence ni mise à jour de paramètres au déploiement n'est nécessaire. Sur 26 tâches du benchmark RLBench et cinq architectures de politique, la performance est globalement maintenue sur les 18 tâches vues, et progresse sur les 8 tâches exclues de l'entraînement de la politique. Avec BridgeVLA, le taux de succès sur tâches inédites passe de 16,67 % à 34,17 % (+17,50 points), pour un succès global de 71,08 %, le plus élevé parmi les méthodes ayant publié des résultats. L'intérêt tient d'abord au diagnostic : les auteurs montrent qu'un VLA peut réussir une tâche sans exécuter de manière cohérente les actions atomiques qui la composent d'un contexte à l'autre. Autrement dit, un taux de succès élevé sur des tâches connues masque une compétence fragmentée, difficile à recomposer face à un objectif nouveau. Pour un intégrateur, c'est un rappel que la généralisation zéro-shot des VLA reste faible : même avec l'amélioration annoncée, deux tâches inédites sur trois échouent encore. L'approche a néanmoins un atout pratique, celle d'ajouter une couche de réutilisation sans réentraîner la politique ni multiplier les experts, ce qui limite le coût de mise à jour en production. Il faut toutefois relativiser. Les résultats proviennent d'un benchmark simulé, RLBench, sur un échantillon restreint de 8 tâches tenues à l'écart, et la comparaison « meilleur parmi les méthodes rapportant des résultats » exclut celles qui ne publient pas leurs chiffres. Les expériences sur robot réel sont décrites comme démontrant l'exécution pas à pas et la reprise sur échec, sans métriques chiffrées dans le résumé. Le travail s'inscrit dans la course à la composabilité des VLA, aux côtés des approches de type Pi-0, GR00T ou Helix, qui misent plutôt sur l'échelle des données et la couverture. Il s'agit d'une publication de recherche, sans produit ni déploiement annoncé. La suite dépendra de la validation sur davantage de tâches réelles et de la disponibilité du jeu de données et du code.

Recherche❖Paper

1 source

38

833arXiv cs.RO 

Distillation de fonctions de barrière de contrôle privilégiées en filtres de sécurité RGB seul pour la navigation visuelle dynamique

Des chercheurs proposent une méthode pour doter les politiques de navigation visuelle « RGB seul » d'une couche de sécurité embarquée, sans reconstruction 3D ni rendu en ligne. Le travail, publié sur arXiv (2609.36520) avec une page projet, repose sur une distillation enseignant-élève. L'enseignant est une Control Barrier Function (CBF), un filtre mathématique qui corrige une commande jugée dangereuse pour maintenir le robot dans un ensemble sûr. Il exploite des états « privilégiés » (position du robot et des obstacles réels) dans un environnement dynamique real-to-sim en Gaussian Splatting. L'élève, un filtre de sécurité, reçoit un court historique d'images RGB, la vitesse du robot et l'action nominale de la politique de navigation, et renvoie directement une action sûre. Au déploiement, seuls l'image et la vitesse sont nécessaires. Aucun chiffre de latence, de taux de collision ou de plateforme matérielle n'apparaît dans le résumé. Pour réduire l'écart d'information entre enseignant et élève, l'enseignant ne construit ses contraintes qu'à partir des obstacles visibles dans l'historique d'images de l'élève. Il intègre aussi une incertitude sur la vitesse des obstacles, pour tolérer des mouvements variés. Enfin, une augmentation d'actions expose l'élève à des commandes nominales sûres et dangereuses, afin qu'il apprenne mieux la frontière de sécurité. Les auteurs affirment surpasser les CBF visuelles de référence et améliorer la sécurité de politiques de navigation RGB sous obstacles mobiles, mais les gains chiffrés et les baselines exactes ne sont pas précisés dans le texte disponible. L'enjeu est pratique pour les intégrateurs : les politiques de navigation de bout en bout entraînées en imitation ou par apprentissage par renforcement restent fragiles face à des piétons ou à d'autres véhicules, et les approches CBF visuelles existantes exigent du rendu en temps réel ou une reconstruction de scène, coûteux pour un calcul embarqué. Déplacer ce coût vers l'entraînement rend un filtre de sécurité plausible sur des robots mobiles à capteurs limités. Il faut toutefois rester prudent : le résultat est académique, les évaluations décrites relèvent probablement en partie de la simulation, et une distillation ne fournit pas les garanties formelles d'une CBF exacte. La question de la certification reste donc ouverte pour un usage industriel. Ce travail s'inscrit dans deux tendances : la montée des modèles de navigation RGB de bout en bout, plus légers en capteurs que le LiDAR, et l'usage du Gaussian Splatting comme pont entre données réelles et simulation pour l'entraînement de politiques robotiques. Les filtres de sécurité par CBF, souvent comparés aux approches de type shielding, servent déjà de couche de protection au-dessus de contrôleurs appris. La suite logique serait une validation sur robot réel, des mesures de latence embarquée et des tests dans des scènes plus denses. Aucun partenaire industriel, pilote ou calendrier n'est annoncé.

Recherche❖Paper

1 source

38

834arXiv cs.RO 

RawVLA : un processeur d'images neuronal incarné pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv RawVLA, un processeur d'image neuronal (neural ISP) conçu pour les politiques vision-langage-action (VLA) de manipulation robotique. Le point de départ est un angle mort du secteur : les VLA reçoivent presque toujours des images RGB produites par l'ISP fixe de la caméra, un module matériel qui convertit les données brutes du capteur (RAW) en image exploitable. Ce pipeline d'imagerie reste donc hors de la boucle d'apprentissage et d'évaluation. Les auteurs ont mesuré son influence sur cinq dimensions : le gain, le bruit du capteur, la réponse chromatique, la réponse tonale et la profondeur de bit. Le traitement RAW vers RGB modifie sensiblement les actions prédites et le taux de réussite des manipulations, et chaque dimension pèse d'un poids très différent. Sur cette base, ils proposent RawVLA, un ISP neuronal en flux continu qui rend les observations RAW pour des politiques VLA gelées, sans réentraînement. Sa capacité est concentrée sur les facteurs d'imagerie utiles au comportement incarné. Ils publient aussi RawVLA-Bench, un benchmark de manipulation en domaine RAW qui traite le traitement d'image comme une variable d'évaluation explicite, en conditions d'acquisition propres et dégradées. Selon les auteurs, RawVLA maintient les performances en conditions standard et améliore nettement la robustesse quand l'imagerie se dégrade. Le résumé ne donne aucun chiffre : ni gain, ni taux de réussite, ni latence, ni modèle de VLA testé. Ces points sont à vérifier dans l'article complet. Le résultat compte pour les intégrateurs, car une partie de l'écart entre démonstration et réalité vient peut-être de la caméra elle-même. Un VLA entraîné sur des images bien exposées peut se dégrader en entrepôt sombre, sous éclairage variable ou avec un capteur bruité, sans que ni le modèle ni la simulation soient en cause. Le fait que l'ISP soit une variable d'évaluation à part entière suggère que les benchmarks actuels, presque tous en RGB propre, surestiment la robustesse réelle. L'approche est aussi pragmatique : un module d'adaptation placé devant une politique gelée évite de réentraîner un modèle de fondation. Ce travail s'inscrit dans le mouvement des modèles VLA généralistes comme Pi-0, GR00T ou Helix, qui ont concentré l'effort sur l'architecture et les données, en laissant la chaîne d'acquisition aux réglages constructeur. Les recherches sur la robustesse visuelle se limitaient jusqu'ici surtout à des perturbations appliquées en RGB. RawVLA déplace le problème en amont, vers le capteur. Il reste une publication de recherche v1, non évaluée par les pairs, dont le code, le benchmark et la validation sur robot réel restent à confirmer. Les suites logiques sont une adoption de RawVLA-Bench par d'autres équipes, des tests sur plusieurs familles de VLA et une intégration au plus près des caméras embarquées.

Recherche❖Paper

1 source

38

835arXiv cs.RO 

F4R : reconnaissance, reconstruction, raffinement et redéploiement guidés par les échecs pour l'auto-amélioration continue des robots

Des chercheurs proposent F4R (Failure for Rising), un cadre d'apprentissage en boucle fermée « real-to-sim-to-real » qui transforme les échecs observés en conditions réelles en améliorations ciblées d'une politique de type vision-langage-action (VLA). Le système enchaîne quatre étapes : un agent identifie et diagnostique automatiquement les échecs à partir des rollouts, chaque échec est reconstruit sous forme d'environnement de table interactif centré sur les objets, la politique est affinée par un co-entraînement simulation/réel conditionné par l'échec puis par de l'apprentissage par renforcement ciblé dans ces environnements reconstruits, et la politique améliorée est redéployée. Les nouveaux échecs alimentent le cycle suivant. Sur quatre tâches de manipulation testées en conditions réelles, F4R atteint 93,75 % de réussite en distribution et 90,0 % hors distribution (OOD). Il devance de 18,75 points de pourcentage, en OOD, une base de comparaison à budget égal, le Targeted BC (clonage comportemental ciblé), et ce sans collecte de nouvelles démonstrations correctives dans le monde réel. L'enjeu est très concret pour les intégrateurs et les équipes qui déploient des VLA. La réponse habituelle à un échec en production consiste à collecter de nouvelles démonstrations d'experts, ce qui coûte cher, demande du temps opérateur, peut être risqué pour le matériel et se met mal à l'échelle. Déplacer la correction vers la simulation, à partir de scènes reconstruites à partir de l'échec réel, viserait à réduire ce goulot d'étranglement. Si ces résultats se confirment, ils indiqueraient qu'un écart de robustesse hors distribution peut se combler sans téléopération supplémentaire, et que la reconstruction ciblée permet de contourner en partie le problème du sim-to-real, généralement traité avec des simulateurs génériques. Des réserves s'imposent : l'évaluation ne porte que sur quatre tâches de table, avec des objets manipulés simples, et l'article ne détaille pas ici le nombre d'essais ni les modèles de base. Les gains sont mesurés face à une seule base à budget égal, et la transposition à des scènes encombrées, à des objets déformables ou à des cellules industrielles reste à démontrer. Ce travail s'inscrit dans la course à la fiabilité des politiques généralistes de type Pi-0, Helix ou GR00T, dont les performances réelles restent limitées par la couverture des démonstrations et par une compréhension encore partielle des interactions physiques. Il prolonge les approches de real-to-sim et de réglage par renforcement de VLA, ainsi que les boucles de « data flywheel » que les acteurs industriels revendiquent pour leurs flottes. La différence tient ici à l'automatisation du diagnostic et à la reconstruction de chaque échec comme environnement d'entraînement. Il s'agit d'une publication de recherche sur arXiv (version 2 remplaçant la précédente), sans produit ni déploiement commercial annoncé. La suite logique serait de valider la méthode sur des robots plus variés, des tâches plus longues et des cadences industrielles, avant d'envisager une intégration dans des chaînes de déploiement continu.

Recherche❖Paper

1 source

38

836arXiv cs.RO 

HACo : apprendre la compliance haptique active pour une manipulation dextérique sensible aux forces

Des chercheurs présentent HACo (Haptic Active Compliance), une politique de manipulation dextre qui apprend à réguler les forces de contact directement à partir de retours haptiques. Le système combine deux sources de signal habituellement traitées séparément : les réponses tactiles locales des bouts de doigts et les couples articulaires, qui renseignent sur la transmission des charges à travers toute la main articulée, y compris pour les contacts hors de la zone couverte par les capteurs tactiles. Côté données, une téléopération à conformité régulée convertit les commandes de l'opérateur en actions compliantes exécutables par le contrôleur, qui conservent l'intention de mouvement tout en limitant les efforts. HACo apprend ces actions directement, en utilisant l'écart entre commande et état comme supervision auxiliaire de l'intention compliante. Un module de « Compliance Grounding » s'appuie sur une attention croisée haptique à portes (gated cross-attention) pour ancrer la génération d'actions dans l'état haptique courant, sans modélisation explicite du contact en ligne. Le banc d'essai réel couvre la friction multi-contact, l'interaction tangentielle, le contact fragile sur surface courbe, le couple de rotation et les objets déformables. Sur 20 essais par tâche, HACo atteint 83 % de réussite moyenne, contre 35 % pour la meilleure base de comparaison évaluée. L'écart est net, mais il porte sur un protocole de 20 essais par tâche, soit une marge d'incertitude non négligeable sur chaque score individuel. Le résultat reste significatif pour l'industrie : les politiques visuo-motrices actuelles, y compris les VLA, échouent souvent dès que la tâche exige de doser l'effort plutôt que de simplement atteindre une pose. Les cibles d'action habituelles posent deux problèmes. Soit elles encodent des charges excessives, soit elles omettent le mouvement contraint par l'objet. HACo suggère que la conformité peut être apprise de bout en bout plutôt que déléguée à un contrôleur d'impédance réglé à la main. Pour les intégrateurs travaillant sur l'assemblage, la manipulation d'objets fragiles ou déformables, c'est un axe de recherche à suivre. Le papier ne précise toutefois pas ici la main utilisée, le coût des capteurs, ni la généralisation à des objets ou des scènes non vus, et il ne s'agit pas d'un produit. Ce travail s'inscrit dans la montée de la manipulation dextre guidée par le toucher, après une période dominée par la vision et le langage, où les jeux de données de téléopération ne contiennent que des positions cibles. Il s'agit d'une prépublication arXiv (v1) : elle n'a pas été évaluée par des pairs, et aucun déploiement industriel ni calendrier de transfert n'est annoncé. Les acteurs de l'humanoïde, dont Figure, Tesla ou Sanctuary, ont besoin de mains dotées de retour tactile, mais publient peu de détails sur la régulation de force. La suite logique sera la comparaison avec d'autres politiques tactiles sur des plateformes différentes, et la vérification que le gain de 83 % contre 35 % se maintient hors du benchmark des auteurs.

Recherche❖Paper

1 source

38

837arXiv cs.RO 

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain

Des chercheurs publient EgoHumanoid-V2 (arXiv 2609.37181), un cadre de transfert de compétences d'un humain vers un robot humanoïde à partir de vidéos égocentriques, c'est-à-dire filmées depuis le point de vue de l'opérateur. Il vise la loco-manipulation coordonnée du corps entier, où la marche et l'usage des bras sont planifiés ensemble. Son cœur est un alignement d'actions « du grossier au fin ». Une première étape corrige la référence cinématique. Une seconde affine le résultat en tenant compte de la dynamique, ce qui améliore la précision de pose de l'effecteur final tout en préservant la coordination corps entier. Pour réduire l'écart visuel entre l'humain et le robot, l'équipe ajoute un rendu du bras robotique dans les images humaines, ainsi qu'une augmentation d'images à l'entraînement pour gagner en robustesse au changement de point de vue. Sur quatre tâches réelles, des politiques VLA (vision-langage-action) entraînées sur ces données humaines alignées réalisent un transfert « zéro-shot », sans aucune démonstration robot sur la tâche cible. Les scores sont annoncés comme comparables à ceux de politiques entraînées par téléopération, pour un coût de collecte plus faible. Le résumé ne donne ni le robot utilisé, ni le nombre de démonstrations, ni le coût chiffré. L'enjeu est d'abord économique. La téléopération reste le principal goulot d'étranglement des politiques humanoïdes : elle exige des robots, des opérateurs formés et du temps machine, et ses volumes plafonnent bien en dessous de ce que réclame un modèle généraliste. Filmer des humains est bien moins cher et couvre une diversité de scènes que aucun parc de robots ne peut reproduire. Si le résultat se confirme, il indique que la donnée humaine peut servir de supervision directe de compétences, et non plus seulement de préentraînement de la perception. Pour un intégrateur, cela ouvrirait la voie à des compétences apprises sur site sans mobiliser de robot. Il faut toutefois rester prudent : quatre tâches, une comparaison « comparable » sans écart chiffré dans le résumé, et un article en version préliminaire (v1) qui n'a pas passé de relecture par les pairs. Rien ne dit non plus que ces scores tiennent hors du laboratoire, sur des cadences industrielles. Ce travail prolonge une première génération de méthodes égocentriques qui misait surtout sur la généralisation de scènes, avec un contrôle découplé entre locomotion et manipulation, ce qui laissait de côté les compétences corps entier coordonnées. Il s'inscrit dans une course plus large à la donnée humaine : les grands acteurs des modèles fondation humanoïdes, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0, cherchent tous à réduire leur dépendance à la téléopération, par la simulation, la vidéo humaine ou les deux. Aucun déploiement ni calendrier commercial n'est annoncé ici, il s'agit d'une contribution de recherche. La suite logique serait un test sur davantage de tâches et de morphologies, avec des comparaisons chiffrées de coût et de performance face à la téléopération.

Recherche❖Paper

1 source

38

838arXiv cs.RO 

AquaWAM : un modèle du monde et d'action sensible à la dynamique pour agents incarnés sous-marins

Des chercheurs publient sur arXiv (v2, référence 2609.33299) AquaWAM, présenté comme le premier World Action Model (WAM) conçu pour des agents sous-marins. Un WAM permet à un robot d'anticiper les conséquences d'une action candidate avant de l'exécuter. Les WAM existants prédisent surtout des observations visuelles conditionnées par l'action. AquaWAM prédit à la place des états de navigation compacts. Il modélise la dynamique commandée et la dynamique passive: zone morte des propulseurs, glissement inertiel qui dépasse chaque commande, courants ambiants. Il perçoit via un DVL (capteur de vitesse Doppler), une centrale inertielle (IMU), un capteur de pression et des encodeurs d'articulations. Les caméras ne servent qu'à fournir la sémantique, c'est-à-dire les objectifs et la pose de la cible. Sur le benchmark USIM (20 tâches sous-marines), le modèle atteint 72,6 % de succès. Il décide 2,7 fois plus vite que U0 sur un NVIDIA Jetson AGX Orin. Sans les mesures de vitesse du DVL, il conserve 61,6 % de succès, contre 39,4 % pour U0. Ces résultats visent une hypothèse répandue dans les modèles du monde, selon laquelle prédire des pixels serait la voie générique vers le contrôle. Sous l'eau, l'inertie, la flottabilité, la traînée et la dérive continuent d'agir après la commande. Modéliser directement ces effets, plutôt que la scène, réduit la taille du modèle et le coût de calcul. La vitesse d'inférence sur Jetson AGX Orin, un module embarqué courant, compte pour les intégrateurs d'ROV et d'AUV, dont le calcul et l'énergie sont limités. La robustesse à la perte de capteurs répond à un problème opérationnel: un DVL perd son verrouillage sur le fond, et les eaux turbides dégradent la vision. L'écart entre 61,6 % et 39,4 % suggère une meilleure tolérance à la dégradation, à confirmer hors simulation. Il faut toutefois lire ces chiffres avec prudence. Les résultats proviennent d'un benchmark en simulation, USIM. L'abstract ne mentionne ni essai en bassin ni essai en mer. Il ne dit pas non plus si le comparatif avec U0 est réalisé à budget équivalent. Le résumé ne précise pas non plus l'écart de réalité entre simulation et milieu réel pour des courants variables. Le travail s'inscrit dans l'extension des WAM et des modèles vision-langage-action (VLA) au-delà des manipulateurs terrestres et des humanoïdes, vers des véhicules à dynamique passive marquée. U0 sert ici de référence pour l'embarqué sous-marin. Aucun acteur français ou européen n'est cité dans l'abstract. Les suites probables sont des validations en conditions réelles, l'ouverture éventuelle du code et des tests sur des véhicules physiques. Ce travail reste pour l'instant une publication de recherche, sans produit ni déploiement annoncé.

Recherche❖Paper

1 source

38

839arXiv cs.RO 

FORM : manipulation robotique par identification directe des lois de comportement des matériaux

Des chercheurs présentent FORM (From Observed Response to Material laws), une méthode qui identifie les propriétés mécaniques d'un matériau déformable à partir d'une seule interaction robotique, puis réutilise le modèle obtenu pour planifier de nouvelles manipulations. Le principe consiste à appliquer un bilan de quantité de mouvement en forme faible. Le mouvement observé du matériau et les forces de contact mesurées deviennent ainsi des équations linéaires en fonction des paramètres inconnus. Ces équations sont assemblées avec la même discrétisation MPM (material point method) que le simulateur direct, si bien que l'identification se réduit à des moindres carrés linéaires. Le résultat s'utilise directement en prédiction, sans réajustement ni conversion. Sur quatre classes de matériaux, le temps d'identification passe d'environ 10 à 25 minutes pour les méthodes itératives de référence à 2 à 5 secondes. La précision reste comparable sur de nouveaux mouvements, conditions initiales et géométries. Les tests couvrent la simulation et du matériel réel, sur quatre tâches : insertion d'une tige élastique, putting de golf avec un club élastique, façonnage élastoplastique et versement d'un volume cible. L'erreur d'estimation est de 3,4 % sur les propriétés élastiques et de 2 % sur les propriétés élastoplastiques. Le façonnage de pâte atteint 72,4 à 77,8 % d'IoU, et l'erreur moyenne de versement est de 3,8 mL pour des cibles de 60 à 160 mL. L'intérêt est d'abord pratique. Face à un matériau inconnu, un robot doit aujourd'hui soit s'appuyer sur des modèles appris qui généralisent mal, soit faire tourner une optimisation itérative trop lente pour une boucle de production. Passer de plusieurs minutes à quelques secondes rend l'identification compatible avec un cycle de travail réel, par exemple pour l'agroalimentaire, le dosage de fluides ou la manipulation de pâtes et de mousses. Le fait que le modèle soit réutilisé sur d'autres géométries suggère aussi qu'une identification physique explicite peut compléter, voire concurrencer, les approches purement apprises comme les VLA (vision-language-action), qui demandent de grandes quantités de démonstrations. Il faut toutefois relativiser. Les tâches sont des démonstrations de laboratoire, avec quatre classes de matériaux et des géométries contrôlées. Rien n'indique une robustesse face à des matériaux hétérogènes, à des propriétés qui varient dans le temps ou à du bruit de capteurs industriel. Ce travail s'inscrit dans la lignée des simulateurs différentiables et de l'identification de paramètres par optimisation, qui offrent de la précision au prix d'un calcul lourd. Il s'oppose aussi aux approches de manipulation déformable par apprentissage end-to-end. Il s'agit d'une prépublication arXiv (v1), sans relecture par les pairs ni acteur industriel ou déploiement annoncé, et aucun acteur français ou européen n'est cité. La suite logique serait de tester des matériaux plus variés, des interactions plus complexes et une intégration avec des politiques apprises.

Recherche❖Paper

1 source

38

840arXiv cs.RO 

iTeach : enseignement interactif en conditions réelles pour l'adaptation de la perception des robots guidée par les échecs

iTeach est un système déployable qui permet à un opérateur présent près du robot, sans expertise ni station de travail, de corriger sur place les erreurs de perception d'un robot mobile. L'opérateur porte un casque de réalité mixte et voit les prédictions de segmentation du robot superposées à la scène réelle. Il corrige ensuite les erreurs sans les mains. Il peut réarranger les objets (mode « HumanPlay »), annoter au regard et à la voix, ou déclencher la propagation arrière de masques de SAM2. Chaque interaction dure environ 20 secondes et produit 150 à 300 images densément annotées. Le modèle est affiné à bord, comparé à la version précédente, puis redéployé si l'affinage l'améliore. La boucle demande seulement une caméra RGB-D, un GPU embarqué et un casque. Sur des scènes encombrées réelles, la segmentation passe de 26,1 à 80,7 après 45 interactions (13 000 images), sans oubli catastrophique. Le résumé ne précise pas la métrique utilisée. Le modèle progresse aussi sur trois benchmarks standard qu'il n'a jamais vus en entraînement. En pick-and-place sur SceneReplica, le système atteint 72 réussites sur 100, devant un pipeline à base de modèles qui exige des CAD. Une étude de 12 participants indique que les non-experts égalent les experts en précision d'annotation (environ 95 % d'IoU des boîtes), en vitesse et en charge cognitive (NASA-TLX de 21/100). Pour un intégrateur, l'intérêt tient à la fermeture de la boucle sur site, sans envoi de données ni réentraînement hors ligne par une équipe ML. Cela s'attaque directement à l'écart entre démonstration et réalité, car la perception échoue le plus souvent sur des objets et des environnements propres au client. Le gain face à un pipeline avec CAD suggère qu'une perception apprise et adaptée localement peut battre des approches qui demandent une préparation lourde des modèles d'objets. Le cadre est indépendant de l'architecture, ce qui limite le risque de dépendance à un modèle. Il s'agit d'une publication de recherche (arXiv 2410.09072, cinquième version) et non d'un produit livré. Aucun déploiement industriel n'est annoncé. Les résultats reposent sur des scènes et un protocole choisis par les auteurs, et la robustesse à long terme comme la charge en environnement de production restent à démontrer. Le travail s'inscrit dans l'apprentissage interactif et l'apprentissage par correction humaine, et il exploite la propagation vidéo de SAM2 pour réduire le coût d'annotation. Les suites logiques sont des tests sur des flottes de robots, des tâches plus variées et des comparaisons avec d'autres méthodes d'adaptation continue.

Recherche❖Paper

1 source

37

841arXiv cs.RO 

Apprendre sur le tas : exécution de tâches sans démonstration sous incertitude paramétrique par commande duale paramétrée par trajectoire

Des chercheurs proposent une méthode de commande duale qui permet à un robot d'exécuter une tâche du premier coup tout en identifiant en ligne les paramètres physiques qu'il ne connaissait pas. Publié sur arXiv (2510.20483, version 2), le travail part d'un constat : la commande basée sur modèle donne de bons résultats tant que le modèle est exact, mais un robot rencontre souvent des charges utiles, des objets ou des dynamiques d'interaction inédits. L'approche classique consiste à lancer d'abord une phase d'excitation dédiée, indépendante de la tâche et du contrôleur, pour estimer les paramètres. Les auteurs suppriment cette étape : l'apprentissage du modèle et la commande se déroulent simultanément pendant la tâche. Ils fixent à l'avance une politique de retour d'état avec une loi d'adaptation explicite des paramètres, puis optimisent la trajectoire de référence à travers la dynamique adaptative en boucle fermée. Deux formulations sont proposées : minimiser le coût attendu de la tâche sous incertitude paramétrique, ou minimiser la perte d'optimalité, c'est-à-dire la dégradation de performance causée par une planification fondée sur une estimation erronée. L'exploration est guidée par une mesure d'information de Fisher. L'enjeu est très concret pour les intégrateurs et les responsables de production. Aujourd'hui, un bras manipulant une charge inconnue perd du temps en calibration, ou exécute des mouvements d'identification qui n'ont aucun lien avec la tâche et produisent des données peu utiles. Selon les auteurs, leur méthode s'approche d'une borne inférieure de l'incertitude sur les paramètres pertinents pour la tâche, tout en réussissant celle-ci en une seule tentative. Cela réduit les temps morts et évite d'identifier des paramètres sans effet sur le résultat. Les résultats couvrent plusieurs tâches, contrôleurs et lois d'adaptation, ce qui suggère une méthode générique et non un réglage sur un seul cas. Il faut toutefois rester prudent : le résumé ne donne ni chiffres de performance, ni précision de l'identification, ni temps de calcul, ni preuve sur matériel réel. On ne sait donc pas si la méthode tient face aux bruits de capteurs, aux frottements non modélisés ou aux contraintes temps réel d'une cellule industrielle. Ce travail s'inscrit dans le débat entre approches basées sur modèle et approches apprises, comme les modèles vision-langage-action (VLA), qui généralisent par les données mais offrent moins de garanties. Ici, la commande adaptative et la théorie du contrôle dual, formulée depuis les années 1960, sont réactivées avec une optimisation de trajectoire moderne. Il s'agit d'une préimpression, sans validation par les pairs à ce stade, et la mention « remplacement » indique une révision d'une version antérieure. Les suites logiques seraient des essais sur manipulateurs réels avec charges variables, puis une comparaison directe avec l'identification préalable et les méthodes de méta-apprentissage.

Recherche❖Paper

1 source

37

842arXiv cs.RO 

Un capteur tactile robuste à élément sensible unique, capable de détecter simultanément la pression et l'adhésivité, avec découplage des signaux en temps réel

Des chercheurs proposent un capteur tactile à élément sensible unique, capable de mesurer simultanément la pression et l'adhésivité (tackiness) au même point de contact, avec un découplage des deux signaux en temps réel. Le dispositif associe un capteur à effet Hall et un composite magnétique souple, intégrés dans une structure élastique robuste. Sous pression, la surface s'enfonce. Lorsqu'elle se retire d'une surface collante, elle se bombe de façon marquée. Dans les deux cas, la distance entre l'aimant et le capteur de Hall varie. Les auteurs annoncent des signaux traçables sur tout le cycle de contact, avec une ligne de base séparée. Ils obtiennent ainsi une distinction directe entre force de pression et force d'arrachement. L'étude, publiée sur arXiv (v1, non relue par des pairs à ce stade), ne fournit dans son résumé ni sensibilité chiffrée, ni plage de mesure, ni données de durabilité en nombre de cycles. L'intérêt tient à deux verrous que rencontrent les peaux artificielles pour humanoïdes : le découplage des signaux multimodaux et la stabilité. Beaucoup de capteurs tactiles combinent plusieurs éléments sensibles pour lire plusieurs grandeurs, ce qui crée des interférences mécaniques (cross-talk) et de la dérive de ligne de base. Ici, un seul élément lit les deux modalités, et le principe magnéto-mécanique évite les dérives des capteurs résistifs ou capacitifs. Les applications citées sont l'évaluation des propriétés adhésives, le suivi du vieillissement du caoutchouc, la manipulation d'objets légers et la reconnaissance des caractéristiques de surface d'objets naturels. Pour un intégrateur, la lecture de l'adhésivité ouvre des pistes en préhension d'objets fragiles ou collants, en contrôle qualité et en manipulation en environnement non structuré. Il s'agit toutefois d'un résultat de laboratoire : aucune intégration sur robot, aucun déploiement et aucun coût ne sont mentionnés. Ces travaux s'inscrivent dans la montée du tactile magnétique, illustrée par des approches à base de capteurs de Hall et d'élastomères chargés, déjà utilisées pour des peaux robotiques et des doigts sensibles. Ils répondent au constat que les modèles de manipulation récents (VLA, politiques apprises) restent surtout guidés par la vision, alors que le toucher fin reste un maillon faible des mains dextres des humanoïdes. Les prochaines étapes probables sont une validation sur des mains robotisées, des tests de longévité, une miniaturisation en réseau de taxels et une comparaison avec les capteurs optiques de type GelSight. Aucun pilote industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

37

843arXiv cs.RO 

Champs de risque sémantique guidés par un modèle fondation et sensibles à la topologie pour la manipulation

Des chercheurs proposent un champ de risque sémantique 3D pour la planification de mouvement en manipulation, publié sur arXiv (2609.36640v1). Le système attribue à chaque paire objet manipulé / objet de la scène six poids de risque directionnels, ainsi qu'une échelle de décroissance spatiale propre à la paire, tous produits par un modèle de fondation. Ces a priori sont fusionnés avec la géométrie 3D voxelisée de la scène par un « shielding » sensible à la topologie (un obstacle protège l'objet sensible) et par une décroissance spatiale géodésique, c'est-à-dire mesurée le long des chemins réellement praticables. Un backend parallélisé sur GPU regroupe les calculs de distance et de risque par objet pour construire un champ 3D dense, utilisable comme terme de coût modulaire par n'importe quel planificateur en aval. L'évaluation porte sur trois scénarios domestiques en simulation, sur le comportement du shielding face à des barrières complètes ou partielles, et sur la comparaison avec une base de référence à a priori sémantiques calculés pixel par pixel. Les auteurs évaluent aussi le coût de calcul et la fiabilité du pipeline. Le résumé ne donne aucun chiffre précis (temps de calcul, taux de réduction d'exposition), et il n'indique ni le modèle de fondation utilisé ni de test sur robot réel. L'enjeu est de dépasser l'évitement de collision, qui traite tous les contacts et toutes les proximités de façon équivalente. Dans un foyer, passer un couteau au-dessus d'un ordinateur portable ou d'une assiette n'a pas le même risque que le passer près d'un mur. Les modèles de fondation peuvent fournir ce jugement contextuel, mais leurs sorties restent difficiles à intégrer dans un planificateur qui exige des garanties géométriques strictes. Ce travail répond à cette tension en séparant les deux niveaux. Les contraintes dures restent géométriques, et le risque sémantique entre comme un coût doux, ce qui préserve la modularité. Pour les intégrateurs, c'est une piste vers des manipulateurs de service plus acceptables en environnement non structuré. Il faut toutefois rester prudent : les résultats sont uniquement simulés, et la mesure principale, une « exposition sémantique » plus faible que celle de trajectoires sans risque sémantique, dépend de la définition choisie par les auteurs. Rien ne prouve encore que les poids produits par le modèle soient fiables ou reproductibles hors simulation. Ce travail s'inscrit dans la vague des approches qui associent modèles vision-langage et planification, comme les champs de valeur 3D de type VoxPoser ou les contraintes spécifiées par langage naturel. La plupart projettent la sémantique en 2D ou l'ignorent dans la topologie de la scène, ce que la base de comparaison pixel par pixel illustre ici. Les prochaines étapes probables sont une validation sur bras réel, un test sur des scènes encombrées et dynamiques, et une intégration avec des politiques VLA (vision-langage-action) de type Pi-0 ou GR00T. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé, et il s'agit d'un préprint non évalué par des pairs.

Recherche❖Paper

1 source

37

844arXiv cs.RO 

Un parmi l'infini : transformer les futurs d'un modèle du monde préentraîné en actions de robot

Des chercheurs proposent RoboActualizer, une architecture qui transforme un modèle de monde vidéo préentraîné en politique robotique exécutable sans ré-entraîner son lourd backbone. Le principe, baptisé « actualisation », consiste à geler l'encodeur du modèle de monde et à n'entraîner par-dessus qu'un module léger, chargé de sélectionner, parmi les futurs plausibles qu'encode le modèle, celui qui correspond à la tâche demandée, puis d'en extraire les actions. L'actualiseur repose sur deux experts DiT (diffusion transformers) légers qui prédisent conjointement les latents futurs et les actions par flow matching. Il compte à partir de 60 millions de paramètres, s'entraîne sur un seul GPU avec 32 Go de mémoire au pic, et affiche une latence de 39 ms, compatible avec le contrôle temps réel. Les auteurs revendiquent jusqu'à 100 fois moins de paramètres entraînables que les modèles monde-action (WAM) et les VLA existants. Les résultats portent sur les benchmarks de simulation LIBERO, LIBERO-Plus et RoboTwin 2.0, ainsi que sur cinq tâches réelles menées sur deux plateformes. L'abstract ne chiffre pas les taux de réussite et ne nomme ni les plateformes ni les modèles comparés. L'enjeu est d'abord économique. Les approches actuelles adaptent le backbone entier d'un modèle de monde avec de grands jeux de données robotiques et de gros budgets de calcul, ce qui réserve ce type de recherche aux laboratoires les mieux dotés. Si l'hypothèse des auteurs tient, à savoir que le coût principal a déjà été payé lors du préentraînement vidéo, un intégrateur ou une équipe universitaire pourrait spécialiser une politique sur une seule carte graphique, sans infrastructure de cluster. Ce serait un argument sérieux pour les VLA à backbone gelé et pour la réutilisation de modèles de monde comme socle commun. Il faut toutefois rester prudent : l'évaluation réelle se limite à cinq tâches, LIBERO est un benchmark proche de la saturation, et l'expression « gréât performance » ne dit rien de l'écart avec les meilleurs modèles entièrement affinés. La robustesse hors distribution et la généralisation à des tâches longues restent à démontrer. Ce travail s'inscrit dans la convergence entre modèles de monde vidéo et politiques robotiques, où des approches WAM et des VLA comme Pi-0 ou GR00T ont montré que le préentraînement sur vidéo transfère des connaissances physiques utiles. Ces méthodes ont cependant tendance à croître en taille, ce qui pose des problèmes de latence et de coût de déploiement. RoboActualizer prend le contre-pied en visant l'efficacité, un critère central pour le contrôle embarqué. Il s'agit ici d'un préprint (arXiv, version 1) non évalué par les pairs, sans produit ni déploiement industriel annoncés. Les prochaines étapes à surveiller sont la publication du code et des poids, des comparaisons directes avec des VLA de référence à budget de calcul égal, et des tests sur des plateformes et des tâches plus variées.

Recherche❖Paper

1 source

37

845arXiv cs.RO 

L'endroit où s'applique la supervision prédictive détermine ce qu'apprennent les politiques VLA

Une équipe de chercheurs publie sur arXiv (identifiant 2609.36645) une étude contrôlée sur la manière dont la supervision par prédiction du futur influence les politiques vision-langage-action (VLA), ces modèles qui convertissent images et instructions textuelles en commandes de robot. Les auteurs comparent différentes interfaces de prédiction en fixant la construction des cibles, l'horizon de prédiction et les conditions d'entraînement. Résultat: ces interfaces produisent des prévisions et des représentations visuelles très différentes, y compris sur l'information spatiale, dynamique et liée à l'action qui se transfère hors des scènes d'entraînement. Les chercheurs relient ces écarts à la façon dont les erreurs de prédiction se propagent dans le flux visuel de la politique. Les VLA entraînés avec une supervision future plus directe et alignée sur la scène montrent une meilleure robustesse face aux changements de distribution, en simulation comme sur robot physique. Le résumé ne fournit ni nom de modèle, ni taux de réussite, ni liste de plateformes testées. L'enjeu dépasse l'ajout d'une tâche auxiliaire. Beaucoup de VLA récents intègrent la prédiction du futur en postulant qu'anticiper l'évolution de la scène produit des représentations utiles au contrôle. L'étude relativise ce raisonnement: la qualité d'une prévision ne prouve pas que la politique a appris une meilleure représentation pour agir. Pour un intégrateur, cela touche le point sensible du déploiement: un robot qui fonctionne dans la configuration de démonstration mais se dégrade dès que l'éclairage, la disposition ou les objets changent. Selon cette lecture, la valeur de la prédiction dépend de l'endroit où la supervision atteint le réseau. Un score de prévision flatteur peut donc masquer une politique fragile, et les comparaisons entre modèles gagneraient à intégrer des tests hors distribution plutôt qu'à se limiter à la fidélité des images prédites. Ce travail s'inscrit dans la tendance des modèles du monde et des politiques prédictives, où plusieurs laboratoires et industriels testent des architectures qui imaginent la suite de la scène avant d'agir, en complément de VLA de référence comme Pi-0, GR00T ou Helix. La généralisation hors distribution reste l'un des principaux verrous entre démonstrations de laboratoire et usage industriel. Il s'agit ici d'une prépublication v1, non relue par les pairs, dont les résultats devront être confirmés par des reproductions et des chiffres détaillés. Les auteurs qualifient la prédiction du futur de problème de conception de l'apprentissage de représentations. La suite logique serait l'adoption de ces principes dans les prochaines générations de VLA et leur évaluation systématique sous décalage de distribution.

Recherche❖Paper

1 source

37

846arXiv cs.RO 

SAKI : assemblage de compétences et imitation cinématique à partir de vidéos humaines pour la manipulation mobile à long horizon

Des chercheurs, dont l'équipe derrière la page aus.bot, présentent SAKI (Skill Assembly and Kinematic Imitation), un framework qui relie trois briques: l'acquisition de compétences à partir de vidéos humaines, l'assemblage de ces compétences issues de démonstrations différentes, et l'exécution en boucle fermée sur l'ensemble du corps du robot. Il s'agit d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial. Le système prépare des compétences réutilisables centrées sur l'objet, qui conservent les interactions critiques pour la tâche tout en laissant s'adapter les trajectoires de transfert. À partir d'un objectif et de dépendances de tâches fournies, SAKI sélectionne et ordonne les compétences, associe leurs rôles d'objets à la scène courante et transmet l'estimation de la scène et la configuration du robot d'une compétence à la suivante. Une imitation cinématique du corps entier génère des mouvements coordonnés de la base, du bras et de la pince. En exécution, des estimations d'objets persistantes maintiennent les références de la tâche malgré les changements de point de vue, et le retour visuel met à jour les trajectoires restantes. Les tests sur robot réel couvrent le rangement et l'essuyage, avec réutilisation des compétences d'une disposition à l'autre. Le résumé ne donne aucun taux de réussite chiffré, ni nombre d'essais, ni plateforme robotique précisée. L'enjeu est de sortir l'apprentissage par vidéos humaines du cadre de la table, où il est le plus démontré, pour l'appliquer à la manipulation mobile longue durée, là où les erreurs se cumulent entre étapes et où la base mobile déplace sans cesse le référentiel. Le résultat le plus instructif est l'ablation: à optimisation du corps entier et retour visuel constants, la préparation des références conditionnée par la tâche améliore nettement l'achèvement des tâches longues. Autrement dit, le goulot n'est pas seulement le contrôle bas niveau mais la qualité de la représentation des compétences apprises. Pour un intégrateur, c'est une piste vers des robots reprogrammés par démonstration humaine filmée plutôt que par téléopération coûteuse. Les limites restent claires: les dépendances de tâches sont fournies par l'opérateur et non déduites, les scénarios sont des démonstrations de laboratoire, et l'écart entre une vidéo de démonstration et une fiabilité industrielle reste entier. SAKI s'inscrit dans la course à la manipulation mobile généraliste, où les approches dominantes reposent sur des modèles vision-langage-action (VLA) entraînés sur de la téléopération, comme Pi-0 ou Helix, ou sur des pipelines robotiques modulaires. Ici, le choix est hybride: composition explicite de compétences et optimisation cinématique, plutôt qu'une politique de bout en bout. Cette voie prolonge les travaux sur l'imitation à partir de vidéos humaines, dont l'avantage est de contourner le goulot des données robotiques. Les prochaines étapes probables seraient l'inférence automatique des dépendances de tâches, des évaluations chiffrées sur davantage de scénarios et des essais hors laboratoire. Les vidéos de démonstration sont disponibles sur la page du projet, mais l'échantillon présenté n'est, par nature, pas représentatif des échecs.

Recherche❖Paper

1 source

37

847arXiv cs.RO 

Déformation cinématique non linéaire spatio-temporelle de trajectoires pour les démonstrations de manipulation dextérique riche en contacts

Des chercheurs proposent une méthode de « trajectory warping » cinématique et non linéaire pour réutiliser des démonstrations existantes de manipulation dextre riche en contacts, publiée sur arXiv (2609.36676v1). À partir de simples trajectoires de la main et de l'objet, l'algorithme produit des déformations spatio-temporelles non linéaires de haute qualité. Celles-ci intègrent des points de passage intermédiaires, des obstacles dans l'environnement, des décalages temporels et des configurations de départ et d'arrivée différentes. Le principe central repose sur les distributions de contact : elles permettent de calculer de façon fiable des trajectoires de main dextre à haute dimension, à partir d'une spécification de déformation exprimée uniquement au niveau de l'objet. L'évaluation porte sur 12 variations issues de 4 démonstrations d'un jeu de données public de mouvements de main humaine. Elle inclut des comparaisons avec des méthodes de référence et un test de transfert vers d'autres manipulateurs. Les auteurs annoncent la publication des résultats et du code lors de l'acceptation de l'article. Il s'agit donc, à ce stade, d'un préprint de recherche, sans produit ni déploiement. L'enjeu est celui de la donnée. La manipulation dextre est l'un des domaines où la collecte de démonstrations coûte le plus cher : téléopération avec gants ou capture de mouvement, mains à nombreux degrés de liberté, contacts difficiles à simuler. Pouvoir démultiplier chaque démonstration en variantes qui respectent les contacts revient à augmenter les données sans recollecter, ce qui intéresse directement les équipes qui entraînent des politiques d'imitation ou des modèles vision-langage-action (VLA) pour mains humanoïdes. La spécification centrée sur l'objet est un atout pratique : un opérateur décrit ce que l'objet doit faire, pas ce que chaque doigt doit faire. Les limites sont nettes. Quatre démonstrations sources et douze variations forment un échantillon très réduit. Rien n'indique non plus, dans le résumé, que les trajectoires générées aient été exécutées sur un robot physique ni que des politiques entraînées dessus s'en trouvent améliorées. L'écart entre une trajectoire cinématiquement plausible et une exécution robuste reste entier. Ce travail s'inscrit dans un courant plus large d'augmentation de données pour l'imitation, qui va des méthodes de génération de démonstrations synthétiques à partir de quelques exemples humains jusqu'à l'apprentissage par renforcement en simulation pour les mains dextres. Les acteurs de l'humanoïde, dont Figure, Tesla avec Optimus, ou les équipes derrière Pi-0 et GR00T, dépendent de volumes de démonstrations toujours plus grands pour leurs mains. Une méthode légère, sans entraînement lourd, pourrait s'ajouter à ces chaînes de données. La suite dépendra de la publication du code, promise mais non datée, et d'une validation sur matériel réel, seule capable de départager cette approche des alternatives.

Recherche❖Paper

1 source

37

848arXiv cs.RO 

BCNav : des politiques de profondeur conditionnées par le cap pour la navigation vers une source sonore

Des chercheurs proposent BCNav, un cadre de navigation vers une source sonore qui sépare le module acoustique de la politique de navigation apprise. Un estimateur de direction d'arrivée (DOA, direction-of-arrival) fournit un simple angle de relèvement scalaire vers la source. La politique, elle, ne reçoit que deux entrées : des images de profondeur et cet angle. Elle est entraînée par imitation sur des démonstrations de plus court chemin, avec injection de bruit de relèvement calibré. Elle produit directement des commandes de vitesse continues, exécutables sur un robot terrestre. Le code est publié sur GitHub (york1to/bcnav). Les auteurs disent l'avoir validé en simulation et sur un robot physique, dans des environnements inconnus, sans réglage fin acoustique, sans cartographie préalable et sans collecte de données audio réelles. L'abstract ne donne ni taux de succès, ni nombre d'essais, ni comparaison chiffrée avec les méthodes existantes. L'intérêt est d'abord méthodologique. Les approches actuelles apprennent conjointement l'audio et la vision dans des simulateurs acoustiques, peu fidèles et coûteux en calcul. Il en résulte un écart de domaine qui freine le déploiement réel. Les simulateurs à grille imposent en plus des actions discrètes, source d'un écart cinématique sur un robot physique. BCNav déplace la difficulté vers deux entrées dont les écarts sim-to-real sont bien connus : la profondeur et un angle. Cela évite d'avoir à simuler correctement l'acoustique d'une pièce. La robustesse dépend alors de la qualité de l'estimation DOA en environnement réel, avec réverbération, bruit et occultations, et l'injection de bruit calibré sert précisément à la couvrir. Pour un intégrateur, la piste est intéressante pour des robots de surveillance, d'inspection ou d'intervention qui doivent réagir à une alarme ou à un appel hors de leur champ visuel. En l'absence de résultats chiffrés dans le résumé, elle reste à valider. Ce travail s'inscrit dans la lignée de la navigation audio-visuelle « SoundSpaces », qui a popularisé l'apprentissage conjoint dans des simulateurs acoustiques. Les auteurs en critiquent les deux limites : la fidélité acoustique et l'espace d'actions discret hérité des grilles. La séparation entre perception et politique rejoint une tendance plus large de la robotique apprise, qui préfère des interfaces compactes et bien caractérisées à des simulations de bout en bout. Cette version 1 sur arXiv n'annonce ni pilote ni calendrier. Les prochaines étapes probables sont des tests sur davantage de plateformes, avec plusieurs sources sonores, des sources mobiles ou de l'occultation, et des comparaisons directes avec les méthodes audio-visuelles conjointes. Le code ouvert permettra à d'autres équipes de reproduire ces résultats.

Recherche❖Paper

1 source

37

849arXiv cs.RO 

KPI : un noyau pilotable par instructions pour l'interaction physique des robots humanoïdes

Des chercheurs proposent KPI, un « noyau promptable » d'interaction physique qui s'insère entre la source de trajectoire et un tracker de corps entier non modifié sur robot humanoïde (preprint arXiv 2609.36151v1). Le principe : la source de trajectoire, qu'il s'agisse d'un humain en téléopération ou d'une politique de bout en bout, n'envoie plus seulement une référence de mouvement. Elle y joint un « contrat » qui précise, pour chaque direction, s'il faut suivre la référence, se laisser fléchir (comply) ou maintenir une plage d'effort. À partir de l'erreur de suivi et d'une estimation du torseur d'efforts (wrench), le noyau ajuste en continu la raideur, l'amortissement, la référence et le feedforward des bras, à la cadence du contact. Les auteurs l'illustrent avec un cadre agentique : à partir d'une seule instruction, un agent vision-langage écrit à la fois la trajectoire et le contrat, sans code spécifique à la tâche. Les démonstrations portent sur la manœuvre d'un treuil, l'ouverture d'une porte et le transport d'une boîte, complétées par des essais scriptés d'interaction avec des surfaces. Dans la démonstration la plus marquante, l'humanoïde actionne une manivelle pour hisser un second robot entièrement au-dessus du sol. Le résumé ne donne ni modèle de robot, ni taux de réussite, ni nombre d'essais. L'enjeu est un maillon souvent négligé de la pile logicielle des humanoïdes. Les trackers de corps entier généralistes suivent bien des trajectoires, mais une trajectoire dit peu de la force à produire : au contact, c'est le contrôleur qui décide du comportement réel. Jusqu'ici, deux approches dominent. Les politiques mono-tâche optimisent trajectoire et contrôleur ensemble en simulation, ce qui donne de bons résultats sur des interactions difficiles mais ne se généralise pas. Les architectures généralistes supposent un contrôleur prédéfini ou réglé à la main. KPI vise à séparer ces deux niveaux, ce qui permettrait de réutiliser un tracker existant pour des tâches riches en contact. Pour un intégrateur, c'est un levier potentiel sur les tâches de manipulation où la raideur et la gestion de l'effort décident du succès, comme les portes, les charges ou les outils. Il faut toutefois rester prudent : il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et des démonstrations choisies par les auteurs ne prouvent ni la robustesse ni la répétabilité. La délégation à un agent VLM de la rédaction du contrat reste à valider hors des scénarios présentés. Ce travail s'inscrit dans la course aux modèles généralistes de corps entier et aux politiques vision-langage-action (VLA), où l'effort est traité en parent pauvre face à la perception et au suivi de mouvement. Il rejoint l'idée de commande en impédance et en admittance, ancienne en robotique, qu'il adapte à une interface pilotable par le langage. Le résumé ne cite ni plateforme, ni concurrent, ni calendrier de suite. Les prochaines étapes à surveiller sont la publication du code, des résultats quantitatifs sur plusieurs humanoïdes, et une éventuelle intégration dans les piles des acteurs industriels.

Recherche❖Paper

1 source

37

850arXiv cs.RO 

Retrouver la vue : évaluation de la vision active physique pour surmonter les occlusions en manipulation robotique

Des chercheurs publient sur arXiv (2609.37292) BAVO-Bench, un benchmark de vision active bimanuelle (Bimanual Active Vision under Occlusion), accompagné d'une politique de contrôle baptisée A-FAR (Active Future-Aware Recovery). Le benchmark contrôle systématiquement la visibilité externe selon trois conditions : Clean (sans occultation), Stage Occlusion (occultation liée à une étape de la tâche) et Random-time Occlusion (occultation à un instant aléatoire). Il permet ainsi d'évaluer à la fois la performance de manipulation et la capacité du robot à retrouver une vue exploitable en déplaçant sa caméra. A-FAR pilote conjointement le point de vue et la manipulation. Elle exprime les observations d'une caméra mobile dans un repère 3D unique centré sur le robot. Elle distille ensuite, depuis un modèle 4D pré-entraîné, la structure relationnelle de la scène et son évolution future. La politique bénéficie donc d'un guidage géométrique anticipatif sans avoir besoin d'observations futures au déploiement. Les auteurs annoncent, sur plusieurs tâches de manipulation, une meilleure robustesse face aux occultations structurées et décalées dans le temps, avec des performances maintenues en conditions propres. Le résumé ne chiffre pas ces gains. Le point de départ est un angle mort des évaluations actuelles. La plupart des benchmarks de manipulation supposent une caméra fixe ou des vues fiables. Ils testent donc peu la façon dont une politique se rétablit quand une observation utile disparaît en cours d'exécution, par exemple derrière un bras, un objet ou un opérateur. Or c'est fréquent en atelier ou en logistique, où les caméras montées sur le robot ou sur des poteaux sont régulièrement masquées. Un cadre reproductible qui sépare occultation liée à la tâche et occultation aléatoire donne aux équipes VLA et imitation learning un moyen comparable de mesurer cette robustesse. Le choix d'un dispositif bimanuel, proche des plateformes de téléopération à bas coût et des humanoïdes, en accroît la pertinence. Il faut toutefois rester prudent : il s'agit d'un travail académique, apparemment évalué en simulation ou en environnement contrôlé, sans déploiement industriel ni chiffres de taux de réussite dans le résumé. Il ne dit rien de l'écart entre démonstration et réalité. Ce travail s'inscrit dans le courant de la perception active et des politiques conditionnées par la géométrie, qui cherche à dépasser les VLA entraînés sur des vues quasi statiques. L'usage d'un modèle 4D pré-entraîné comme « enseignant » relève d'une logique de distillation : la connaissance de la dynamique spatio-temporelle est intégrée à l'entraînement pour éviter un coût de calcul supplémentaire à l'inférence. Les suites logiques sont la publication du code et des données du benchmark, la comparaison avec des politiques généralistes comme Pi-0 ou GR00T, puis la validation sur robot réel avec caméra poignet ou tête mobile. Cette dernière étape déterminera si l'approche dépasse le cadre de l'évaluation académique.

Recherche❖Paper

1 source