Actualités robotique — page 12

7 308 articles au fil, du plus récent au plus ancien.

43

551arXiv cs.RO 

IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur

Des chercheurs publient sur arXiv (2610.00355) IndoorBEV, un système de perception LiDAR conçu pour les robots mobiles d'intérieur. Le modèle ne compte que 0,6 million de paramètres et occupe 2,3 Mo de stockage. Sur un NVIDIA AGX Orin, il consomme 21,52 Mo de mémoire GPU par inférence et affiche une latence moyenne de 169,6 ms, pour une échéance de perception fixée à 200 ms. Le taux de dépassement de cette échéance est de 1,8 %. Le système produit simultanément des cartes sémantiques en vue de dessus (BEV, bird's-eye view) et des boîtes englobantes orientées pour les objets. Il repose sur une représentation BEV « consciente de la hauteur » : pour chaque cellule, la distribution verticale des points est résumée par des statistiques de hauteur et un encodage multi-fréquence, ce qui permet à de simples convolutions 2D de traiter une information 3D. Un encodeur léger fusionne ces indices géométriques avec des représentations locales multi-échelles et un contexte global compact, puis des têtes de prédiction découplées génèrent les sorties. L'évaluation couvre des scènes simulées, des scans réels de robots et un jeu de données ouvert de nuages de points d'intérieur. L'enjeu est très concret pour les intégrateurs et les équipes qui embarquent de la perception sur des plateformes à budget calcul limité. Les méthodes à base de points ou de voxels restent coûteuses, tandis que les BEV classiques, issus surtout de la conduite autonome, sacrifient la géométrie verticale, un handicap dans des intérieurs encombrés où tables, étagères, suspensions et objets en surplomb comptent. Avec un modèle de 2,3 Mo, IndoorBEV laisse l'essentiel du GPU disponible pour la navigation, la planification ou d'autres réseaux sur la même machine. Les auteurs affirment ainsi qu'encoder explicitement la hauteur dans une représentation 2D compacte est une voie viable. Quelques réserves s'imposent : il s'agit d'une préimpression non relue par les pairs, une latence moyenne de 169,6 ms sous une échéance de 200 ms laisse une marge mince, soit environ 6 images par seconde, ce qui est modeste pour un robot rapide, et le résumé ne donne aucun chiffre de précision, ni comparaison chiffrée avec des modèles concurrents. L'affirmation d'un « compromis favorable » reste donc à vérifier dans l'article complet. Ce travail s'inscrit dans la série des architectures BEV, popularisées par la conduite autonome (PointPillars, BEVFusion) et désormais adaptées aux contraintes de l'embarqué. Le choix de l'AGX Orin, plateforme de référence pour la robotique mobile, rend les résultats comparables à ce que les intégrateurs déploient réellement. Les concurrents sont les réseaux voxel creux et les approches point à point, plus précis mais plus lourds, ainsi que les modèles de fondation de perception 3D, qui visent la généralité plutôt que la frugalité. Aucune annonce de déploiement industriel, de code ou de pilote n'accompagne la publication à ce stade. La suite logique consisterait à publier des benchmarks comparatifs, à tester le système sur des robots en conditions réelles de logistique ou de service, et à vérifier sa tenue face à des environnements dynamiques et à des capteurs LiDAR de résolutions différentes.

Recherche❖Paper

1 source

43

552arXiv cs.RO 

Mesurer les effets de la reconstruction des objets et des scènes dans l'évaluation de robots en réel-vers-simulation

Des chercheurs publient sur arXiv (2610.00731) une étude qui mesure l'effet de la qualité de reconstruction des objets et de la scène sur la fidélité de l'évaluation robotique en simulation. L'équipe a bâti deux versions simulées d'une même cellule bimanuelle à partir des mêmes photos d'objets et de la même vidéo de scène. La version « authored » combine une géométrie d'objet à l'échelle métrique estimée, des textures projetées, des paramètres physiques définis manuellement et un splat de scène maison. La version de référence, dite « default », suit la recette open source courante : un maillage généré à partir d'une seule image, une physique par défaut du moteur et une scène en Gaussian splatting. Deux politiques ont été testées sur cinq tâches, soit dix paires tâche-politique. Chacune a été jouée vingt fois dans chaque reconstruction, tous les autres réglages étant figés, puis comparée aux mêmes essais réels notés par un évaluateur tiers. La corrélation de Pearson entre moyennes simulées et réelles atteint r = 0,90 pour la version authored, contre 0,51 pour la version default. L'erreur moyenne de score passe de 17,54 à 6,97 points de pourcentage, soit 10,56 points de moins. Ces chiffres touchent à une question centrale pour les équipes qui déploient des politiques VLA ou d'imitation : jusqu'où la simulation peut remplacer des essais réels, coûteux et peu répétables. Une corrélation de 0,51 ne permet guère de classer des politiques de façon fiable, alors que 0,90 commence à le permettre. Le résultat indique que l'écart sim-to-real dépend en grande partie de choix de reconstruction (échelle métrique, physique, fidélité visuelle) et pas seulement du simulateur. Pour un intégrateur ou un responsable de R&D, cela plaide pour investir dans la qualité des actifs avant de multiplier les runs simulés. Les limites sont nettes : un seul robot et une seule cellule, deux politiques, cinq tâches, dix points de comparaison seulement, ce qui rend l'intervalle de confiance de la corrélation large. Le travail de modélisation manuelle représente aussi un coût que l'étude ne chiffre pas, et l'amélioration vient d'un paquet de changements dont chaque composante n'est pas isolée. L'évaluation en simulation gagne du terrain à mesure que les politiques généralistes se multiplient et que l'évaluation sur robot réel devient le goulot d'étranglement. Les pipelines « real-to-sim » reposent de plus en plus sur le Gaussian splatting et sur des modèles génératifs image-vers-3D, dont les maillages sont rapides à produire mais souvent mal mis à l'échelle et physiquement approximatifs, ce que ce travail met en évidence. Les auteurs publient le harnais d'évaluation, les scores par essai, la configuration de chaque run ainsi que les actifs et scènes des deux reconstructions, ce qui permet à d'autres équipes de reproduire et d'étendre la comparaison. Les prochaines étapes naturelles seraient d'autres robots, davantage de politiques et une décomposition des gains par composante. Aucun partenaire industriel ni calendrier de déploiement n'est annoncé.

Recherche❖Paper

1 source

42

553arXiv cs.RO 

3DROID : un jeu de données de gaussiennes 3D rendables avec fiabilité mesurée pour chaque scène

Des chercheurs publient 3DROID, un jeu de données de scènes de manipulation robotique reconstruites en 3D Gaussian Splatting (3DGS), une représentation de scène rendable à partir de n'importe quel point de vue. Les scènes sont ancrées dans l'espace de travail métrique du robot et chacune est accompagnée d'un indicateur de fiabilité mesuré. Le travail, déposé sur arXiv sous la référence 2610.01744, s'accompagne d'un pipeline de reconstruction « calibration-aware ». Celui-ci s'appuie sur du 3DGS feed-forward, c'est-à-dire un modèle qui prédit les gaussiennes en un seul passage, sans optimisation par scène. Les auteurs ont étudié l'effet de la fiabilité des extrinsèques caméra (la position et l'orientation des caméras par rapport au robot) et du conditionnement par la pose. Leurs résultats indiquent que ce conditionnement améliore la fidélité des nouvelles vues synthétisées. Son bénéfice géométrique dépend en revanche de la qualité des extrinsèques injectées. Le jeu de données est disponible sur Hugging Face. L'abstract ne donne ni le nombre de scènes, ni les métriques chiffrées, ni les modèles robotiques évalués. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel. L'enjeu est l'écart entre ce que voient les modèles de manipulation et ce qu'ils doivent faire. Les politiques de type VLA (vision-langage-action) raisonnent surtout à partir d'images 2D, alors que le robot agit dans un monde 3D où l'échelle métrique compte pour saisir ou placer un objet. Le 3DGS est optimisé pour le rendu photométrique, pas pour la justesse métrique. Une scène très réaliste peut donc avoir la mauvaise échelle si les calibrations de caméra sont approximatives, ce qui est courant dans les grands jeux de données collectés sur des sites variés. Pour les équipes qui entraînent des politiques avec une supervision 3D (profondeur, nuages de points, trajectoires 3D), l'apport principal est de rendre cette fiabilité mesurable scène par scène. Elles peuvent ainsi filtrer ou pondérer les données au lieu de supposer qu'elles sont toutes bonnes. Le résultat est nuancé: injecter la pose ne suffit pas si elle est mauvaise. Le nom 3DROID renvoie à DROID, le grand jeu de démonstrations de manipulation collectées sur des robots dans de nombreux environnements. Il est probable, sans que l'abstract le précise, que 3DROID en soit une extension 3D. Ces dernières années, la recherche a enrichi les données robotiques avec de la profondeur, des nuages de points et des trajectoires 3D, et le 3DGS est venu s'y ajouter comme supervision rendable. Aucun acteur industriel n'est cité, et rien n'indique de suite annoncée. La validité du jeu de données se jugera à son usage: il faudra voir si des politiques entraînées dessus progressent réellement en manipulation, ce que l'abstract ne démontre pas encore.

Recherche❖Paper

1 source

42

554arXiv cs.RO 

Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération

Une équipe de chercheurs présente sur arXiv un système de téléopération permettant à un seul opérateur d'exécuter des tâches de chantier avec un Unitree G1, humanoïde d'entrée de gamme très répandu dans les laboratoires. L'architecture sépare le haut et le bas du corps. Le haut du corps (bras et mains) est piloté par un dispositif de réalité étendue (XR) qui reproduit les mouvements de l'opérateur. La locomotion est commandée au pédalier, ce qui libère les mains et permet de manipuler et de marcher en même temps. Deux tâches tirées de la base de données professionnelle O*NET ont servi de test : le transport d'outils et la peinture de surface. Le système a atteint 100 % de réussite sur le transport d'outils et 80 % sur la peinture. Les auteurs ne précisent pas dans le résumé le nombre d'essais, mais ces taux, établis sur un échantillon visiblement restreint, relèvent de l'étude de faisabilité et non de la validation statistique. Surtout, la téléopération demande nettement plus de temps que l'exécution manuelle par un humain, sans que le résumé chiffre l'écart. L'intérêt tient moins aux performances brutes qu'à la posture adoptée. Plutôt que d'attendre une autonomie complète, que les modèles vision-langage-action (VLA) n'ont pas encore démontrée sur des environnements de chantier non structurés, les auteurs défendent la téléopération comme solution à court terme. Elle répond à la pénurie de main-d'œuvre et aux conditions dangereuses, en éloignant l'ouvrier des tâches les plus pénibles. Elle produit aussi des démonstrations de qualité pour entraîner les futures politiques d'apprentissage. Le résultat nuance le discours de certains acteurs du secteur : un humanoïde commandé à distance reste plus lent qu'un travailleur, ce qui pèse sur la rentabilité immédiate. Pour un intégrateur ou un décideur du BTP, la valeur à court terme se situe donc dans la sécurité et la collecte de données, pas dans la productivité. Ce travail s'inscrit dans une dynamique où la téléopération sert de passerelle vers l'autonomie. Le recueil de démonstrations par casque XR est devenu courant pour alimenter des modèles comme Pi-0 ou GR00T, et le G1, vendu à un prix bien inférieur à celui des humanoïdes industriels, s'impose comme plateforme de recherche. Face à lui, Figure, Tesla avec Optimus ou Agility visent d'abord la logistique et l'usine, plus structurées que le chantier. Le BTP reste un terrain peu exploré pour les humanoïdes, et aucun pilote ni calendrier de déploiement n'est annoncé ici. Il s'agit d'une publication préliminaire (v1), sans produit ni client, dont la suite logique serait des essais plus nombreux, des tâches plus variées et une comparaison chiffrée des temps d'exécution.

Recherche❖Paper

1 source

42

555arXiv cs.RO 

FAME : RL adaptatif à la force pour élargir l'enveloppe de manipulation d'un robot humanoïde grandeur nature

Des chercheurs du laboratoire CORRELL proposent FAME, un cadre d'apprentissage par renforcement qui permet à un humanoïde grandeur nature de rester stable lorsqu'il subit des forces aux mains pendant une manipulation bimanuelle. Le travail, publié sur arXiv (2603.08961, version 2), conditionne une politique de maintien debout sur un contexte latent appris qui encode à la fois la configuration articulaire du haut du corps et les forces d'interaction aux deux mains. L'entraînement applique des forces 3D échantillonnées de façon isotrope sur chaque main, selon un curriculum de postures du haut du corps. Au déploiement, la force n'est pas mesurée : elle est reconstruite en ligne à partir des couples et états articulaires par dynamique inverse du corps rigide, sans capteur force/couple au poignet. Sur plus de 100 configurations du haut du corps soumises à des forces croissantes, FAME atteint 38,9 % de réussite avec une tolérance de 150 mm sur la position des mains. Les références plafonnent à 16,6 % (même force sans encodage), 4,3 % (politique à curriculum conditionnée par la pose) et 24,7 % (politique de locomotion entraînée de façon adverse). Le transfert est montré dans une cuisine simulée sous MuJoCo, puis sur un Unitree H1-2 grandeur nature avec des charges asymétriques et bimanuelles. Le code et les vidéos sont publiés. Ce résultat s'attaque à un point faible de la manipulation humanoïde : la plupart des politiques de locomotion savent ne pas tomber, mais pas tenir une tâche pendant qu'on les pousse. Le critère de réussite est ici plus exigeant que le simple fait de rester debout, puisque le robot doit aussi garder les mains près de la cible. La politique adverse en est l'illustration : elle reste droite en faisant un pas, ce qui déplace les mains et fait échouer la tâche. Pour un intégrateur, le gain est double. Retirer les capteurs F/T de poignet réduit coût, masse et fragilité, et la dynamique inverse est déjà disponible sur les plateformes à retour de couple. Il faut toutefois relativiser : 38,9 % de réussite sur un balayage volontairement difficile de forces et de postures montre que l'enveloppe reste étroite, très loin d'un niveau de fiabilité industrielle. Les résultats sont aussi essentiellement obtenus en simulation, avec une démonstration matérielle qualitative sur le H1-2, sans taux de réussite chiffré sur robot réel. Le travail s'inscrit dans la montée des politiques de contrôle du corps entier pour humanoïdes, où la manipulation avec charge reste moins mature que la marche ou la téléopération. Il se positionne face aux approches de robustesse par entraînement adverse et aux politiques conditionnées sur la seule pose, que les auteurs surclassent nettement dans leur protocole. Les acteurs commerciaux comme Figure, Tesla (Optimus) ou Agility misent sur des contrôleurs propriétaires dont les performances sous charge ne sont pas publiées, ce qui rend la comparaison impossible. Les prochaines étapes naturelles seraient d'intégrer ce contrôleur de stabilité sous une politique de manipulation de type VLA, de quantifier les résultats sur robot réel et d'élargir l'enveloppe au-delà de la posture debout, vers la marche chargée.

Recherche❖Paper

1 source

41

556arXiv cs.RO 

EIDA : adaptation de la dynamique d'exécution et d'interface pour la navigation de robots, du réel à la simulation puis au réel

Des chercheurs publient sur arXiv (2610.01219) EIDA, pour « Execution-Interface Dynamics Adaptation », une méthode qui vise à réduire l'écart entre simulation et robot réel en navigation. Le problème ciblé est précis. Une politique apprise en simulation échoue souvent parce que les commandes de vitesse produisent, sur la plateforme réelle, un mouvement et un retour de vitesse différents de ceux modélisés à l'entraînement. EIDA ajuste ces réponses à partir de données d'exécution recueillies sur la plateforme cible, sans reconstruire la dynamique des actionneurs. Un premier modèle, qui prédit les incréments de pose dans le repère du corps, met à jour la géométrie du simulateur. Un second modèle prédit le retour de vitesse que perçoit la politique, et un court historique de ce retour est ajouté à son entrée. Le tout tourne dans un simulateur léger parallélisé sur GPU. Sur les jeux de validation complets du Jackal (robot à roues) et du Unitree Go2 (quadrupède), les modèles ajustés réduisent les erreurs de position et de lacet par rapport au modèle de mouvement prédéfini du simulateur. Sur 100 environnements de navigation évalués dans un autre simulateur physique, EIDA obtient le meilleur taux de réussite et le meilleur score de navigation parmi les politiques apprises comparées, avec ou sans guidage global. Sur un Go2 réel, il atteint le but sans collision dans 20 essais sur 20 en scène statique, contre 4 sur 20 pour la base de référence. L'intérêt tient à l'approche. Beaucoup d'équipes cherchent à résoudre le « sim-to-real » en modélisant finement les moteurs, les couples et les frottements, ce qui est coûteux et propre à chaque machine. EIDA place l'adaptation à l'interface d'exécution, c'est-à-dire entre la commande de vitesse et le mouvement observé, et s'appuie sur des données collectées à l'exécution. Pour un intégrateur qui déploie des politiques de navigation sur plusieurs plateformes, un recalage à partir d'un jeu de données de conduite est plus réaliste qu'une identification complète de la dynamique. Le résultat sur les ablations est aussi instructif : l'écart ne vient pas seulement du mouvement réel, mais de la manière dont la politique estime sa propre vitesse, ce qui oblige à aligner ces estimations. Il faut toutefois relativiser. Il s'agit d'un préprint non évalué par des pairs. Le test physique porte sur un seul robot, en scène statique, avec 20 essais, et rien n'indique encore une tenue en environnement dynamique ou sur d'autres morphologies. Ce travail s'inscrit dans la lignée des méthodes « real-to-sim-to-real », qui vont des approches de randomisation de domaine à l'identification de systèmes et aux modèles de dynamique appris. La navigation par apprentissage par renforcement entraîné en simulation parallèle sur GPU est devenue courante pour les quadrupèdes comme le Go2, et la question du transfert reste son principal frein. Le choix du Jackal et du Go2 montre la volonté de couvrir un robot à roues et un robot à pattes, mais la validation en conditions réelles ne concerne que ce dernier. Les auteurs ne mentionnent ni pilote industriel ni calendrier. La suite logique serait des essais en scènes dynamiques, sur davantage de plateformes, et une comparaison avec des méthodes d'adaptation en ligne.

Recherche❖Paper

1 source

41

557arXiv cs.RO 

Diviser pour mémoriser : une mémoire récursive centrée sur l'action pour les politiques VLA à long horizon

Des chercheurs proposent Divide-and-Remember (D&R), une méthode de mémoire récursive pour les politiques VLA (vision-language-action) appliquées à la manipulation de longue durée. Le papier, publié sur arXiv (2610.00982), s'attaque aux tâches dites dépendantes de l'historique, où l'observation courante ne suffit pas à déterminer l'action. D&R apprend une fonction de mémoire mt = M(ht) en s'appuyant sur une sélection récursive : la sélection sur l'historique complet est découpée en sous-problèmes de type top-K sur 2K tokens. Des sélecteurs légers, de taille fixe et entraînés de bout en bout, peuvent ainsi gérer un historique non borné. Tous les blocs de récursion partagent un unique sélecteur, ce qui limite le coût de calcul. Sur RoboMME, un benchmark de 16 tâches de manipulation longue qui exigent de se souvenir du quand, du où, du quoi et du comment agir, D&R atteint le meilleur taux de succès moyen publié, avec des gains constants sur les quatre suites, pour un budget de seulement 64 tokens de mémoire. Les auteurs affirment que des essais sur robot réel confirment le gain, sans en donner les chiffres dans le résumé. Le code et les checkpoints sont publiés. L'enjeu dépasse le seul score de benchmark. Les VLA actuels restent largement réactifs : ils se débrouillent quand la scène contient l'information utile, mais échouent dès qu'il faut se rappeler quel objet a été déplacé, quelle étape est déjà faite ou où un élément a disparu. Ces cas sont fréquents en logistique, en assemblage et en tâches de service. Les méthodes existantes de mémoire reposent sur des heuristiques fixées à la conception, comme conserver les images à forte variation de pixels, et donnent des résultats irréguliers selon les tâches. Le papier les remplace par un critère théorique : la mémoire optimale maximise l'information mutuelle conditionnelle entre l'action et la mémoire, sachant l'observation courante. Autrement dit, elle ne garde que ce qui, dans le passé, est utile à l'action et absent de la vue présente. Pour un intégrateur, le point clé est le budget : 64 tokens, c'est une mémoire compatible avec une inférence embarquée, là où allonger le contexte fait exploser latence et coût. Il faut toutefois rester prudent : RoboMME est un benchmark principalement simulé, et la validation sur robot réel n'est détaillée que dans le papier complet. Il s'agit d'un résultat de recherche, pas d'un produit déployé. Ce travail s'inscrit dans la montée en puissance des VLA généralistes, comme Pi-0 ou GR00T, qui traitent surtout une observation courte ou quelques images récentes. La mémoire à long horizon est identifiée comme un point faible de ces architectures, et plusieurs équipes explorent la compression du contexte, la mémoire par mots-clés ou les représentations récurrentes. D&R se distingue par sa formulation en problème d'optimisation, issue du cadre POMDP de l'apprentissage par imitation. Les prochaines étapes à surveiller sont la reproduction des résultats sur d'autres benchmarks, les chiffres détaillés sur robot réel et l'intégration dans des modèles de fondation de grande taille.

Recherche❖Paper

1 source

41

558arXiv cs.RO 

Sortir et revenir : ancrage du monde et du comportement dans le co-entraînement Real2Sim2Real

Une équipe de chercheurs publie sur arXiv (2610.00821) une étude sur l'usage de la simulation pour enrichir des démonstrations réelles rares dans le co-entraînement de politiques robotiques. Les auteurs distinguent deux axes qu'ils font varier indépendamment dans un pipeline « real2sim2real ». Le premier, le « world grounding », aligne la simulation sur le système réel. Le second, le « behavior grounding », aligne les trajectoires simulées sur le mouvement humain. Le test porte sur une tâche dynamique de tri et de saisie dextre. Avec un co-entraînement entièrement ancré sur les deux axes, le taux de réussite passe de 52 % à 86 %. En moyenne sur toutes les configurations, le world grounding apporte 18 points de pourcentage et le behavior grounding 10 points. Les politiques déployées se comportent comme un mélange de deux politiques : l'une dérivée du réel, l'autre dérivée de la simulation. Elles imitent les démonstrations réelles dans les états couverts par celles-ci et s'appuient sur le comportement simulé ailleurs, ce que les auteurs examinent par une analyse de l'espace latent. Pour les équipes qui doivent arbitrer leur budget de données, le résultat est utile parce qu'il chiffre des effets que le secteur traite souvent de façon intuitive. Le world grounding apparaît comme l'investissement prioritaire : il permet à la politique d'exploiter l'expérience simulée au-delà de la zone couverte par les données réelles, donc d'étendre la robustesse sans multiplier les téléopérations coûteuses. Le behavior grounding compte surtout lorsque l'alignement du monde est imparfait, ce qui est le cas de la plupart des simulateurs de contact et de dextérité. L'étude nuance l'idée d'un sim-to-real « résolu » : un gain de 34 points reste conditionné à un travail de calibration explicite. Les auteurs indiquent aussi que la simulation ancrée reste bénéfique lors du co-entraînement de modèles de fondation. Les résultats se limitent toutefois à une tâche unique, et l'abstract ne précise ni le robot, ni le nombre de démonstrations, ni le nombre d'essais. La marge statistique de ces pourcentages n'est donc pas évaluable à ce stade. Ces travaux s'inscrivent dans le débat sur la manière de combler la pénurie de données robotiques. Les approches se partagent entre téléopération à grande échelle, vidéos humaines et génération synthétique en simulation, chacune avec ses limites de coût et d'écart de réalité. Des acteurs comme Nvidia, avec son écosystème Isaac et GR00T, Physical Intelligence avec Pi-0, ou Figure avec Helix, misent sur des mélanges de ces sources. Cet article, une prépublication non encore relue par des pairs, apporte une grille de lecture expérimentale sur ce que la simulation doit reproduire pour être utile. Reste à voir si ces proportions se confirment sur d'autres tâches, d'autres plateformes et à plus grande échelle.

Recherche❖Paper

1 source

41

559arXiv cs.RO 

Guidage sensible à l'achèvement pour les modèles du monde et d'action

Des chercheurs publient sur arXiv (2610.01559) une méthode baptisée Completion Aware Guidance (CAG), destinée aux World Action Models (WAMs). Ces modèles prédisent à la fois les futurs visuels et les actions du robot. Le travail cible un défaut précis, l'« imagination incomplète » : le modèle produit des prédictions plausibles et cohérentes avec les actions, mais qui omettent la transition nécessaire pour terminer la tâche. CAG est une méthode d'échantillonnage sans entraînement supplémentaire, qui oriente la génération vers l'achèvement de la tâche. Sur plusieurs WAMs représentatifs, le taux de succès passe de 64 % à 70 % sur un sous-ensemble de RoboTwin 2.0, et de 69 % à 75 % en simulation zéro-shot. La part d'imagination incomplète tombe de 79 % à 40 %. Les résultats portent sur des benchmarks simulés. L'article ne mentionne ni test sur robot réel, ni déploiement. L'intérêt tient d'abord au diagnostic. Selon les auteurs, l'échec ne vient pas de l'architecture du modèle du monde. Il apparaît quand ce modèle est adapté au contrôle par segments courts (short-chunk control). Dans ce régime, le modèle favorise de façon répétée des prolongements locaux plausibles plutôt que les transitions qui achèvent la tâche. Pour les équipes qui construisent des politiques VLA ou des WAMs, cela signale qu'une partie des échecs en manipulation vient de la procédure d'échantillonnage et d'adaptation, pas d'un manque de capacité du modèle de base. Corriger cela à l'inférence, sans réentraînement, est peu coûteux. Il faut toutefois relativiser : un gain de 6 points de succès reste modeste, et le chiffre le plus net, 79 % à 40 %, mesure un défaut défini par les auteurs eux-mêmes. Il ne se traduit pas directement en fiabilité industrielle. Ce travail s'inscrit dans l'essor des modèles qui apprennent à prédire l'avenir visuel pour guider l'action. L'approche est une alternative aux VLA purement réactifs, comme Pi-0 ou Helix. Elle est aussi un complément aux efforts de modèles du monde généralistes, tels que GR00T. RoboTwin 2.0 sert de banc d'essai standard pour la manipulation bimanuelle en simulation. Il reste donc à voir si le gain tient sur matériel réel, avec ses latences, son bruit de perception et ses contraintes de temps de cycle. Les auteurs n'annoncent pas de calendrier de validation physique. L'article n'évoque aucun acteur français ou européen.

Recherche❖Paper

1 source

41

560arXiv cs.RO 

GlassGuard : cartographie vérifiée des surfaces vitrées pour la navigation des robots

Des chercheurs publient sur arXiv GlassGuard, un cadre logiciel de cartographie des vitres planes pour la navigation de robots mobiles. Le système combine des masques d'instances de verre produits par un modèle de vision « foundation », des indices 3D structurels qui génèrent des hypothèses de plans métriques, et une vérification géométrique projective 2D, sans carte de profondeur, qui contrôle l'orientation de chaque plan avant son entrée dans la carte globale. Il a été évalué dans neuf bâtiments aux structures vitrées, échelles et éclairages variés, pour plus d'une heure et 2,1 km de parcours réels. La version panoramique couvre 85 % du verre total. Avec des entrées sténopé identiques, GlassGuard atteint 82 % de couverture, contre au plus 61 % pour les méthodes de référence testées, tout en produisant 5 à 17 fois moins de voxels erronés par image. Des exemples qualitatifs avec un planificateur montrent les plans reconstruits bloquant les trajets à travers le verre tout en laissant les couloirs praticables ouverts. L'enjeu est très concret pour tout robot qui évolue en intérieur : le lidar, base de la plupart des piles SLAM et de navigation, voit mal le verre. Le faisceau traverse la paroi, la carte ne contient alors aucune frontière de collision, et le robot peut aller droit dans une porte vitrée ou une façade. Les travaux antérieurs tentaient de reconstruire ces surfaces manquantes, mais un obstacle mal placé crée l'échec inverse : il condamne un passage libre et peut bloquer un robot dans un couloir. GlassGuard formalise ce double critère, couverture du verre et contamination de l'espace libre, et l'applique à chaque étape. Pour les intégrateurs de robots de service, de logistique ou de nettoyage dans des halls, bureaux et hôpitaux, c'est un problème de fiabilité réel, rarement visible dans les démonstrations. Une réserve s'impose toutefois : les résultats viennent d'un seul groupe, sur neuf scènes, avec des comparaisons à des méthodes de référence choisies par les auteurs. Le gain de 5 à 17 fois sur les faux voxels est donné par image, sans taux de succès de navigation de bout en bout. Rien n'indique non plus un code ou un produit déployé, au-delà d'une page projet. Le verre est un angle mort connu des cartes lidar depuis des années, traité tantôt par des capteurs supplémentaires (ultrasons, polarisation, radar), tantôt par des réseaux de segmentation du verre sur image. Les modèles de vision généralistes récents rendent désormais la segmentation par instance suffisamment fiable pour servir de point de départ, ce que GlassGuard exploite en la recoupant avec la géométrie lidar. Les suites logiques sont des essais sur des robots commerciaux, la prise en compte de verres courbes ou non architecturaux, et des mesures de navigation en boucle fermée, notamment dans des environnements dynamiques et sur des surfaces réfléchissantes comme les miroirs.

Recherche❖Paper

1 source

41

561arXiv cs.RO 

FlashDexRetarget : accélérer la génération de données de manipulation dextérique grâce au retargeting multi-mouvement

Des chercheurs du laboratoire DAVIAN Robotics ont publié sur arXiv (2610.01849) FlashDexRetarget, un cadre d'apprentissage par renforcement (RL) qui convertit des démonstrations humaines main-objet en mouvements réalisables par des mains robotiques. Le système combine des observations en nuage de points de l'objet, des caractéristiques de distance main-objet et des encodages de trajectoire future, avec des récompenses complémentaires portant sur le mouvement de l'objet et sur la relation main-objet de référence. Il utilise des réseaux acteur-critique séparés pour la main gauche et la main droite, et adapte l'algorithme off-policy FlashSAC au suivi de mouvement dextre. Sur un benchmark de 50 mouvements, avec un ou deux objets, il atteint 90 % de réussite, soit environ 2,5 fois les méthodes de référence par échantillonnage évaluées. Il demande jusqu'à 100 fois moins de calcul d'entraînement que les références RL évaluées. Les gains sont constants sur deux mains robotiques, la XHand et la Sharpa Wave Hand. Des essais à 200, 500 et 1 000 mouvements montrent une stabilité à plus grande échelle. L'enjeu est celui des données. Les démonstrations humaines forment une source réutilisable pour entraîner des politiques de manipulation dextre, mais elles ne servent que si le retargeting respecte la physique : contacts, forces et dynamique de l'objet. Les approches par échantillonnage réussissent rarement, et les approches RL existantes réclament un entraînement coûteux pour chaque mouvement. Un taux de 90 % avec un calcul très réduit rend plausible la production de grands jeux de données de manipulation, nécessaires aux modèles VLA (vision-langage-action) pour mains à nombreux degrés de liberté. Le résultat le plus intéressant est que l'efficacité s'améliore quand le jeu d'entraînement grandit : le coût par mouvement réussi baisse avec l'échelle, ce qui est contraire à l'intuition. Il faut toutefois rester prudent. Les chiffres viennent d'un benchmark conçu par les auteurs, comparé à des références que ceux-ci ont choisies et évaluées. Le facteur 100 est une borne haute. La validation sur matériel réel se limite à des rejeux qualitatifs de démonstrations capturées, sans politique entraînée à partir de ces données ni déploiement. Le travail s'inscrit dans la course aux données pour la dextérité, où la téléopération, les gants de capture et la vidéo humaine se disputent le rôle de source principale. Le retargeting physique est le maillon qui permet de transformer cette matière humaine en données exploitables par des mains robotiques aux morphologies variées. La présence de la Sharpa Wave Hand, une main dextre récente, montre que la méthode vise des plateformes actuelles. Les auteurs annoncent la mise à disposition de la vidéo et du code sur la page du projet. L'étape suivante à surveiller est l'entraînement de politiques sur ces données retargetées et leur transfert sur robot réel, seul test capable de dire si ce taux de succès en simulation se traduit en capacité de manipulation.

Recherche❖Paper

1 source

41

562arXiv cs.RO 

TOAST : tokenisation stochastique des actions de robot pour les modèles vision-langage-action (VLA) autorégressifs

Des chercheurs proposent TOAST (TOkenization of Action sequences with STochastic sampling), une méthode de tokenisation stochastique des actions pour les modèles Vision-Language-Action (VLA) autorégressifs, décrite dans un preprint arXiv (2610.00899v1). Ces modèles convertissent les actions continues du robot en séquences de tokens discrets, ce qui permet de les prédire avec l'objectif standard du token suivant. Le schéma FAST, référence actuelle, compresse des actions couvrant plusieurs fréquences temporelles en peu de tokens, mais attribue une seule tokenisation déterministe à chaque séquence d'actions quantifiée. TOAST, lui, tire au hasard pendant l'entraînement l'une des tokenisations alternatives de cette même séquence, sans changer le mouvement décodé et sans nouvelle démonstration. Sur le benchmark LIBERO, TOAST bat systématiquement sa version déterministe, avec un gain de 6,8 points de taux de succès quand seulement 1/16 des données d'entraînement est disponible. Sur quatre tâches de manipulation avec un robot réel, le taux de succès moyen progresse de 15,8 points. Ces résultats visent un problème concret pour les équipes qui déploient des VLA : la rareté des démonstrations, qui coûtent cher en téléopération. Compresser les actions réduit le nombre de tokens à prédire, mais n'améliore pas l'efficacité d'apprentissage à partir de peu d'exemples. Les auteurs exploitent une redondance déjà présente dans la représentation, plusieurs suites de tokens pouvant décoder le même geste, comme une forme d'augmentation de données au niveau de la supervision. L'effet croît à mesure que les données diminuent, ce qui correspond au cas d'usage industriel, où l'on adapte une politique à une nouvelle tâche avec quelques dizaines de démonstrations. Il faut toutefois relativiser. Les gains sont mesurés par rapport à FAST seul, pas contre des politiques à diffusion ou à flow matching. L'évaluation réelle ne porte que sur quatre tâches, sans précision dans le résumé sur le robot, le nombre d'essais ou les intervalles de confiance. Un gain de 6,8 points sur LIBERO reste modeste, et les 15,8 points sur robot réel demandent à être confirmés sur davantage de tâches et de plateformes. Ce travail s'inscrit dans le débat sur la meilleure façon de représenter les actions dans les VLA. D'un côté, la tokenisation discrète (FAST, dans la lignée de RT-2 et OpenVLA) conserve la simplicité d'un modèle de langage. De l'autre, des approches continues à diffusion ou flow matching, comme celles de la famille Pi-0, gèrent les actions de façon différente. TOAST défend la voie discrète en améliorant son efficacité en données plutôt qu'en changeant d'architecture. Il s'agit d'un preprint, non évalué par les pairs : aucun produit ni déploiement n'est annoncé. La suite logique serait des tests sur des benchmarks plus variés, une comparaison directe avec les politiques continues, et une vérification sur de grands modèles pré-entraînés.

Recherche❖Paper

1 source

41

563arXiv cs.RO 

DITTO-X : téléopération directe et inverse pour la manipulation dextère et l'intervention humaine

Des chercheurs du Tele-operation and Manipulation Lab de Stanford (tml.stanford.edu) publient sur arXiv (2610.00781) DITTO-X, une interface de téléopération dextre qui restitue des forces articulaires et des événements de contact au bout des doigts. Ces informations proviennent de capteurs déjà présents sur la main robotique, sans ajout de matériel dédié. Le système pilote trois mains dextres commerciales, Sharpa, Wuji et Inspire, sans redesign propre à chacune, d'où son qualificatif de « hand-agnostic ». L'exosquelette est actionné, ce qui permet une téléopération inversée : avant le transfert de contrôle, le robot ramène les doigts de l'opérateur dans sa propre configuration. Selon les auteurs, DITTO-X améliore la qualité des démonstrations et le débit de collecte par rapport à un gant de suivi de main commercial, aussi bien pour la collecte de données que pour l'intervention humaine pendant le déploiement d'une politique, sur des tâches riches en contacts. Le résumé ne donne ni chiffres ni nombre de tâches, et le gant comparé n'y est pas nommé. Ce travail s'attaque à un point faible de la chaîne de données de la manipulation robotique. Les démonstrations téléopérées alimentent l'apprentissage par imitation et les modèles vision-langage-action (VLA). Les interventions humaines servent à corriger les politiques une fois déployées. Or la plupart des systèmes ferment la boucle par la seule vision et sont pensés pour des pinces parallèles. L'opérateur ne ressent donc pas le contact et voit la scène à travers des caméras souvent occultées par la main elle-même. Le cas le plus pénalisant est l'autonomie partagée : l'opérateur doit reprendre la main en plein geste, avec un objet déjà saisi. La téléopération inversée vise ce moment de transition, où un décalage entre l'état de la main humaine et celui de la main robotique peut lâcher ou écraser l'objet. Si les gains se confirment à l'échelle, des données de meilleure qualité, avec retour d'effort, bénéficieraient directement aux mains à haut nombre de degrés de liberté, aujourd'hui limitées par la pauvreté des jeux de données dextres. Le projet prolonge l'essor des mains dextres commerciales, notamment chinoises, qui font baisser le coût d'accès à la manipulation fine. Il s'inscrit aussi dans la course à la collecte de données pour les VLA, face aux gants de suivi et aux dispositifs de capture sans robot. Il s'agit d'un preprint v1, non relu par les pairs, avec des résultats annoncés par les auteurs et sans déploiement industriel. Les points à vérifier sont l'ampleur réelle des gains, la diversité des tâches, le coût et l'encombrement de l'exosquelette actionné, et sa tenue en usage prolongé. Une publication du code ou des plans en faciliterait la reproduction.

Recherche❖Paper

1 source

41

564arXiv cs.RO 

FutureWorlds : apprendre des modèles du monde robotiques à partir de futurs alternatifs

Des chercheurs publient FutureWorlds, un cadre d'apprentissage de modèles du monde robotiques (world models) qui prédisent la scène future en fonction des actions du robot. Il repose sur un modèle autorégressif discret multimodal. Pendant l'apprentissage par renforcement, il applique une diverse beam search pour produire plusieurs futurs candidats qui équilibrent confiance et diversité. Chaque candidat dispose d'une mémoire bornée qui conserve les états de la scène, de sorte que la génération et le scoring de la politique s'appuient sur le même historique. Les auteurs proposent aussi MemSPO (Memory-Conditioned Search-Guided Policy Optimization). Cette méthode convertit les récompenses de trajectoires vidéo en avantages relatifs au sein d'un groupe de candidats, puis s'en sert pour optimiser le modèle. Sur RT-1, BridgeV2 et RoboCasa, la LPIPS (métrique de distance perceptuelle) à 32 images baisse de 14,78 %, 20,84 % et 9,12 % par rapport à la meilleure référence de chaque jeu de données. Selon les auteurs, 200 mises à jour MemSPO suffisent pour améliorer encore la qualité et prolonger la prédiction au-delà de l'horizon d'entraînement. Le code et la page projet sont publiés sur GitHub. L'enjeu tient à la manière dont on exploite les prédictions d'un world model. Prédire un futur plausible ne suffit pas. Il faut comparer plusieurs futurs pour en tirer un signal d'apprentissage. Quand les candidats se ressemblent, la comparaison apporte peu d'information. Quand ils divergent, chacun exige un historique propre, ce qui fait grossir le coût de mémoire et le risque d'incohérence. En traitant ces deux contraintes ensemble, FutureWorlds vise des simulateurs appris plus fiables pour évaluer des politiques VLA (vision-langage-action) ou pour générer des données d'entraînement. Les ablations sur la mémoire, l'analyse de sensibilité au décodage et l'évaluation par flux optique indiquent que le gain dépasse l'aspect visuel, avec un mouvement mieux prédit et des états d'objets plus cohérents. Les limites sont nettes : les résultats sont des métriques de génération vidéo hors ligne, sans test sur robot réel. Les gains sont mesurés contre des références choisies par les auteurs. Rien n'indique non plus que la qualité de prédiction se traduise en meilleures politiques de contrôle. Le travail s'inscrit dans la montée des world models pour la robotique. RT-1, BridgeV2 et RoboCasa sont des corpus de manipulation devenus des bancs d'essai courants pour ces modèles. Les approches concurrentes reposent surtout sur la diffusion vidéo ou sur des modèles autorégressifs entraînés par maximum de vraisemblance. Les auteurs misent plutôt sur le post-entraînement par renforcement, à l'image de ce qui a réussi pour les grands modèles de langage. La suite logique consisterait à utiliser ces world models comme simulateurs pour entraîner des politiques, puis à valider sur matériel réel. Cela reste à démontrer. Cette publication est une préversion arXiv (v1) qui n'a pas encore été relue par des pairs. Aucun acteur européen n'y est mentionné.

Recherche❖Paper

1 source

41

565arXiv cs.RO 

Contact multiple réactif pour humanoïdes grâce à des modèles de stabilité appris

Des chercheurs proposent une méthode de planification et de contrôle qui permet à un humanoïde d'utiliser ses mains pour se stabiliser lorsque les pieds seuls ne suffisent plus à éviter la chute. Le système échantillonne des points de contact candidats dans l'espace atteignable du robot, puis simule la dynamique centroïdale à travers trois phases : pré-impact, impact et post-impact. Chaque point est noté selon l'autorité de contrôle du centre de pression (CoP) après l'impact. Le planificateur procède en deux étapes : il choisit d'abord une région d'appui optimale, puis calcule le meilleur point d'appui dans cette région. En simulation, la résilience aux impulsions progresse en moyenne de 89 % par rapport à une récupération sans contact manuel, et de 17 % par rapport à une stratégie naïve consistant à viser la région atteignable la plus proche. Sur robot réel, des tests de poussée ont été menés à l'arrêt et en marche : à l'arrêt, le temps de stabilisation baisse en moyenne de 43 % face à un placement naïf des mains, et en marche, de 18 % face à une récupération sans contact manuel. Le papier, publié sur arXiv, ne précise dans son résumé ni la plateforme utilisée ni l'amplitude des poussées. L'intérêt tient à un modèle appris de la région de CoP atteignable en post-impact, qui remplace les optimisations en ligne plus coûteuses pour évaluer chaque contact candidat. Cette évaluation rapide est la condition pour réagir en temps réel à une perturbation, et non planifier un appui à froid. Pour les intégrateurs et industriels qui envisagent des humanoïdes dans des environnements encombrés, entrepôts, ateliers ou zones de maintenance, la capacité de s'appuyer sur une paroi, une étagère ou une machine plutôt que de tomber répond à un enjeu de sécurité et de disponibilité. Elle illustre aussi un schéma de plus en plus courant : un modèle appris, léger et ciblé, greffé sur un contrôleur à base de modèle, plutôt qu'une politique de bout en bout. Les gains sont néanmoins modestes dans le cas de la marche (18 %), et la comparaison de référence est faible, puisqu'il s'agit d'un placement naïf ou de l'absence de contact manuel. Aucune comparaison avec une politique apprise par renforcement n'est mentionnée. Ce travail s'inscrit dans la lignée de la locomotion multi-contact, longtemps traitée par optimisation hors ligne ou par séquences de contacts prédéfinies, avec des temps de calcul peu compatibles avec une réaction aux poussées. Les équipes de robotique humanoïde, qu'elles soient académiques ou industrielles, cherchent à rendre ces stratégies de récupération robustes, en parallèle des politiques de locomotion apprises en simulation. La suite logique consisterait à tester des surfaces et des géométries variées, des contacts non plans et des perturbations moins contrôlées qu'un test de poussée en laboratoire. Pour l'instant, il s'agit d'un résultat de recherche validé en laboratoire, sans déploiement ni calendrier commercial annoncé.

Recherche❖Paper

1 source

41

566arXiv cs.RO 

WBAG : un cadre de sécurité corps entier et géométrie attachée pour la manipulation par modèles vision-langage-action (VLA)

Des chercheurs proposent WBAG, un cadre de sécurité appliqué à l'inférence pour les politiques vision-langage-action (VLA), publié sur arXiv (2610.01083) en octobre 2026. Le système modélise le corps entier du robot articulé ainsi que la géométrie de l'objet saisi. Il construit un « ensemble sûr » conditionné par la saisie, dont la géométrie protégée s'adapte dès qu'un objet est attrapé. Cette géométrie évolutive est convertie en contraintes différentiables de type CBF (control barrier functions, fonctions barrières de contrôle). Ces contraintes modifient le moins possible l'action native à six dimensions en espace opérationnel produite par le VLA, afin d'éviter les collisions entre le robot, la scène et l'objet transporté. Les tests portent sur SafeLIBERO, une variante du benchmark LIBERO enrichie d'obstacles. Avec un évaluateur qui surveille tous les objets non liés à la tâche, WBAG atteint 97,38 % de Scene Safety agrégée et 59,38 % de Safe Success. Ce serait le meilleur score global parmi les méthodes comparées. Il s'agit d'un travail académique évalué en simulation, sans produit ni déploiement réel annoncé. L'intérêt tient à la lacune que le travail cible. Les politiques VLA généralisent bien en manipulation, mais leur passage en conditions réelles bute sur le risque de collision. Les garde-fous existants à l'inférence raisonnent surtout à partir d'une représentation simplifiée centrée sur l'effecteur terminal. Ils ignorent donc les coudes, les segments du bras et le volume de la pièce tenue, qui changent la zone d'encombrement à chaque saisie. Pour un intégrateur, c'est un point concret : un robot qui frôle une étagère avec son avant-bras ou avec une boîte transportée n'est pas déployable, même si sa politique réussit la tâche en démonstration. L'écart entre les deux chiffres est aussi instructif. Le taux de réussite à la fois sûre et complète n'atteint que 59,38 %, loin des 97 % de sécurité. Le goulot d'étranglement n'est donc pas résolu, car éviter les collisions ne suffit pas à finir la tâche. Ces résultats reposent en outre sur un évaluateur choisi par les auteurs, dans un benchmark de simulation, et ne disent rien du transfert sim-to-real. Le travail s'inscrit dans la recherche de sécurité « plug-in » pour des modèles de fondation de type Pi-0 ou GR00T, que l'on ne peut pas réentraîner à chaque nouvel environnement. Les CBF servent de filtre léger posé sur la politique, sans modifier ses poids. Reste à voir si WBAG sera validé sur robot physique, avec perception imparfaite et latence réelle, et s'il sera comparé sur d'autres benchmarks que LIBERO. Aucun acteur industriel ni pilote n'est cité dans le résumé.

Recherche❖Paper

1 source

41

567arXiv cs.RO 

SkeleWAM : modélisation squelette du monde et de l'action pour une manipulation robotique efficace

Des chercheurs publient sur arXiv (2610.02120) SkeleWAM, un modèle « world action » (WAM) compact pour la manipulation robotique. Un WAM combine la génération d'actions du robot avec la prédiction d'états futurs. La plupart des WAM existants prédisent des vidéos ou des latents visuels appris. Le nouveau modèle représente plutôt la scène sous la forme d'un squelette 3D épars, composé des articulations du robot, des centres d'objets et de points d'interaction. Ce squelette est construit en ligne à partir des images RGB-D courantes et de la proprioception du robot. Il sert d'état géométrique unique pour générer les actions et prédire les squelettes futurs, ce qui apporte une supervision géométrique supplémentaire sans reconstruction visuelle. À l'inférence, le modèle produit les actions directement depuis le squelette courant et l'instruction en langage naturel. Une stratégie auxiliaire, Medoid Action Consensus (MAC), sélectionne parmi plusieurs échantillons d'actions stochastiques un consensus représentatif. Sur le benchmark LIBERO-Plus, SkeleWAM atteint 85,9 % de réussite globale avec 57,1 millions de paramètres, soit 3,7 points de plus que Cosmos-Policy. L'intérêt tient au compromis entre performance et taille. Les WAM fondés sur la vidéo ou sur des latents visuels portent des informations d'apparence sans rapport avec le contrôle et ne codent la géométrie d'interaction qu'implicitement. Avec 57,1 M de paramètres, SkeleWAM se situe très en dessous des modèles de fondation de type VLA, qui comptent en général plusieurs milliards de paramètres. Si l'approche tient hors benchmark, elle ouvre la voie à des politiques embarquables sur du calcul modeste, un point décisif pour les intégrateurs qui visent des cellules industrielles sans GPU lourd. Elle suggère aussi qu'un état structuré, centré sur les relations robot-objet, peut suffire à remplacer la prédiction de pixels. Des réserves s'imposent : LIBERO-Plus est un benchmark en simulation, qui évalue la robustesse à des perturbations, et l'écart de 3,7 points reste modeste. Aucun test sur robot réel n'est mentionné dans le résumé. Enfin, la construction du squelette suppose une perception RGB-D fiable, ce qui déplace une partie de la difficulté vers l'estimation des centres d'objets et des points d'interaction en conditions réelles. SkeleWAM s'inscrit dans la montée des world action models, qui cherchent à marier politique et modèle du monde, avec Cosmos-Policy comme référence directe de la comparaison. La tendance dominante a consisté à prédire des vidéos futures, coûteuses en calcul. Les travaux récents explorent des représentations plus sobres, géométriques ou latentes, pour réduire ce coût. Les auteurs publient une page de projet (skelewam-project.github.io). La suite logique serait une validation sur matériel réel, sur des tâches variées et dans des environnements encombrés, ainsi qu'une comparaison avec les grands VLA sur des benchmarks complémentaires. Il s'agit pour l'instant d'une préimpression, sans produit ni déploiement associé.

Recherche❖Paper

1 source

41

568arXiv cs.RO 

Les agents VLM de pointe sont-ils prêts à devenir des robots généralistes ? Une étude empirique avec Embodied Agent Arena

Une équipe de chercheurs publie sur arXiv (2610.00854) l'Embodied Agent Arena, un banc d'essai conçu pour mesurer si les modèles vision-langage (VLM) de pointe peuvent servir de généralistes en robotique. L'arène regroupe 1 000 cas tirés de 32 sources existantes, répartis en cinq familles de compétences : géométrie, raisonnement spatial, affordance (repérer où et comment saisir ou actionner un objet), planification de tâches et manipulation. Elle intègre aussi GeoProbe, un nouveau benchmark d'estimation géométrique sur rendus Blender et images de scènes réelles. Un harnais minimal conserve les observations et opérations d'origine, et sépare trois mesures : la précision métrique, l'ancrage fonctionnel et l'accomplissement de l'objectif natif de la tâche. Sept VLM sont évalués. Les auteurs analysent en détail les avantages de l'un d'eux, Astra, et comparent des protocoles d'exécution à observations enrichies ainsi qu'une revue en plusieurs tours. Le résultat central est une dissociation entre compétence locale et réussite de bout en bout. L'avantage d'Astra est le plus net sur l'estimation précise et la localisation de zones de contact exploitables. En revanche, enchaîner des actions coordonnées et orientées vers un but reste le principal verrou vers un généralisme robotique. Pour les intégrateurs et les décideurs B2B, cela rejoint un écart connu entre les démonstrations et le terrain. Un modèle qui perçoit et localise bien ne suffit pas à fermer la boucle perception-action. Cela relativise aussi les scores obtenus sur des benchmarks isolés, car ils surestiment la préparation à l'exécution de tâches complètes. Le choix de séparer précision métrique, ancrage et complétion donne enfin une grille de lecture plus utile qu'un score agrégé pour décider où un VLM généraliste peut remplacer des briques spécialisées de perception, et où une couche de contrôle dédiée reste nécessaire. Ce travail s'inscrit dans la montée des agents incarnés pilotés par des modèles de fondation, où les VLM sont de plus en plus proposés comme cerveau haut niveau, seuls ou combinés à des politiques vision-langage-action (VLA). Les évaluations existantes tendent à tester chaque compétence séparément, ce qui masque les points de rupture dans une chaîne complète. L'arène répond à ce manque en réutilisant des sources établies plutôt qu'en repartant de zéro, ce qui facilite la comparaison avec les résultats antérieurs. L'étude ne précise pas, dans son résumé, l'identité des six autres modèles, les taux de réussite chiffrés ni la part de tests en conditions physiques réelles. Ces éléments devront être vérifiés dans le texte complet. La suite logique est l'usage de cette arène pour comparer les prochaines générations de VLM et de VLA sur la complétion de tâches coordonnées, là où l'écart se situe aujourd'hui.

Recherche❖Paper

1 source

41

569arXiv cs.RO 

TANGO : navigation humanoïde en environnements encombrés grâce à un modèle vision-langage-action (VLA) du corps entier

Des chercheurs ont publié sur arXiv (identifiant 2609.09158, deuxième version) TANGO, un modèle vision-langage-action (VLA) qui permet à un robot humanoïde de traverser des environnements intérieurs encombrés à partir d'une consigne en langage naturel. Le système prend en entrée la consigne et des images RGB égocentriques, puis prédit directement des actions articulaires pour 29 DOF, transmises à un contrôleur du corps entier. L'entraînement s'est fait uniquement en simulation. Un pipeline génère des comportements de traversée sans collision: planification de trajectoire globale, génération cinématique de mouvements du corps entier, édition de mouvements tenant compte des obstacles, puis suivi par apprentissage par renforcement, qui garantit la faisabilité dynamique des actions servant de supervision. Selon les auteurs, TANGO atteint l'état de l'art en navigation vision-langage en simulation et dépasse des bases modulaires solides sur les scènes exigeant de négocier des obstacles. Le modèle a ensuite été déployé en zero-shot sur un Unitree G1, sans aucune donnée de navigation réelle, avec une traversée guidée par le langage jugée robuste dans des scènes encombrées réelles. L'intérêt tient au changement de paradigme. La navigation y est traitée comme un problème 3D de coordination du corps entier (placement des bras, ajustement du buste, modulation de la démarche), et non comme une planification 2D de type AMR, où le robot se réduit à une empreinte au sol. Cette logique convient mal à des humanoïdes appelés à circuler dans des entrepôts, ateliers ou bureaux denses. Le résultat, s'il se confirme, appuie aussi la thèse d'un transfert sim-to-real efficace pour des comportements complexes, sans collecte coûteuse de téléopération réelle. Il faut toutefois rester prudent: il s'agit d'un preprint, les chiffres détaillés (taux de succès, nombre d'essais, diversité des scènes réelles) ne figurent pas dans le résumé, et la revendication de « première » approche reste à vérifier. Une démonstration sur un seul robot ne vaut pas un déploiement. Le contexte est celui d'une course aux VLA, de Pi-0 de Physical Intelligence à GR00T de NVIDIA ou Helix de Figure, surtout orientés vers la manipulation. TANGO déplace l'effort vers la locomotion pilotée par le langage et la perception, avec une plateforme accessible, le G1 d'Unitree, très répandue dans les laboratoires. Les approches modulaires, qui séparent perception, planification et contrôle, restent la référence industrielle et servent ici de point de comparaison. Les suites probables sont l'ouverture du code ou des données, des tests sur d'autres morphologies et, surtout, une évaluation en environnements dynamiques et en conditions de production.

Recherche❖Paper

1 source

41

570arXiv cs.RO 

Mémoire rétrospective à vocabulaire ouvert pour la recherche d'objets sur le long terme

Une équipe de chercheurs publie sur arXiv (2610.00330) ECROM, une méthode de mémoire à vocabulaire ouvert pour la recherche d'objets sur de longues durées par un robot mobile. Le système estime la prévalence à long terme d'un concept, spécifié uniquement au moment de la requête, et convertit cette croyance directement en prior de recherche active. Les auteurs ont aussi construit un benchmark contrôlé de dix habitats HM3D, où le placement des objets et les opportunités d'observation varient indépendamment au fil de passages répétés. Sur des requêtes jamais vues, ECROM gagne 4,5 points d'average precision (AP) au niveau du support et 4,2 points de SPL (Success weighted by Path Length, métrique de recherche d'objet) par rapport à la meilleure mémoire concurrente, mesurée séparément pour chaque métrique. Benchmark, jeu de données et code seront publiés en open source. Il s'agit d'un préprint, sans déploiement sur robot réel annoncé. L'idée centrale est de traiter les observations comme des données censurées. Une détection ou une non-détection ne pèse sur la croyance qu'en proportion de l'opportunité qu'avait le robot d'observer l'endroit concerné. Un objet « absent » d'une pièce que le robot n'a fait que traverser ne dit presque rien, alors qu'une pièce inspectée de près à de nombreuses reprises est une preuve solide. Beaucoup de mémoires sémantiques existantes accumulent détections et absences sans pondérer cette exposition, ce qui biaise l'apprentissage vers les zones les plus visitées. Pour un intégrateur ou un exploitant de robots de service, d'entrepôt ou d'assistance à domicile, c'est un problème concret, car les trajectoires réelles sont inégales par construction. Les gains restent modestes et mesurés en simulation, sur dix scènes. Ces travaux s'inscrivent dans la lignée des cartes sémantiques à vocabulaire ouvert, construites sur des modèles vision-langage, et de la navigation par objectif (ObjectNav), qui a longtemps supposé des environnements statiques ou une mémoire d'un seul épisode. La mémoire à long terme dans des environnements changeants reste moins évaluée, faute de benchmarks qui séparent l'effet du placement de celui de l'observation. C'est cette lacune que le jeu de données veut combler. Les auteurs ne comparent leur méthode qu'à d'autres mémoires, sans validation en conditions réelles. Les suites probables sont la publication du code et un test sur plateforme physique, étape qui dira si le gain tient face au bruit de perception et au changement réel des environnements.

Recherche❖Paper

1 source

40

571arXiv cs.RO 

ChunkVLA-AM : découpage d'actions en parallèle pour le contrôle de robots par modèle vision-langage-action (VLA) en fabrication additive

Des chercheurs publient sur arXiv (2610.01856) ChunkVLA-AM, un cadre de déploiement du modèle vision-langage-action OpenVLA-OFT sur un bras FAIRINO FR3 installé dans une cellule de fabrication additive fixe. Une chaîne de données convertit des démonstrations réelles filmées en monoculaire en jeux de données TFDS/RLDS compatibles OpenVLA, afin d'adapter le modèle à la morphologie du FR3. À l'exécution, chaque requête d'inférence prédit un « chunk » de huit actions à 7 dimensions. Le robot exécute ce bloc en boucle ouverte, puis capture une nouvelle observation, ce qui crée un retour en boucle fermée entre les blocs. L'architecture sépare cloud et edge : le client FR3 envoie ses observations à un serveur d'inférence distant via une interface FastAPI. Sur 42 essais physiques de transfert d'objet d'un point A à un point B, répartis à égalité entre cibles rouges et bleues, le système réussit 39 fois, soit 92,9 %. Les trois échecs surviennent tous au placement final : le contrôle insuffisant de la hauteur de lâcher fait basculer l'objet. Un balayage d'éclairage situe la plage de luminance à faible erreur entre 85 et 125 sur une échelle de 0 à 255, l'erreur spatiale moyenne la plus basse étant obtenue à 95. L'intérêt tient moins au score qu'à la méthode : il s'agit d'un exemple documenté de VLA ouvert adapté à un bras peu courant, sans recours à une plateforme propriétaire. Le chunking à huit pas limite la fréquence d'inférence nécessaire et rend viable une inférence déportée, donc des postes de travail légers. La sensibilité à la luminosité mérite l'attention des intégrateurs. La plage utile, qui représente environ 16 % de l'échelle, signifie que la robustesse aux variations d'environnement reste un point faible, alors que les ateliers de fabrication additive ont des éclairages variables. Il faut aussi relativiser le chiffre : 42 essais, une tâche unique de pick-and-place, une cellule fixe et deux couleurs de cible. Cela ne prouve ni généralisation ni cadence industrielle, et aucun temps de cycle n'est donné dans le résumé. L'intervalle de confiance sur 39 réussites sur 42 reste large. Les échecs au lâcher indiquent que la précision fine sur l'axe vertical est un verrou, probablement lié à la caméra monoculaire sans information de profondeur explicite. Ce travail s'inscrit dans la lignée d'OpenVLA, puis de la variante OFT (optimized fine-tuning), qui introduit le chunking parallèle d'actions pour accélérer l'inférence. Il se place en aval de modèles comparables comme Pi-0 ou GR00T, plus lourds et visant des morphologies multiples. Le FR3 de FAIRINO, un cobot d'origine chinoise, est un choix économique face aux bras Franka ou Universal Robots plus fréquents dans la recherche. Le résumé n'annonce ni pilote industriel ni déploiement en production : il s'agit d'un prototype de laboratoire en préprint, non évalué par les pairs. Les suites logiques seraient un contrôle de hauteur de lâcher amélioré, une capture en profondeur et des tests sur des tâches de manipulation propres à la fabrication additive, comme le retrait de pièces du plateau.

Recherche❖Paper

1 source

40

572arXiv cs.RO 

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle. Partant d'une politique apprise par imitation (IL), les auteurs utilisent ces signaux pour guider un affinage par PPO sur des tâches de manipulation à long horizon non vues pendant l'entraînement. La récompense de progression s'impose comme le meilleur signal en ligne sans information privilégiée : elle améliore la politique IL de référence et réduit l'écart avec les récompenses « privilégiées » issues de l'état interne de l'environnement. Côté matériel réel, elle sert à pondérer un clonage comportemental (behavioral cloning) selon la progression, sur quatre tâches de manipulation et deux plateformes robotiques, avec un gain sur le fine-tuning supervisé (SFT) classique dans les quatre cas. Le résumé ne donne ni modèle de VLM, ni taux de réussite chiffrés, ni noms de robots. L'enjeu est celui d'un goulot d'étranglement bien connu : l'apprentissage par renforcement (RL) peut améliorer les politiques de manipulation, mais écrire une fonction de récompense à la fois sémantiquement pertinente et réutilisable d'une tâche à l'autre reste coûteux, et se fait aujourd'hui surtout à la main, tâche par tâche. Si ces résultats se confirment, un VLM spécialisé pourrait servir de récompense générique, ce qui réduirait l'ingénierie de récompense pour les intégrateurs et ouvrirait la voie à une auto-amélioration des robots en déploiement, sans instrumentation de la scène. Des réserves s'imposent : l'écart avec les récompenses privilégiées est réduit, pas comblé ; la validation réelle ne porte que sur quatre tâches, et sur du clonage comportemental pondéré plutôt que sur du RL en ligne sur robot physique. Le travail relève de la recherche (preprint arXiv, version 3), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la montée des modèles de fondation pour la robotique, des VLA (vision-langage-action) comme Pi-0 ou GR00T aux VLM utilisés comme juges ou générateurs de récompense. Les approches précédentes de récompense par modèle de langage ou de vision restaient souvent limitées à une évaluation après coup, ce que les LRM cherchent à dépasser avec un signal exploitable en ligne. La suite logique serait de tester ces récompenses en RL directement sur robot réel, sur un plus grand nombre de tâches, et de mesurer leur robustesse face aux erreurs d'estimation de progression, qui peuvent être exploitées par la politique. Le résumé ne cite aucun acteur européen ni partenaire industriel.

Recherche❖Paper

1 source

40

573arXiv cs.RO 

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

Des chercheurs présentent sur arXiv Recova, un cadre logiciel piloté par un agent qui traite les échecs de manipulation robotique, ces situations où la scène se retrouve dans un état dont la politique de tâche ne peut plus sortir. Le système développe conjointement l'exécution de la tâche et la récupération dans un jumeau numérique reconstruit de la scène. L'agent y diagnostique les pannes, teste des programmes correctifs et collecte des trajectoires réussies, pour la tâche comme pour la récupération, destinées à entraîner deux politiques distinctes. En déploiement, il surveille la progression, déclenche une récupération apprise ou programmée, vérifie que la scène est restaurée, puis reprend la tâche. Si aucune récupération adaptée n'existe, une démonstration humaine règle le cas et alimente la boucle d'apprentissage. Les essais réels et les démonstrations sont routés vers la politique concernée pour un entraînement DAgger. Sur six configurations LIBERO-Pro et quatre catégories MolmoSpaces, Recova atteint 78,8 % et 64,9 % de succès moyen, contre 71,7 % et 38,0 % pour les meilleures méthodes de référence. Sur quatre postes robotisés réels collectant en parallèle, le fine-tuning DAgger fait passer le succès moyen de 23,8 % à 77,5 %, et les compétences de récupération le portent à 87,5 %. Sur une tâche donnée, l'intervention humaine observée tombe de 87,5 % à 0 % en quatre cycles de collecte. L'enjeu dépasse la robustesse brute. La plupart des politiques VLA et des pipelines d'imitation sont évalués sur des trajectoires nominales, alors que le coût opérationnel d'un robot en production tient largement à ce qui se passe après l'échec : objet tombé, scène désordonnée, nécessité d'un opérateur. Recova propose de transformer chaque panne en capacité réutilisable et de réduire progressivement la supervision humaine, ce qui répond directement à la question du coût de téléopération et d'assistance à distance pour les intégrateurs et les exploitants. Le résultat le plus parlant est l'écart sur MolmoSpaces (64,9 % contre 38,0 %), plus marqué que sur LIBERO-Pro. Des réserves s'imposent toutefois : l'évaluation réelle repose sur peu de postes et de tâches, la baisse de l'intervention à 0 % ne concerne qu'une seule tâche, et rien n'est dit sur les temps de cycle, les coûts de reconstruction du jumeau numérique ou la généralisation à des scènes très différentes. Il s'agit d'un travail de recherche, sans produit livré ni déploiement industriel. Le travail s'inscrit dans la convergence entre agents LLM de planification, jumeaux numériques pour la génération de données et apprentissage par correction de type DAgger, une voie explorée pour limiter la dépendance à la collecte massive de démonstrations. Il se positionne face aux approches de fine-tuning de VLA et de simulation à grande échelle que poursuivent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui misent surtout sur davantage de données plutôt que sur une récupération explicite des échecs. LIBERO-Pro et MolmoSpaces servent ici de bancs d'essai standardisés. La suite logique serait de valider l'approche sur davantage de tâches, de postes et de durées d'exploitation, et de mesurer ses gains en conditions de production, ce que la page projet de l'équipe, liuisabella.com/Recova, ne détaille pas à ce stade.

Recherche❖Paper

1 source

40

574arXiv cs.RO 

La réussite suffit-elle ? Effet des perturbations d'entrée sur le comportement des VLA dans des tâches de manipulation sur table

Une étude publiée sur arXiv (2610.01351) propose un cadre d'évaluation indépendant des benchmarks pour mesurer la robustesse comportementale des modèles Vision-Language-Action (VLA), au-delà du seul taux de réussite des tâches (TSR). Les auteurs l'implémentent en étendant LIBERO et LIBERO-Plus, deux benchmarks de manipulation sur table très utilisés. Le protocole couvre trois VLA de pointe, quatre suites de tâches LIBERO et sept conditions de perturbation des entrées. Il ne s'intéresse qu'aux trajectoires réussies. Pour chacune, il mesure la fluidité du mouvement, l'efficacité et le comportement de la pince, ainsi que la variabilité de ces indicateurs. Le résultat central est que les perturbations modifient la façon dont les trajectoires réussies sont exécutées, un effet que le TSR ne permet pas de déduire. Dans plusieurs suites, des modèles obtiennent un TSR comparable sous la même perturbation alors que leur comportement diverge nettement. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Les noms des trois modèles testés ne figurent pas dans le résumé. Ce travail touche un point faible de l'évaluation des VLA. Un robot qui réussit sa tâche par des mouvements saccadés, des trajectoires allongées ou des ouvertures et fermetures de pince erratiques consomme plus de temps de cycle, use davantage la mécanique et présente plus de risques en environnement partagé. Pour un intégrateur ou un COO industriel, deux modèles affichant le même score sur un benchmark ne sont donc pas interchangeables. L'étude nuance aussi la lecture des classements de robustesse. Elle suggère qu'une partie de l'écart entre démonstration et réalité se cache dans la qualité d'exécution, que les métriques binaires ne voient pas. LIBERO est devenu l'un des terrains d'évaluation de référence pour les VLA, avec des scores de réussite proches de la saturation pour les meilleurs modèles. Cette saturation a motivé des extensions comme LIBERO-Plus, qui introduit des perturbations. Le papier prolonge cette tendance en passant de « le modèle réussit-il sous perturbation ? » à « comment réussit-il ? ». Les auteurs recommandent de compléter le TSR par des métriques comportementales, sans prétendre le remplacer. Il reste à voir si ces métriques seront adoptées par les concepteurs de benchmarks et validées sur des robots réels. L'étude se limite à la manipulation sur table en simulation.

Recherche❖Paper

1 source

40

575arXiv cs.RO 

ReCo : locomotion cohérente avec la réponse de la politique grâce à une MPC adaptée, pour la manipulation par robots à pattes

Des chercheurs publient sur arXiv ReCo (Response-Consistent Locomotion), un cadre logiciel pour la manipulation continue sur robots à pattes, c'est-à-dire la tâche qui consiste à suivre précisément une trajectoire avec l'effecteur d'un bras pendant que la base continue de marcher. L'approche combine apprentissage par renforcement (RL) et commande prédictive (MPC). La politique apprise assure une locomotion robuste, tandis que le MPC coordonne la base et le bras pour compenser les erreurs de suivi. La contribution tient en deux briques. Un « response shaping » entraîne la politique à répondre aux commandes de façon cohérente et répétable malgré des dynamiques randomisées. Un modèle de réponse en boucle fermée, identifié ensuite, permet au MPC de planifier conjointement les commandes de locomotion et le mouvement du bras. Sur un benchmark en simulation, ReCo réduit l'erreur quadratique moyenne (RMSE) de position de 28,7 % et celle d'orientation de 27,4 % par rapport au meilleur point de comparaison pour chaque métrique. Des essais sur robot réel démontrent une manipulation continue embarquée, base et bras coordonnés. Le résumé ne précise ni la plateforme, ni la charge utile, ni les temps de cycle. L'enjeu est un problème que connaissent bien les intégrateurs de robots mobiles manipulateurs. Le MPC ne peut compenser que le mouvement de base qu'il sait prédire. Or la réponse d'une politique RL à une commande de vitesse varie avec la phase de marche, les contacts et la charge portée. Cette variabilité rend la compensation imprécise précisément quand le robot transporte quelque chose ou marche sur un sol irrégulier. Rendre la réponse de la politique prévisible plutôt que la corriger après coup est une voie pragmatique pour rapprocher les politiques apprises des contrôleurs à modèle, sans renoncer à la robustesse du RL. Pour un décideur industriel, cela concerne la précision en conditions réelles, souvent le point faible des démonstrations de manipulation sur quadrupèdes. Les gains annoncés restent toutefois mesurés en simulation, face à des références choisies par les auteurs, et la validation matérielle semble qualitative. Il s'agit d'un résultat de recherche, sans produit ni déploiement associé. Ces travaux s'inscrivent dans la lignée de la manipulation « loco-manipulation » sur quadrupèdes équipés d'un bras, où deux écoles s'opposent. L'une repose sur des politiques RL de bout en bout pour l'ensemble du corps. L'autre est hybride, avec un RL pour la marche et une optimisation pour le bras. ReCo se range dans la seconde. Elle vise à combler l'écart entre une politique de marche opaque et un planificateur qui a besoin d'un modèle fiable. La suite logique serait des essais sur d'autres plateformes, avec des charges variées et des tâches plus longues, ainsi qu'une comparaison avec des politiques de corps entier entraînées de bout en bout. Le texte n'annonce aucun calendrier de ce type.

Recherche❖Paper

1 source

40

576arXiv cs.RO 

eRLT : apprentissage par renforcement efficace pour les VLA grâce au routage des tokens pertinents pour l'action

Des chercheurs proposent eRLT, une méthode qui adapte par apprentissage par renforcement (RL) en ligne un modèle Vision-Langage-Action (VLA) dont les poids restent gelés. Le point de départ est l'efficacité en échantillons : elle dépend de la qualité de la représentation d'état fournie à l'acteur et au critique. Les approches existantes utilisent soit des encodeurs visuels indépendants du VLA, soit une compression fixe de ses représentations internes. eRLT construit cette représentation en acheminant l'information utile à l'action à travers les tokens et les couches du VLA. Des « tokens de routage » appris agrègent les caractéristiques visuo-linguistiques à plusieurs profondeurs. Un routeur de couches léger fusionne ensuite ces résumés en un unique « token RL » de dimension fixe. Le module est d'abord initialisé sur des démonstrations expertes, pour capter les caractéristiques qui prédisent les actions de l'expert. Il est ensuite affiné avec le retour du critique pendant les interactions en ligne, afin d'améliorer l'estimation de la valeur des actions. Sur sept tâches des benchmarks LIBERO et RoboTwin, la méthode améliore l'aire sous la courbe d'apprentissage normalisée (AUC) moyenne jusqu'à 23,7 % par rapport aux références représentatives. Sur robot réel, l'insertion d'un connecteur USB et celle d'un câble ruban de carte mère progressent respectivement de 108,9 % et 46,7 % d'AUC face à la meilleure référence. L'enjeu tient à la dernière étape du déploiement des VLA. Ces modèles fournissent de bons a priori comportementaux, mais les adapter à une tâche de précision reste coûteux en essais physiques. Les deux tâches réelles retenues, des insertions de connecteurs et de nappes, relèvent de l'assemblage électronique, où la tolérance est faible et où les démonstrations seules suffisent rarement. Si l'idée se confirme, elle réduirait le temps de mise au point sur site, un coût que supportent les intégrateurs. Elle suggère aussi que le goulot d'étranglement n'est pas toujours le modèle de base, mais la façon d'en extraire un état exploitable pour le RL. Il faut toutefois relativiser. Les gains sont exprimés en AUC relative, une mesure de vitesse d'apprentissage, et non en taux de réussite final, en temps de cycle ou en fiabilité sur de longues séries. Les résultats réels portent sur deux tâches, sans volumes ni durées d'essai communiqués dans ce résumé. Ce travail s'inscrit dans le courant de l'adaptation par RL de VLA gelés, qui cherche à dépasser le simple clonage de comportement. Il se positionne contre deux familles de référence : les encodeurs visuels séparés du VLA et la compression fixe de ses représentations. LIBERO et RoboTwin sont des benchmarks de simulation très utilisés, ce qui facilite la comparaison mais n'équivaut pas à un déploiement industriel. Il s'agit d'une prépublication arXiv (v1), sans pilote ni calendrier annoncés. Les prochaines étapes à surveiller sont une validation sur davantage de tâches et de plateformes, ainsi qu'une mesure du coût de calcul réel et de la robustesse face aux variations de conditions, des critères décisifs pour une adoption en atelier.

Recherche❖Paper

1 source

40

577arXiv cs.RO 

Attention à vis : l'algèbre des corps rigides au cœur d'un Transformer

Des chercheurs publient sur arXiv (2610.00904) « Screw Attention », une couche de transformer qui intègre l'algèbre de la mécanique des corps rigides dans le mécanisme d'attention. Chaque token représente un corps doté d'une pose. Chaque paire de tokens porte la pose relative et, pour les articulations du robot, le « screw » (vissage) de la liaison, c'est-à-dire son torseur cinématique. La relation entre deux corps n'est donc plus une arête de graphe mais une transformation spatiale. Les messages sont transportés le long de cette relation jusque dans le repère du récepteur, tandis que les scores d'attention ne voient que des quantités invariantes au changement de repère. Les messages sont ainsi équivariants à un changement de repère indépendant à chaque token, et une seule couche peut exprimer la récurrence de vitesses de la mécanique des corps rigides. Sur LIBERO-Spatial, en simulation et à partir des poses d'objets seules (sans images ni langage), une version de 16 162 paramètres atteint 97,3 % de succès, au-dessus d'un réseau plat comptant 27 fois plus de paramètres. Si l'on change la convention de repère par maillon, son taux de succès ne bouge pas, alors que tous les autres réseaux appris tombent sous 3 %. Posée en résidu à porte sur un contrôleur analytique, la couche ajoute 17,3 points de succès en insertion. Elle reste insensible à un bruit de pose jusqu'à 10 mm et à des décalages articulaires restant dans la calibration d'usine d'un bras Franka. Le code et les politiques entraînées doivent être publiés, mais ne le sont pas encore. L'enjeu est celui de l'efficacité en données et de la robustesse. Les politiques de manipulation apprises, y compris les VLA (vision-langage-action) actuels, réapprennent à partir de données massives des relations spatiales que la mécanique fournit en forme close, ce qui coûte cher en démonstrations et les rend fragiles face à un changement de géométrie de la scène. Le résultat sur les conventions de repère est le plus parlant pour un intégrateur : une politique qui s'effondre quand on redéfinit les axes d'un maillon est peu transférable d'un robot ou d'un outil à l'autre. La tolérance au décalage de calibration d'un Franka répond à une préoccupation concrète de déploiement. Les auteurs en tirent un critère : la géométrie est décisive lorsque la tâche exige des relations entre repères qu'aucune autre partie du système ne fournit. Cela suggère que l'échelle n'est pas la seule voie, et que des biais inductifs bien choisis peuvent remplacer des paramètres. Il faut toutefois relativiser. Les résultats sont uniquement simulés, sur des benchmarks où l'état est donné sous forme de poses d'objets. Les 97,3 % ne disent donc rien de la perception, du langage ni du contact réel, et la comparaison porte sur des réseaux de même taille ou plus gros, non sur des VLA de pointe comme Pi-0 ou GR00T. Ce travail prolonge les architectures équivariantes (SE(3)-transformers, réseaux de graphes pour la manipulation) et la mécanique spatiale à la Featherstone, qu'il loge dans l'attention. Ce n'est pour l'instant qu'un préprint, sans pilote ni calendrier. La suite dépendra de la publication du code et d'un test sur robot physique, avec perception intégrée.

Recherche❖Paper

1 source

40

578arXiv cs.RO 

Apprentissage par décomposition fréquentielle pour l'estimation du torseur d'effort sans capteur lors de contacts robotiques riches en vibrations

Des chercheurs ont publié sur arXiv (référence 2604.12905, deuxième version) le Frequency-aware Decomposition Network (FDN), un réseau de neurones qui estime le torseur d'efforts (forces et couples) d'un robot sans capteur F/T, à partir de sa seule proprioception. Le modèle prédit plusieurs pas à l'avance et vise les contacts riches en vibrations, comme le meulage. Il sépare l'horizon de torseur en deux composantes. Une tendance basse fréquence est estimée par régression ponctuelle. Un résidu haute fréquence est modélisé par une distribution conditionnelle apprise. Des couches « frequency-aware » imposent une décomposition en bandes sur les sorties et amplifient de façon adaptative les amplitudes fréquentielles des entrées. Le système n'exige ni modèle de robot identifié, ni capteur F/T à l'inférence. Testé sur des données réelles de meulage issues d'un manipulateur hydraulique à 6 DOF, FDN réduit l'erreur d'amplitude haute fréquence jusqu'à 47 % face aux références, sous des retards supposés, tout en gardant une précision basse fréquence compétitive. Il estime un horizon de 1 000 ms en 11 ms sur un seul thread CPU. Les capteurs F/T sont fragiles et coûteux, et les méthodes sans capteur actuelles se comportent comme des filtres passe-bas. Elles conviennent à la saisie ou aux interactions lentes, mais elles perdent les composantes rapides qui caractérisent le meulage, le ponçage ou le martelage. Les résultats suggèrent qu'on peut conserver ces composantes sans matériel supplémentaire. Le gain concerne la robotique de finition, la construction et la manutention lourde, où un capteur au poignet s'use vite. L'estimation multi-pas répond à un problème rarement traité : les retards de communication rendent périodiquement obsolètes les estimations lors du déploiement. Un temps d'inférence de 11 ms sur CPU laisse penser que le calcul embarqué suffit pour une boucle de contrôle. Les limites sont nettes : une seule plateforme hydraulique, des tâches de meulage, et aucune comparaison annoncée avec un capteur F/T commercial en boucle fermée. Le chiffre de 47 % porte sur l'erreur d'amplitude, pas sur la performance de la tâche. Ces travaux prolongent l'estimation sans capteur fondée sur des modèles dynamiques identifiés ou des observateurs, puis les approches apprises, qui échouent à concilier précision ponctuelle et contenu haute fréquence. Dans une étude exploratoire, les auteurs transfèrent la dynamique de torseur apprise sur un jeu de données ouvert de manipulation quotidienne. L'erreur basse fréquence baisse de 8 %, mais la dynamique haute fréquence semble propre à chaque domaine. Cela limite la promesse d'un modèle de fondation du contact généraliste : la tendance se transfère, pas les vibrations. La suite logique serait de valider le modèle sur d'autres outils, matériaux et robots, puis de l'intégrer à un contrôle en boucle fermée. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé.

Recherche❖Paper

1 source

40

579arXiv cs.RO 

L'apprentissage par imitation continu reste-t-il ancré ? Un benchmark à perturbations linguistiques pour la rétention des tâches en robotique

Un benchmark publié sur arXiv (2610.00542v1) s'attaque à une question que les évaluations classiques d'apprentissage par imitation continu laissent de côté : un robot qui conserve ses anciennes compétences reste-t-il réellement guidé par le langage ? Les auteurs construisent un protocole fondé sur LIBERO, avec des variantes d'instructions qui préservent le sens (paraphrases) et d'autres qui le modifient, pour les quatre suites Goal, Spatial, Object et Long. Les expériences de politiques portent surtout sur LIBERO-Goal. Les politiques y sont évaluées après chaque étape d'apprentissage séquentiel, avec les instructions originales puis paraphrasées. Plusieurs méthodes représentatives d'imitation continue sont comparées dans leurs hypothèses d'origine. Trois diagnostics complètent les métriques habituelles d'apprentissage et d'oubli : la robustesse sémantique, l'adaptation à l'objectif et la sensibilité au langage. Le matériel complémentaire est publié sur une page projet intitulée « stillgrounded ». Le résultat principal tient en une phrase : de bonnes performances en apprentissage continu ne garantissent pas un ancrage langagier fiable. Une politique peut afficher un taux de réussite élevé sans avoir conservé le lien entre l'instruction et l'action. Elle peut s'appuyer sur des indices de scène, des associations d'objets ou une structure de tâche mémorisée. Pour les intégrateurs et les responsables techniques qui envisagent des robots pilotés par VLA (vision-language-action) et mis à jour en continu, le point est concret. Un robot qui exécute correctement « ses » tâches en conditions de test peut échouer ou agir de façon incohérente si la consigne est reformulée ou modifiée. Cela relativise aussi les scores de benchmark en rétention de tâches, qui peuvent surestimer la fiabilité réelle d'une compétence retenue. Ces diagnostics permettent de distinguer une compétence conservée et correctement guidée d'une compétence conservée par simple mémorisation du contexte. Il s'agit d'un travail académique en simulation : aucun chiffre de performance n'est donné dans le résumé, et la portée des conclusions reste à vérifier dans le détail des expériences, qui se concentrent sur une seule suite. Ce travail s'inscrit dans le prolongement de LIBERO, benchmark de référence pour l'apprentissage tout au long de la vie en manipulation robotique, devenu terrain d'essai courant pour les politiques conditionnées par le langage. La question de l'ancrage rejoint des critiques déjà formulées sur les modèles VLA, soupçonnés d'ignorer partiellement le texte au profit de régularités visuelles. Aucun acteur industriel n'est directement concerné : il s'agit d'un outil d'évaluation, pas d'un produit. Sa valeur dépendra de son adoption par les équipes qui développent des politiques généralistes et des méthodes d'apprentissage continu. La suite logique serait son extension aux autres suites de LIBERO, puis à des politiques de grande taille et à des données réelles, seules capables de montrer si l'écart entre rétention et ancrage se retrouve hors simulation.

Recherche❖Paper

1 source

40

580arXiv cs.RO 

InterEvolve : évolution à l'inférence des programmes de récompense pour la loco-manipulation humanoïde

Des chercheurs publient sur arXiv (2610.02196) InterEvolve, une méthode qui permet à un humanoïde de résoudre des tâches de locomanipulation pour lesquelles son contrôleur n'a jamais été entraîné, sans réentraînement. Le système repose sur un modèle fondation comportemental « forward-backward » (FB) sensible aux objets. Des résidus d'objet, ajoutés à un modèle de corps gelé, convertissent au moment du test une nouvelle récompense, portant sur le corps ou sur les objets, en comportement de locomanipulation. Les tâches sont décrites par des « programmes de récompense » : des récompenses par étapes, avec conditions d'achèvement et constantes ajustables. Un agent LLM révise la structure du programme en contexte, à partir des retours d'exécution et d'une bibliothèque de programmes vérifiés. Un optimiseur numérique règle les constantes. Chaque candidat est validé dans plusieurs scénarios de simulation parallèles. Les compétences évoluées ont été exécutées de façon autonome sur un Unitree G1 physique, à partir de la perception égocentrique embarquée. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'itérations. L'intérêt est de déplacer l'effort d'ingénierie. Au lieu de collecter des démonstrations ou de relancer un entraînement par renforcement pour chaque nouvelle tâche, on suppose qu'un contrôleur généraliste contient déjà l'essentiel de la compétence motrice, et on la rend accessible par une interface de planification expressive, exécutable et mesurable. Les auteurs affirment que les récompenses conçues à la main laissent inexploitée une grande part des capacités du modèle FB, et que les programmes évolués les libèrent, parfois par des stratégies inédites. Pour un intégrateur, la promesse est une adaptation à de nouvelles tâches sans nouveau cycle d'entraînement. Les limites sont nettes : la validation est surtout en simulation, la démonstration physique se limite à une plateforme, le G1, et aucune comparaison chiffrée n'est donnée dans le résumé. L'écart entre simulation et réalité reste donc à mesurer sur des tâches industrielles. Ce travail s'inscrit dans deux courants. Le premier est celui des modèles fondation comportementaux et des contrôleurs généralistes pour humanoïdes, qui visent un contrôle du corps entier réutilisable. Le second est la conception de récompenses par LLM, déjà explorée avec des approches comme Eureka. InterEvolve y ajoute une mémoire sous forme de bibliothèque de compétences vérifiées, ainsi qu'une vérification parallèle en simulation. Il se distingue des approches VLA (vision-langage-action) comme Pi-0, Helix ou GR00T, qui apprennent directement une politique à partir de données. Ici, le LLM fait de la planification et de l'optimisation, et le contrôle bas niveau reste figé. Le G1, très répandu en recherche, est la plateforme de démonstration habituelle. Les prochaines étapes à surveiller sont la publication du code, des évaluations sur d'autres robots et des tâches plus longues en conditions réelles.

Recherche❖Paper

1 source

40

581arXiv cs.RO 

DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques

DynamicVLA est un modèle vision-langage-action (VLA) de 0,4 milliard de paramètres, conçu pour manipuler des objets en mouvement. Il s'appuie sur un encodeur visuel convolutif, choisi pour réduire la latence d'inférence. Un calendrier d'inférence continue fait chevaucher le raisonnement et l'exécution, ce qui rend le contrôle non bloquant. Un mécanisme baptisé Latent-aware Action Streaming écarte le début de chaque séquence d'actions prédite, devenu invalide à cause de la latence, et n'exécute que la fin encore valide. Les auteurs publient aussi le benchmark Dynamic Object Manipulation (DOM). Un pipeline de collecte automatisé y rassemble 200 000 épisodes synthétiques, répartis sur 2 800 scènes et 206 objets. Il a aussi permis de recueillir 2 000 épisodes réels sans téléopération. Le texte, publié sur arXiv en version 2 (2601.22153), est un article de recherche. Il ne décrit ni produit commercialisé ni déploiement industriel. Les résultats sont rapportés en simulation et sur robots réels. Le résumé ne donne ni taux de succès chiffrés ni plateforme robotique précise. Le problème visé est structurel pour les VLA. Ces modèles généralisent bien en manipulation statique, mais l'inférence prend du temps et l'objet continue de bouger pendant ce calcul. L'action prédite à partir d'une observation passée est donc périmée au moment où le robot l'exécute. Pour un intégrateur, cela touche les cas où la scène ne s'arrête pas pour le robot. C'est le cas des convoyeurs en mouvement, du tri à la volée ou des objets passés de main en main. La solution s'attaque à la latence plutôt qu'à la taille du modèle. Un modèle de 0,4 milliard de paramètres reste exécutable sur du matériel embarqué, contrairement aux grands VLA. L'alignement entre le temps de la prédiction et celui de l'action devient ainsi un critère de conception à part entière. Le choix de collecter des données réelles sans téléopération réduit aussi un coût important de la robotique d'apprentissage. Il faut toutefois attendre les chiffres détaillés. Les gains annoncés (mouvements variables, instructions riches en perception, trajectoires inédites) ne sont pas quantifiés dans le résumé. Le résumé ne dit pas non plus si les résultats réels reposent sur des essais nombreux ou sur quelques démonstrations choisies. Ces travaux s'inscrivent dans la vague des VLA généralistes comme Pi-0, GR00T ou Helix. Elle a surtout progressé sur la manipulation statique et les tâches longues, tandis que le contrôle réactif sur objets mobiles restait peu couvert. Le manque de données dynamiques standardisées freinait la comparaison entre méthodes, et c'est le vide que DOM veut combler. La suite dépendra de l'adoption du benchmark par d'autres laboratoires. Elle dépendra aussi de la reproduction des résultats sur des bras et des mains variés. Pour l'industrie, l'étape suivante est un test sur des cadences réelles, avec des charges et des vitesses de ligne de production.

Recherche❖Paper

1 source

40

582arXiv cs.RO 

DexPolicy : exploration planifiée pour la manipulation dextre guidée par trajectoires

Des chercheurs du groupe AIGeeksGroup publient sur arXiv (2610.00360) DexPolicy, une méthode qui traite l'amplitude du bruit d'action comme une fonction explicite du nombre de pas d'entraînement, décroissant d'une exploration large vers une exploration étroite. Elle est testée dans le cadre de ViViDex, où l'apprentissage par renforcement (RL) affine des trajectoires main-objet extraites de vidéos humaines. Dans ce cadre, les runs PPO de référence finissent après 5 millions de pas près de leur bruit initial. La perte, l'architecture, la récompense et l'optimiseur restent identiques. Trois variantes sont comparées : PPO, une continuation GRPO sans critique et une version de PPO à politique paramétrée par flow (FPO). En simulation, sur cinq objets YCB et trois graines, le succès déterministe moyen passe de 49,4 % à 68,1 % pour FPO, de 14,1 % à 45,4 % pour GRPO et de 32,0 % à 35,7 % pour PPO. Sur robot réel, un bras RealMan RM75 équipé d'une main Inspire RH56, 360 essais sur trois objets font passer le succès moyen de 25,0 % à 85,0 % (FPO), de 10,0 % à 63,3 % (GRPO) et de 8,3 % à 43,3 % (PPO), avec un modèle entraîné par couple objet-méthode. Le code est publié. Le résultat intéresse les équipes qui cherchent à rendre le RL dextre fiable. Le bruit qui aide à découvrir les contacts doigt-objet gêne ensuite le contrôle fin de l'objet. Le gain vient d'un seul paramètre, ce qui en fait un levier peu coûteux à reproduire. Le gain est très inégal selon l'algorithme : il est marginal pour PPO en simulation (+3,7 points) et massif pour FPO et GRPO. Les auteurs notent aussi que le retour d'entraînement, le succès déterministe et la tolérance au bruit d'exécution se dissocient. Ils en déduisent qu'un calendrier d'exploration se juge sur le succès terminal dans les conditions d'exécution visées, tâche par tâche. Pour un intégrateur, c'est un rappel que les courbes d'entraînement ne prédisent pas la performance réelle. Le calendrier retenu pour PPO bat aussi une simple décroissance linéaire aux mêmes bornes sur trois objets, mais l'écart n'est établi que sur ces trois objets. Il faut toutefois relativiser la portée. La validation réelle porte sur trois objets, une seule plateforme et un modèle par condition, sans test de généralisation à des objets inédits. Les échantillons sont petits : 360 essais répartis sur trois méthodes, avant et après calendrier, et trois objets. Le travail prolonge ViViDex, qui apprend la manipulation à partir de vidéos humaines, dans un champ où les politiques dextres par RL et les approches VLA ou par diffusion et flow se multiplient. Aucun acteur industriel européen n'est impliqué. Il s'agit d'un preprint, sans déploiement ni produit annoncé, et les prochaines étapes dépendront d'une réplication sur d'autres mains, d'autres tâches et d'objets hors du jeu YCB.

Recherche❖Paper

1 source

40

583arXiv cs.RO 

Apprentissage des robots sur surfaces discrètes : théorie et applications

Une étude publiée sur arXiv (2610.01910, version 1) propose un cadre riemannien discret qui permet à un robot d'apprendre des mouvements directement sur des maillages polyédriques. Ces maillages sont la sortie standard de la CAO et de la reconstruction 3D. Les auteurs s'appuient sur la géométrie différentielle discrète pour définir des applications logarithmique et exponentielle, un transport parallèle et des projections depuis l'espace ambiant. Ces opérateurs restent valides sur les faces, les arêtes et les sommets. Le cadre est appliqué à trois paradigmes d'apprentissage. Pour les Dynamic Movement Primitives (DMP), un calcul amélioré de l'application exponentielle et un encodage du terme de forçage dans un cône tangent fixe, avec transport parallèle, donnent une meilleure généralisation d'une surface à l'autre et plus de stabilité que les approches sur maillage antérieures. Pour les processus gaussiens, un noyau géodésique avec contrôle d'admissibilité permet la régression en tout point du maillage, sans hypothèse de régularité. Pour le Riemannian Flow Matching, des opérateurs natifs au maillage améliorent la qualité générative par rapport aux bases spectrales et réduisent le temps d'entraînement. La validation se fait en simulation contre l'état de l'art, puis sur deux scénarios réels : la généralisation de trajectoires dessinées par un utilisateur sur différentes surfaces, et la planification de trajectoires de polissage sur des surfaces reconstruites par caméra RGB-D. Le résumé ne donne aucun chiffre de gain, de précision ou de temps de calcul. L'intérêt est pratique. La plupart des méthodes d'apprentissage de mouvement traitent la surface comme une simple contrainte, ce qui pénalise les tâches de contact comme le polissage, le ponçage, le nettoyage ou le dessin sur pièces. Travailler directement sur le maillage évite de convertir la CAO ou le scan en surface lisse paramétrée, une étape coûteuse et source d'erreurs. Pour un intégrateur, cela rapproche la démonstration par l'utilisateur d'un déploiement sur pièces variées. Le point reste à confirmer : deux démonstrations de laboratoire ne prouvent ni la robustesse en atelier, ni la tenue face au bruit des reconstructions RGB-D, ni la précision des efforts de contact. Ce travail s'inscrit dans le courant de l'apprentissage robotique sur variétés riemanniennes, qui a surtout visé jusqu'ici des surfaces lisses ou des maillages traités par méthodes spectrales. Il est distinct des modèles VLA généralistes, qui cherchent la généralité par les données plutôt que par la géométrie. Les deux approches peuvent se compléter, la géométrie fournissant des garanties sur la surface. Le résumé ne cite aucun partenaire industriel ni calendrier de pilote. La suite logique serait une validation sur des cellules de finition industrielles et une publication du code, que l'extrait ne mentionne pas.

Recherche❖Paper

1 source

40

584arXiv cs.RO 

Allocation de tâches adaptative en temps réel pour la supervision de plusieurs robots par plusieurs humains

Des chercheurs proposent, dans une prépublication arXiv (2610.00897v1), une méthode d'allocation en temps réel des tâches de supervision de robots à plusieurs opérateurs humains, qui tient compte de leur état cognitif. Le scénario visé est celui où plusieurs opérateurs télé-opèrent ponctuellement plusieurs robots pour les aider à surmonter une difficulté. L'algorithme est glouton : il cherche à minimiser la charge de travail estimée de chaque opérateur, avec une priorisation des tâches. Les robots sont affectés en fonction de la capacité de supervision courante de chaque opérateur, l'effort requis variant selon le type de tâche. Une étude utilisateur compare la méthode à une référence qui ignore les facteurs humains. Sur des intervalles de temps prédéfinis, l'approche obtient de meilleures performances et moins de signes comportementaux de fatigue. Le résumé ne fournit ni nombre de participants, ni taille des flottes, ni ampleur des gains, ni type de robots. L'enjeu concerne directement les opérations où l'autonomie reste incomplète. Beaucoup de déploiements de robots mobiles, de manipulateurs ou d'humanoïdes reposent sur un modèle « un humain pour N robots », où l'opérateur intervient quand le robot bloque. Les méthodes d'allocation existantes supposent une capacité de supervision fixe par opérateur et ignorent les variations de charge mentale et de fatigue. Le résultat est une charge déséquilibrée : certains opérateurs saturent pendant que d'autres sont sous-employés. Les auteurs présentent l'ajustement adaptatif de la capacité comme un mécanisme préventif pour les longues durées et les environnements exigeants. Pour un intégrateur ou un COO, cela déplace la question du ratio opérateurs/robots vers la qualité de l'orchestration humaine. Ce ratio conditionne le coût d'exploitation réel d'une flotte, notamment quand les VLA (modèles vision-langage-action) laissent encore une part d'interventions humaines. Les limites sont à garder en tête : l'évaluation est une étude utilisateur, sans mention de terrain industriel, et le gain est mesuré face à une référence simple. Ce travail s'inscrit dans la littérature sur la supervision multi-robot et la télé-opération partagée. Cette littérature a longtemps traité l'opérateur comme une ressource de capacité constante, alors que l'industrialisation de la logistique, de la livraison et des humanoïdes de première génération rend les pics d'exceptions et la fatigue sur de longues vacations plus gênants. Plusieurs acteurs commerciaux misent déjà sur des centres de téléassistance pour couvrir les cas limites, sans qu'on sache s'ils modulent la charge de leurs opérateurs de cette façon. Aucun déploiement, pilote ou calendrier n'est annoncé, et aucun acteur français ou européen n'est cité. Les prochaines étapes naturelles seraient une validation sur des flottes réelles, avec des mesures physiologiques ou comportementales de la fatigue en conditions de production, ainsi qu'une intégration dans les logiciels d'orchestration de flottes.

Recherche❖Paper

1 source

40

585arXiv cs.RO 

HumanoidTTT : réutilisation des capacités au moment du test pour un contrôle humanoïde efficace

Des chercheurs du groupe AIGeeksGroup publient sur arXiv (2610.00198) HumanoidTTT, un cadre logiciel de réutilisation de capacités au moment du test pour le contrôle continu de robots humanoïdes. Le système repose sur deux composants. Le premier, Selective Full-Motion Reuse, autorise le rejeu direct d'une motion complète déjà validée, mais uniquement depuis des états d'entrée certifiés comme applicables, ce qui permet de court-circuiter une nouvelle génération de mouvement. Le second, Test-Time Capability Consolidation, gère un Full-Motion Store de taille bornée et décide quelles capacités qualifiées y restent, en utilisant les réutilisations observées en déploiement comme signal de retour. Les auteurs annoncent zéro acceptation dangereuse (unsafe accept) et une accélération de bout en bout de 16,4 fois par rapport à une génération à chaque requête. La consolidation en ligne évite en outre 13,2 appels au générateur supplémentaires par tranche de 200 requêtes par rapport à une version figée du même magasin. Le code et un site de projet sont publiés. L'enjeu est pragmatique. Les progrès récents en génération de mouvement et en suivi du corps entier (whole-body tracking) permettent aux humanoïdes d'exécuter des gestes variés, mais le coût de calcul et la latence de génération pèsent sur un déploiement continu où les mêmes demandes reviennent. Rejouer aveuglément un mouvement qui a réussi est risqué, car les mouvements intermédiaires modifient l'état d'entrée du robot. Cette approche traite la réutilisation comme un problème de certification d'état, et non de simple cache, ce qui répond à une préoccupation d'intégrateur : réduire la latence sans sacrifier la sécurité. Le chiffre de 16,4 fois reste cependant à nuancer. Il s'agit d'un gain mesuré contre une génération fraîche, donc dépendant du coût du générateur choisi comme référence et de la fréquence de répétition des requêtes. Rien n'indique, dans le résumé, une validation sur robot réel en conditions industrielles ; il s'agit d'un travail de recherche préimprimé, non évalué par des pairs. Le contexte est celui d'une chaîne qui s'allonge : modèles génératifs de mouvement, contrôleurs de suivi du corps entier, puis, désormais, couches d'orchestration qui amortissent leur coût à l'usage. HumanoidTTT s'inscrit dans cette logique de passage de la démonstration à l'exploitation continue, où la gestion de la mémoire bornée et de la sûreté compte autant que la qualité du mouvement. Le résumé ne cite ni plateforme matérielle, ni comparaison avec des systèmes concurrents comme les VLA généralistes ; ces éléments devront être vérifiés dans l'article complet et le dépôt de code. La suite probable relève de la validation sur davantage de robots et de tâches, avec des environnements où les états d'entrée dérivent de façon moins contrôlée.

Recherche❖Paper

1 source

40

586arXiv cs.RO 

Reconstruire, s'entraîner, passer au réel : l'auto-amélioration guidée des agents incarnés

Des chercheurs proposent Reconstruct, Practice, Go Real (RPG), un cadre d'amélioration autonome des systèmes d'exécution robotique qui ne touche à aucun poids de modèle. À partir d'un jeu de données hors ligne, RPG identifie les capacités de manipulation présentes et construit en simulation des tâches d'entraînement apparentées. Pendant cette phase de pratique, le système exploite les retours d'exécution, l'état privilégié du simulateur et les vidéos disponibles du jeu de données pour diagnostiquer les échecs. Il en tire de nouvelles compétences symboliques réutilisables, affine les compétences existantes et réécrit le prompt système. Chaque modification candidate, seule ou fusionnée avec d'autres, est testée sur plusieurs tâches avant d'être conservée. Au déploiement, un LLM multimodal s'appuie sur ce prompt et cette bibliothèque de compétences pour coordonner perception et contrôle. Sur 22 tâches de manipulation, avec des initialisations non vues, le taux de réussite passe de 28,6 % après le premier cycle de pratique à 95,0 % après 15 cycles. Les références testées sont dépassées : ASPIRE atteint 75,5 % et CaP-Agent0, piloté par GPT-6 Astra Pro, 60,0 %. Après une calibration et une adaptation matérielle communes, le système figé réussit les 30 essais physiques, soit dix essais sur chacune de trois tâches. L'intérêt tient à l'approche : l'amélioration passe par du code, des compétences et des prompts, pas par du réentraînement. Pour un intégrateur, cela rend le processus plus auditable et plus facile à versionner, puisque chaque compétence ajoutée est lisible et validée en simulation avant d'être retenue. Cela s'attaque directement au coût humain de la mise au point des compétences, des fonctions de récompense et de l'intégration perception-contrôle. La progression de 28,6 % à 95,0 % suggère aussi que le goulot d'étranglement des agents pilotés par LLM se situe moins dans le modèle que dans la qualité des compétences et des instructions qui l'entourent. Il faut toutefois relativiser. Les 30 essais réels, sur trois tâches seulement, forment un échantillon très mince comparé aux 22 tâches simulées. Ils interviennent après une phase de calibration et d'adaptation matérielle dont le coût n'est pas détaillé dans le résumé. Le transfert sim-to-real reste donc plus plausible que démontré à l'échelle. Ces travaux s'inscrivent dans la lignée des approches « code as policies », où un LLM compose des primitives de contrôle, et des méthodes d'auto-amélioration par bibliothèque de compétences, dont ASPIRE est ici le meilleur concurrent évalué. Ils se distinguent des modèles vision-langage-action (VLA) de type Pi-0 ou GR00T, qui font évoluer l'ensemble par réentraînement de poids. Les auteurs n'annoncent ni produit ni partenaire industriel. Les prochaines étapes à surveiller sont une validation sur davantage de tâches physiques, sur des manipulations plus riches et sur d'autres plateformes. La comparaison avec des VLA entraînés sur les mêmes données serait aussi utile. Le site du projet, rpg-robot.github.io, sert de point d'entrée pour vérifier les résultats.

Recherche❖Paper

1 source

39

587arXiv cs.RO 

ActiveWAM : vision active tenant compte des preuves pour les modèles monde-action

Des chercheurs publient ActiveWAM, un modèle unifié « monde-action » (world-action model) destiné à la manipulation à vision active, c'est-à-dire des politiques qui pilotent à la fois les effecteurs et la caméra. Le système génère des actions bimanuelles et des mouvements pan/tilt, y compris des comportements de maintien du point de vue (« stay ») et de réacquisition, à partir d'un historique tenant compte des vues, puis met à jour son contexte avec les nouvelles images RGB mesurées. Il est entraîné par une « inversion au moment de l'entraînement » (training-time inversion), qui contraint un prior vidéo figé par les preuves visuelles de la tâche et les changements temporels visibles. Cela supprime l'inversion au test et le classement de candidats. La prédiction de vidéo future sert de signal de co-entraînement, mais la génération d'actions n'exige ni décodage vidéo futur ni annotation de point de vue optimal. L'équipe introduit aussi RoboTwin-AV, un benchmark de 50 tâches avec contrôle pan/tilt exécutable et démonstrations générées automatiquement. ActiveWAM gagne jusqu'à 17,0 points de pourcentage de réussite hors distribution sur TAVIS face aux meilleures références. Il devance Fast-WAM de 20,0 points sur RoboTwin-AV et de 26,7 points sur des tâches physiques de cuisine en conditions réelles. L'intérêt tient à la manière dont le travail formalise un problème souvent traité de façon empirique. Bouger la caméra pour acquérir une nouvelle vue peut écarter du champ des indices critiques pour la tâche, tandis que conserver la vue perd des observations potentiellement utiles. Poser ce compromis « garder ou acquérir » comme un problème de gestion des preuves, appris conjointement avec la manipulation, évite de recourir à des heuristiques de recherche de vue ou à du classement de candidats coûteux à l'exécution. Le fait que l'action se génère sans décoder la vidéo future réduit aussi la charge de calcul au déploiement, un point sensible pour les intégrateurs. Les gains réels de 26,7 points sont notables, mais ils portent sur des tâches de cuisine dont le nombre et la diversité ne sont pas précisés dans le résumé. Le benchmark étant introduit par les mêmes auteurs, la comparaison reste à confirmer par des évaluations indépendantes. Ce travail s'inscrit dans l'essor des modèles monde-action, qui exploitent des priors vidéo pré-entraînés pour guider le contrôle, avec Fast-WAM comme principale référence ici. La plupart des politiques de manipulation actuelles supposent une caméra fixe ou montée sur la tête, et ne contrôlent pas activement la vue. Le benchmark RoboTwin-AV prolonge l'écosystème RoboTwin en y ajoutant le contrôle de caméra, ce qui pourrait servir de base commune à d'autres équipes. Il s'agit d'une publication de recherche, sans produit, déploiement industriel ni calendrier commercial annoncés. Les prochaines étapes naturelles seraient des tests sur davantage de plateformes, des environnements moins structurés que la cuisine, et une intégration avec les grands modèles VLA du secteur.

Recherche❖Paper

1 source

39

588arXiv cs.RO 

UniTrackPLA : modèle unifié panorama-langage-action pour la navigation guidée par instructions et le suivi de personnes en mouvement

UniTrackPLA est un modèle panorama-langage-action présenté dans un preprint arXiv (2610.00878v1) qui traite avec une seule politique deux tâches habituellement séparées: la navigation vers une destination décrite en langage naturel et le suivi dynamique d'une personne, quel que soit son azimut initial. Son encodage panoramique (Panoramic-Aware Encoding, PAE) conserve la structure temporelle et azimutale des vues en perspective projetées depuis chaque panorama. Les encodeurs visuels pré-entraînés sur des images en perspective peuvent ainsi traiter des observations omnidirectionnelles. Un backbone vision-langage partagé ancre l'instruction dans le contexte panoramique et prédit des blocs de waypoints continus, exprimés dans le repère du robot. Un module de cohérence monde-action (World-Action Consistency, WAC) prédit les états visuels futurs conditionnés par l'action et vérifie en ligne les préfixes de waypoints. Les actions jugées fiables sont réutilisées, et une incohérence déclenche une replanification. Le jeu de données OmniTrackNav-Bench compte 5 000 trajectoires de suivi simulées, 10 000 routes de navigation simulées (VLN) et 96 routes réelles vérifiées, soit 919 978 instances de supervision par waypoints. Le taux de succès (SR) global en suivi passe de 23,50 % à 35,00 %. En navigation omnidirectionnelle, le SR et le SPL passent de 13,00 % et 12,77 % à 19,75 % et 19,29 %. L'ajout de 76 routes réelles fait grimper l'EP@0,2 m sur les routes réservées à l'évaluation de 42,92 % à 92,08 %. Des essais en boucle fermée ont été menés sur un robot quadrupède à roues Go2-W, en intérieur comme en extérieur. L'intérêt tient à la fois à l'architecture et aux ordres de grandeur. La plupart des approches reposent sur une caméra frontale et sur des politiques distinctes pour la navigation et le suivi. Cela empêche de retrouver une personne située dans le dos du robot et d'avoir un contrôle unifié en boucle fermée. Un panorama traité par un encodeur pré-entraîné évite de repartir de zéro côté perception. La vérification en ligne des actions répond aussi à un problème pratique des VLA, qui exécutent des séquences d'actions sans savoir si elles restent valides. Les chiffres demandent toutefois de la prudence. Les gains simulés sont réels mais les taux absolus restent bas, avec 35 % de succès en suivi et moins de 20 % en navigation. Le saut à 92 % sur le réel porte sur un jeu de test restreint, issu d'un faible nombre de routes. Il montre surtout le poids des données réelles, sans prouver une robustesse en conditions industrielles. Ces travaux s'inscrivent dans la vague des modèles vision-langage-action pour la navigation, qui ciblent surtout des caméras frontales, et des systèmes de suivi de personne entraînés séparément. Le choix d'un Go2-W, plateforme d'Unitree très répandue en recherche, favorise la reproductibilité. Une page de projet est annoncée. Les suites probables sont l'extension du corpus réel, bien plus petit que le simulé, et des tests dans des environnements encombrés et peuplés. Le preprint n'indique ni déploiement commercial ni calendrier.

Recherche❖Paper

1 source

39

589arXiv cs.RO 

Planification par diffusion sans entraînement avec scores locaux analytiques

Une équipe de chercheurs publie sur arXiv (2610.01959) un planificateur de mouvement fondé sur la diffusion qui ne nécessite aucun entraînement. Les planificateurs par diffusion existants génèrent des trajectoires par débruitage itératif, mais leur « score » (le gradient qui guide le débruitage) est appris sur de grands corpus de trajectoires faisables. Ici, ce score global appris est remplacé par des scores analytiques locaux, calculés à partir de termes d'obstacles, de lissage, de vitesse et de faisabilité inter-agents. L'idée centrale est que le score d'une trajectoire peut être reconstruit en ne considérant que les interactions entre waypoints voisins et les contraintes proches. Le débruitage est ainsi décomposé. Les auteurs annoncent des chemins faisables pour plus de 300 agents dans des environnements de plus de 100 obstacles, en moins de 6 secondes sur GPU. Ils disent aussi surpasser des références fondées sur l'apprentissage et sur l'optimisation. L'enjeu est le verrou des données. Un planificateur par diffusion entraîné reste lié à une carte et suppose des démonstrations de qualité, rarement disponibles dans un site industriel qui change. Une méthode sans entraînement conserve la structure des méthodes d'optimisation de trajectoire classiques, tout en gardant le raffinement itératif de la diffusion, c'est-à-dire la correction de la trajectoire entière. Pour un intégrateur de flottes mobiles, un tel planificateur éviterait une phase de collecte de données à chaque nouvel agencement. Les résultats restent à nuancer. L'abstract ne précise ni le modèle de GPU, ni les références comparées, ni le protocole de mesure, et rien n'indique de validation sur robots réels. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la vague de planification par diffusion née avec les modèles de type Diffuser, qui traitent la planification comme un problème de génération. Il se rapproche des méthodes d'optimisation de trajectoire, sans l'apprentissage. Sur le front multi-robots, il touche à l'entrepôt automatisé, où des acteurs comme le français Exotec coordonnent de grandes flottes de robots. Les suites logiques seraient des tests face à des planificateurs multi-agents établis, une évaluation avec obstacles dynamiques et contraintes cinématiques réalistes, puis un essai sur matériel.

Recherche❖Paper

1 source

39

590arXiv cs.RO 

TacGooseBumps (TacGB) : adapter des capteurs tactiles à force normale seule avec un encodage du cisaillement pour l'apprentissage de la manipulation riche en contacts

Une équipe de chercheurs publie sur arXiv TacGooseBumps (TacGB), un film passif à micro-dômes conçu pour doter de sensibilité au cisaillement des capteurs tactiles qui ne mesurent que la pression normale. Le film se pose sur un capteur existant. Lorsqu'une charge tangentielle s'applique, chaque dôme s'incline et redistribue la pression sur son empreinte, ce qui modifie le motif de la carte de pression. La politique apprise, entraînée de bout en bout, consomme directement ces cartes, sans électronique supplémentaire, sans reconstruction de forces et sans alignement dôme par taxel. Les auteurs l'ont testé sur quatre tâches d'apprentissage par imitation, avec deux chaînes de collecte de données. Le gain d'insertion atteint jusqu'à 36 points de pourcentage de réussite, et les insertions réussies sont plus rapides. Le placement d'objets fragiles devient plus doux, et le dessin plus continu et plus rectiligne. Les chiffres détaillés par tâche et le matériel utilisé ne figurent pas dans le résumé. Il s'agit de résultats de laboratoire, sans déploiement industriel ni produit commercial. L'intérêt tient à l'hypothèse testée. Beaucoup de politiques de manipulation riche en contacts échouent parce que des états physiques distincts se ressemblent : une caméra ne dit pas si un connecteur est simplement aligné ou complètement enfoncé, et un capteur normal seul rate les interactions tangentielles qui les départagent. Les auteurs soutiennent qu'une politique n'a pas besoin de mesures de cisaillement calibrées. Il lui suffit d'une observation répétable qui sépare les états dépendants du cisaillement. Pour les intégrateurs, cela ouvre une voie de modernisation à bas coût : améliorer des mains robotiques déjà équipées, sans changer le capteur ni le format d'entrée de la politique. Les analyses par étape, par mode d'échec et par trajectoire relient les gains aux régimes où la vision et la pression normale résolvent mal les efforts tangentiels. Deux réserves : l'évaluation se limite à quatre tâches, et le résumé ne dit ni la taille des échantillons ni le type de capteur. La généralisation à d'autres capteurs et à d'autres politiques reste donc à démontrer. Ce travail s'inscrit dans la recherche sur le tactile pour l'apprentissage par imitation et les modèles vision-langage-action (VLA). Les capteurs optiques à gel mesurent le cisaillement, mais ils sont plus encombrants et plus coûteux. Les capteurs de pression matriciels sont plus simples à intégrer, mais aveugles aux efforts tangentiels. TacGB se positionne entre les deux. L'article est une version révisée (v2), ce qui suggère un passage par la relecture. Les prochaines étapes à surveiller sont le test sur d'autres matrices de pression, sur des tâches plus longues, et l'intégration dans des politiques généralistes à grande échelle. La durabilité du film sur de nombreux cycles de contact, point décisif pour un usage industriel, n'est pas abordée dans le résumé.

Recherche❖Paper

1 source

39

591arXiv cs.RO 

TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène

Des chercheurs publient TacDyn-WAM, un « world action model » visuo-tactile hétérogène (arXiv 2610.00638) qui prédit la dynamique tactile implicite plutôt que de reconstruire les futures images tactiles. Les world action models conditionnent les actions du robot sur des futurs prédits. Leurs variantes tactiles actuelles reprennent les pipelines de génération vidéo, avec reconstruction itérative par débruitage. TacDyn-WAM apprend TacRep, un espace de représentation tactile entraîné par prédiction spatio-temporelle masquée sur des séquences tactiles, et régularisé par distillation de structure relationnelle. Deux experts, l'un visuel, l'autre tactile, prédisent des représentations futures dans des espaces cibles distincts et échangent par attention conjointe. L'expert tactile prédit, en une seule passe avant, les représentations futures et leurs variations à plusieurs horizons. Une mémoire tactile en lecture seule fournit l'état de contact courant. Sur le benchmark UniVTAC, le modèle atteint 81,5 % de réussite moyenne avec les seules démonstrations fournies. Sur cinq tâches réelles, il obtient 71,0 %, et 85,0 % après un pré-entraînement de taille modeste. L'enjeu porte sur la robustesse en déploiement. Les auteurs soutiennent qu'un léger décalage de position ou de force de contact modifie fortement les pixels tactiles, alors que l'évolution du contact reste prévisible. Reconstruire ces pixels devient alors fragile, tandis que prédire la dynamique dans un espace latent y serait moins sensible. Le résultat est notable pour les intégrateurs de manipulation fine, par exemple l'insertion ou la saisie sous contact, car il suggère qu'un tactile utile ne demande pas forcément de lourds modèles génératifs. Le modèle reste compétitif face à des approches pré-entraînées sur de vastes trajectoires visuo-tactiles. Les ablations indiquent que les deux voies tactiles et TacRep l'emportent sur les alternatives par reconstruction de pixels ou statiques. Les chiffres viennent toutefois des auteurs, sur un benchmark, avec un nombre limité de tâches réelles. Le papier ne donne ni temps de cycle ni matériel de déploiement industriel, et l'écart entre simulation, laboratoire et production reste à démontrer. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle robotique, où le tactile reste le parent pauvre face à la vision. Les VLA comme Pi-0 ou GR00T s'appuient surtout sur la vision et le langage, tandis que les capteurs tactiles de type vision-based (GelSight et dérivés) restent peu intégrés aux modèles de fondation. Les variantes tactiles concurrentes héritent des architectures de génération vidéo que TacDyn-WAM remet en cause. Il s'agit d'une prépublication v1, sans produit ni déploiement annoncé. La suite probable passera par des pré-entraînements plus vastes, davantage de tâches réelles et une réplication indépendante. Aucun acteur français ou européen n'est cité dans l'article.

Recherche❖Paper

1 source

39

592arXiv cs.RO 

Continuer, abandonner ou tomber : sélection de politique tenant compte de la viabilité (VAPS) pour l'acrobatie humanoïde sûre

Des chercheurs présentent VAPS (Viability-Aware Policy Selection), un cadre de sécurité pour les mouvements acrobatiques de robots humanoïdes, comme les flips, où une erreur de politique, une perturbation ou un écart sim-to-real peut endommager le matériel. Le problème de départ est simple: une politique de suivi de mouvement n'offre aucune issue une fois que le robot s'écarte de sa trajectoire de référence. Les auteurs entraînent donc, en plus d'une politique de chute protectrice, une politique d'abandon capable d'interrompre le mouvement à tout instant et de réceptionner le robot sur ses pieds. À chaque pas de contrôle, des prédicteurs appris estiment si la politique nominale de suivi et la politique d'abandon restent viables sur un horizon court. Une hiérarchie dite « du moindre sacrifice » conserve alors le comportement le plus ambitieux encore viable: continuer, abandonner ou tomber. En simulation, avec des perturbations aléatoires, VAPS réduit nettement les contacts de la tête et des mains, principales sources de dommages matériels. Les tests couvrent deux plateformes, l'Unitree G1 et le LimX Oli. Sur l'Oli, les prédicteurs de viabilité et le contrôleur complet ont été validés pour des flips latéraux. Les auteurs indiquent que VAPS domine au sens de Pareto les meilleures alternatives à réseau unique qu'ils ont pu entraîner, dont une politique de suivi sûr de bout en bout et des politiques élèves distillées à partir des décisions de leur propre oracle de routage, à la fois sur le succès de la tâche et sur l'impact à la tête. Le cadre sert aussi à superviser des politiques sous-entraînées. Le résumé ne donne aucun chiffre précis de réduction des contacts, de taux de succès ou de nombre d'essais sur matériel réel, et la validation sur l'Oli semble limitée au flip latéral. L'intérêt pour l'industrie tient à un angle souvent absent des démonstrations: le coût de l'échec. Les vidéos d'acrobaties humanoïdes montrent les réussites, rarement les chutes qui détruisent un poignet ou un capteur de tête. Une couche de supervision qui décide à chaque instant s'il faut poursuivre, se rattraper ou amortir la chute est une condition pour répéter ces mouvements sur des machines coûteuses, et plus largement pour déployer des humanoïdes dans des environnements où l'écart entre simulation et réalité ne disparaît pas. Le résultat suggère aussi qu'un routage explicite entre politiques spécialisées bat les politiques monolithiques, même distillées, ce qui nuance l'idée d'un réseau unique capable de tout gérer. Ce travail s'inscrit dans la vague de politiques de suivi de mouvement pour humanoïdes, qui ont rendu les flips et autres mouvements dynamiques courants en recherche, et dans une littérature sur la chute sûre et la récupération. Il s'agit d'un preprint arXiv (v1), non évalué par les pairs, validé principalement en simulation. L'usage de l'Oli de LimX, aux côtés du G1 d'Unitree, reflète la diffusion de ces plateformes dans les laboratoires. La suite logique serait une validation matérielle plus large, sur davantage de mouvements et avec des statistiques d'essais, avant toute intégration dans des produits commerciaux.

Recherche❖Paper

1 source

39

593arXiv cs.RO 

TouchTherm : construire des jumeaux numériques multimodaux d'objets pour le rendu tactile et thermique

Des chercheurs publient TouchTherm, un cadre logiciel et matériel qui construit à partir d'objets réels des « jumeaux numériques » intégrant la vision, le toucher et la température. Pour la partie visuelle et tactile, l'équipe combine un scanner à lumière structurée et des cartes de normales multivues issues de la stéréophotométrie. Ces cartes sont recalées sur la géométrie scannée, puis converties en espace tangent pour reconstruire des champs de micro-relief destinés au rendu tactile optique. Le maillage grossier reste réservé à la détection de collisions. Pour la partie thermique, le système enregistre des vidéos infrarouges multivues synchronisées du refroidissement naturel d'un objet après un chauffage contrôlé, puis reconstruit un champ thermique dynamique régularisé par la physique. Testé sur 20 objets, le micro-relief conserve les structures dominantes de surface et restitue des détails de plus haute fréquence que le maillage grossier. L'erreur absolue moyenne de température sur des données mises de côté atteint 0,465 °C à 30 s et 0,592 °C à 45 s. Les actifs tactiles permettent une reconnaissance d'objets synthétique vers réel à partir d'observations tactiles. Un gant de réalité virtuelle démontre un retour thermique variable dans l'espace et dans le temps. L'intérêt tient à un manque réel des bibliothèques d'actifs 3D actuelles. Elles décrivent la géométrie à l'échelle de l'objet et l'apparence visuelle, mais ignorent la microstructure de surface, dont dépendent les capteurs tactiles optiques de type vision-based, et la dynamique de température, qui conditionne la perception d'un matériau au contact. Pour la robotique, cela ouvre la voie à une simulation plus fidèle de la manipulation fine, avec des données tactiles synthétiques exploitables pour entraîner des politiques ou des modèles de reconnaissance avant transfert au réel. Le résultat sur la reconnaissance synthétique vers réel va dans ce sens, mais il reste une validation limitée. Les erreurs thermiques sont mesurées sur des horizons courts (moins d'une minute) et sur 20 objets seulement. La chaîne de capture exige en outre du matériel dédié (scanner, éclairage photométrique, caméras infrarouges, chauffage contrôlé), ce qui freine le passage à l'échelle d'un catalogue industriel. On reste au stade de la preuve de concept de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la montée en puissance de la simulation multimodale. Les jeux de données et méthodes de reconstruction 3D (maillages, NeRF, Gaussian splatting) se sont concentrés sur la géométrie et la photométrie, tandis que les simulateurs tactiles se sont surtout appuyés sur des capteurs optiques de type GelSight. La dimension thermique, elle, reste peu traitée dans les actifs de simulation. TouchTherm tente d'unifier ces trois canaux dans un même actif. L'article, publié sur arXiv (2610.01943), ne détaille pas ici de partenaire industriel ni de calendrier. Les suites logiques seraient l'extension à davantage de matériaux, des horizons thermiques plus longs, et l'intégration dans des simulateurs robotiques et des interfaces haptiques commerciales.

Recherche❖Paper

1 source

39

594arXiv cs.RO 

Estimation d'articulation conditionnée par une requête à partir d'une seule image

Des chercheurs présentent QueryArt, un modèle qui estime les paramètres cinématiques d'objets articulés (portes, tiroirs, charnières) à partir d'une seule image RGB, d'un point de requête 2D désignant la partie d'intérêt et des intrinsèques de la caméra. Le modèle prédit la géométrie d'articulation 3D relativement au point interrogé, exprimée en unités de profondeur de ce point. Une seule mesure de profondeur à cet endroit suffit ensuite pour restituer l'échelle et obtenir les paramètres métriques. L'entraînement repose sur un mélange sélectionné de jeux de données synthétiques et réels. Sur plusieurs benchmarks, QueryArt dépasse les approches récentes sur la plupart des métriques d'articulation, y compris sur des données hors distribution. Côté robot, l'équipe l'a testé sur un manipulateur mobile : 57 essais de manipulation, 16 parties d'objets, cinq classes de points de vue, pour un taux de réussite de 70,2 %. Le code et des vidéos sont publiés avec l'article (arXiv 2610.01726). L'intérêt tient à deux verrous que les méthodes monoculaires actuelles laissent ouverts. Elles couplent la segmentation des parties articulées et l'estimation de l'articulation, ce qui les rend fragiles : une détection manquée ou une association de parties erronée fait échouer toute la prédiction. Elles régressent aussi une géométrie métrique que la vue unique ne fixe qu'à un facteur d'échelle près, ce qui rend la cible mal définie. En conditionnant la prédiction sur un point de requête et en travaillant en unités de profondeur, QueryArt rend la cible identifiable depuis l'image seule et transfère l'échelle à un capteur de profondeur ponctuel, que presque tout robot mobile possède déjà. Pour un intégrateur, cela rapproche la manipulation d'objets jamais vus d'une chaîne simple : un point choisi, une mesure de profondeur, une action. Reste que 70,2 % de réussite sur 57 essais est un résultat de laboratoire, avec un échantillon modeste, loin des taux de fiabilité exigés en production. Le texte ne détaille pas ici les conditions d'essai ni les échecs. Ces travaux s'inscrivent dans une lignée de recherches sur l'estimation d'articulation depuis une image unique ou des observations multiples, souvent dépendantes de la segmentation de parties ou de scans 3D préalables. QueryArt se compare à des références récentes de cette famille, sans que le résumé les nomme. La prochaine étape logique est son intégration avec des politiques de manipulation de type VLA, qui pourraient fournir le point de requête à partir d'une instruction en langage naturel. Le code et les vidéos, accessibles sur la page du projet, permettront à d'autres équipes de vérifier ces résultats et de mesurer la robustesse du modèle hors du cadre des benchmarks.

Recherche❖Paper

1 source

39

595arXiv cs.RO 

CF-JEPA : renforcer la robustesse des modèles du monde JEPA grâce à la factorisation de la contrôlabilité

Des chercheurs proposent CF-JEPA (Controllability Factorized JEPA), un modèle du monde latent de type JEPA publié en preprint sur arXiv (2610.00727v1). Son principe est de scinder l'espace latent en deux sous-espaces: l'un contrôlable, l'autre non contrôlable. Les informations parasites, comme un arrière-plan changeant ou des éléments visuels sans lien avec la tâche, sont censées se loger dans la partie non contrôlable. La politique de commande n'exploite que la partie contrôlable. Les auteurs annoncent des performances comparables aux méthodes existantes sur des tâches de contrôle 2D et 3D en conditions nominales, et supérieures en présence de distracteurs. CF-JEPA serait le seul modèle testé à ne pas subir d'effondrement latent (latent collapse) dans ce cas. Une validation est aussi présentée sur une tâche de robot simulé. Le résumé ne donne aucun chiffre, ni taux de réussite, ni benchmark nommé, ni comparaison chiffrée avec des modèles concurrents. L'enjeu est la robustesse de la perception pour le contrôle visuel, un point faible connu des modèles du monde. Les architectures JEPA évitent la reconstruction au niveau du pixel, ce qui devrait les protéger du bruit visuel. Les auteurs montrent que ce n'est pas suffisant: ces modèles restent sensibles aux distracteurs et peuvent s'effondrer, c'est-à-dire produire des représentations dégénérées. Pour un intégrateur, c'est un écart familier entre démonstration en laboratoire et atelier réel, où l'éclairage varie, où des opérateurs passent en arrière-plan et où la scène change. Une séparation explicite entre ce que l'agent peut influencer et ce qu'il ne peut pas influencer est une piste crédible. Les réserves sont claires: les expériences sont en simulation, et rien n'indique encore que l'approche tienne sur du matériel physique ou à l'échelle des politiques VLA actuelles. Ce travail s'inscrit dans la montée des modèles du monde latents, popularisés par la famille JEPA défendue par Yann LeCun, qui s'oppose aux approches génératives reconstruisant les images. Il concurrence indirectement les modèles du monde génératifs et les méthodes de représentation robustes aux distracteurs, sans que le résumé les nomme. Aucune suite n'est annoncée. Les prochaines étapes logiques sont des benchmarks chiffrés publiés, une validation sur robot réel et des tests face à des distracteurs plus réalistes. Il s'agit d'une contribution de recherche, pas d'un produit ni d'un déploiement.

Recherche❖Paper

1 source

39

596arXiv cs.RO 

Token-World : modélisation du monde dans l'espace de jetons d'un modèle vision-langage pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.00575) Token-World, un modèle du monde conditionné par l'action, conçu pour les systèmes vision-langage-action (VLA) en manipulation robotique. La plupart des simulateurs actuels prédisent les futures images RGB, puis les ré-encodent pour la politique de contrôle. Token-World évite ce détour. Il compresse les tokens visuels d'un modèle vision-langage (VLM) en un état compact. Il apprend la dynamique future dans cet espace réduit, puis reconvertit les états prédits vers la représentation d'origine que consomme la politique. Sur plusieurs benchmarks de manipulation, les auteurs annoncent une meilleure fidélité des features en boucle ouverte et une meilleure cohérence des actions de la politique que les simulateurs récents. La dégradation est aussi plus lente sur de longs horizons de rollout. En boucle fermée, la performance simulée corrèle davantage avec celle de la politique de référence que Ctrl-World (r = 0,794 contre 0,583), avec une latence de simulation plus faible. Le code est annoncé, pas encore publié. L'enjeu est l'évaluation des politiques robotiques, aujourd'hui l'un des principaux goulots d'étranglement des VLA. Tester une politique sur robot réel coûte cher et prend du temps. Un simulateur appris et fiable permettrait de comparer des checkpoints et d'itérer sans immobiliser de matériel. Le gain de corrélation (0,794 contre 0,583) reste modeste en valeur absolue. Un coefficient proche de 0,8 classe correctement les politiques en gros, mais il n'est pas assez fin pour trancher entre deux variantes proches. L'intérêt de l'approche est aussi pratique, puisqu'elle supprime la génération de pixels, étape coûteuse en calcul. Elle suppose en revanche que le simulateur reste lié à la représentation d'un VLM donné. Les résultats viennent de benchmarks et non d'un déploiement industriel. Rien ne dit encore comment la méthode se comporte avec des contacts riches, des objets déformables ou des scènes hors distribution, ni sur quels robots ni avec quels volumes de données elle a été validée. Ce travail s'inscrit dans la vague des modèles du monde pour la robotique, où des systèmes comme Ctrl-World, la référence directe ici, génèrent des vidéos conditionnées par l'action pour évaluer ou améliorer des politiques. Le débat porte sur la nécessité de reconstruire des pixels pour planifier ou évaluer, alors que les politiques VLA de type Pi-0 ou GR00T travaillent déjà sur des représentations latentes. Token-World est une publication académique en préimpression, sans évaluation par les pairs. Il ne s'agit ni d'un produit ni d'un déploiement. La suite dépendra de la publication du code et d'une reproduction indépendante, notamment sur robot réel et sur des politiques tierces.

Recherche❖Paper

1 source

39

597arXiv cs.RO 

PROMO : apprentissage par renforcement multi-objectif conditionné par les préférences pour robots quadrupèdes

Des chercheurs proposent PROMO (Preference-Conditioned Multi-Objective Reinforcement Learning), une méthode qui transforme l'arbitrage entre objectifs de locomotion en entrée modifiable à l'exécution d'une politique unique pour robot quadrupède. Le travail, publié sur arXiv (2610.01260), vise un problème classique : le suivi de commande, la stabilité et l'efficacité énergétique entrent en conflit, et l'apprentissage par renforcement (RL) conventionnel fige leur hiérarchie dans une récompense scalaire fixée à l'entraînement. PROMO conditionne la politique sur des préférences exprimées au déploiement, tout en gardant fixes les a priori propres à l'embodiment, nécessaires à la génération d'une marche viable. En simulation, sur 100 préférences échantillonnées, 67 comportements sont non dominés au sens strict de Pareto, avec une corrélation moyenne préférence-objectif de 0,843. Sur un Unitree Go2, la même politique est transférée en zero-shot. Le seul changement de préférence, par rapport au réglage équilibré, réduit l'énergie spécifique jusqu'à 30,4 %, l'erreur de position de 38,7 % et l'écart maximal d'attitude du corps de 59,0 %. Le code et des vidéos sont en open source. L'intérêt pratique tient à l'interface. Aujourd'hui, adapter un contrôleur à une mission (économiser la batterie en inspection, privilégier la précision de placement, stabiliser une charge utile) impose souvent de réentraîner ou de maintenir plusieurs spécialistes. Une politique unique réglable à chaud simplifie la validation, le déploiement et la maintenance d'une flotte, ce qui parle aux intégrateurs de robots à pattes pour l'inspection industrielle. Les auteurs affirment qu'elle égale ou dépasse contrôleurs à objectif fixe, baselines multi-objectifs et spécialistes entraînés séparément, ce qui, si cela se confirme, rendrait la spécialisation par réentraînement moins nécessaire. Des réserves s'imposent toutefois : les gains réels sont mesurés sur une seule plateforme, relatifs à un réglage « équilibré » choisi par les auteurs, sans information sur la variété des terrains ni le nombre d'essais. Ce résultat relève de la recherche, pas d'un produit livré ni d'un déploiement. Le RL multi-objectif existait surtout comme outil hors ligne, pour construire des ensembles de Pareto que l'on exploitait ensuite en choisissant un point de fonctionnement. PROMO prolonge ce rôle en faisant de la préférence une variable de commande au runtime. Le Go2 d'Unitree est devenu la plateforme de référence de la recherche académique en locomotion par RL, ce qui facilite la comparaison et la reproduction, et l'ouverture du code va dans ce sens. La suite logique serait de tester l'approche sur d'autres morphologies, sur terrains difficiles, et de l'articuler avec des interfaces de commande de plus haut niveau, par exemple des modèles vision-langage-action ou des opérateurs humains traduisant une intention en préférence. Aucun pilote industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

39

598arXiv cs.RO 

Planification en temps constant pour enchaîner mouvement sans collision et comportements de manipulation

Des chercheurs publient, dans la version 3 d'un preprint arXiv (2512.00939), le Behavioral Constant-Time Motion Planner (B-CTMP), un planificateur de mouvement qui étend la planification à temps constant (CTMP) aux tâches de manipulation en deux étapes. Le robot exécute d'abord un mouvement sans collision vers un état d'initiation du comportement, puis déroule un comportement tel qu'une saisie ou une insertion. Le CTMP classique répond à toute requête dans un budget de temps fixé par l'utilisateur (par exemple 10 millisecondes) grâce à une phase de précalcul, dans un environnement connu à l'avance. B-CTMP change deux choses : les voisinages sont construits dans l'espace des poses d'objet plutôt que dans l'espace des configurations du robot, et la couverture est établie par certification statistique plutôt que par un simple test d'atteignabilité. Un plan n'est mis en cache que si des rollouts répétés établissent une borne inférieure de son taux de succès au-dessus d'un seuil choisi, et les auteurs démontrent que ces bornes tiennent simultanément sur tout le cache, à un niveau de confiance donné. Pour un comportement déterministe, un seul rollout suffit, ce qui redonne le test binaire du CTMP. L'évaluation porte sur trois tâches (prélèvement en rayonnage, insertion de prise, remplacement de roue), en simulation et sur robots réels. Le résumé ne donne aucun chiffre de taux de succès ni de nombre d'essais. L'enjeu est de combler un écart entre la planification de mouvement vérifiable et les comportements appris. Les compétences de manipulation riches en contacts progressent vite, mais restent cantonnées à des routines simples et scriptées, faute de garanties de sécurité, d'efficacité et de fiabilité. Le CTMP ne certifie que l'atteignabilité, un prédicat binaire, et ignore le comportement qui accomplit la tâche. Or ce comportement est de plus en plus stochastique, par exemple une politique apprise de type VLA, et aucun rollout hors ligne ne suffit à en prouver le succès. B-CTMP propose une réponse : borner statistiquement le taux de succès du comportement et garder un temps de réponse constant, y compris pour rejeter des poses d'objet infaisables. Pour un intégrateur ou un responsable de ligne, c'est le type de garantie auditable qui manque pour déployer des politiques apprises en production. Les auteurs affirment que les plans certifiés réussissent de façon constante là où les références échouent pendant l'exécution du comportement. Cette affirmation reste à vérifier sur les détails expérimentaux, notamment la diversité des poses testées et les budgets de rollouts. Ce travail prolonge la lignée du CTMP, conçu pour offrir des temps de requête bornés dans des environnements semi-structurés, typiques des cellules industrielles où les objets varient peu. Il se rapproche aussi des efforts de vérification des politiques apprises, face à la tendance dominante qui consiste à évaluer les modèles de manipulation sur des essais limités. La limite principale tient à l'hypothèse d'un environnement connu a priori et d'un monde semi-structuré : la garantie ne s'étend pas à des scènes ouvertes. Il s'agit d'une publication académique, sans produit ni déploiement annoncé. La suite logique serait de tester la méthode avec des politiques apprises plus complexes et sur des tâches plus longues, avec un cache dont la taille et le coût de précalcul restent à documenter.

Recherche❖Paper

1 source

39

599arXiv cs.RO 

DuoMind : permettre la coordination distribuée de robots multiples grâce à la communication sémantique

Des chercheurs publient sur arXiv (2610.02161) DuoMind, un cadre hiérarchique et distribué de coordination multi-robots fondé sur la communication sémantique. Chaque robot embarque deux modules préentraînés : un modèle VLA (vision-langage-action) pour l'exécution bas niveau, et un orchestrateur basé sur un VLM (vision-langage) pour le raisonnement de haut niveau. À chaque étape de planification, cet orchestrateur analyse la consigne de la tâche, les observations locales et les messages reçus des autres robots. Il produit ensuite des instructions pour son modèle d'action et des messages en langage naturel destinés à ses pairs. Les auteurs introduisent aussi RoboPoly, un benchmark de tâches de manipulation longues exigeant une exécution coordonnée, en boucle fermée, sous contrôle distribué. Les tests portent sur RoboPoly et RoboTwin. Le résumé annonce une amélioration des performances multi-robots et des ablations confirmant l'apport de l'orchestration hiérarchique et de la communication sémantique, mais ne donne aucun chiffre. Il s'agit d'un préprint de recherche : ni produit, ni déploiement réel n'est annoncé. L'intérêt tient à une limite bien connue du secteur. Les VLM et VLA ont fait avancer les robots généralistes, mais presque toujours à l'échelle d'un robot isolé. Or les cas d'usage industriels, comme la logistique, l'assemblage ou la manutention à deux bras ou à plusieurs machines, supposent de coordonner des comportements longs sans perdre en précision de manipulation. DuoMind propose une répartition claire des rôles : le VLM raisonne, le VLA exécute. Il évite ainsi d'entraîner un modèle monolithique multi-agents. Le contrôle distribué, sans planificateur central, répond aussi à des contraintes d'intégration réelles (latence, tolérance aux pannes, flottes hétérogènes). Des échanges en langage naturel sont en outre lisibles et auditables par un opérateur, ce qui peut compter pour la validation de sûreté. Les résultats restent toutefois à relativiser : sans valeurs chiffrées dans le résumé, et avec une validation apparemment limitée à des benchmarks simulés, la question du passage au monde réel, de la latence d'inférence des VLM embarqués et de la robustesse aux erreurs de communication reste ouverte. Le travail s'inscrit dans la montée en puissance des modèles VLA, avec des références comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, qui adoptent déjà des architectures à deux niveaux (raisonnement lent, contrôle rapide) mais pour un seul robot. Côté coordination de flottes, les acteurs industriels (Exotec, Amazon, Symbotic) s'appuient plutôt sur des orchestrateurs centralisés classiques, et non sur des modèles de fondation. Le manque de benchmarks multi-robots, que RoboPoly cherche à combler, freine la comparaison entre méthodes, et RoboTwin, déjà utilisé pour la manipulation bimanuelle, sert de second terrain d'essai. La suite logique serait une validation sur robots physiques, avec des mesures de taux de réussite et de temps de cycle face à une coordination centralisée. Le code et la page projet mentionnés par les auteurs permettront à la communauté de reproduire ces résultats.

Recherche❖Paper

1 source

38

600arXiv cs.RO 

DriftOPD : distillation à divergence KL inverse au niveau séquence pour politiques VLA en une seule étape

Des chercheurs publient sur arXiv (2610.00317) DriftOPD, un cadre de distillation « on-policy » au niveau séquence, destiné aux experts d'action continus des modèles Vision-Language-Action (VLA). Ces experts d'action produisent de courts segments d'actions (« action chunks ») exécutés en commande à horizon glissant. L'entraînement par segment, pratique d'une morphologie de robot à l'autre, optimise la vraisemblance locale des actions sans tenir compte du succès de la tâche sur la durée. DriftOPD ne nécessite ni modèle enseignant séparé, ni déploiement de la politique (« rollout ») en boucle fermée. Les auteurs montrent que la divergence de Kullback-Leibler inverse au niveau séquence se décompose en deux termes : une KL inverse par segment et un terme de « potentiel futur » qui mesure l'effet à long terme de l'action courante. Le premier est optimisé par un objectif de « drifting » à une étape. Le second l'est par un critique Q appris à partir de démonstrations hors ligne. Le résultat est un expert d'action qui génère ses actions en une seule étape. Testé sur plusieurs architectures VLA, en simulation et en manipulation réelle, DriftOPD surpasse généralement les méthodes de distillation à une étape existantes. Il atteint un taux de succès comparable à celui des politiques enseignantes multi-étapes. Le résumé ne donne ni chiffres de succès, ni robots, ni architectures précis. L'enjeu est de lever un compromis qui pèse sur les politiques VLA. Les experts d'action de type diffusion ou flow-matching donnent de bons résultats mais demandent plusieurs étapes d'inférence, d'où une latence gênante pour le contrôle réactif. Les distiller en une étape accélère l'exécution, mais au prix d'une perte de qualité. Le gain annoncé tient à ce que le comportement à long terme est transféré sans interaction en ligne. Or l'apprentissage par renforcement sur robot réel coûte cher en temps machine, en supervision humaine et en risque de casse. Si les résultats se confirment, un intégrateur pourrait affiner une politique à partir de ses seules démonstrations existantes, sans campagne de collecte supplémentaire. Il faut rester prudent : il s'agit d'un préprint non évalué par des pairs, et seules les tables complètes (tâches, nombre d'essais, variance, latences mesurées) permettront de juger si « comparable à l'enseignant » vaut aussi pour des tâches longues et peu tolérantes aux erreurs. Ce travail s'inscrit dans la course à l'efficacité d'inférence des VLA. Pi-0 de Physical Intelligence, GR00T de NVIDIA et les systèmes à double architecture comme Helix de Figure reposent sur des têtes d'action génératives. La distillation en une étape, les modèles de cohérence et les approches inspirées du « drifting » visent à réduire leur coût de calcul. En parallèle, des méthodes d'apprentissage par renforcement post-entraînement cherchent à optimiser le succès de tâche, mais exigent des déploiements réels. DriftOPD se place entre ces deux familles : il reprend l'objectif de séquence de la seconde avec le coût hors ligne de la première. Les prochaines étapes à surveiller sont la publication du code et des résultats détaillés, ainsi que la reproduction par d'autres laboratoires sur des plateformes et tâches variées. La mesure de la latence de bout en bout sur matériel embarqué sera aussi déterminante.

Recherche❖Paper

1 source