Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Actualités robotique — page 8

7 308 articles au fil, du plus récent au plus ancien.

TAPDreamer : des patchs adversariaux transférables contre les modèles d'action du monde
351arXiv cs.RO 

TAPDreamer : des patchs adversariaux transférables contre les modèles d'action du monde

Des chercheurs ont mis au point TAPDreamer, une attaque par patch adversarial qui vise les « world action models » (WAM), ces modèles qui prédisent l'évolution de leur environnement pour piloter un robot. Le patch est construit à partir d'un seul encodeur visuel public, sans aucune requête vers la politique cible. Il suffit de six images d'une tâche source pour optimiser la distance L1 globale entre les représentations de l'encodeur sur image propre et sur image patchée. Un patch figé par benchmark, couvrant environ 6,5 % de l'image, fait chuter FastWAM de 97,7 % à 0,0 % de réussite sur 40 tâches LIBERO, et de 90,86 % à 0,0 % sur 50 tâches RoboTwin, en boucle fermée. Des patchs aléatoires de même taille laissent 81,5 % et 79,2 % de réussite. Le patch transféré fait tomber deux configurations de DreamWAM à 1,45 % et 1,00 %, et Motus à 10,60 %. Ces résultats viennent d'une étude académique en simulation, sans test sur robot physique. L'enjeu tient au mécanisme. Selon les auteurs, les interactions entre les poids d'attention et les vecteurs de valeur propagent un décalage de représentation quasi identique bien au-delà de la zone masquée, et ce décalage reste stable d'une tâche à l'autre. Un attaquant n'a donc besoin ni de la politique, ni de ses sorties, ni de ses futurs prédits, contrairement aux attaques existantes. Pour les intégrateurs et les responsables de sécurité industrielle, cela déplace le risque. Durcir uniquement la génération d'actions ne suffit pas, car l'encodeur visuel partagé devient un point de défaillance commun à plusieurs architectures. Ce travail relativise aussi la robustesse affichée par les modèles du monde sur les benchmarks propres. Un score de 97,7 % sur LIBERO ne dit rien de la tenue face à une perturbation locale persistante, par exemple un autocollant ou une étiquette dans le champ de la caméra. Une réserve s'impose : la portée physique reste à démontrer, car les patchs sont appliqués numériquement sur les images. Le contexte est celui d'une adoption rapide des modèles du monde comme socle du contrôle robotique généraliste, avec des encodeurs pré-entraînés réutilisés d'un modèle à l'autre. Cette mutualisation facilite le développement, mais elle crée la surface d'attaque exploitée ici. Les travaux antérieurs sur les politiques vision-langage-action (VLA) avaient déjà montré une vulnérabilité aux perturbations visuelles, en général avec accès aux sorties du modèle. TAPDreamer abaisse ce seuil d'accès. La conclusion des auteurs est que les défenses devront protéger les encodeurs visuels partagés contre les perturbations locales persistantes. La suite logique serait une validation sur matériel réel, avec des patchs imprimés et des conditions d'éclairage variables, puis l'évaluation de contre-mesures comme l'entraînement adversarial de l'encodeur ou la détection de patchs avant l'inférence.

RecherchePaper
1 source
OpenWAM : un cadre ouvert pour des modèles monde-action composables
352arXiv cs.RO 

OpenWAM : un cadre ouvert pour des modèles monde-action composables

OpenWAM est un cadre open source de modèles monde-action (WAM, world-action models), ces systèmes qui couplent la prédiction vidéo du futur au contrôle d'un robot. Les auteurs partent de Wan2.2-5B, un modèle de génération vidéo de 5 milliards de paramètres, qu'ils pré-entraînent de façon causale sur plus de 10 000 heures de vidéo robotique. Ils y greffent un « expert d'action » via une architecture Mixture-of-Transformers partagée. Celle-ci permet quatre modes de génération : conjointe, vidéo puis action, action puis vidéo, et découplée. Sur les quatre suites du benchmark de simulation LIBERO, le système obtient des taux de réussite élevés, de même que sur des tâches bimanuelles réelles dont l'abstract ne détaille ni le nombre ni les conditions. L'adaptation causale conjuguée à l'entraînement sur vidéo robotique fait passer le taux de réussite en mode vidéo puis action sur LIBERO-Long de 68,4 % à 97,8 %. L'apport principal tient à la méthode plus qu'à un score. Les WAM existants changent simultanément de backbone vidéo, de structure d'interaction, de supervision et de procédure d'inférence, ce qui empêche d'attribuer un gain à un choix de conception précis. OpenWAM fournit un banc d'essai commun où l'on ne modifie qu'un paramètre à la fois. Les résultats sur la dynamique sont les plus intéressants pour les équipes qui cherchent à réduire leur dépendance aux démonstrations coûteuses. Quand seul le prédicteur vidéo est adapté à une nouvelle tâche, un modèle de dynamique inverse gelé, à contexte local, entraîné sur des transitions contrefactuelles et des démonstrations, atteint 84,0 % de réussite moyenne sur quatre tâches LIBERO-90 jamais vues. Le même modèle entraîné sur les seules démonstrations plafonne à 21,5 %, et une version à contexte complet atteint 47,0 %. En dynamique directe, la supervision contrefactuelle réduit l'erreur de prédiction RGB de 34,5 % et fait passer l'identification du bon résultat de 21,1 % à 71,3 % parmi 16 issues partant du même état. Ces chiffres viennent de LIBERO, un benchmark simulé et saturé, et d'un article non encore évalué par des pairs : ils ne disent rien du fossé entre démonstration et déploiement industriel. Ce travail s'inscrit dans la montée des politiques fondées sur la vidéo, qui font concurrence aux modèles vision-langage-action (VLA) classiques comme Pi-0 ou GR00T. Leur promesse est de tirer parti de la grande quantité de vidéo disponible, au-delà des seules démonstrations réussies. Wan2.2 sert ici de socle, ce qui illustre la réutilisation des modèles vidéo génératifs ouverts en robotique. Le cadre est publié sous le numéro arXiv 2610.07922, en version 1, et l'abstract ne mentionne aucun pilote industriel ni calendrier de déploiement. La suite logique serait une validation sur davantage de tâches réelles, avec des comparaisons à poids de calcul équivalent contre les VLA établis.

RecherchePaper
1 source
EmbodiedSmith : passer à l'échelle les données d'IA incarnée grâce à un cycle d'auto-amélioration récursive en simulation
353arXiv cs.RO 

EmbodiedSmith : passer à l'échelle les données d'IA incarnée grâce à un cycle d'auto-amélioration récursive en simulation

Des chercheurs publient sur arXiv (2610.07969) EmbodiedSmith, un cadre de génération de données d'entraînement robotiques en simulation, fondé sur une boucle de « récursive self-improvement » (RSI). Le système unifie trois étapes habituellement séparées : la création d'assets 3D, la génération de scènes et la génération de tâches. Il fonctionne de façon autonome ou sur instructions en langage naturel. Au centre du dispositif, une boucle de raffinement pilotée par des agents : la génération de scène anticipe les besoins des tâches à venir, et la génération de tâche déclenche en retour des modifications ciblées de la scène. Le cadre prend en charge des manipulateurs mobiles, des humanoïdes et des mains dextres, ainsi que des interactions avec des objets déformables et des fluides. Les auteurs affirment que ce raffinement conjoint améliore le taux de réussite de la génération de tâches, y compris pour les tâches longues, et que des politiques entraînées sur des données plus diversifiées généralisent mieux. Le résumé ne donne ni chiffres, ni noms de robots, ni noms de modèles de politique testés. L'intérêt tient à deux verrous connus des modèles de fondation robotiques : le manque de données variées et le manque d'environnements d'évaluation fiables. Les pipelines de simulation actuels dépendent de bibliothèques d'assets et de compétences prédéfinies, et traitent la scène et la tâche comme deux problèmes disjoints, ce qui produit des tâches irréalisables ou répétitives. Si la boucle scène-tâche tient ses promesses, elle réduirait le travail manuel de conception d'environnements, poste coûteux pour les équipes qui entraînent des VLA (vision-language-action). L'extension aux mains dextres, aux fluides et aux objets déformables vise des cas où la simulation reste la plus fragile. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, et le résumé ne dit rien de l'écart sim-to-real. Un gain de généralisation mesuré en simulation ne prouve pas un transfert sur robot physique, qui est le test décisif pour les décideurs industriels. Le travail s'inscrit dans la course à la donnée synthétique pour la robotique, où coexistent les générateurs de scènes pilotés par LLM, les environnements procéduraux et les plateformes de simulation des grands acteurs, comme Isaac Sim chez NVIDIA, qui alimente la famille GR00T. Face à la téléopération, coûteuse et lente à passer à l'échelle, la simulation générative promet de produire des volumes bien supérieurs à moindre coût. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des validations sur robots réels et une comparaison directe avec les pipelines existants. Aucun acteur européen ni calendrier de déploiement n'est mentionné dans l'annonce.

IA physiquePaper
1 source
QF3 : apprentissage par renforcement à base de flux rapide avec gradients Q filtrés
354arXiv cs.RO 

QF3 : apprentissage par renforcement à base de flux rapide avec gradients Q filtrés

Des chercheurs publient QF3 (Fast Flow RL with Filtered Q-Gradients), un algorithme d'apprentissage par renforcement (RL) off-policy et online qui entraîne des politiques de type « flow » (génératives, basées sur le flow matching). L'entraînement combine la perte de flow matching et le gradient d'action du critique Q, rétropropagé à travers une prédiction en un seul pas de la sortie du flow. Un filtre limite l'application de ce gradient aux seules dimensions d'action restées proches de l'action stockée dans le replay buffer, là où le critique et la prédiction à un pas sont jugés fiables. Les auteurs affirment que QF3 est la première méthode de RL off-policy à base de flow qui entraîne des politiques de locomotion humanoïde from scratch et les transfère en zero-shot sur le robot réel. Associé à une recette d'entraînement off-policy à haut débit, il apprend des politiques de locomotion et de motion tracking humanoïdes avec une accélération de 10x en temps réel (wall-clock) par rapport à FPO++, une méthode récente de RL on-policy pour politiques flow. Les auteurs l'appliquent aussi au fine-tuning de politiques de manipulation pré-entraînées sur les benchmarks ABC-Sim et Robomimic. Il s'agit d'un preprint arXiv (v1), non relu par les pairs, accompagné d'un site de projet. L'intérêt tient à la jonction de deux tendances. Les politiques flow (et diffusion) sont devenues la classe standard pour apprendre des comportements par imitation, notamment dans les VLA (vision-language-action), mais leur amélioration par RL reste difficile : rétropropager à travers un échantillonnage multi-étapes est instable et coûteux, ce qui a poussé vers des méthodes on-policy comme FPO++, gourmandes en échantillons. Si le gain de 10x se confirme hors du cadre des auteurs, il réduirait le coût de la locomotion humanoïde apprise en simulation, puis transférée au réel (sim-to-real). Il suggérerait aussi qu'un seul algorithme peut servir à la fois à l'entraînement from scratch et au raffinement de politiques issues de démonstrations. Pour les intégrateurs, cela ouvre la voie à un affinage par interaction de politiques pré-entraînées, sans repartir de zéro. Il faut toutefois rester prudent : la revendication de « première » est auto-déclarée, et le résumé ne donne ni plateforme humanoïde, ni nombre d'essais matériels, ni taux de succès chiffrés en manipulation. Le « 10x » est mesuré face à une seule méthode de référence, sur des tâches choisies par les auteurs. Ces travaux s'inscrivent dans la montée des politiques génératives en robotique, popularisées par Diffusion Policy puis par des modèles flow comme Pi-0, et dans l'effort pour combiner imitation et RL. Les concurrents directs sont les méthodes de RL pour politiques flow ou diffusion, dont FPO++ est la référence citée, ainsi que les approches de fine-tuning de VLA par RL. Les prochaines étapes à surveiller sont la publication du code et des détails matériels sur le site du projet, des réplications indépendantes et une éventuelle application à des VLA de grande taille ou à des tâches de loco-manipulation, où le coût d'entraînement reste le principal verrou.

RecherchePaper
1 source
BAT : concilier agilité et stabilité par commutation de politiques en ligne pour le contrôle du corps entier d'un robot humanoïde sur de longs horizons
355arXiv cs.RO 

BAT : concilier agilité et stabilité par commutation de politiques en ligne pour le contrôle du corps entier d'un robot humanoïde sur de longs horizons

Des chercheurs proposent BAT, un cadre de commutation de politiques en ligne pour le contrôle du corps entier d'humanoïdes sur de longs enchaînements de mouvements. Le travail, publié sur arXiv (2604.01064, version 2), part d'un constat : les approches existantes suivent deux paradigmes. Les politiques couplées coordonnent tout le corps de façon globale, tandis que les politiques découplées traitent chaque module séparément pour gagner en précision. BAT choisit dynamiquement entre deux contrôleurs généralistes entraînés par apprentissage par renforcement, l'un couplé et l'autre découplé, selon le contexte du mouvement en cours. Deux prédicteurs de commutation travaillent en parallèle. OpVQ-VAE s'appuie sur des « tokens » de mouvement et généralise bien. OpHRL est un prédicteur en boucle fermée qui tient compte de l'état du robot. Un routeur de familiarité des tokens (Token-Familiarity Router) arbitre lorsque les deux divergent : il privilégie OpHRL pour les séquences de tokens connues et OpVQ-VAE pour les séquences inédites. Les auteurs annoncent 85,2 % de réussite sur des combinaisons de mouvements longues déjà vues à l'entraînement, et 71,3 % sur des mouvements jamais rencontrés. Ils rapportent aussi de meilleurs résultats que les contrôleurs corps entier existants sur les mouvements pris isolément, ainsi qu'un déploiement zéro-shot sur le Unitree G1. L'intérêt pratique tient au compromis que les équipes rencontrent sans cesse. Une politique couplée donne des gestes dynamiques et agiles, comme des sauts ou des mouvements amples, mais elle perd en précision. Une politique découplée manipule ou positionne mieux, mais elle devient moins robuste quand le mouvement exige une coordination globale. Plutôt que de chercher un contrôleur unique qui concilie tout, BAT montre qu'on peut combiner des spécialistes et basculer entre eux à l'exécution. Le point à surveiller est l'écart entre mouvements vus et inédits : 85,2 % contre 71,3 %, soit près de 14 points perdus, ce qui reste loin de la fiabilité attendue en production. Ces chiffres viennent de benchmarks de recherche, sans durée de tâche, nombre d'essais ni conditions détaillés dans le résumé. Le transfert zéro-shot sur G1 est encourageant, mais rien ne dit qu'il couvre toute la distribution de mouvements testée en simulation. Ce travail s'inscrit dans la vague des contrôleurs généralistes corps entier pour humanoïdes, nourrie par l'apprentissage par renforcement en simulation et l'imitation de mouvements humains. Le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert désormais de plateforme de référence pour valider ces méthodes. Les auteurs ne se positionnent pas ici face aux modèles VLA commerciaux (Figure, Tesla, NVIDIA), car BAT agit à la couche basse de contrôle, pas au niveau du raisonnement ou de la planification. Cette couche reste pourtant un goulot d'étranglement pour passer des démonstrations à des tâches longues et enchaînées. La version 2 laisse penser que l'article a été révisé après relecture. Les suites logiques seraient des tests sur d'autres plateformes, des tâches de manipulation plus longues et une mesure de la robustesse hors laboratoire. Aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper
1 source
Navigation par indices RF : perception et action incarnées sous incertitude de trajets multiples
356arXiv cs.RO 

Navigation par indices RF : perception et action incarnées sous incertitude de trajets multiples

Des chercheurs publient sur arXiv (v1, octobre 2026) une méthode de navigation pour robots d'inspection en usine connectée. Le robot doit atteindre un équipement sans carte préalable et sans connaître les coordonnées de la cible. Les signaux radiofréquence (RF) émis par l'équipement servent d'indice directionnel. Ils complètent la vision quand l'occlusion ou un mauvais éclairage empêchent de détecter la cible. Le problème est la propagation par trajets multiples (multipath). Les réflexions déforment le signal, et une mesure RF instantanée ne donne donc pas la vraie direction de la source. Les auteurs construisent d'abord un benchmark, Habitat Sionna RT. Il combine la géométrie détaillée des scènes et des propriétés de matériaux assignées pour produire des observations visuelles et RF alignées, en réponse aux actions du robot. Ils proposent ensuite un cadre multimodal sensible à l'incertitude. Il estime conjointement la direction de la cible et son incertitude à partir d'un historique d'observations RF, visuelles et de pose. Ces estimations alimentent la sélection d'actions, avec le contexte visuel. Dans des scènes jamais vues, le gain relatif atteint 18,2 % en taux de succès (SR) et 11,5 % en SPL (succès pondéré par la longueur du chemin) face à la meilleure référence évaluée. L'apport tient moins à la RF elle-même qu'à la façon de la traiter. Le signal n'est plus lu comme une flèche fiable : c'est une observation bruitée dont la confiance est modélisée et accumulée dans le temps. Pour un intégrateur, l'intérêt potentiel est d'exploiter la radio déjà présente sur site (équipements connectés, réseaux sans fil) plutôt que de déployer des balises dédiées. Cette lecture reste une inférence, que l'étude ne démontre pas. Les résultats viennent uniquement de simulation. Ce sont des gains relatifs, et le résumé ne donne ni valeurs absolues ni identité de la référence la plus forte. L'écart simulation-réel reste entier : un lancer de rayons avec matériaux assignés ne reproduit qu'approximativement les réflexions d'un atelier réel. Ce travail s'inscrit dans la navigation vers un objectif, dominée par des approches purement visuelles évaluées sur des simulateurs comme Habitat. Sionna RT est la bibliothèque de lancer de rayons radio d'NVIDIA. Les alternatives sont la localisation RF sur infrastructure fixe, ou le SLAM (cartographie et localisation simultanées) avec carte préalable. Le présent cadre vise justement l'absence de carte et de coordonnées. Aucun déploiement ni pilote industriel n'est annoncé. La suite logique est une validation sur robot physique dans un environnement industriel réel, avec mesures RF en conditions de multipath dense. C'est ce test qui dira si le gain observé en simulation survit à la réalité.

RecherchePaper
1 source
BiGym 2.0 : évaluation de politiques apprises et développées par des agents pour la manipulation domestique humanoïde
357arXiv cs.RO 

BiGym 2.0 : évaluation de politiques apprises et développées par des agents pour la manipulation domestique humanoïde

BiGym 2.0, publié sur arXiv (2610.07594) par l'équipe derrière le dépôt swirl-uk/BiGym2, adapte le benchmark de manipulation bimanuelle BiGym au robot humanoïde Unitree G1. La suite couvre 20 tâches domestiques, toutes pilotées par un contrôleur whole-body unifié, utilisé aussi bien pour la collecte de démonstrations que pour l'évaluation. Chaque tâche fournit 60 démonstrations humaines natives, enregistrées en réalité virtuelle, avec vues multi-caméras synchronisées et traces d'exécution du corps entier. Quatre familles de méthodes sont comparées, avec les mêmes vues embarquées, la même proprioception et le même contrôleur : fine-tuning de modèles vision-langage-action (VLA), apprentissage par imitation, apprentissage par renforcement guidé par démonstrations, et agents de codage partant de zéro, auxquels on accorde le budget d'interactions d'un apprentissage par renforcement en ligne. Environnements, démonstrations et traces d'évaluation sont publiés en open source. Sur la moyenne de neuf tâches retenues pour la comparaison, le fine-tuning de VLA obtient le meilleur score. Les programmes écrits par des agents de codage dépassent toutefois toutes les bases de référence d'apprentissage par renforcement guidé par démonstrations sur cette même moyenne, et dominent sur l'atteinte bimanuelle. Les limites restent nettes : l'empilement entre espaces de travail distincts n'est pas résolu, π0.5 reste faible sur la tâche pick-box, et le transport multi-objets pénalise l'imitation, le renforcement guidé et les agents de codage. L'intérêt est double pour les intégrateurs et les équipes de recherche. D'une part, le résultat tempère l'idée d'une manipulation domestique humanoïde déjà acquise : quand le bras doit agir pendant que le corps s'équilibre, fait un pas ou change de posture, les tâches longues et à plusieurs objets restent hors de portée des méthodes actuelles, y compris des VLA. D'autre part, la performance des programmes générés par agents, sans démonstrations, suggère une voie concurrente de l'apprentissage de politiques, à surveiller. Le fait que toutes les méthodes partagent observations et contrôleur rend la comparaison plus lisible que les démonstrations isolées, mais il s'agit de simulation : le transfert vers le matériel réel n'est pas évalué ici, et les scores détaillés ne figurent pas dans le résumé. BiGym, introduit initialement pour la manipulation mobile bimanuelle sur un robot à base roulante, sert de référence aux travaux sur les VLA et l'imitation. Le passage au G1, plateforme humanoïde accessible largement diffusée en recherche, rapproche le benchmark des modèles de la famille π0.5 de Physical Intelligence, déjà évalués ici. Les suites possibles tiennent à l'ouverture des données : d'autres laboratoires pourront y confronter leurs VLA ou leurs agents de codage, et l'écart sur l'empilement et le transport multi-objets servira de cible aux prochains travaux.

RecherchePaper
1 source
EgoLAP : apprendre à partir de données humaines égocentriques grâce au raisonnement langage-action
358arXiv cs.RO 

EgoLAP : apprendre à partir de données humaines égocentriques grâce au raisonnement langage-action

EgoLAP, un cadre de pré-entraînement pour modèles VLA (vision-langage-action) décrit dans une prépublication arXiv (2610.08726), vise à exploiter des données égocentriques humaines, c'est-à-dire filmées du point de vue d'une personne qui accomplit une tâche, pour entraîner des robots. Le système apprend conjointement à partir de trajectoires humaines et robotiques via une chaîne de raisonnement par le langage partagée. L'intention de mouvement y est exprimée sous forme d'« actions langagières » structurées et abstraites dans le temps. Chacune est associée à un raisonnement au niveau du mouvement, fondé sur la géométrie de la scène, la physique et les affordances des objets. Les auteurs annoncent 80,1 % de progression moyenne des tâches en conditions réelles, soit un gain de 2,3 fois par rapport aux autres représentations d'action testées. Les expériences couvrent des tâches réelles et simulées. Le résumé ne précise ni la plateforme robotique, ni le nombre de tâches, ni le volume de données humaines utilisé. L'enjeu est celui du coût des démonstrations robotiques. La téléopération reste lente, chère et difficile à passer à l'échelle, alors que les vidéos égocentriques humaines peuvent être collectées en grande quantité. Le verrou est l'écart d'embodiment : les actions bas niveau d'un humain (articulations d'une main, trajectoires du poignet) ne se transposent pas telles quelles à un bras ou une pince. L'idée centrale est de n'utiliser comme cible de supervision que l'intention de mouvement, jugée transférable entre humains et robots. Si ce résultat se confirme, il renforcerait la thèse d'un passage à l'échelle des VLA par les données humaines plutôt que par les seules démonstrations robot. Les auteurs affirment aussi que le raisonnement au niveau du mouvement fait mieux qu'un format composite combinant sous-tâches, boîtes d'objets et traces visuelles, ce qui interroge les choix de raisonnement intermédiaire adoptés par plusieurs modèles actuels. Il faut toutefois rester prudent. Le chiffre de 80,1 % mesure une progression de tâche, pas un taux de réussite complet. Le gain de 2,3 fois dépend du choix des représentations comparées, et ces résultats n'ont pas encore été relus par des pairs. L'approche s'inscrit dans un courant plus large : des modèles comme Pi-0, GR00T ou Helix cherchent aussi à combiner vidéo humaine, simulation et données robot, et plusieurs équipes explorent les représentations d'action partagées entre morphologies. EgoLAP se distingue en choisissant le langage comme pivot. Reste à voir si le code, les poids et les jeux de données seront publiés, et si la méthode tient sur des tâches de longue durée, des mains dextres ou des environnements industriels, seuls cas qui intéresseraient vraiment les intégrateurs.

IA physiquePaper
1 source
Langage Silicon : un cadre d'échange de connaissances natif pour robots hétérogènes
359arXiv cs.RO 

Langage Silicon : un cadre d'échange de connaissances natif pour robots hétérogènes

Des chercheurs chinois publient sur arXiv (2610.07650) « Silicon Language », un cadre d'échange de connaissances conçu pour que des robots hétérogènes se transmettent des capacités sans réingénierie humaine. Le principe : un robot qui veut une compétence encode sa propre expérience en « paquets de connaissances », les publie, récupère ceux de ses pairs, les traduit pour ses propres capteurs et actionneurs, puis les valide par un essai local indépendant. L'architecture repose sur trois couches : un agent embarqué (edge), un protocole baptisé Silicon Transfer Protocol (STP) et un hub de connaissances, le tout organisé selon une pile de capacités inspirée du système de publication scientifique humain. Un procédé d'évaluation côté récepteur permet à chaque robot de juger l'utilité d'un paquet externe, avec un mélange progressif et un retour arrière automatique pour limiter le transfert négatif. Le déploiement de preuve de concept a duré 30 jours dans un laboratoire de mine simulée en surface à Yulin, avec des essais de suivi sur une route de sable en extérieur et dans une usine en intérieur. Deux robots hétérogènes ont encodé et traduit trois capacités d'un support à l'autre. Les essais côté source du comportement de suivi « dust-locked » ont été enregistrés sur le robot Taurus. Pour les intégrateurs, le coût caché de la robotique reste l'adaptation : chaque transfert de compétence d'une plateforme à une autre implique de refaire les interfaces, de réajuster les paramètres et de revalider la sécurité. Les auteurs indiquent que le temps d'adaptation par capacité serait passé de plusieurs jours à quelques heures. Ce chiffre vient des relevés du projet et non d'une mesure contrôlée, et les auteurs le précisent eux-mêmes. Il n'existe pas de comparaison avec/sans paquet, et le nombre de capacités (trois) et de robots (deux) est très faible. Surtout, les échanges se sont faits par copies de fichiers assistées par un opérateur, ce qui veut dire que la boucle autonome décrite n'a pas été démontrée. Le travail est donc une preuve initiale de faisabilité pour le transfert inter-embodiment, pas une validation à l'échelle d'une flotte. Il vaut surtout pour la question qu'il pose : la validation locale côté récepteur, plutôt que la certification centralisée, comme garde-fou du partage de compétences. Ce travail s'inscrit dans la recherche sur la généralisation entre morphologies, où les modèles VLA (vision-langage-action) généralistes comme Pi-0 ou GR00T misent sur de grands jeux de données pour couvrir plusieurs robots. Silicon Language prend une voie différente, plus proche d'un registre de paquets pour robots, où chaque machine reste responsable de ce qu'elle adopte. Le contexte minier de Yulin reflète aussi l'intérêt chinois pour l'automatisation des environnements poussiéreux et dangereux. Les auteurs renvoient à des travaux futurs l'évolution autonome à l'échelle d'une flotte et les comparaisons contrôlées. Aucun calendrier de pilote industriel n'est annoncé.

RecherchePaper
1 source
Démo : cadre de co-simulation en boucle fermée Sionna-Isaac Sim pour une navigation robotique sensible au réseau sans fil via ROS 2
360arXiv cs.RO 

Démo : cadre de co-simulation en boucle fermée Sionna-Isaac Sim pour une navigation robotique sensible au réseau sans fil via ROS 2

Des chercheurs de la Singapore University of Technology and Design (SUTD) présentent, dans une démonstration publiée sur arXiv, un cadre de co-simulation en temps réel qui couple NVIDIA Isaac Sim (moteur physique et de perception robotique) et NVIDIA Sionna (simulateur de liaisons radio) via ROS 2. Sionna calcule par lancer de rayons sur GPU le canal entre la station de base et le robot, sur la géométrie exacte que simule Isaac Sim, au lieu d'un modèle stochastique. Les états du canal reviennent dans la boucle de commande en temps réel : la carte de couverture est rafraîchie en environ 16 ms (environ 60 Hz). Pour la démonstration, l'équipe a construit un jumeau numérique du campus SUTD à partir d'OpenStreetMap, avec deux robots Nova Carter. Le planificateur en boucle fermée supprime les coupures de communication pour un surcoût de seulement 7,4 % sur le temps de parcours. Le trajet le plus court, pris comme référence, reste déconnecté 7,9 s sur un parcours de 81,2 s, soit environ 10 % du temps. L'enjeu concerne les robots dont la boucle de contrôle est déportée sur le réseau, en 5G privée ou en edge computing. Comme le récepteur se déplace avec le robot, la qualité de la liaison dépend de sa trajectoire. Jusqu'ici, les simulateurs traitaient l'un ou l'autre aspect. Les auteurs affirment, à leur connaissance, qu'aucun outil n'unifie nativement moteur physique et propagation spécifique au site, et que les couplages existants se limitaient à des analyses hors ligne. Pour un intégrateur de flottes d'AMR en entrepôt ou en usine, l'intérêt est de tester avant déploiement les zones d'ombre radio, au lieu de les découvrir sur site. Les chiffres demandent toutefois de la prudence : ils proviennent d'un seul scénario simulé, sur un campus, sans mesure sur du matériel réel. Un jumeau fidèle en simulation ne garantit pas la même précision face aux réflexions, aux obstacles mobiles et à la variabilité d'un site industriel. Il s'agit d'une démo de recherche, pas d'un produit livré ni d'un déploiement. Cette approche prolonge la convergence des outils NVIDIA, avec Isaac Sim pour la robotique, Omniverse pour les jumeaux numériques et Sionna pour la recherche en communications, dans la perspective de la 6G et du « network-aware robotics ». Elle s'inscrit dans le courant de la simulation avant le sim-to-real, déjà adoptée pour la perception et la manipulation, mais encore peu appliquée à la connectivité. Le sujet touche aussi les humanoïdes et les robots mobiles qui déportent une partie de l'inférence, par exemple pour les modèles VLA, vers des serveurs distants. Les prochaines étapes naturelles seraient une validation sur un banc réel, des scénarios multi-cellules et multi-robots, et une intégration avec des planificateurs plus complexes. Aucun calendrier n'est annoncé.

RecherchePaper
1 source
Des jambes aux roues : retargeting de mouvement humain adapté à l'embodiment pour humanoïdes à base mobile
361arXiv cs.RO 

Des jambes aux roues : retargeting de mouvement humain adapté à l'embodiment pour humanoïdes à base mobile

Des chercheurs publient sur arXiv (2610.08381v1) un cadre de retargeting de mouvement humain conçu pour les humanoïdes à base mobile, c'est-à-dire des robots dotés d'une base à roues, d'un axe de levage vertical et de deux bras, sans jambes. Le système prend en entrée un mouvement humain reconstruit à partir de vidéo et le répartit entre trois responsabilités, la base, le lift et les bras, avant toute adaptation propre à un robot donné. Un module d'allocation conserve le chemin issu de l'humain, stabilise le cap, sépare rotation et translation quand c'est nécessaire, recadre temporellement les commandes pour respecter les limites de la base, puis répare les trajectoires du lift et des bras. Un adaptateur de déploiement convertit ensuite la référence en commandes à 50 Hz, grâce à la détection de base immobile, à un filtrage par zone morte et limitation de pente (slew-rate), à une mise à l'échelle de lecture cohérente dans le temps et à des gains linéaire et angulaire distincts. L'évaluation combine des comparaisons dans l'espace de la tâche par rapport à l'humain, un rejeu en simulation sans politique apprise et une exécution qualitative sur un robot physique. L'abstract ne fournit ni payload, ni DOF, ni taux de réussite chiffré, ni nom de plateforme. L'enjeu est pratique. La vidéo humaine est l'une des rares sources de démonstrations réellement extensibles, mais la plupart des méthodes de retargeting supposent un robot à jambes à cinématique proche de l'humain. Or une grande partie des humanoïdes commercialisés pour la logistique et l'industrie sont des manipulateurs mobiles bimanuels sur roues, plus simples à stabiliser et à déployer que la marche bipède. Pour eux, marcher devient un mouvement de base et se pencher devient une coordination entre lift et bras. Combler ce fossé élargit la quantité de données exploitable par ces plateformes. Il faut toutefois relativiser. L'évaluation reste modeste : une exécution physique seulement qualitative, pas d'entraînement de politique, pas de comparaison chiffrée avec des méthodes concurrentes. Le travail démontre la faisabilité d'une référence cinématique propre, pas encore la rentabilité de cette voie par rapport à la téléopération. Ce travail s'inscrit dans le mouvement qui cherche à apprendre à partir de vidéo humaine, dans le prolongement des méthodes de retargeting conçues pour des humanoïdes bipèdes. La contribution est ici l'adaptation à une morphologie différente, plus proche des architectures hybrides roues et bras que privilégient plusieurs acteurs industriels. La suite logique serait une validation quantitative sur des tâches réelles et le couplage de ces références avec l'apprentissage de politiques de type VLA ou par imitation, afin de mesurer le gain réel en volume de données exploitables et en taux de réussite. Aucun pilote, partenaire industriel ni calendrier n'est annoncé à ce stade.

RecherchePaper
1 source
HARL-A : un cadre de référence extensible pour l'apprentissage par renforcement adverse multi-agents hétérogènes dans IsaacLab
362arXiv cs.RO 

HARL-A : un cadre de référence extensible pour l'apprentissage par renforcement adverse multi-agents hétérogènes dans IsaacLab

Des chercheurs du laboratoire DIRECTLab ont publié HARL-A, un framework open source maintenu activement et construit sur IsaacLab, le simulateur robotique de NVIDIA. Il sert à entraîner et à évaluer des politiques adversariales multi-agents (MARL) sur des équipes de robots aux morphologies variées. Le nombre d'équipes est libre, tout comme le mélange de morphologies dans chaque équipe. HARL-A étend la bibliothèque d'algorithmes HARL et IsaacLab avec un support adversarial. Il apporte trois composants : une architecture logicielle modulaire qui réduit le travail d'ingénierie pour définir de nouveaux environnements hétérogènes, trois environnements de référence (Sumo, Soccer et 3D Galaga) et plus de dix politiques pré-entraînées, publiées sur Hugging Face. Sumo porte sur la poussée avec beaucoup de contacts, Soccer sur la maîtrise du ballon en compétition, et 3D Galaga sur la poursuite et l'évasion. Le code, les environnements et la documentation sont disponibles sur GitHub, dans le dépôt DIRECTLab/IsaacLab-HARL. Les auteurs indiquent que le framework produit de façon fiable des politiques adversariales et une spécialisation émergente des rôles. Ces résultats sont démontrés en simulation seulement, et l'abstract ne donne aucun chiffre de performance. Pour la recherche, l'intérêt est surtout d'infrastructure. Les travaux sur le MARL adversarial en robotique sont freinés par des outils éparpillés. Les frameworks existants se concentrent sur la coopération, s'appuient sur des moteurs physiques simplifiés ou restent des implémentations isolées, difficiles à étendre. Un socle commun avec une physique de haute fidélité et des politiques déjà entraînées permet de comparer des méthodes sans repartir de zéro. Le support de morphologies mixtes compte aussi, car les flottes réelles combinent déjà quadrupèdes, humanoïdes et bras. Pour un industriel ou un intégrateur, ce n'est pas un produit déployable. Les tâches de sumo, de foot et de jeu d'arcade en 3D sont des bancs d'essai académiques, et rien n'est dit sur le transfert sim-to-real ni sur des robots physiques. Ces résultats ne disent donc rien du fossé entre démonstration et réalité. Ce travail s'inscrit dans l'écosystème IsaacLab, devenu le standard de fait pour l'apprentissage par renforcement massivement parallèle sur GPU. Il prolonge HARL, bibliothèque d'algorithmes MARL hétérogènes, que HARL-A rend utilisable en contexte compétitif. La version 2 de l'article, signalée comme remplacement croisé sur arXiv, montre un projet encore en évolution. Les comparaisons les plus naturelles sont les plateformes MARL généralistes, mais leur physique est plus simple, et les suites d'apprentissage de NVIDIA, centrées sur un seul robot. Aucun acteur européen n'est cité. Les prochaines étapes probables sont l'ajout d'environnements, l'évaluation de la robustesse des politiques face à des adversaires inédits et, à terme, un test sur du matériel réel. Aucun calendrier n'est annoncé.

RecherchePaper
1 source
Un système de planification garantit que la trajectoire de vol d'un robot restera sans collision
363MIT News Robotics 

Un système de planification garantit que la trajectoire de vol d'un robot restera sans collision

Des chercheurs du MIT ont mis au point SANDO (Safe AutoNomous trajectory planning for Dynamic unknOwn environments), un planificateur de trajectoire pour drones (UAV) qui calcule des vols dont l'absence de collision est prouvée mathématiquement, y compris dans un environnement inconnu, sans carte préalable, avec des obstacles mobiles aux mouvements imprévisibles. Les travaux, publiés dans IEEE Transactions on Robotics, sont signés de Kota Kondo (SM 2023, doctorat 2026, auteur principal), Jesús Tordesillas (désormais professeur assistant à l'université pontificale Comillas de Madrid), Juan Rached, Lili Sun, Yixuan Jia, et de Jonathan P. How, professeur au MIT et responsable de l'Aerospace Controls Laboratory. Le système construit d'abord un « couloir de sécurité » : une suite de régions 3D connectées, garanties sans obstacle. Contrairement aux approches classiques, ce couloir tient compte du temps. Un module dédié détecte, regroupe et suit les obstacles dynamiques pour estimer leurs positions futures possibles. La seule donnée que le planificateur doit recevoir est la vitesse maximale que les obstacles peuvent atteindre. Le texte source étant tronqué, les détails de la méthode au-delà de cette étape et les résultats expérimentaux (vols réels, taux de succès, temps de calcul) ne sont pas connus ici. L'enjeu est la nature de la garantie. La plupart des planificateurs existants n'offrent une sécurité formelle que si l'environnement est statique ou si les obstacles sont connus à l'avance. Pour les obstacles mobiles, ils se contentent en général de les éviter « au mieux », sans preuve. Or énumérer tous les scénarios de collision possibles dans un environnement dynamique prend trop de temps pour un usage embarqué. SANDO déplace donc le problème : au lieu de prédire les trajectoires, il raisonne sur l'enveloppe de ce qui est physiquement atteignable, d'où l'unique hypothèse de vitesse maximale. Pour un intégrateur ou un décideur B2B, c'est un argument de certification potentiel dans les missions à haut risque : recherche et secours dans des bâtiments effondrés ou des feux de forêt, exploration de mines, livraison en zone dense, notamment de matériel médical. Une réserve s'impose : une preuve formelle vaut sous ses hypothèses (capteurs fiables, borne de vitesse correcte, dynamique du drone respectée), et l'écart entre garantie théorique et robustesse en conditions réelles reste à documenter. Il s'agit aussi d'un résultat académique, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans la lignée de l'Aerospace Controls Laboratory du MIT, historiquement actif sur la planification de trajectoires pour drones, et prolonge des recherches antérieures de Tordesillas, docteur du MIT en 2022, sur l'évitement d'obstacles. Il se positionne face à deux familles de méthodes : les planificateurs pour environnements statiques inconnus, et ceux qui gèrent le dynamique sans garantie formelle. Aucun calendrier de pilote, partenaire industriel ni commercialisation n'est mentionné dans la partie disponible. La suite logique sera de voir la méthode confrontée à des essais en conditions sévères (fumée, débris, vent) et intégrée à des piles de navigation existantes, ainsi que la manière dont elle s'accommode du bruit de perception, point faible habituel des garanties formelles.

RecherchePaper
1 source
VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces
364arXiv cs.RO 

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

RecherchePaper
1 source
Valider quand les futurs concordent : découpage adaptatif des actions tenant compte des conséquences pour la manipulation robotique
365arXiv cs.RO 

Valider quand les futurs concordent : découpage adaptatif des actions tenant compte des conséquences pour la manipulation robotique

Une équipe de chercheurs propose CA³C (Consequence-Aware Adaptive Action Chunking), un cadre d'inférence qui décide dynamiquement quelle portion d'une séquence d'actions prédite par une politique robotique doit être exécutée avant de replanifier. Les politiques à « action chunking » prédisent des séquences de commandes sur plusieurs pas de temps, mais la plupart des systèmes exécutent un préfixe de longueur fixe, en supposant que le même horizon reste fiable dans tous les états. CA³C s'appuie sur un modèle du monde conditionné par les actions, qui simule les conséquences de plusieurs séquences candidates générées avec le même bruit d'échantillonnage. Le problème de l'horizon d'exécution est formulé comme une inférence bayésienne de point de rupture, puis la séquence retenue est choisie par consensus entre futurs imaginés. Le principe tient en une phrase : s'engager tant que les futurs simulés concordent, replanifier dès qu'ils divergent. La politique de base n'est ni modifiée ni réentraînée. Testée sur plusieurs benchmarks en simulation et sur des tâches de manipulation avec de vrais robots, la méthode améliore diverses politiques à action chunking, avec une réduction relative du taux d'échec allant jusqu'à 71,8 % par rapport aux politiques d'origine. L'intérêt tient au critère de décision. Les méthodes adaptatives existantes estiment l'horizon à partir de la similarité ou de la stabilité des actions prédites. Or des actions différentes peuvent mener au même résultat, tandis que des actions proches peuvent produire des futurs distincts. Juger la confiance dans l'espace des conséquences plutôt que dans l'espace des actions est donc plus cohérent avec ce qui compte pour la tâche. Pour les intégrateurs et les équipes qui déploient des politiques VLA ou de diffusion, l'approche est un module greffé à l'inférence, sans nouvelle collecte de données ni réentraînement, ce qui abaisse le coût d'adoption. Deux réserves : le chiffre de 71,8 % est un maximum, pas une moyenne, et le coût de calcul additionnel n'est pas précisé dans le résumé. Faire tourner un modèle du monde sur plusieurs candidats a un prix en latence, qui compte pour des cycles de contrôle rapides. La qualité du modèle du monde conditionne aussi la fiabilité du consensus. Ce travail, publié sur arXiv (2610.07949, première version), s'inscrit dans l'évolution de l'action chunking popularisé par des politiques comme ACT et Diffusion Policy, puis repris par les modèles VLA tels que Pi-0. Le compromis est connu : des horizons longs donnent des mouvements fluides mais réagissent mal aux perturbations, des horizons courts sont plus réactifs mais plus coûteux et saccadés. Parallèlement, les modèles du monde conditionnés par l'action gagnent du terrain comme outils de planification et d'évaluation. La suite logique serait de mesurer la surcharge de calcul, de tester la méthode sur des politiques de grande taille et en conditions industrielles. Il s'agit à ce stade d'un résultat de recherche, sans déploiement commercial annoncé.

RecherchePaper
1 source
WAMJET : un cadre pour accélérer les modèles d'action du monde
366arXiv cs.RO 

WAMJET : un cadre pour accélérer les modèles d'action du monde

WAMJET, présenté sur arXiv (2610.03797, version 2), est un « harness » agentique qui accélère l'inférence des World Action Models (WAM). Ces modèles réutilisent des modèles de fondation vidéo pré-entraînés pour la manipulation robotique, en prédisant conjointement la vidéo future et les actions. Ce couplage et la taille des backbones rendent l'inférence coûteuse. Le harness dote des agents de code de consignes d'optimisation réutilisables et d'outils de mesure et de validation. L'agent suit un flux piloté par les goulots d'étranglement : il profile l'inférence, modifie le code ciblé, valide les effets, puis affine la pile d'accélération à mesure que les goulots se déplacent, sans dégrader la qualité des actions. Les expériences couvrent six WAM, trois agents de code et deux architectures de GPU. WAMJET atteint jusqu'à 9,95x d'accélération sans perte par rapport aux implémentations amont. Des optimisations par approximation et adaptées au matériel réduisent encore la latence, avec des taux de succès comparables. Ce travail s'attaque à un frein concret du déploiement des WAM : leurs latences d'inférence. Les techniques d'accélération existent déjà (quantification, distillation, réduction du nombre de pas de diffusion, optimisation des noyaux), mais choisir et composer celles qui conviennent à chaque modèle et à chaque plateforme matérielle demande un travail d'ingénierie lourd et répété. En automatisant cette étape avec des agents de code, les auteurs proposent de la traiter comme un problème d'optimisation outillé plutôt que comme du sur-mesure. Pour un intégrateur ou une équipe qui porte un WAM sur un robot réel, le gain de latence conditionne la fréquence de contrôle atteignable. Le résultat suggère aussi que les implémentations amont des WAM laissent beaucoup de performance inexploitée. Le chiffre de 9,95x est un maximum, obtenu sur le meilleur cas, et non une moyenne. L'extrait disponible ne détaille ni les latences absolues ni la liste des six modèles, ce qui limite la lecture de ce chiffre. La mention de taux de succès « comparables » pour les variantes approximatives demande à être vérifiée sur des tâches physiques variées, et pas seulement sur des benchmarks. Cette approche s'inscrit dans deux tendances. La première est la montée des modèles d'action fondés sur la vidéo, qui héritent de la qualité des modèles vidéo génératifs, mais aussi de leur coût de calcul, par opposition aux VLA classiques, plus légers. La seconde est l'usage d'agents de code pour optimiser des systèmes, sur le modèle de l'ingénierie assistée de noyaux GPU. Les travaux concurrents sur l'accélération des VLA, comme les politiques à flow matching ou à diffusion réduite en pas, visent le même objectif de contrôle temps réel, mais sans automatiser la composition des techniques. La suite logique est une validation sur robots physiques et sur davantage de plateformes, notamment embarquées, où les contraintes de calcul sont les plus fortes.

RecherchePaper
1 source
Démo : calibration en ligne d'un jumeau numérique électromagnétique guidée par un modèle vision-langage
367arXiv cs.RO 

Démo : calibration en ligne d'un jumeau numérique électromagnétique guidée par un modèle vision-langage

Un jumeau numérique électromagnétique (EM) donne aux robots mobiles une conscience situationnelle du réseau sans fil, mais il dépend des conductivités des matériaux, qui varient selon l'environnement. Une démonstration publiée sur arXiv (2610.07081) présente un cadre de calibration en ligne guidé par un modèle vision-langage (VLM). Il combine un robot humanoïde Unitree G1 et le simulateur de propagation radio NVIDIA Sionna. Le VLM est appelé deux fois. Une première fois, il classe les matériaux visibles dans l'image (béton, verre, bois, etc.). Cette classification est convertie via la recommandation ITU-R P.2040 en valeurs a priori de conductivité. Sionna s'en sert pour initialiser une descente de gradient sur les mesures de puissance reçue (RSS) accumulées par le robot. Une seconde fois, le VLM choisit le prochain point de mesure en fonction de l'erreur résiduelle de calibration RSS et de la couverture d'image déjà obtenue. Dans un scénario intérieur réel, le système atteint une erreur absolue moyenne normalisée de conductivité de 1,74×10⁻⁴ en moins de 20 m de déplacement. Une initialisation aléatoire ne converge jamais. Des points de passage aléatoires exigent plus du double de distance parcourue. Pour les intégrateurs et les responsables de sites, ce travail s'attaque à un obstacle concret de la robotique mobile connectée : les modèles de propagation radio calibrés à la main ne suivent pas les changements d'un entrepôt ou d'un bâtiment (réaménagement, nouvelles cloisons, rayonnages). Un robot qui recalibre lui-même son jumeau numérique pourrait cartographier la couverture Wi-Fi ou 5G privée, anticiper les zones d'ombre et adapter ses trajets. Le résultat montre aussi un usage utile des VLM hors de la manipulation ou de la navigation : fournir un a priori sémantique qui rend l'optimisation physique convergente, là où une initialisation naïve échoue. Les limites sont nettes. Il s'agit d'une démonstration sur un seul environnement intérieur, sans comparaison publiée avec des méthodes classiques d'estimation de paramètres ni mesure de robustesse face aux erreurs de classification du VLM. L'erreur de conductivité, très faible, est aussi normalisée selon une convention que le résumé ne détaille pas. Cette approche s'inscrit dans la montée des jumeaux numériques radio, portée notamment par la bibliothèque Sionna de NVIDIA, qui offre un lancer de rayons différentiable permettant l'optimisation par gradient des paramètres de scène. Le Unitree G1, humanoïde abordable largement utilisé en recherche, sert ici de plateforme mobile de mesure. Le travail rejoint l'effort plus large visant à utiliser les modèles de fondation multimodaux comme couche de raisonnement dans des boucles de perception et de planification, plutôt que comme simples interfaces. Les suites logiques seraient des essais sur des sites plus vastes et plus hétérogènes, une validation sur plusieurs robots et une intégration à des flottes d'AMR. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé à ce stade.

RecherchePaper
1 source
UWB et Crazyflow : simuler à grande échelle un retour d'information dégradé pour la robotique aérienne
368arXiv cs.RO 

UWB et Crazyflow : simuler à grande échelle un retour d'information dégradé pour la robotique aérienne

Crazyflow est un simulateur de drones différentiable, construit sur JAX et présenté dans un preprint arXiv (2610.08225). Grâce à la compilation JIT via XLA, la physique et le contrôle sont fusionnés dans un unique graphe de calcul différentiable. Les simulations peuvent ainsi être massivement parallélisées sur accélérateurs (GPU), sans simplifier la modélisation. Les auteurs revendiquent des gains d'un ordre de grandeur par rapport aux simulateurs de référence, et un entraînement en quelques secondes d'agents d'apprentissage par renforcement déployables. Pour montrer la modularité de l'outil, ils y ajoutent un pipeline complet de simulation Ultra-Wideband (UWB, localisation radio par mesure de distance) et de centrale inertielle (IMU), couplé à un filtre de Kalman étendu (EKF) à état complet. Selon eux, l'évaluation parallèle de contrôleurs sous retour d'état dégradé n'affecte presque pas le débit GPU. Le résumé ne donne ni facteur d'accélération chiffré ni nombre d'environnements simultanés, et les gains annoncés n'ont pas encore été vérifiés de façon indépendante. L'intérêt tient à ce que la plupart des simulateurs de drones entraînent des politiques sur un état parfaitement connu, alors que les vols réels, en intérieur notamment, reposent sur des mesures bruitées, retardées ou intermittentes. Cet écart de fidélité est une cause classique d'échec du transfert sim-to-real. Si le modèle de capteurs et l'estimateur tournent dans le même graphe compilé que la dynamique, les équipes pourront tester la robustesse d'un contrôleur à grande échelle avant tout vol, ce qui réduit les cycles d'essais sur matériel. Pour les intégrateurs de flottes en entrepôt ou en inspection de sites sans GPS, c'est un outil de validation plausible. Reste à confirmer que la fidélité du modèle UWB colle aux mesures réelles, point que le résumé n'établit pas. Le projet s'inscrit dans la vague des simulateurs accélérés écrits en JAX ou sur GPU, comme MuJoCo MJX, Brax ou Isaac Sim. Ces outils ont rendu l'apprentissage par renforcement massif accessible en robotique, notamment pour les robots à pattes. Le nom évoque la plateforme Crazyflie, nano-quadricoptère très répandu dans la recherche, ce qui suggère un public académique. Les prochaines étapes à surveiller sont la publication du code, des comparaisons chiffrées avec les simulateurs existants et surtout des essais de transfert sur drones réels sous localisation UWB. Ces éléments diront si l'outil dépasse le statut de preprint.

RecherchePaper
1 source
WareFly-VLA : un cadre vision-langage-action pour la navigation de drones et le suivi de personnes en entrepôt intelligent
369arXiv cs.RO 

WareFly-VLA : un cadre vision-langage-action pour la navigation de drones et le suivi de personnes en entrepôt intelligent

Des chercheurs publient WareFly-VLA, un cadre et un jeu de données destinés à la navigation de drones pilotée par le langage dans les entrepôts intelligents (arXiv 2610.08526). Le corpus rassemble 507 épisodes de vol téléopérés par des humains et 8 504 transitions RGB haute résolution, collectés dans NVIDIA Isaac Sim. Chaque transition est associée à une description écrite par un humain de l'apparence du travailleur ciblé et à une commande de contrôle synchronisée à 4 degrés de liberté. Deux tâches sont couvertes, l'approche d'une cible et le suivi d'une personne, avec occlusions, recherche longue portée, variations d'altitude et encombrement. Quatre architectures VLA open source (SmolVLA, GR00T N1.7, pi0 et OpenVLA) sont comparées sur un protocole sans fuite de données au niveau de l'épisode, à deux fréquences de contrôle. Le jeu de données, les modèles de référence et le protocole d'évaluation sont publiés. Les résultats tempèrent l'enthousiasme autour des modèles vision-langage-action. Les performances chutent nettement dès que la généralisation est évaluée strictement, c'est-à-dire sur des épisodes réellement inédits. La modélisation continue des actions bat systématiquement la tokenisation discrète, ce qui va contre le choix d'OpenVLA et conforte l'approche de pi0. Sur une seule image, seul le canal avant (avancer) est appris de façon fiable, alors que latéral, altitude et rotation restent hors de portée. Enfin, les interfaces des modèles de fondation actuels, conçues pour la manipulation, la navigation au sol et les humanoïdes, se transfèrent mal aux plateformes aériennes. Pour un intégrateur qui envisage des drones d'inventaire ou d'assistance en entrepôt, le message est clair: le contrôle aérien guidé par le langage n'est pas résolu, et un VLA généraliste ne peut pas encore être déployé tel quel. Ce travail comble un vide. Les VLA ont brillé en manipulation et en navigation de robots mobiles au sol, mais aucun benchmark ne combinait actions de vol continues bas niveau, descriptions fines de cibles en langage naturel et environnements industriels réalistes. Il faut toutefois rester prudent: le jeu de données est modeste (507 épisodes), entièrement simulé, et les résultats viennent de baselines affinées sur une seule image, sans validation sur drone réel. Les annotations de pose et de difficulté, synchronisées avec la vidéo, le langage et les actions, visent aussi la recherche sur les modèles du monde. Aucun acteur français ou européen n'est cité dans l'étude. La suite logique passera par des modèles à mémoire temporelle ou multi-images, puis par des tests sim-to-real. Les équipes derrière SmolVLA, GR00T et pi_0 pourraient s'appuyer sur ce banc d'essai pour adapter leurs architectures à l'aérien.

RecherchePaper
1 source
Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution
370arXiv cs.RO 

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper
1 source
StairVLA : génération d'actions hiérarchique et sensible aux étapes pour les modèles vision-langage-action (VLA)
371arXiv cs.RO 

StairVLA : génération d'actions hiérarchique et sensible aux étapes pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.07756v1) StairVLA, un cadre de génération d'actions hiérarchique pour les modèles vision-langage-action (VLA). Ces modèles utilisent de plus en plus des têtes d'action à diffusion ou à flow matching pour produire des actions robotiques continues. Les auteurs constatent que ces têtes traitent la trajectoire de débruitage de façon quasi uniforme, alors que le conditionnement évolue selon les étapes. Au début, instructions en langage et observations visuelles servent à fixer une trajectoire grossière. Ensuite, le débruitage s'appuie davantage sur l'observation visuelle courante pour aligner l'action. StairVLA exploite cette observation. Un VLA de haut niveau exécute seulement les premières étapes de débruitage et produit une trajectoire longue, partiellement débruitée et réutilisable. Un raffineur léger, tournant à plus haute fréquence, termine le débruitage de segments d'actions locaux (« chunks ») avec les dernières observations. Sur le benchmark simulé LIBERO, une version de style GR00T fait passer le taux de succès moyen de 96,5 % à 97,8 %. La latence d'inférence amortie passe de 115,0 ms à 44,2 ms par chunk, soit environ 2,6 fois moins. Les auteurs affirment des résultats comparables sur deux architectures VLA, plusieurs benchmarks simulés et des tâches sur robot réel, sans en détailler les chiffres dans le résumé. L'enjeu est le coût de calcul, un des freins au déploiement des VLA. Le backbone, très gourmand, est appelé à chaque chunk, ce qui limite la fréquence de boucle fermée et impose du matériel embarqué coûteux. StairVLA propose de n'invoquer ce backbone que rarement et de laisser un module léger corriger à haute fréquence. Le gain de latence ne se fait pas au prix de la précision, ce qui compte pour les intégrateurs qui visent des tâches de manipulation réactives sur des plateformes à budget énergétique limité. Les résultats restent à nuancer. LIBERO est un benchmark saturé, où un écart de 1,3 point est modeste. Les gains en conditions réelles, face à des perturbations et à des objets inédits, ne sont pas quantifiés dans le résumé. Il s'agit d'une publication de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans l'effort pour accélérer les VLA, après les têtes d'action par diffusion de Pi-0 et de GR00T, les approches à deux systèmes comme Helix de Figure, qui sépare un modèle lent de raisonnement d'une politique rapide, et les méthodes de distillation ou de réduction du nombre d'étapes de débruitage. La spécificité de StairVLA est d'utiliser l'action partiellement débruitée comme interface entre les deux niveaux, sans module de planification séparé. Les prochaines étapes à surveiller sont la publication du code, des validations sur davantage de robots réels et une comparaison directe avec les approches de type Helix ou Pi-0.5 en conditions industrielles.

RecherchePaper
1 source
Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif
372arXiv cs.RO 

Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif

Des chercheurs proposent LCAM (Loss-Conditioned Activation-Moment pruning), une méthode d'élagage non structuré, sans réentraînement, pour des politiques de manipulation robotique déjà pré-entraînées. Le travail, publié sur arXiv (2610.08555), classe les connexions du réseau selon trois signaux : la contribution des poids normalisée par ligne, les moments d'activation mesurés sur des démonstrations de calibration, et la sensibilité des directions de sortie à la perte de prédiction d'action. Une procédure récursive du grossier au fin recalibre l'importance après chaque étape d'élagage grossier. Une fois passé un « genou » de sparsité, un budget fin est alloué selon la distorsion d'action hors ligne sur des données de validation. Testée sur trois suites LIBERO avec plusieurs politiques robotiques et sur OpenVLA, la méthode atteint 84,0 % de réussite sur LIBERO-Object avec OpenVLA à 50 % d'élagage non structuré, soit plus de 90 % du taux de succès de la politique dense. Les auteurs ajoutent un test réel sur une tâche de ping-pong robotisé, dont ils ne détaillent pas les chiffres dans le résumé. L'enjeu est le déploiement embarqué de modèles VLA (vision-langage-action), dont la taille pèse sur la latence, la mémoire et la consommation. Les critères d'élagage classiques sont conçus pour la classification d'images ou la vraisemblance des modèles de langage, et dégradent le comportement en boucle fermée. En ciblant directement la perte d'action et en évitant à la fois le réentraînement de récupération et les rollouts en simulateur, LCAM abaisse le coût de compression pour un intégrateur qui souhaite faire tourner une politique sur un calculateur contraint. Il faut toutefois rester prudent. L'élagage non structuré produit des matrices creuses qui n'accélèrent pas automatiquement l'inférence sur GPU ou sur les puces embarquées courantes, sauf support matériel dédié. Les gains annoncés portent sur le taux de succès, pas sur la latence mesurée. Le résultat à 84,0 % concerne une seule suite, LIBERO-Object, un benchmark de simulation relativement favorable, et le ping-pong réel reste une démonstration unique sans statistiques publiées. Ces travaux s'inscrivent dans le mouvement de compression des modèles VLA, après la montée en puissance d'OpenVLA, de Pi-0 et des approches de distillation, de quantification ou de réduction de couches. Ils prolongent des méthodes d'élagage générales comme Wanda ou SparseGPT, conçues pour les modèles de langage et ici adaptées à l'action. Les suites logiques seraient une validation sur des politiques plus grandes, un élagage structuré compatible avec les accélérateurs, et des mesures de latence sur matériel embarqué, ainsi que des tests sur des tâches de manipulation plus longues et plus variées que LIBERO. Aucun acteur européen n'est cité dans le résumé, et aucun calendrier de diffusion du code ou d'application industrielle n'est annoncé.

RecherchePaper
1 source
Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût
373arXiv cs.RO 

Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût

Des chercheurs présentent TF-Gripper, une pince parallèle à force contrôlée dont le coût avoisine 150 dollars. Elle intègre un retour tactile et couvre une plage de force effective de 0,45 à 45 N. Elle se monte sur différents bras robotiques. Les auteurs l'associent à un dispositif de téléopération qui enregistre les forces de préhension appliquées par un opérateur humain. Ils proposent aussi RETAF (REactive Tactile Adaptation of Force), un cadre logiciel qui sépare le contrôle de la force de serrage de la prédiction de pose de l'effecteur. RETAF régule la force à haute fréquence à partir d'images de poignet et du retour tactile. Une politique de base prédit, elle, la pose de l'effecteur et l'ordre d'ouverture ou de fermeture. Les expériences portent sur six tâches réelles. Le contrôle direct de la force y améliore la stabilité de la prise et la performance globale par rapport au contrôle en position. Selon les auteurs, RETAF surpasse systématiquement les références testées et s'intègre à plusieurs politiques de base. Le travail est publié sur arXiv (version 2), avec une page de projet associée. Il s'agit d'un résultat de laboratoire, sans déploiement industriel ni produit commercialisé. L'enjeu tient à un angle mort de l'apprentissage par imitation et des modèles vision-langage-action (VLA). La plupart des pinces du marché sont soit chères, soit limitées par une force minimale trop élevée. Elles sont donc inadaptées aux objets fragiles du quotidien, comme les chips, qui se brisent si la force n'est pas modulée. Une pince à 150 dollars capable de descendre sous 0,5 N abaisse nettement le coût d'entrée pour les laboratoires qui étudient la manipulation sensible à la force. Pour les intégrateurs, le résultat suggère que le contrôle en force doit tourner sur une boucle rapide et dédiée. Les politiques génériques à basse fréquence peuvent être entraînées sur des données de force, mais les auteurs reconnaissent que leur fiabilité reste difficile à obtenir, car la tâche est réactive et dépend du contact. Il faut toutefois rester prudent. Six tâches en laboratoire ne disent rien de la durabilité de la pince, de la dérive des capteurs tactiles ni de la répétabilité en cadence industrielle. Le résumé ne donne pas non plus les taux de réussite chiffrés. Ce travail s'inscrit dans le déplacement de la recherche en manipulation, de la seule géométrie vers le contact. Les pinces tactiles et les mains dextres sont aujourd'hui souvent coûteuses ou propriétaires. Les politiques de type Pi-0 ou les VLA actuels se concentrent surtout sur la pose de l'effecteur et sur un état binaire de la pince. La séparation entre politique de base et régulation de force de RETAF est modulaire, ce qui la rend compatible avec ces architectures. Les auteurs affichent l'ambition de faire passer à l'échelle l'apprentissage de politiques à force contrôlée. Pour cela, il faudrait des jeux de données de force plus larges, collectés avec leur dispositif de téléopération, et des validations sur des objets plus variés. Aucun calendrier de commercialisation n'est annoncé.

RecherchePaper
1 source
SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)
374arXiv cs.RO 

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

RecherchePaper
1 source
OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle
375arXiv cs.RO 

OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle

Des chercheurs publient OntoPlan, un cadre de planification de tâches robotiques fondé sur une représentation ontologique de la scène, accompagné d'un code ouvert sur GitHub (dépôt namhyeongwoo/OntoPlan). Le système cible un défaut connu de la planification par grands modèles de langage (LLM) : sur les tâches à long horizon dans de vastes environnements, la performance se dégrade. Quand la géométrie de la scène est transmise sous forme de texte, le modèle saisit mal le contexte spatial, et le coût en tokens croît avec la taille de l'environnement. OntoPlan aligne objets, espaces, relations et états dans un vocabulaire symbolique commun. Un cadre agentique interprète l'instruction, récupère de façon sélective les informations utiles, formalise buts et contraintes, puis produit un plan exécutable. Sur 150 tâches générales réparties dans cinq environnements intérieurs et trois échelles de scène, il atteint un taux de réussite moyen de 0,89, contre 0,27 pour la meilleure méthode de référence. Il consomme en moyenne 18,1 k tokens par tâche, soit environ 5,6 fois moins que la référence la plus économe. L'enjeu est double pour les intégrateurs et les équipes qui déploient des robots pilotés par LLM. D'abord, l'écart de 0,89 contre 0,27 suggère que le goulot d'étranglement tient moins à la capacité de raisonnement du modèle qu'à la manière de lui présenter le monde : un LLM qui génère directement des séquences d'actions peine à respecter l'état courant et les préconditions, alors qu'une formalisation symbolique les rend vérifiables. Ensuite, le coût en tokens, rarement discuté dans les démonstrations, détermine la viabilité économique et la latence en exploitation. Les auteurs indiquent que l'avantage persiste quand l'échelle de la scène augmente, alors que les méthodes concurrentes perdent davantage en réussite et restent beaucoup plus coûteuses. Le système demande aussi des précisions face à une instruction ambiguë, ou signale un manque d'information face à une instruction infaisable, au lieu de s'engager dans un plan invalide. C'est un comportement de sécurité utile pour tout déploiement industriel. Plusieurs réserves s'imposent. Il s'agit d'un préprint arXiv (v1), non évalué par les pairs. Les résultats viennent d'un banc d'essai de 150 tâches, sans précision dans le résumé sur la nature des environnements (simulés ou réels) ni sur les méthodes de référence. Les chiffres ne disent donc rien de la robustesse en conditions réelles, où perception bruitée et échecs d'exécution compliquent la construction de l'ontologie. Ce travail s'inscrit dans le courant de la planification neuro-symbolique, qui combine LLM et planificateurs formels (type PDDL) pour pallier les limites des approches où le modèle génère directement les actions. Il se distingue des modèles vision-langage-action de bout en bout, qui traitent le bas niveau. La publication du code permettra une reproduction indépendante, étape décisive pour juger si l'écart de performance tient hors du banc d'essai des auteurs.

RecherchePaper
1 source
VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile
376arXiv cs.RO 

VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile

Des chercheurs présentent VOMMI (Visual-Odometry-Conditioned Mobile Manipulation Interface), un cadre de collecte de démonstrations portables et d'apprentissage pour la manipulation mobile, publié sur arXiv. Le système synchronise une vue « corps » et une vue « main » en RGB pour capturer à la fois le contexte de navigation et les interactions locales avec les objets, sans calibration de correspondance cinématique entre humain et robot. Deux briques techniques le composent. R2-VO affine hors ligne les trajectoires de démonstration à partir d'ancres géométriques parcimonieuses, puis produit des tokens de mouvement local causaux sur plusieurs horizons de prédiction. Un adaptateur résiduel par groupes d'actions injecte ces tokens uniquement dans la branche de base mobile du modèle vision-langage-action (VLA). Les expériences reposent sur 500 trajectoires portables par tâche, dont 75 réservées à l'évaluation RGB-VO, et sur 200 démonstrations robot servant de référence. La politique post-entraînée uniquement sur données portables affiche une erreur de vitesse de base inférieure de 18,2 % à celle d'une politique entraînée sur démonstrations robot, avec une précision de translation de l'effecteur comparable. La reconstruction hors ligne réduit l'erreur de trajectoire absolue de 24,6 % en moyenne pour les flux corps et main, par rapport au meilleur point de comparaison évalué pour chaque flux. Sur trois tâches réelles, le système complet gagne 8,3 points de succès moyen face à OpenPI 0.5. Pour les intégrateurs et les équipes data, l'enjeu est le coût de collecte. La téléopération et les dispositifs spécialisés bardés de capteurs restent le goulot d'étranglement des politiques de manipulation mobile, et une capture portable, sans robot et avec une simple caméra RGB, élargirait fortement le volume de démonstrations accessible. Le résultat le plus parlant est l'erreur de vitesse de base : la navigation est précisément la dimension où l'odométrie visuelle brute dérive et où l'on pouvait craindre que des données humaines transfèrent mal. Ici, elles font mieux que les données robot sur cette métrique, ce qui suggère que le conditionnement par mouvement visuel compense le défaut de supervision. Il faut toutefois rester prudent : le gain de 8,3 points sur OpenPI 0.5 est modeste, mesuré sur seulement trois tâches, et les travaux ne précisent pas la nature des tâches ni les intervalles de confiance dans ce résumé. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Le contexte est celui de la pénurie de données pour l'intelligence incarnée. Des interfaces portables comme UMI ont montré qu'on pouvait collecter des démonstrations de manipulation sans robot, mais elles se limitent surtout à la manipulation de table, sans la composante de déplacement de la base. VOMMI étend cette logique à la manipulation mobile, en s'appuyant sur la famille de politiques OpenPI (basée sur Pi-0) comme référence. Les acteurs concurrents du côté des VLA, dont Physical Intelligence, Figure avec Helix ou Nvidia avec GR00T, misent eux aussi sur des corpus massifs mêlant vidéo humaine et données robot. Les suites logiques seraient une validation sur davantage de tâches et de morphologies de robots, ainsi qu'une mesure du compromis entre volume de données portables et qualité de reconstruction hors ligne.

RecherchePaper
1 source
Ce que la carte d'élévation ne voit pas : locomotion sémantique et navigation tenant compte de l'exécution pour robot humanoïde
377arXiv cs.RO 

Ce que la carte d'élévation ne voit pas : locomotion sémantique et navigation tenant compte de l'exécution pour robot humanoïde

Des chercheurs proposent un nouveau benchmark de simulation pour la navigation des robots humanoïdes, accompagné d'un cadre de contrôle en boucle fermée associant navigation visuelle guidée par le langage (VLN) et politique de locomotion. Le travail, publié sur arXiv (2610.07396), part d'un constat : les benchmarks VLN existants produisent certes des déplacements physiquement exécutables, mais reposent sur deux hypothèses jugées irréalistes. La première est que tous les dangers sont visibles dans une carte d'élévation. La seconde est que les mouvements réalisés correspondent fidèlement aux mouvements commandés. Le nouveau benchmark modélise à la fois des obstacles « subtils en élévation » (une bouteille tombée, ambiguë sur une carte de hauteur, ou la difficulté de distinguer un téléphone d'une flaque d'eau) et des écarts d'exécution. Le cadre proposé réaligne en continu la navigation de haut niveau sur l'état réel du robot. L'évaluation est menée en simulation, et la politique de locomotion est validée sur un humanoïde Unitree G1 réel. Les résultats indiquent que l'entrée sémantique réduit les contacts avec les dangers mal représentés par les cartes d'élévation, et que le mécanisme anti-déviation améliore le taux de réussite de navigation. L'extrait disponible ne fournit ni taux de réussite chiffrés, ni taille du benchmark, ni nombre d'essais sur le matériel. L'intérêt tient à ce que ce travail s'attaque à un angle mort des évaluations actuelles. Quand la locomotion esquive un danger, le robot s'écarte du chemin voulu par la politique de navigation, et cet écart se cumule jusqu'à conduire la machine vers un endroit non prévu. Pour les intégrateurs et les responsables d'exploitation qui envisagent des humanoïdes dans des environnements encombrés (entrepôts, ateliers, commerces), le message est clair : mesurer seulement l'achèvement du trajet, ou seulement l'évitement d'obstacles, donne une image trompeuse. Les auteurs plaident pour une évaluation conjointe des deux. Cela relativise aussi les démonstrations où la carte d'élévation suffit à tout : un liquide au sol ou un objet plat échappe à la géométrie pure, et la perception sémantique devient nécessaire. Il faut toutefois rester prudent : il s'agit d'un benchmark simulé, et la validation physique porte sur la locomotion, pas sur la chaîne complète de navigation. Ce travail s'inscrit dans la montée en puissance des approches VLN et des politiques de locomotion apprises pour humanoïdes, où le G1 d'Unitree est devenu une plateforme de recherche courante grâce à son coût relativement abordable. Les évaluations sur matériel à grande échelle restent coûteuses et risquées, ce qui explique le recours aux benchmarks de simulation, au prix d'un écart sim-to-real que ce papier ne referme pas entièrement. La suite logique serait une validation de bout en bout sur robot physique, avec davantage de scénarios et de types de dangers. Aucun calendrier ni partenaire industriel n'est annoncé.

RecherchePaper
1 source
MIM-VLA : apprentissage de représentations d'interaction physique à partir du retour moteur de la pince
378arXiv cs.RO 

MIM-VLA : apprentissage de représentations d'interaction physique à partir du retour moteur de la pince

MIM-VLA est un preprint (arXiv 2610.08425, v1) qui ajoute à une politique vision-langage-action (VLA) une représentation de la réponse physique au contact, tirée uniquement du moteur de la pince. Un Motor Interaction Module (MIM) encode le courant, la position, la vitesse et la validité du signal du gripper récents sous la forme d'un « token d'interaction » de 128 dimensions. Le module est préentraîné sur des étiquettes de contact et de phase d'interaction relues par des humains. Il conditionne ensuite uniquement la voie d'action de la pince de SmolVLA, le petit VLA open source de Hugging Face. Les actions du bras et l'interface en contrôle de position restent inchangées. Le même token alimente MEM, un VLM « sélecteur » qui compare des interactions candidates et produit des choix accompagnés d'explications. Trois tests réels sont décrits : comparer la résistance d'objets visuellement différents, distinguer un objet réel de sa réplique par sondage actif, et saisir délicatement des objets fragiles, y compris des instances jamais vues. Sur 13 paires d'objets, MIM-VLA choisit l'objet le plus résistant dans 75,0 % des essais, contre 48,8 % pour SmolVLA, soit un niveau proche du hasard. L'intérêt est pratique. Les VLA actuels décident surtout à partir de l'image et de l'état du robot, et ne « sentent » pas ce qui se passe après le contact. Les approches tactiles classiques demandent des capteurs supplémentaires, comme des matrices tactiles ou des capteurs force-couple, qui alourdissent la pince, le coût et la maintenance. Ici, les auteurs affirment n'utiliser que le retour moteur déjà disponible, sans estimation de force calibrée ni contrôle direct du courant. Pour un intégrateur, cela rend la piste réaliste sur des pinces existantes, notamment pour manipuler des objets fragiles ou contrôler la qualité par palpation. Les limites sont claires. Il s'agit d'un résultat de laboratoire, sans nombre d'essais détaillé dans le résumé. Les tâches sont choisies par les auteurs, et 75 % de réussite signifie encore une erreur sur quatre, loin d'un niveau industriel. Ce travail s'inscrit dans la poussée vers des VLA « physiquement ancrés » face à la limite de la vision seule. La concurrence passe par les capteurs tactiles dédiés, les capteurs force-couple et les grands modèles généralistes de type Pi-0, qui restent essentiellement visuels. La proposition MIM-VLA est plus légère, mais sa validité hors du couple pince-SmolVLA testé reste à démontrer. La suite logique serait de valider sur d'autres pinces et d'autres VLA, avec des comparaisons directes face à des capteurs tactiles.

RecherchePaper
1 source
Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises
379arXiv cs.RO 

Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises

Des chercheurs proposent une politique de téléopération du corps entier pour humanoïde qui supprime l'étape de retargeting en ligne, jusqu'ici standard dans ce type de système. Détaillée dans un preprint arXiv (2610.07891v1), l'approche mappe le mouvement humain brut directement vers les commandes articulaires du robot, en une seule passe avant du réseau de neurones. Elle a été testée sur un Unitree G1, en simulation puis sur matériel réel, avec quatre sources d'entrée : casque de réalité virtuelle, capture optique de mouvement, génération de mouvement à partir de texte et vidéo monoculaire. Selon les auteurs, la méthode surpasse les approches de référence en latence et en robustesse. L'abstract ne fournit toutefois ni valeur de latence en millisecondes, ni taux de réussite, ni détail sur les baselines retenues. L'enjeu est double. Le retargeting en ligne, qui adapte la cinématique humaine à la morphologie du robot, ajoute du délai et peut produire des cibles physiquement infaisables, source d'instabilité. Le deuxième problème est la fragilité face aux données hors distribution : les entrées réelles sont bruitées, partielles ou inhabituelles, et les politiques apprises sur des mouvements propres se dégradent alors. Pour y répondre, les auteurs apprennent un codebook de primitives de mouvement du corps entier. Il projette les observations atypiques sur des prototypes de mouvement plausibles et reconstruit un mouvement complet à partir d'entrées incomplètes, par exemple une vidéo qui ne montre qu'une partie du corps. Si les résultats se confirment, cela rapproche la téléopération de la collecte de données à grande échelle, où un opérateur avec un simple casque VR ou une caméra pourrait piloter un humanoïde sans pipeline de calibration lourd. Reste à vérifier la tenue sur des tâches longues, avec contacts et manipulation, qu'un travail de ce type ne démontre pas forcément. Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement pour humanoïdes entraînées en simulation puis transférées au réel, où le G1 de Unitree est devenu la plateforme académique par défaut grâce à son prix relativement bas. Les systèmes de téléopération du corps entier existants reposent généralement sur une chaîne en deux temps, retargeting puis contrôleur de suivi, que cette étude fusionne en une seule politique. Les travaux concurrents poursuivent des objectifs voisins, notamment les modèles de contrôle généralistes comme GR00T chez NVIDIA, qui visent aussi une interface unifiée pour piloter les humanoïdes. Il s'agit ici d'une publication de recherche, pas d'un produit : aucun déploiement industriel ni calendrier commercial n'est annoncé. La prochaine étape logique serait une validation sur d'autres morphologies que le G1 et sur des tâches de manipulation, ainsi que la publication du code et des mesures de latence détaillées.

RecherchePaper
1 source
Vers un banc d'essai extensible pour le dialogue oral avec les robots sociaux
380arXiv cs.RO 

Vers un banc d'essai extensible pour le dialogue oral avec les robots sociaux

Des chercheurs proposent un banc d'essai ouvert, destiné à toute la communauté, pour évaluer le dialogue oral entre humains et robots sociaux. Publié sur arXiv (2610.08733, première version), le travail part d'un constat : les modèles de langage offrent une interface « plug-and-play » entre l'humain et la machine, mais les difficultés réapparaissent dès que la parole, le rythme de l'échange et la collaboration entrent en jeu. Le benchmark cible quatre familles d'artefacts typiques de la conversation orale : les demandes de clarification, les interruptions, les signaux incarnés (hochements de tête, expressions faciales) et les contraintes de temps. Les auteurs décrivent aussi leur intention de l'étendre à d'autres dimensions de l'interaction homme-robot. Pour le rendre praticable, ils recommandent Retico, un framework de communication en temps réel censé répondre aux exigences techniques d'un dialogue oral robotisé. Le résumé ne donne ni scores, ni plateformes testées, ni jeu de données chiffré : il s'agit d'une proposition de cadre, pas d'une évaluation de systèmes existants. L'enjeu pour l'industrie est surtout méthodologique. Les démonstrations de robots conversationnels reposent souvent sur des scénarios choisis, avec des tours de parole bien séparés et une latence rarement documentée. Or, dans un accueil, un service ou un atelier, un robot doit savoir demander de repréciser, accepter d'être coupé et répondre dans un délai tenable, tout en coordonnant sa gestuelle avec sa voix. Aujourd'hui, ces comportements sont jugés au cas par cas, ce qui rend les comparaisons entre fournisseurs peu fiables pour un intégrateur ou un décideur B2B. Un banc d'essai commun, s'il est adopté, permettrait de mesurer ces écarts entre démonstration et usage réel. Il reste toutefois à voir quelles métriques seront retenues et si les pratiques de production, notamment la qualité perçue de l'échange, s'y retrouveront. Ce travail s'inscrit dans le déploiement rapide des LLM et des modèles voix-langage-action sur des robots d'interaction, alors que les évaluations existantes se concentrent surtout sur le texte, la manipulation ou la navigation, rarement sur la dynamique conversationnelle incarnée. Les acteurs de la robotique sociale, dont les européens comme Enchanted Tools avec son robot Mirokaï, auraient un intérêt direct à disposer d'une référence partagée, mais l'article ne cite aucun partenaire industriel. La suite dépendra de l'ouverture effective du code et des scénarios, de l'adhésion de laboratoires tiers et de l'intégration de Retico dans des piles logicielles déjà en place. À ce stade, il s'agit d'un projet de recherche annoncé, sans produit livré ni déploiement.

RecherchePaper
1 source
BRACE : adapter les références corporelles pour un suivi de mouvement humanoïde sensible aux forces et au terrain
381arXiv cs.RO 

BRACE : adapter les références corporelles pour un suivi de mouvement humanoïde sensible aux forces et au terrain

Des chercheurs présentent BRACE, un contrôleur de suivi de mouvement du corps entier testé sur le Unitree G1 (humanoïde) en simulation et sur robot réel. Il est décrit dans un preprint arXiv (2610.07052v1) et vise un défaut des trackers actuels. Les trajectoires de référence qu'ils consomment sont enregistrées sur sol plat et sans charge, si bien que le contrôleur ignore à la fois les forces à échanger avec les objets et la pente du terrain. BRACE permet au robot d'exercer ou de compenser une force de main commandée depuis des poses variées, tout en suivant une référence plate sur terrain incliné. Le système repose sur deux enseignants spécialisés, l'un pour l'exertion de force, l'autre pour sa compensation. Ils sont distillés par DAgger dans un unique modèle élève de type flow-matching. Ce modèle fonctionne sur la seule proprioception, sans carte de hauteur ni mesure de torseur d'effort. Les auteurs n'indiquent ni charge maximale ni amplitude de pente dans le résumé. L'intérêt tient à la manière de répartir le problème. Les contrôleurs existants n'en traitent qu'un côté. Les politiques capables de force commandent un effort à l'effecteur sans prescrire de pose du corps entier. Les trackers adaptatifs au terrain traitent la charge comme une perturbation à rejeter, non comme un effort à commander. BRACE intègre la charge et la pente dans la référence elle-même, au lieu de laisser le tracker les absorber. Pour la téléopération, c'est un gain pratique. Un opérateur, même distant, fournit une trajectoire conçue pour le sol plat, et le robot résout pente et charge à bord. Cela réduit la dépendance à des capteurs coûteux ou fragiles, et ouvre la voie à des tâches de manipulation avec contact, comme pousser, tirer ou porter, sur sol irrégulier. Les résultats restent cependant ceux d'un preprint académique sur une seule plateforme. Aucun déploiement industriel n'est évoqué, et les performances chiffrées sont à vérifier dans l'article complet. Techniquement, deux mécanismes modifient la référence. La conformité au terrain relève les points d'appui et la racine du robot sur la surface locale. Une transformation de torseur calcule le déplacement de main qui produit la force voulue, avec les décalages induits du centre de masse et du centre de pression. Les limites d'effort des bras, propres à chaque enseignant, bornent cette transformation. Le travail s'inscrit dans la lignée des trackers de mouvement humanoïdes, de plus en plus utilisés comme interface de téléopération et de collecte de données, et il utilise le G1 d'Unitree, plateforme de recherche répandue. La suite logique serait une validation sur des tâches plus longues, des charges plus lourdes et d'autres morphologies.

RecherchePaper
1 source
Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA
382arXiv cs.RO 

Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA

Une équipe de chercheurs publie sur arXiv (2610.07540) une étude sur un défaut discret des modèles du monde de type JEPA (Joint-Embedding Predictive Architecture) utilisés pour piloter des robots à partir d'images. Les systèmes robotiques présentent souvent des modes instables, c'est-à-dire des directions de l'état le long desquelles une petite perturbation croît sans limite si aucun retour d'état ne la corrige. Les auteurs montrent qu'un entraînement fondé sur la prédiction de l'étape suivante, associé à une régularisation anti-effondrement, ne garantit pas la conservation de ces modes contrôlables : la fonction de perte peut être minimisée alors que ces directions sont écrasées dans la représentation, ce qui rend toute stabilisation impossible. Le remède proposé ajoute un objectif de reconstruction de l'action (une perte de dynamique inverse). Les auteurs démontrent qu'une reconstruction exacte rend l'encodeur injectif sur le sous-espace atteignable en H pas, et que, lorsque H augmente, l'espace propre dominant du gramien de contrôlabilité à horizon fini converge vers le sous-espace instable contrôlable. Les preuves portent sur des systèmes linéaires. Les tests empiriques, sur CartPole, Walker2D et PointMaze, visent à montrer que le résultat se prolonge au cas non linéaire visuel. L'intérêt est surtout diagnostique. Il met en évidence un mode de défaillance silencieux : une perte d'entraînement basse ne prouve pas que la représentation soit exploitable pour le contrôle. Pour les équipes qui construisent des politiques ou des planificateurs sur des modèles du monde latents, c'est un argument pour ajouter des signaux sensibles à l'action plutôt que de se fier à la seule qualité de prédiction. Ce travail ne contredit pas les approches existantes, il en précise une limite théorique. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans déploiement ni robot physique. Les benchmarks sont des environnements simulés simples, loin de la manipulation à grand nombre de degrés de liberté. Le résultat s'inscrit dans la lignée des JEPA, popularisées par l'équipe de Yann LeCun, et des modèles du monde appris pour le contrôle, face à des approches de type VLA qui apprennent directement les actions. Aucune suite ni calendrier n'est annoncé. L'étape suivante logique serait un passage à l'échelle sur des tâches visuelles plus riches, puis sur du matériel réel.

RecherchePaper
1 source
Contrôle de corps entier des manipulateurs mobiles avec prise en compte de la reconstruction des objets
383arXiv cs.RO 

Contrôle de corps entier des manipulateurs mobiles avec prise en compte de la reconstruction des objets

Des chercheurs proposent une méthode de reconstruction d'objets 3D par manipulateur mobile qui supprime le planificateur de trajectoire dédié, pour un coût de calcul nettement réduit. Le travail, publié sur arXiv (troisième version, septembre 2025 pour la première), part d'un constat: pour reconstruire ou inspecter un objet, il faut choisir des trajectoires qui révèlent le plus de zones encore inconnues. Les approches actuelles échantillonnent des trajectoires candidates et évaluent de nombreuses vues le long de chacune, ce qui coûte cher en calcul. La nouvelle méthode calcule un point de focalisation dans la région la plus informative, puis impose au robot de le garder dans le champ de vision de la caméra pendant son déplacement. Cette contrainte de visibilité est intégrée directement dans le contrôle du corps entier (whole-body control) du manipulateur mobile. L'évaluation repose sur des simulations réalistes avec 114 objets de tailles variées, issus de 57 catégories, et sur une analyse statistique bayésienne. Trois stratégies sont comparées: la méthode proposée, une planification par échantillonnage, et une approche sans trajectoires informatives. Face à l'échantillonnage, aucune différence statistiquement significative n'apparaît sur l'entropie de reconstruction, et la probabilité que les deux soient pratiquement équivalentes en couverture est de 52,3 %. Le calcul est 6,2 à 19,36 fois plus rapide, et le temps passé par le robot entre deux vues baisse de 13,76 % à 27,9 %, selon le champ de vision de la caméra et la résolution du modèle. Des essais réels ont été menés avec un manipulateur mobile omnidirectionnel à 8 DoF et un manipulateur à pattes. L'intérêt pour les intégrateurs est concret: l'inspection, le contrôle qualité et la numérisation d'objets par robot mobile sont limités par la latence de décision entre deux vues, et pas seulement par la qualité de la reconstruction. Ici, la qualité reste proche de l'état de l'art tout en réduisant le calcul embarqué, ce qui compte sur des plateformes à ressources limitées. Il faut toutefois nuancer: l'équivalence de couverture n'est établie qu'à 52,3 %, donc non démontrée. Il s'agit en outre d'un résultat académique, validé en simulation et sur deux plateformes de laboratoire, sans déploiement industriel ni mesure en environnement de production. Ce travail s'inscrit dans la lignée de la planification de la « prochaine meilleure vue » (next-best-view), dominante depuis des années en reconstruction active, et du contrôle de corps entier des manipulateurs mobiles, qui coordonne base et bras comme un seul système. La démarche rejoint ainsi la tendance à fusionner perception active et commande, plutôt que de les chaîner. Les suites probables concernent des tests sur des scènes plus complexes, avec occlusions et objets déformables, et une intégration dans des chaînes d'inspection. Aucun partenaire industriel ni calendrier de transfert n'est annoncé.

RecherchePaper
1 source
Le robot n'est pas sa description : GaugeBench pour la robustesse de la représentation dans les politiques sensibles à la morphologie
384arXiv cs.RO 

Le robot n'est pas sa description : GaugeBench pour la robustesse de la représentation dans les politiques sensibles à la morphologie

Des chercheurs publient sur arXiv (2610.07597) GaugeBench, un banc d'essai qui teste une question laissée de côté par l'évaluation cross-embodiment : un contrôleur survit-il quand le robot reste identique mais que sa description change ? Une description de robot (URDF ou équivalent) encode en effet, en plus du mécanisme physique, des conventions arbitraires : sens des axes d'articulation, zéro angulaire des joints, ordre et noms des liens et des articulations. GaugeBench réécrit un même mécanisme selon des conventions physiquement équivalentes, vérifie que la physique et l'interface de la politique sont préservées, puis évalue les mêmes poids. Trois politiques MetaMorph obtiennent un score de 4030,6 sur 80 robots connus, mais seulement 51,6 quand ces mêmes robots sont simplement re-décrits. Sur 98 robots réellement inédits, le score reste à 1489,6. Le phénomène se retrouve avec ModuMorph et avec un framework PyBullet indépendant. L'enjeu est direct pour quiconque vise des politiques « morphology-aware » généralistes. Une nouvelle description s'avère plus destructrice qu'un nouveau robot : la généralisation mesurée jusqu'ici reflète en partie une mémorisation de conventions, pas une compréhension de la mécanique. Pour un intégrateur, cela signifie qu'un changement d'export CAO, de chaîne d'outils ou de fournisseur d'URDF peut ruiner un contrôleur sans toucher au matériel. L'analyse causale est utile : l'inversion d'axe seule reproduit l'effondrement, les changements de zéro angulaire sont quasi inoffensifs, le réordonnancement est intermédiaire. Modifier uniquement les coordonnées d'état et de couple des articulations suffit à casser la politique, alors que modifier seules les caractéristiques dérivées de la description ne le fait pas. Le défaut est réparable : un transport exact entre deux descriptions restitue le contrôleur d'origine, et un entraînement sur des conventions d'axes équivalentes fait passer le retour conservé sous inversion d'axe de 3,6 % à 80,6 %. Ces résultats s'inscrivent dans la course aux politiques cross-embodiment, de MetaMorph à ModuMorph, évaluées jusqu'ici en changeant de robot tout en figeant les conventions de description. Les auteurs distinguent la robustesse du mécanisme de la robustesse de la représentation et recommandent de tester les deux. Il s'agit d'une préimpression, évaluée en simulation, sans validation sur matériel réel ni revue par les pairs. Ses conclusions devraient toutefois peser sur les protocoles d'évaluation des futurs modèles généralistes, VLA inclus, dès lors qu'ils consomment des descriptions de robot comme entrée.

RecherchePaper
1 source
RMRRT : RRT à métrique de barrière riemannienne pour un pilotage tenant compte des inégalités sur variétés d'égalité
385arXiv cs.RO 

RMRRT : RRT à métrique de barrière riemannienne pour un pilotage tenant compte des inégalités sur variétés d'égalité

Des chercheurs proposent RMRRT (Riemannian Barrier Metric RRT), un planificateur de mouvement par échantillonnage qui traite dans une même formulation géométrique les contraintes d'égalité et d'inégalité pour des systèmes robotiques de grande dimension. Dans les planificateurs classiques de type RRT, les contraintes d'égalité (par exemple garder un objet à l'horizontale pendant son transport) sont imposées par projection sur la variété admissible, tandis que les contraintes d'inégalité, dont l'évitement de collision, sont gérées à part par de simples tests de validité binaires. RMRRT construit d'abord une métrique de barrière ambiante à partir de termes sensibles aux inégalités, puis en déduit une métrique sur l'espace tangent via une projection G-orthogonale associée aux contraintes d'égalité. Cette métrique sert à la fois pour l'extension de l'arbre (steering) et pour le choix du plus proche voisin, ce qui éloigne l'exploration des frontières proches tout en conservant la cohérence au premier ordre avec les contraintes d'égalité. Les auteurs annoncent un taux de succès de 100 % sur diverses tâches de manipulation contrainte, en simulation et en conditions réelles, avec un temps de planification réduit par rapport à des références de planification contrainte. Une étude d'ablation indique que la métrique diminue le nombre d'échantillons rejetés et raccourcit les trajectoires. L'intérêt pratique tient à la manipulation sous contraintes, qui reste un point dur dans les cellules robotisées encombrées : tenir un récipient sans le pencher, insérer une pièce, évoluer près d'obstacles. Le temps de planification y pèse directement sur le temps de cycle et sur la facilité de reprogrammation, donc sur la rentabilité pour un intégrateur. Un planificateur qui gaspille moins d'échantillons en collision réduit la latence et la variabilité des calculs, ce qui compte pour des robots censés replanifier en ligne. Le résultat est toutefois à lire avec prudence. Les chiffres sont des mesures d'auteurs sur des tâches choisies par eux, le gain en temps n'est pas chiffré dans le résumé, et les baselines ne sont pas nommées. Autre limite explicite : la métrique repose sur des inégalités « proxy » issues de distances signées, qui orientent seulement les directions dans l'espace tangent. La faisabilité stricte reste garantie par les tests de validité habituels, donc la collision n'est pas traitée de façon formelle. Ces travaux s'inscrivent dans la lignée des planificateurs contraints par projection ou par atlas, qui ont popularisé la gestion des variétés d'égalité dans les RRT, et des méthodes à fonctions barrière issues de l'optimisation et de la commande, ici transposées à la géométrie de l'échantillonnage. Ils se positionnent face à l'optimisation de trajectoire (type CHOMP ou TrajOpt) et aux approches apprises, qui visent le même objectif de planification rapide en environnement contraint. L'article, publié sur arXiv (2610.06863), est une prépublication non évaluée par les pairs. Le site compagnon, aux ressources anonymisées, annonce la mise à disposition de vidéos et du code, ce qui permettra de vérifier les résultats sur d'autres plateformes. Aucun déploiement industriel ni partenaire n'est mentionné à ce stade.

RecherchePaper
1 source
DepthWorld : un modèle du monde 3D pour la manipulation robotique
386arXiv cs.RO 

DepthWorld : un modèle du monde 3D pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.08780) DepthWorld, un modèle du monde 3D destiné à la manipulation robotique, accompagné d'un jeu de données calibré, DROID-3D. Le point de départ est un constat : les modèles du monde vidéo actuels, entraînés uniquement sur du RGB, produisent des séquences plausibles image par image, mais qui ne forment pas un monde 3D cohérent. Pour y remédier, l'équipe a conçu un pipeline de calibration qui combine une estimation de profondeur stéréo apprise et un graphe de facteurs joint. Il regroupe tous les épisodes enregistrés avec un même robot physique afin de retrouver ses paramètres cinématiques partagés, en plus des extrinsèques propres à chaque scène. Appliqué à DROID, il produit DROID-3D : une profondeur métrique dense et des extrinsèques multi-vues recalibrées, avec une erreur de reprojection inférieure à 0,7 pixel sur 90 % des épisodes pour les caméras externes. Le modèle DepthWorld, bâti sur Stable Video Diffusion, prédit conjointement le RGB et la profondeur sur plusieurs vues grâce à un « tuilage latent spatial » (spatial latent tiling), qui laisse intact l'autoencodeur variationnel (VAE) pré-entraîné. À budget d'entraînement égal, la supervision par la profondeur améliore la prédiction RGB de 1,48 dB de PSNR par rapport à une base identique entraînée sur RGB seul, tout en fournissant une profondeur métrique exploitable. Ces résultats comptent pour les équipes qui voient dans les modèles du monde une alternative pilotée par les données aux simulateurs classiques, pour l'évaluation, l'amélioration et la planification de politiques. Toutes ces utilisations supposent une géométrie fidèle. Un rollout visuellement convaincant mais géométriquement incohérent peut fausser l'évaluation d'une politique de préhension ou une planification de trajectoire. L'apport de la profondeur à la qualité du RGB lui-même suggère que la supervision 3D ne se limite pas à ajouter une sortie : elle renforce la prédiction visuelle. Le choix de ne pas toucher au VAE préserve les connaissances a priori des modèles vidéo pré-entraînés, ce qui évite de ré-entraîner à grande échelle. Pour les intégrateurs, l'enjeu à terme est de disposer d'un banc d'essai virtuel plus fiable avant de passer sur matériel réel. Il faut toutefois rester prudent : il s'agit d'un préprint, sans évaluation en boucle fermée sur des robots réels dans les éléments communiqués, et un gain de 1,48 dB de PSNR ne prouve pas à lui seul une meilleure réussite des tâches. Le contexte est celui d'une course pour remplacer ou compléter la simulation physique par des modèles génératifs, nourrie par de grands jeux de données de téléopération comme DROID. Ces corpus sont riches en vidéo, mais leur calibration de caméras est souvent approximative et la profondeur métrique y est absente, ce qui a limité jusqu'ici la supervision 3D à grande échelle en manipulation. DROID-3D comble en partie ce manque. L'approche s'inscrit dans le courant des modèles du monde vidéo adaptés à la robotique, qui s'appuient sur des modèles de diffusion vidéo généralistes. La suite logique serait de tester si ces rollouts géométriquement cohérents améliorent réellement l'évaluation et l'amélioration de politiques VLA, puis de les valider sur des plateformes variées.

RecherchePaper
1 source
Planification de mouvement multi-robot et multi-objectif avec compétences stochastiques
387arXiv cs.RO 

Planification de mouvement multi-robot et multi-objectif avec compétences stochastiques

Des chercheurs proposent une méthode de planification de trajectoires pour plusieurs robots partageant un même espace de travail, qui intègre des compétences de manipulation stochastiques. Ces compétences ont un temps d'exécution variable et des trajectoires continues incertaines. Le travail, publié sur arXiv sous la référence 2610.07784, formule le problème comme un processus de décision markovien (MDP) défini sur une feuille de route composite multimodale, construite par échantillonnage. Pour les compétences stochastiques, la résolution du MDP produit une politique réactive. Chaque robot contrôlable ajuste alors ses mouvements en temps réel selon l'avancement des manipulations menées par les autres robots. Le code des planificateurs est disponible en accès libre sur le site de l'auteur, vhartmann.com/stochastic-skills. Le résumé ne donne aucun chiffre de performance, aucun nombre de robots testés et aucun site de déploiement. Il s'agit d'un préprint de recherche, sans produit ni pilote industriel. Le problème visé est concret pour les intégrateurs de cellules robotisées multi-bras ou de flottes de manipulateurs mobiles. Une prise, une insertion ou un geste de manipulation appris dure rarement le même temps d'une exécution à l'autre, surtout avec une politique pilotée par un modèle de type VLA. Les approches existantes se répartissent en trois familles. Les unes se limitent à un seul robot. D'autres reposent sur des chemins en boucle ouverte. Les dernières font un ordonnancement a posteriori, qui fige la coordination avant l'exécution. Pour absorber l'incertitude, ces méthodes doivent prévoir des marges de sécurité larges, ce qui allonge les temps de cycle et réduit le débit. Les auteurs affirment que traiter l'incertitude dès la planification évite ce pessimisme et permet une coordination dynamique robuste. Cette conclusion reste à vérifier : le résumé ne chiffre pas le gain face aux références conservatrices, et les résultats peuvent venir de simulation ou de scénarios limités. Ce travail s'inscrit dans la planification multi-robots à objectifs multiples, un champ ancien. Les planificateurs par échantillonnage de type feuille de route et les méthodes de planification de tâches et de mouvements (TAMP) y dominent. Ces méthodes supposent surtout des compétences déterministes ou des durées connues. Or les entrepôts et les usines déploient de plus en plus de robots dans des volumes partagés, avec des gestes appris dont la durée varie. Le décalage entre planificateur et exécution devient donc un frein pratique. Les prochaines étapes à surveiller sont la validation sur du matériel réel avec plusieurs bras, des comparaisons chiffrées en temps de cycle, et l'étude du passage à l'échelle à mesure que le nombre de robots augmente. Le coût de résolution d'un MDP sur un espace composite croît vite avec ce nombre, et c'est la principale limite probable de l'approche.

RecherchePaper
1 source
ExoBridge : apprendre la correspondance entre main nue et exosquelette de main grâce au couplage des membres humains
388arXiv cs.RO 

ExoBridge : apprendre la correspondance entre main nue et exosquelette de main grâce au couplage des membres humains

Des chercheurs publient sur arXiv (2610.07692) ExoBridge, un cadre d'apprentissage qui prédit l'état moteur et tactile d'un exosquelette instrumenté à partir d'une simple vidéo de main nue. La collecte repose sur un protocole bimanuel. Une main reste nue et fournit les observations visuelles, tandis que l'autre porte l'exosquelette et fournit des mesures synchronisées de mouvement et de toucher. Ces démonstrations appariées entraînent un modèle visuel temporel qui prédit trois grandeurs à partir de la seule vidéo de la main nue : le contact des bouts de doigts, l'intensité tactile continue et le mouvement relatif des encodeurs. L'évaluation porte sur 1 215 démonstrations réparties sur quatre tâches de manipulation, avec des sessions de collecte mises de côté pour le test. Elle donne une AUROC de 0,916 pour la détection de tout contact et une corrélation de Pearson de 0,790 pour l'intensité tactile. Le modèle prédit aussi les variations relatives de configuration de l'exosquelette. Les mesures sont agrégées sur l'ensemble des tâches. L'article ne donne ni le détail par tâche, ni le nombre d'opérateurs, ni les objets manipulés. Aucune démonstration sur robot n'est annoncée. Il s'agit d'un résultat de recherche, sans produit ni déploiement. L'enjeu est la pénurie de données pour la manipulation dextre. Les vidéos humaines sont abondantes et bon marché, mais elles ne contiennent ni force ni contact, et ce sont justement ces signaux qui distinguent une saisie réussie d'un glissement. Les gants et exosquelettes mesurent ces grandeurs, mais ils gênent le geste, déforment la prise naturelle et se déploient mal à grande échelle. ExoBridge propose de n'instrumenter qu'une main pendant la collecte, puis de ne conserver que la vidéo à l'inférence. Si cela se confirme, un corpus de vidéos de mains nues pourrait recevoir des pseudo-étiquettes tactiles utilisables pour entraîner des politiques de type VLA. Les limites sont nettes. La méthode suppose que les deux mains se comportent de façon couplée, ce qui exclut les gestes asymétriques. Un AUROC de 0,916 sur le contact binaire ne garantit pas une estimation de force assez précise pour piloter un contrôleur. Le lien avec une main robotique passe par une calibration existante de l'exosquelette, et non par une validation de bout en bout. Ce travail s'inscrit dans l'effort général pour apprendre la dextérité à partir de l'humain. Il croise la téléopération par exosquelette, les gants tactiles et les approches par vidéo seule, qui renoncent au tactile. ExoBridge se place entre les deux, en utilisant le capteur comme enseignant temporaire plutôt que comme équipement permanent. La suite logique est de tester la chaîne complète sur une main dextre réelle, de vérifier la généralisation à d'autres opérateurs, objets et caméras, et de mesurer le gain obtenu en politique apprise par rapport à une simple imitation visuelle. Ces éléments ne figurent pas encore dans l'article.

RecherchePaper
1 source
AutodidactWAM : auto-distillation intermodale de la vidéo générée vers les actions du robot
389arXiv cs.RO 

AutodidactWAM : auto-distillation intermodale de la vidéo générée vers les actions du robot

Des chercheurs ont publié sur arXiv (2610.08119) AutodidactWAM, une méthode d'auto-distillation qui corrige les actions générées par un modèle monde-action (WAM) en s'appuyant sur la vidéo que ce même modèle produit. Le point de départ est Cosmos 3, un WAM qui génère conjointement vidéo future et actions robot à partir d'une observation et d'une instruction. Adapté par un fine-tuning LoRA léger à un humanoïde Unitree G1 doté de mains à cinq doigts BrainCo, il révèle une asymétrie : la vidéo montre des exécutions plausibles, mais l'action co-générée vise systématiquement à côté. En essais réels en boucle fermée, l'action native réussit environ 17 % (pré-saisie), 10 % (saisie) et 7 % (pick-and-place), avec de moins bons résultats sur objets inconnus. La méthode entraîne, sans téléopération, un estimateur de pose de main appliqué à la vidéo générée, puis une cinématique inverse en tire des actions. Ces actions « récupérées » donnent environ 75 %, 47 % et 42 % de réussite sur les trois étapes. Le meilleur objectif combine préférence, ajustement supervisé et ancrage de trajectoire cartésienne (DPO+SFT+DTW). Sur l'Oreo d'entraînement, il atteint 90 % en pré-saisie et 20 % sur la tâche complète. Sur un objet hors entraînement, il atteint 80 % et 30 %. L'intérêt tient d'abord au diagnostic. Le goulot d'étranglement des WAM n'est pas forcément la compréhension de la tâche, que la vidéo exprime correctement, mais le décodage vers les actions d'un nouvel embodiment. Cela nuance les démonstrations de vidéos plausibles : un rendu convaincant ne garantit pas un contrôle exploitable. Pour les intégrateurs, la piste est séduisante : après une adaptation unique à la morphologie, plus de téléopération par tâche, ce qui réduit le coût principal de collecte de données. Les chiffres appellent toutefois la prudence. Le taux de réussite complet reste de 20 à 30 % sur des essais apparemment peu nombreux, avec un seul type de robot et peu d'objets. Un tel niveau est très loin d'un seuil industriel. L'écart entre pré-saisie (90 %) et tâche complète (20 %) montre que la saisie et le placement restent le point faible. Un résultat négatif mérite attention : le Flow-DPO seul tombe à 0 % de réussite malgré 1,000 de précision de préférence en validation. L'objectif contrastif n'est donc pas la cause des gains, et une métrique de validation parfaite peut masquer un échec en conditions réelles. Côté contexte, ces travaux s'inscrivent dans la montée des modèles de fondation d'action, des VLA type Pi-0 ou GR00T aux WAM comme Cosmos, qui cherchent à exploiter les priors vidéo pour la robotique. Le G1 d'Unitree est devenu une plateforme de recherche courante, notamment pour son prix relativement bas. Les prochaines étapes probables sont des validations sur d'autres embodiments, davantage de tâches et des statistiques plus solides, ainsi qu'une réduction de l'écart sur la saisie.

RecherchePaper
1 source
ReDex : réparer les politiques dextérité sim-vers-réel par une interaction compliante au niveau des doigts
390arXiv cs.RO 

ReDex : réparer les politiques dextérité sim-vers-réel par une interaction compliante au niveau des doigts

Des chercheurs publient sur arXiv ReDex, un cadre pour corriger sur matériel réel des politiques de manipulation dextre entraînées en simulation. Le point de départ est une politique de base qui n'utilise que la proprioception. Pendant des déploiements réels, un opérateur humain corrige physiquement les échecs de contact sur certains doigts, sous contrôle en compliance, tandis que la politique de base, gelée, continue de piloter les autres doigts. Chaque essai enregistre trois choses : l'exécution de la politique, les mouvements corrigés par l'humain et les forces mesurées aux bouts des doigts. Les auteurs reconstruisent à partir de ces données des cibles tenant compte des forces. Ils entraînent ensuite par clonage comportemental une politique autonome conditionnée par la force. Les tests portent sur deux tâches riches en contacts, sur matériel réel. Le retournement d'objet passe de 14 % à 86 % de réussite sur deux objets. La rotation de tournevis passe de 26,0 % à 95,3 % de progression moyenne sur trois objets. L'intérêt tient à la méthode. Le transfert simulation-réalité reste fragile pour la dextérité, surtout à cause du timing des contacts et de la régulation des forces, que les simulateurs modélisent mal. ReDex part du constat que ces politiques gardent une coordination multi-doigts utile et qu'il suffit de réparer localement les contacts défaillants. L'approche évite aussi deux coûts habituels. Elle n'exige pas de simulation tactile, difficile à calibrer. Elle n'exige pas non plus de téléopération complète de la main, lourde et chère en temps opérateur. La correction ciblée d'un ou deux doigts réduit l'effort humain, et la politique finale ajoute un retour de force à un système initialement aveugle au toucher. Pour les équipes qui développent des mains dextres, c'est une piste réaliste pour combler l'écart entre démonstration et fiabilité réelle. Les réserves sont claires. Le résultat repose sur deux tâches, quelques objets, et un seul article non encore évalué par les pairs. Le nombre d'essais et la charge réelle de correction ne sont pas détaillés dans le résumé, et rien n'indique un test hors de ces objets. Ce travail s'inscrit dans une tendance de fond : la dextérité des mains robotiques progresse surtout par apprentissage en simulation, puis par adaptation au réel. Le retournement d'objet et la rotation de tournevis comptent parmi les benchmarks classiques de la manipulation en main. L'autre voie, concurrente, mise sur l'apprentissage direct à partir de démonstrations téléopérées et sur des capteurs tactiles. Elle demande plus de données humaines et du matériel plus complexe. ReDex se place entre les deux, avec une supervision humaine légère et des mesures de force utilisées seulement en phase de réparation. Les prochaines étapes probables sont des tests sur davantage de tâches et d'objets, puis sur d'autres mains. Il faudra aussi voir si la méthode tient sur des séquences longues. L'article ne mentionne ni partenaire industriel, ni calendrier de déploiement, ni acteur français ou européen.

RecherchePaper
1 source
LEAP : rendre efficace la supervision géométrique privilégiée pour l'apprentissage visuomoteur
391arXiv cs.RO 

LEAP : rendre efficace la supervision géométrique privilégiée pour l'apprentissage visuomoteur

Des chercheurs publient sur arXiv (2610.07015) LEAP, pour Latent Encoding with Aligned Privileged Geometry, un cadre d'entraînement qui exploite la géométrie 3D pendant l'apprentissage de politiques visuomotrices, sans l'exiger au déploiement. Le principe : un décodeur auxiliaire reconstruit des nuages de points de l'espace de travail à partir des seules caractéristiques visuelles, tandis que la proprioception reste réservée à la prédiction d'actions. Deux ajouts complètent la reconstruction complète : un « wrist-view dropout », qui masque aléatoirement la caméra poignet, et des cibles de reconstruction partielles alignées sur la vue poignet conservée, pour pousser l'encodeur à capter une géométrie locale complémentaire. Le décodeur est retiré à l'inférence : la politique ne reçoit que des images RGB et l'état du robot. Les tests couvrent les benchmarks RoboTwin et ManiSkill ainsi que des tâches réelles, face à Diffusion Policy et ACT. Les auteurs annoncent des gains « consistants et substantiels », avec un faible surcoût en paramètres et sans perte de vitesse d'inférence. L'extrait disponible ne chiffre ni les taux de succès, ni les tâches réelles, ni le matériel utilisé. L'intérêt pratique tient à la nature du problème visé. Ajouter une supervision 3D à l'entraînement évite d'équiper chaque robot de capteurs de profondeur ou de nuages de points en production, ce qui préserve coût, calibration et latence. Mais l'étude conteste une hypothèse implicite : une faible erreur de reconstruction ne garantit pas que les représentations visuelles encodent la géométrie utile au contrôle. Les auteurs identifient trois défaillances : des raccourcis proprioceptifs (le réseau s'appuie sur l'état du robot plutôt que sur la vision), une dépendance à la vue dominante, et des objectifs de reconstruction dominés par une géométrie sans rapport avec la tâche. Pour un intégrateur, le message est que la qualité de la supervision auxiliaire compte autant que sa présence, et qu'un gain « gratuit » à l'inférence rend l'approche facilement transférable à des politiques existantes. Reste à vérifier la robustesse hors benchmarks simulés. Ce travail s'inscrit dans la course aux politiques d'imitation par diffusion, popularisées par Diffusion Policy, et aux architectures à découpage d'actions comme ACT, devenues des références de base pour la manipulation bimanuelle. Les approches 3D, qui consomment directement des nuages de points, gagnent en précision mais alourdissent le matériel ; LEAP vise un compromis en gardant l'entrée RGB. Les comparaisons se limitent ici à ces deux bases, sans VLA de grande échelle comme Pi-0 ou GR00T, et il s'agit d'un preprint non évalué par les pairs. La suite logique serait un test sur des modèles généralistes et des déploiements industriels plus larges.

RecherchePaper
1 source
SimToolReal : une politique centrée sur l'objet pour la manipulation dextérique d'outils sans apprentissage préalable
392arXiv cs.RO 

SimToolReal : une politique centrée sur l'objet pour la manipulation dextérique d'outils sans apprentissage préalable

Des chercheurs publient SimToolReal, une politique d'apprentissage par renforcement (RL) sim-to-real conçue pour manipuler des outils avec une main dextre sans entraînement spécifique à l'objet ni à la tâche. Au lieu de modéliser un outil et de régler une fonction de récompense pour chaque usage, l'équipe génère de façon procédurale de nombreuses primitives d'objets en forme d'outil en simulation. Elle entraîne ensuite une seule politique avec un objectif universel : amener chaque objet vers des poses cibles aléatoires. Les auteurs annoncent un gain de 37 % face aux méthodes de retargeting et de prise fixe, et une performance équivalente à celle de politiques RL spécialisées, entraînées sur un objet et une tâche précis. L'évaluation en conditions réelles porte sur 120 essais couvrant 24 tâches, 12 instances d'objets et 6 catégories d'outils. Le résumé de l'article ne précise ni le modèle de main, ni le bras, ni la définition exacte du taux de réussite. L'enjeu est la dextérité, qui reste l'un des principaux freins au déploiement des humanoïdes et des manipulateurs. Utiliser un outil exige de saisir des objets fins, de les faire pivoter dans la main et d'exercer des forces, trois comportements que la téléopération capture mal. La collecte de données par démonstration, dont dépendent les approches VLA (vision-langage-action), est donc difficile pour cette classe de tâches. Le RL en simulation devient une alternative crédible, à condition de ne plus exiger un travail d'ingénierie par outil. Une politique centrée sur l'objet, qui traite l'outil comme un corps à amener vers une pose cible, réduit ce coût. Le résultat nuance l'idée que le sim-to-real exigerait un réglage spécifique à chaque tâche. Il faut toutefois relativiser. Il s'agit d'un preprint, et 120 essais sur 12 objets restent un échantillon modeste, loin d'un environnement industriel avec ses variations d'éclairage, d'usure et de cadence. Le résumé ne donne pas non plus de temps de cycle, et la nature des tâches (usage réel d'outil ou simple mise en pose) reste à vérifier dans l'article complet. Ces travaux prolongent la lignée du sim-to-real appliqué à la main dextre, de la manipulation de cube d'OpenAI aux politiques de rotation d'objet en main, qui s'appuyaient surtout sur des objets simples ou sur un entraînement dédié. Ils s'opposent aux approches de retargeting de démonstrations humaines et aux politiques à prise fixe, qui servent ici de références. Ils visent la même généralité que les modèles fondation de manipulation, comme Pi-0 ou GR00T, mais par une voie fondée sur la simulation plutôt que sur les données de téléopération. La mention « v3 » indique que le papier a été révisé plusieurs fois. Les prochaines étapes à surveiller sont le passage à des tâches de contact plus exigeantes, des évaluations indépendantes et une éventuelle intégration sur des mains d'humanoïdes commerciales.

RecherchePaper
1 source
ProactiveVLA : enrichir la mémoire incarnée par l'exploration proactive de l'environnement
393arXiv cs.RO 

ProactiveVLA : enrichir la mémoire incarnée par l'exploration proactive de l'environnement

ProactiveVLA, un système présenté sur arXiv (2610.06999v1), s'attaque à un problème d'adaptation en déploiement: comment un robot acquiert-il rapidement des connaissances utiles sur les objets, les états et les interactions d'un nouvel environnement à partir d'une expérience limitée. L'architecture associe un agent de raisonnement à un modèle vision-langage-action (VLA) gelé, c'est-à-dire non réentraîné, et s'adapte via le retour d'exécution et une mémoire. Une fois la tâche initiale accomplie, l'agent consacre le budget d'interaction restant à des objectifs qu'il se fixe lui-même: affordances des objets (ce qu'on peut en faire), interactions changeant l'état de l'environnement, et compositions de ces interactions. Il vérifie les résultats de chaque exécution, puis consolide l'expérience dirigée par la tâche comme l'expérience exploratoire dans une mémoire qui guide la planification et le contrôle ultérieurs. À budget de tours égal, le système dépasse les méthodes de référence sur LIBERO-Pro et sur RoboCasa365 Composite-Seen. Sur LIBERO-Pro Goal-T, avec au plus une invocation de primitive VLA autorisée à l'évaluation, il réussit 48 % des instances, contre 19 % pour la meilleure méthode de raffinement de tâche. L'intérêt tient à ce que ces résultats suggèrent sur la manière de dépenser l'expérience. Les approches de référence répètent la tâche cible pour affiner une solution déjà connue, ce qui laisse non testées les interactions pertinentes dès que les conditions changent. Ici, explorer au-delà de la tâche donnée produit des connaissances réutilisables, et l'écart (48 % contre 19 %) indique que la qualité de l'expérience pèse davantage que sa quantité. Pour les intégrateurs, l'enjeu est concret: un VLA généraliste figé, qu'on ne veut ou ne peut pas réentraîner chez le client, pourrait être rendu plus robuste par une couche de mémoire et de planification, sans recalibrage coûteux. Il faut toutefois rester prudent: il s'agit d'un préprint évalué en simulation, sur des benchmarks, sans déploiement physique rapporté dans le résumé. Le chiffre de 48 % vaut pour un réglage restrictif (une seule invocation de primitive) et ne dit rien du temps de cycle ni du coût en interactions de la phase d'exploration, qui reste à documenter. Ce travail s'inscrit dans la tendance des agents de raisonnement qui orchestrent des VLA gelés, par opposition au réglage fin continu de ces modèles. LIBERO-Pro, variante plus exigeante de LIBERO centrée sur des conditions modifiées, et RoboCasa365, benchmark de tâches domestiques composites, servent de terrains d'essai à cette génération de méthodes d'adaptation au déploiement. Le résumé ne nomme ni le VLA sous-jacent ni les auteurs, et ne cite aucun acteur européen. Les prochaines étapes à surveiller sont la publication du code et des détails d'évaluation, une validation sur robot réel, et une mesure du surcoût de l'exploration face au gain de fiabilité, critère décisif pour tout COO envisageant une mise en service sur site.

RecherchePaper
1 source
Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations
394arXiv cs.RO 

Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations

Des chercheurs proposent PG-VP (Physics-Guided Visual Prompting), un module de perception multimodal « plug-and-play » qui permet à un modèle vision-langage-action (VLA) de navigation d'éviter des dangers invisibles à une caméra RGB, comme une source de rayonnement ou un pic de température. Le module évalue le risque à partir de la physique d'une source thermique ou radioactive proche, détermine la direction d'évitement, puis superpose aux images un obstacle virtuel qui se déplace d'une image à l'autre (Dynamic Visual Prompting). La politique de navigation, restée gelée, contourne alors le danger comme elle le ferait pour un obstacle visible. L'obstacle virtuel est identique quel que soit le type de risque. Sans danger détecté, rien n'est affiché et la politique se comporte comme sans PG-VP. Sur OmniNav, avec les splits val-unseen de R2R-CE et RxR-CE, le module oriente la politique vers l'action à faible risque dans 84,9 % et 83,2 % des cas, pour un coût de 6,8 et 7,9 points de taux de succès de navigation. Un test sur robot réel, avec de vraies sources thermiques et radioactives et sans réentraînement, améliore de 63,45 % (thermique) et 32,59 % (radiation) la sécurité moyenne des 10 % pires trajectoires. L'intérêt tient à la méthode. Intégrer un nouveau risque à un VLA exige d'ordinaire un encodeur dédié, de nouvelles données et un réentraînement, un coût qui freine le déploiement en site sensible (installations nucléaires, sites industriels chauds). PG-VP déplace le problème vers l'entrée visuelle. Ajouter un capteur ne change pas le motif de prompt, ce qui rend l'extension peu coûteuse pour un intégrateur. Le travail montre aussi qu'un VLA gelé peut être détourné vers un comportement de sécurité sans toucher à ses poids. Deux réserves s'imposent. Le gain n'est pas gratuit : la perte de 7 à 8 points de succès est significative pour un robot de production. Et les résultats réels portent sur des « scénarios distincts » dont l'ampleur n'est pas précisée, avec une métrique centrée sur les pires 10 % des trajectoires. Il s'agit d'une preuve de concept académique, pas d'un produit. Le travail s'inscrit dans la vague des modèles VLA appliqués à la navigation vision-langage (VLN), évalués sur les benchmarks R2R-CE et RxR-CE, ici avec OmniNav comme politique de base. La sécurité de ces modèles reste un angle peu traité : la plupart des travaux visent le taux de succès en environnement domestique simulé, pas les risques non visuels. L'approche concurrence implicitement les solutions qui ajoutent des modalités et réentraînent les modèles. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes probables sont l'ajout d'autres capteurs (gaz, champs électromagnétiques), des tests sur plus de scénarios réels et une réduction du compromis sur le succès de navigation.

RecherchePaper
1 source
Réparation cinématique après la saisie pour l'insertion robotique par réorientation de l'objet dans la pince
395arXiv cs.RO 

Réparation cinématique après la saisie pour l'insertion robotique par réorientation de l'objet dans la pince

Une prise stable ne garantit pas qu'une insertion robotisée soit cinématiquement faisable. Dans un article déposé sur arXiv (2610.08421v1), les auteurs montrent que la transformation entre l'objet et la pince peut pousser le bras vers des singularités ou des butées articulaires le long de la trajectoire d'insertion imposée. Ils étudient une « réparation » après la saisie. Pour une prise déjà obtenue et une trajectoire d'insertion fixe, ils cherchent la plus petite réorientation de l'objet dans la pince qui rétablisse la faisabilité. Le planificateur évalue chaque candidat avec un graphe de cinématique inverse (IK) sensible aux branches de solutions. Ce graphe maximise la marge de faisabilité minimale sur la trajectoire discrétisée. Un a priori appris, conditionné par la tâche, ordonne les requêtes. La réorientation retenue est exécutée par manipulation extrinsèque guidée par le toucher, c'est-à-dire en s'appuyant sur l'environnement avec un retour tactile. En simulation sur un UR5e, le planificateur sans classement appris réduit de 51,5 % la réorientation moyenne sur les essais réussis, par rapport à une IK séquentielle sur grille. L'ajout du classement appris diminue ensuite de 51,1 % le temps de planification moyen. Des essais sur robot réel valident la chaîne complète. Le résumé ne donne ni taux de réussite, ni types de pièces, ni tolérances d'insertion. L'intérêt est très concret pour l'assemblage industriel. Un échec d'insertion vient souvent moins de la prise elle-même que d'une configuration du bras devenue inatteignable une fois l'objet saisi. Aujourd'hui, ces cas se traitent par une nouvelle prise, un repositionnement manuel ou un réglage de cellule par l'intégrateur. Corriger la pose de l'objet dans la pince, sans lâcher la pièce, pourrait réduire les temps de cycle et le nombre de reprises. L'idée d'une IK séquentielle qui rate des solutions faute de suivre le bon chemin dans l'espace articulaire est aussi pertinente pour les planificateurs du commerce. Il faut cependant relativiser. Les gains chiffrés viennent de la simulation, avec un seul bras de 6 axes, et le résumé ne précise pas l'ampleur des essais réels. Il ne donne ni taux de succès global, ni comparaison avec une simple nouvelle saisie. Les 51,5 % portent sur la réorientation moyenne des seuls essais réussis, pas sur l'ensemble des cas. Ce travail s'inscrit dans la recherche sur la manipulation de précision et l'insertion, où l'on a longtemps traité séparément la planification de prise, la planification de mouvement et le contrôle de contact. Les approches récentes de politiques apprises de bout en bout, VLA compris, progressent sur la généralisation mais restent peu fiables sur les contraintes de précision et de faisabilité cinématique. Cette étude suit plutôt une voie hybride : un planificateur géométrique garantit la faisabilité, et un modèle appris n'accélère que la recherche. La manipulation extrinsèque et le retour tactile deviennent ainsi des briques de réparation plutôt que des fins en soi. Il s'agit d'une publication académique, donc d'un résultat de laboratoire et non d'un produit ou d'un déploiement. Le code, les jeux de tâches et des tests sur d'autres bras ou sur des pièces plus variées seront nécessaires pour juger de la portée réelle de la méthode.

RecherchePaper
1 source
PEARS : adaptation efficace guidée par des connaissances physiques via raisonnement sur les échecs et pilotage de diffusion pour la manipulation tactile
396arXiv cs.RO 

PEARS : adaptation efficace guidée par des connaissances physiques via raisonnement sur les échecs et pilotage de diffusion pour la manipulation tactile

Des chercheurs ont publié sur arXiv (v1, octobre 2026) PEARS, un cadre d'apprentissage par renforcement hybride qui adapte en ligne une politique robotique préentraînée grâce au retour tactile. Il combine deux mécanismes. Après chaque épisode, un module de raisonnement sur les forces (PFR) interroge un modèle vision-langage (VLM) et exploite les connaissances physiques qu'il encode. Le VLM analyse le résultat visuel et l'historique des interactions tactiles pour diagnostiquer l'échec, puis ajuste les bornes de force de contact adaptées à la tâche. Un contrôleur hybride force-position haute fréquence applique ces bornes pendant le contact. En parallèle, une méthode de « diffusion steering » conditionnée par le tactile modifie le bruit latent d'une politique flow-matching gelée. Elle corrige les erreurs de mouvement en espace libre et de timing du contact sans toucher aux poids du modèle de base. En simulation, PEARS gagne 12,4 à 37,4 points de taux de succès face au meilleur baseline de chaque tâche. Il réduit aussi jusqu'à 53,2 % le nombre d'épisodes nécessaires pour atteindre un seuil de succès donné, par rapport au baseline le plus rapide. Sur robot réel, il atteint 95 % de succès pour l'effacement de tableau blanc et 90 % pour l'aspiration de liquide à la pipette. L'enjeu est le coût de l'adaptation en conditions réelles. Une politique préentraînée se dégrade sensiblement hors distribution, et le post-entraînement par RL classique exige beaucoup d'interactions. En manipulation, chaque essai est lent, coûteux, voire destructeur. Séparer le réglage des contraintes physiques (forces, confié à un VLM) de la correction de trajectoire (bruit latent, confié au RL) indique une voie pour déployer des politiques de type VLA ou flow-matching sans les réentraîner. Le gel du modèle de base limite aussi le risque d'oubli et le coût de calcul. Pour un intégrateur, la perspective est une mise en service plus rapide sur des tâches riches en contact, comme le nettoyage ou la manipulation en laboratoire. Des réserves s'imposent toutefois. Il s'agit d'un préprint non évalué par les pairs. Le texte ne précise ni les baselines, ni le nombre d'essais réels, ni le robot utilisé. Les deux tâches réelles restent étroites et les résultats chiffrés viennent des auteurs eux-mêmes. PEARS s'inscrit dans deux tendances. La première est le post-entraînement efficace des politiques génératives préentraînées, par exemple du type Pi-0, notamment par le pilotage du bruit d'une politique de diffusion ou de flow-matching. La seconde est l'intégration du toucher, longtemps absent des grands modèles de manipulation centrés sur la vision. Le projet dispose d'un site dédié (song-kun.github.io/pears). Les prochaines étapes à surveiller sont le code, la validation sur d'autres plateformes et des tâches plus variées, et la mesure du coût et de la latence des appels au VLM, qui reste le point faible d'une boucle à haute fréquence.

RecherchePaper
1 source
Humanoid Horizon : allonger l'horizon des tâches de loco-manipulation du corps entier par entraînement parallèle, démarrage dynamique et filtrage de la récompense
397arXiv cs.RO 

Humanoid Horizon : allonger l'horizon des tâches de loco-manipulation du corps entier par entraînement parallèle, démarrage dynamique et filtrage de la récompense

Des chercheurs proposent Humanoid Horizon, un cadre de politique unifiée pour qu'un robot humanoïde enchaîne, en un seul épisode ininterrompu, la navigation, la saisie, le transport et le placement précis de plusieurs objets lourds ou volumineux dans un intérieur encombré. Trois mécanismes le composent. Le Parallel Training Strategy répartit N scènes en S flux d'étapes concurrents, tous pilotés par une politique partagée, si bien que chaque étape de transport reçoit des mises à jour de gradient en continu. Le Dynamic Starting Mechanism réinitialise l'état de départ de chaque environnement avec les états terminaux issus des déroulés des étapes amont, ce qui élargit progressivement la couverture des transitions. Enfin, le Reward Gating annule la récompense pour le reste de l'épisode, dans les flux des étapes ultérieures, lorsque l'objet précédent est déplacé au-delà d'un seuil. Sur le benchmark LHM-Humanoid à deux objets (350 scènes d'entraînement, 66 scènes de test non vues), la méthode dépasse 80 % de réussite par étape. Au-delà de deux objets, le taux de succès baisse avec l'horizon, mais de façon graduelle, alors que tous les baselines comparés chutent brutalement. L'intérêt de ce travail tient à un verrou concret de la manipulation mobile humanoïde : tenir une tâche longue sans que les étapes tardives dégradent les précédentes. Les auteurs identifient deux modes d'échec qui expliquent pourquoi les politiques de bout en bout s'effondrent sur les longues séquences. Le premier est le biais de récompense facile, où l'entraînement sur-optimise les premières étapes de transport. Le second est l'oubli catastrophique, où se concentrer sur les dernières étapes fait régresser les premières. Le Reward Gating est notable pour un cas d'usage logistique : il apprend à la politique à ne pas perturber un objet qui vient d'être posé, une exigence évidente en entrepôt ou en intérieur domestique. Il faut toutefois relativiser. Les résultats portent sur un benchmark, apparemment en simulation, avec seulement deux objets pour le chiffre phare de 80 %. Le texte ne mentionne ni transfert sim-to-real, ni robot physique, ni temps de cycle, ni payload précis. Il ne prouve donc pas qu'un déploiement industriel soit prêt, mais il apporte une recette d'entraînement reproductible. Ce travail s'inscrit dans la montée de l'apprentissage par renforcement pour la locomanipulation du corps entier, qui se heurte aux horizons longs, où les récompenses sont éparses et où les erreurs s'accumulent d'une étape à l'autre. Il se place face aux approches séquentielles, qui entraînent les étapes l'une après l'autre, et face aux baselines non nommés dans le résumé, sur lesquels la comparaison reste à examiner dans l'article complet. Le débat plus large oppose les politiques VLA généralistes, portées par des acteurs comme Figure avec Helix ou NVIDIA avec GR00T, aux politiques de contrôle entraînées en simulation, dont celle-ci relève. Les prochaines étapes à surveiller sont la validation sur matériel réel, le passage à trois objets ou plus avec une dégradation maîtrisée et la publication du code et du benchmark pour permettre une réplication indépendante.

RecherchePaper
1 source
Remises robot-humain réactives orientées tâche par sélection générative d'hypothèses
398arXiv cs.RO 

Remises robot-humain réactives orientées tâche par sélection générative d'hypothèses

Des chercheurs proposent GENESIS-Handover (GENErative HypotheSIS), une méthode de remise d'objets entre robot et humain qui tient compte de la tâche à accomplir. Elle s'appuie sur un modèle vision-langage (VLM) génératif d'images pour produire plusieurs hypothèses d'interaction main-objet propres à la tâche visée. Ces hypothèses sont comparées en temps réel à la pose de la main de l'humain observée par le robot, ce qui permet de déduire la configuration de remise la plus adaptée. Les auteurs ont d'abord évalué isolément le module de proposition d'interactions, puis déployé le système complet sur un manipulateur mobile. Une étude utilisateur a porté sur 12 participants et cinq paires tâche-objet. Parmi eux, 83,3 % (10 sur 12) ont jugé que la méthode comprenait mieux la tâche que l'état de l'art précédent. Le résumé ne donne ni le nom du robot, ni les temps de cycle, ni les taux de réussite de saisie, ni le détail des baselines. L'enjeu est la manière dont un robot présente un objet. Tendre un couteau côté manche plutôt que côté lame relève à la fois de l'ergonomie et de la sécurité, et c'est un point bloquant pour les robots d'assistance, de cuisine ou d'atelier qui travaillent au contact d'opérateurs. Les approches récentes sont passées de la seule géométrie de l'objet à la prise en compte des affordances (les zones d'un objet qui se prêtent à une action). Elles prédisent pourtant rarement la pose de main précise qu'un humain adopte selon l'usage. Un marteau à panne fendue, par exemple, sert à frapper ou à arracher des clous, avec deux prises différentes. Modéliser cette variabilité est donc nécessaire pour des remises robustes. L'approche confirme aussi que les VLM génératifs peuvent servir d'a priori sur les interactions plausibles, et ainsi traiter des couples objet-tâche jamais vus, sans jeu de données dédié pour chacun. Les limites sont nettes. L'échantillon est petit (12 personnes), le résultat repose sur une perception subjective de la « compréhension de la tâche », et la génération d'images par un VLM ajoute une latence et un risque d'hypothèses erronées. Le résumé ne chiffre pas ces points. Ces travaux, publiés sur arXiv (2610.08003), prolongent une lignée qui a d'abord traité la remise sous l'angle de la géométrie et de la prise sûre, puis des affordances. GENESIS-Handover ajoute à cela une prédiction explicite de la pose de main. Il s'agit d'une publication académique en preuve de concept. Aucun produit, déploiement industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes probables sont des tests sur davantage d'objets, de tâches et d'utilisateurs, des mesures de latence et de fiabilité en conditions réelles, et une comparaison chiffrée plus détaillée avec les méthodes concurrentes, sur lesquelles le résumé reste muet.

RecherchePaper
1 source
Apprentissage du ciblage de préhension à partir de nuages de points pour le dégagement de piles de grumes avec une grue hydraulique
399arXiv cs.RO 

Apprentissage du ciblage de préhension à partir de nuages de points pour le dégagement de piles de grumes avec une grue hydraulique

Des chercheurs ont publié sur arXiv (2610.07613) une politique apprise qui choisit où placer et orienter le grappin d'une grue forestière hydraulique, montée sur remorque, pour vider des piles de grumes dans une cour de scierie. Ces piles comptent des centaines de billes en contact, et chaque prélèvement modifie la pile vue par la prise suivante. Le réseau prend en entrée des nuages de points bruts, non segmentés. Il classe le point observé où saisir, puis prédit la profondeur et l'orientation du grappin en ce point. Les mêmes sorties servent à l'imitation (BC), à l'apprentissage par renforcement (RL) et au déploiement. La BC apprend de démonstrations réussies prises au sommet de la pile. Le RL affine la politique clonée (BC→RL) ou s'entraîne de zéro. En simulation, la BC vide 98 piles sur 100, chacune de 200 billes. Sur la grue réelle, douze essais comparent une heuristique géométrique, le RL depuis zéro, la BC et la BC→RL, sur des cycles complets de saisie, transport et dépôt. La BC et la BC→RL déposent 93,8 % et 88,9 % de l'inventaire cumulé, contre 80,4 % pour l'heuristique. La BC→RL dépose des billes dans 83,6 % de ses cycles, contre 79,6 % pour l'heuristique et 65,7 % pour la BC. Le gain de stabilité de charge observé en simulation avec la BC→RL ne se retrouve pas sur le banc d'essai. Les politiques ont été entraînées entièrement en simulation et exécutées sans adaptation sur la grue. Le résultat est intéressant parce qu'il touche un cas de manipulation lourde, en contact dense, sur un engin hydraulique, loin des bras électriques de laboratoire. Un transfert simulation-réel sans recalage est démontré sur une tâche où chaque prise déforme la scène suivante. Les politiques apprises dépassent une heuristique dont les nuages avaient été filtrés à la main, alors qu'elles reçoivent des nuages bruts contenant encore les rails et poteaux du rack de stockage. Il faut toutefois lire les chiffres avec prudence. Douze essais sur un seul banc de test donnent peu de puissance statistique. Les gains restent modestes, d'environ 8 à 13 points d'inventaire déposé. Le gain de stabilité obtenu par RL en simulation ne se transfère pas, ce qui montre que l'écart simulation-réel persiste sur la dynamique de charge. Le résumé ne donne pas de temps de cycle, de payload ni de débit en tonnes par heure, des données que demanderait un exploitant. Ce travail s'inscrit dans l'automatisation des machines forestières et de manutention de bois, où la téléopération et l'assistance au conducteur dominent encore. Le schéma est classique : une imitation de démonstrations expertes, puis un affinage par RL en simulation, déjà courant en manipulation robotique. Le résumé ne cite aucun acteur industriel, aucun pilote ni aucune échéance. Les suites logiques seraient des essais sur grue de scierie en exploitation, sur davantage de configurations de piles, et une mesure des cadences réelles face à un opérateur humain.

RecherchePaper
1 source
Exploration réactive d'environnements inconnus pour robots redondants par contrôle par modèle virtuel
400arXiv cs.RO 

Exploration réactive d'environnements inconnus pour robots redondants par contrôle par modèle virtuel

Des chercheurs publient sur arXiv (2610.08110) une méthode d'exploration active pour bras robotiques redondants, c'est-à-dire dotés de plus de degrés de liberté que nécessaire pour atteindre une pose donnée, équipés d'une caméra embarquée au poignet (configuration « eye-in-hand »). L'approche cible les espaces confinés, occultés et partiellement connus. Elle repose sur un score original qui sélectionne directement un voxel cible dans l'espace non exploré, en combinant l'état courant du robot et le gain d'information attendu. Pour rejoindre ce voxel, le système recourt au Virtual Model Control, une technique qui simule des éléments mécaniques virtuels (ressorts, amortisseurs) pour garantir une conduite compliante. Elle permet un évitement d'obstacles réactif sur l'ensemble du bras, sans replanification de trajectoire. Les essais, menés en simulation et sur robot réel, en environnements confinés comme ouverts, atteignent plus de 90 % de couverture cartographique en moins de 120 secondes, sans aucune collision. Pour l'industrie, l'intérêt est de traiter conjointement perception active et contrôle du corps entier. Les tâches d'inspection ou de maintenance dans des zones étroites (intérieur de machines, baies, cuves, armoires techniques) exigent que le bras découvre son environnement tout en le traversant. Remplacer la replanification par un contrôle réactif réduit la latence et la charge de calcul, deux points critiques pour des applications embarquées. Le résultat est toutefois à nuancer : il s'agit d'une prépublication non évaluée par les pairs, et le résumé ne précise ni le nombre d'environnements, ni le robot utilisé, ni la comparaison avec des méthodes de référence. Le seuil de 90 % de couverture et la limite de 120 secondes ne disent rien de la répétabilité sur des scènes plus encombrées, ni de la robustesse face aux obstacles mobiles ou aux erreurs de perception. Ces travaux s'inscrivent dans la lignée de la planification de « next-best-view » et de la reconstruction active, dominées par des approches qui calculent des vues candidates puis planifient un chemin, souvent au prix d'un temps de calcul élevé. Le Virtual Model Control, issu de la commande de robots marcheurs et de manipulateurs compliants, offre ici une alternative plus légère. Face à elles, les approches d'apprentissage de bout en bout, comme les politiques VLA, restent peu orientées vers l'exploration géométrique garantie en espace confiné. La suite logique serait une validation sur des bras industriels ou collaboratifs, des scènes dynamiques et des benchmarks publics. Aucun partenaire industriel ni calendrier de transfert n'est annoncé à ce stade.

RecherchePaper
1 source