Actualités robotique — page 30

4 604 articles au fil, du plus récent au plus ancien.

46

1451arXiv cs.RO 

HALO-WA : apprentissage par renforcement en ligne guidé par le latent, à attention hybride, pour modèles monde-action

Des chercheurs viennent de publier sur arXiv (7 juillet 2026, arXiv:2607.04265) HALO-WA, un framework d'apprentissage par renforcement en ligne destine aux modèles "world-action" (WA), ces systèmes capables de générer de longues séquences d'actions pour la manipulation robotique généraliste. Le problème cible: ces modèles échouent fréquemment dans les derniers millimètres d'un alignement ou d'une insertion, a cause d'erreurs de calibration, de perception ou de dynamique de contact. HALO-WA ajoute un adaptateur acteur-critique léger qui exploite les caractéristiques latentes et les a priori d'action déjà produits par le modèle WA, via une structure d'attention hybride qui préservé la cohérence temporelle des séquences tout en intégrant le contexte visuel et les besoins de correction en fin de tache. Teste sur quatre taches de manipulation de précision en conditions réelles, le système fait grimper le taux de succès moyen de 26,4% pour le modèle WA de base a 87,1%, soit 19,2 points devant le meilleur système concurrent, avec seulement 45 a 75 minutes d'entrainement en ligne par tache. Des expériences complémentaires ont été menées en simulation sur RoboTwin, et le code est disponible sur GitHub (YeanRoot/HALO-WA). L'enjeu dépasse la prouesse technique isolée: la manipulation de précision, ce dernier millimètre ou tout se joue lors d'un vissage, d'une insertion de connecteur ou d'un assemblage fin, reste le talon d'Achille des modèles VLA/WA généralistes vantes par des systèmes comme GR00T N2, Pi-0 ou Helix. Ces architectures génèrent des séquences d'actions impressionnantes en démonstration mais s'effondrent souvent des que la tolérance géométrique se resserre, illustrant l'écart persistant entre la démo et le déploiement industriel réel. En montrant qu'un correctif RL léger, applique en quelques dizaines de minutes et sans reentrainer le modèle de base, peut tripler le taux de réussite, HALO-WA offre une piste concrète pour les intégrateurs qui cherchent a fiabiliser des cellules robotiques sans repasser par des mois de collecte de données et de fine-tuning lourd. C'est un argument en faveur de pipelines hybrides ou un gros modèle généraliste fournit la structure d'action pendant qu'un module d'adaptation local, bon marche, absorbe les erreurs spécifiques au site de déploiement. Cette approche s'inscrit dans la vague des modèles world-action apparus avec les VLA de nouvelle génération, censés unifier perception, langage et contrôle moteur pour la manipulation généraliste, une famille qui mélange offres commerciales et travaux de recherche ouverte. Le choix de RoboTwin comme banc d'essai simule et la publication du code renforcent une logique de reproductibilité plutôt que de simple annonce marketing, une distinction que le secteur peine parfois a maintenir face a des communiques mettant en avant des vidéos sélectionnées. Reste a voir si cette méthode d'adaptation en ligne se généralisé au-delà des quatre taches testées et des architectures WA existantes, et si des acteurs industriels, européens ou américains, intègreront ce type de correctif léger dans leurs propres piles logicielles pour accélérer le passage du prototype au déploiement en usine.

Recherche❖Paper

1 source

46

1452arXiv cs.RO 

OmniTacTune : RL réel, agnostique, pour l'adaptation résiduelle tactile des politiques visuelles

Des chercheurs présentent OmniTacTune, un pipeline d'apprentissage par renforcement en conditions réelles capable de s'adapter à n'importe quelle politique visuelle préentraînée, quelle que soit son architecture. Le système fonctionne en deux temps : il amorce d'abord un apprentissage sensible au toucher à partir de déploiements autonomes de la politique visuelle de base, puis entraîne une politique résiduelle tactile légère par interaction en ligne directement sur le robot. Testé sur quatre tâches de manipulation à contact riche en conditions réelles, OmniTacTune fait grimper le taux de réussite des politiques visuelles de base de 5-40% à 85-100%, en seulement 40 à 80 minutes d'entraînement supplémentaire. Ce résultat s'attaque à un problème connu des politiques visuelles apprises à partir de vidéos humaines, de téléopération ou de démonstrations robotiques : ces a priori moteurs généralisent bien pour les mouvements macroscopiques mais échouent souvent dès que la tâche exige un contrôle fin de la force et de la géométrie de contact, comme l'insertion de pièces ou la manipulation d'objets déformables. En ajoutant une correction résiduelle tactile plutôt qu'en réentraînant une politique multimodale complète, la méthode propose une voie peu coûteuse pour combler ce fossé, sans exiger de collecter de larges jeux de données tactiles, historiquement chers et peu transférables d'un capteur, d'un robot ou d'une tâche à l'autre. Pour les intégrateurs et les équipes de R&D en manipulation robotique, cela ouvre la possibilité d'améliorer des politiques déjà déployées sans repartir de zéro, un enjeu important alors que la manipulation à contact riche reste l'un des principaux points de friction entre démonstrations en laboratoire et déploiements industriels réels. L'approche s'inscrit dans la tendance des politiques vision-langage-action et de leurs limites en manipulation fine, sujet déjà soulevé autour de modèles comme Pi-0 ou GR00T N2, où l'écart entre démonstrations impressionnantes et robustesse réelle reste surveillé de près par le secteur. En se voulant agnostique vis-à-vis de la politique visuelle de base et de la représentation tactile employée, OmniTacTune vise la généralisation plutôt qu'une solution ad hoc liée à un capteur ou un robot précis, ce qui le distingue des approches tactiles propres à une seule plateforme. Les auteurs proposent une page projet avec démonstrations, sans préciser à ce stade de calendrier de portage vers des plateformes commerciales, laissant ouverte la question du délai avant qu'une telle méthode résiduelle ne soit reprise par des acteurs de la manipulation industrielle ou humanoïde.

Recherche❖Paper

1 source

44

1453arXiv cs.RO 

InternVLA-A1.5 : unifier compréhension, prévision latente et action pour une généralisation compositionnelle

Des chercheurs présentent InternVLA-A1.5, un modèle unifie de manipulation robotique qui embarque a la fois les capacités sémantiques d'un VLM preentraine et une prévision physique du futur, le tout dans une seule politique de contrôle. L'architecture conserve un backbone VLM natif qui continue de s'entrainer sur des taches de question-réponse visuelle et de prédiction de sous-taches, auquel est attache un expert léger dédié a la génération continue d'actions. L'innovation clé porte sur la prévision du futur, reformulée comme un problème de "latent-querying": un petit ensemble de jetons de prévision apprenables condense les éléments du futur pertinents pour la tache en un code latent compact, sous la supervision d'un modèle de génération vidéo preentraine et gelé, sans jamais apprendre de génération au niveau du pixel. La branche vidéo est abandonnee au moment de l'inférence, ce qui préservé le contrôle en temps réel. Preentraine sur 1,2 million d'épisodes robotiques et 3 millions d'échantillons multimodaux, InternVLA-A1.5 obtient les meilleurs résultats globaux sur six benchmarks de simulation, et affiche en conditions réelles la généralisation compositionnelle la plus solide sur des combinaisons d'instructions inédites. Ce travail s'attaque a un problème récurrent des modèles VLA unifies: entrainer conjointement compréhension sémantique et prédiction d'action tend a dégrader les priors du VLM d'origine, créé des interférences entre objectifs hétérogènes, et oblige souvent a réapprendre la prévision visuelle depuis zero en espace pixel, sans exploiter les modèles de génération vidéo déjà entraines. En évitant cette dernière étape couteuse tout en gardant un contrôle temps réel, l'approche laisse entrevoir, pour les intégrateurs et les équipes de recherche en robotique, une voie pour combiner raisonnement de haut niveau et dynamique physique sans sacrifier la vitesse d'exécution ni la robustesse face a des consignes formulées différemment de celles vues a l'entrainement, un point sensible pour tout déploiement commercial au-delà de la démo. Le papier s'inscrit dans la vague des modèles vision-langage-action généralistes portée ces deux dernières années par des acteurs comme Physical Intelligence avec pi-0, Nvidia avec GR00T N2, ou Figure AI avec Helix, tous confrontes au même arbitrage entre sémantique préservée et dynamique apprise. InternVLA-A1.5 reste pour l'instant une contribution de recherche publiée sur arXiv, évaluée sur benchmarks de simulation et expériences réelles limitées, et non un produit déployé a grande échelle; la suite logique serait une validation sur des plateformes robotiques tierces et des taches manufacturières plus complexes pour confirmer que les gains de généralisation tiennent hors laboratoire.

IA physique⚡Actu

1 source

44

1454arXiv cs.RO 

GigaWorld-1 : une feuille de route pour créer des modèles du monde évaluant les politiques robotiques

Une équipe de recherche publie GigaWorld-1, un modèle du monde spécialement conçu pour évaluer les politiques robotiques, accompagné de WMBench, un banc d'essai construit à partir de données réelles de téléopération et de rollouts de politiques appariés sur des tâches de manipulation variées. L'étude analyse 7 modèles du monde vidéo, 4 schémas de représentation d'action et plus de 324 000 rollouts de politiques simulés mis en correspondance avec des exécutions robotiques réelles, en s'appuyant aussi sur les soumissions de la communauté au CVPR 2026 GigaBrain Challenge, des trajectoires synthétiques et plus de 12 000 heures de vidéos d'entraînement. Trois résultats principaux ressortent : la qualité d'un évaluateur dépend surtout de la cohérence des rollouts sur de longs horizons temporels et de leur fidélité à l'action réelle, plutôt que du simple réalisme visuel à court terme ; les gains de pré-entraînement viennent autant d'un équilibre entre connaissances générales et contrôlabilité spécifique au robot que de la seule taille des données ; et des choix d'architecture comme l'encodage d'action, la conception de la mémoire et le post-entraînement orienté évaluation déterminent fortement l'alignement avec le comportement réel du robot. Code, modèles, jeux de données et outils sont publiés en intégralité. Ce travail s'attaque à un vrai goulot d'étranglement du secteur : contrairement aux LLM, évaluables via des benchmarks numériques rapides, les politiques robotiques nécessitent des essais physiques lents, coûteux et limités par le matériel et la supervision humaine. Utiliser des modèles du monde comme évaluateurs de substitution promet d'accélérer drastiquement l'itération sur les modèles fondation embarqués (VLA), en simulant les conséquences d'une action avant tout déploiement réel. Mais jusqu'ici, personne n'avait établi méthodiquement ce qui rend un modèle du monde fiable pour ce rôle précis d'évaluateur, plutôt que pour la génération vidéo générique. En démontrant que le réalisme visuel court terme est un mauvais proxy et que la cohérence long-horizon compte davantage, l'étude remet en cause une hypothèse implicite du secteur, celle voulant qu'un bon générateur vidéo fasse automatiquement un bon simulateur d'évaluation, avec des implications directes pour tous les laboratoires qui entraînent des politiques de manipulation (type GR00T N2, Pi-0 ou Helix) et cherchent à réduire leur dépendance aux essais sur banc réel. Le travail s'inscrit dans la montée en puissance des modèles du monde comme brique d'infrastructure pour la robotique fondation, un axe de recherche porté ces derniers mois par des acteurs comme World Labs, Genie de DeepMind ou les initiatives associées au GigaBrain Challenge du CVPR 2026, dont les soumissions communautaires alimentent d'ailleurs directement WMBench. La démarche se distingue par son échelle : plus de 12 000 heures de vidéos d'entraînement et 324 000 rollouts appariés à des exécutions réelles, un volume rarement atteint pour ce type d'analyse comparative. En publiant intégralement code, modèles et jeux de données, les auteurs positionnent GigaWorld-1 et WMBench comme une référence ouverte que d'autres laboratoires pourront reprendre pour benchmarker leurs propres politiques, une étape qui pourrait accélérer la comparaison objective entre familles de modèles VLA concurrentes, aujourd'hui difficile faute de protocole d'évaluation standardisé.

Recherche❖Paper

1 source

44

1455arXiv cs.RO 

Regarder avant d'agir : distiller la recherche arborescente en évaluation d'actions pour modèles VLA figés

Une équipe de recherche publie sur arXiv (2607.03751v1) une étude qui identifie un goulot d'étranglement méconnu dans les modèles Vision-Language-Action (VLA) : leurs échecs ne viennent pas seulement d'une mauvaise génération d'actions, mais surtout d'une mauvaise évaluation de ces actions. Un test diagnostique dit "pass@k" le prouve de façon frappante : un même modèle VLA figé, sans aucun réentraînement, voit son taux de réussite grimper de 33% en pass@1 à 92% en pass@32. Autrement dit, la bonne action existe déjà dans la distribution de sortie du modèle, mais celui-ci ne sait pas la reconnaître parmi ses propres propositions. Les chercheurs en tirent SVA (Search, Value, and Act), un framework qui ajoute une couche d'évaluation à un modèle VLA gelé : une recherche arborescente Monte-Carlo (MCTS) explore en simulation les trajectoires possibles et les annote de leurs résultats réels, ces données entraînent ensuite un modèle de valeur Q léger qui prédit la conséquence attendue de chaque action candidate, et au déploiement le VLA propose plusieurs actions parmi lesquelles l'évaluateur choisit la meilleure, sans besoin d'accès à un simulateur. Cette approche renverse une hypothèse répandue du secteur : que la seule voie d'amélioration des VLA est le post-entraînement par fine-tuning supervisé ou apprentissage par renforcement, au prix d'une perte de capacité généraliste. En découplant proposition d'action et évaluation de conséquence, SVA préserve les capacités de généralisation acquises au pré-entraînement tout en améliorant nettement le taux de succès sur des tâches inédites. Résultat le plus marquant : un modèle VLA de 9 milliards de paramètres équipé de SVA dépasse de 7 points un modèle de 27 milliards, avec une latence d'inférence inférieure de 27%. Le message pour l'industrie est clair : investir dans le calcul au moment de l'inférence peut être plus rentable que de faire grossir les modèles. Ces travaux s'inscrivent dans la lignée des modèles VLA généralistes type Pi-0, OpenVLA ou GR00T N2, dont la fragilité de généralisation face aux méthodes de post-entraînement classique est un problème documenté depuis plusieurs mois dans la recherche en robotique. SVA propose une alternative architecturale plutôt qu'un simple ajustement d'entraînement, ouvrant la voie à des déploiements où l'évaluation test-time devient un axe de scaling à part entière, distinct de la taille du modèle.

Recherche⚡Actu

1 source

43

1456arXiv cs.RO 

WSA$_1$ : un modèle monde-spatial-action centré sur la 3D pour un contrôle robotique généralisable

Les chercheurs à l'origine de WSA₁ proposent un nouveau modèle fondation pour la robotique généraliste, construit autour d'un paradigme baptisé "World-Spatial-Action" centré sur la 3D. Contrairement aux modèles robot-fondation (RFM) classiques qui associent directement perception visuelle 2D et instructions langagières à des actions continues, WSA₁ apprend une représentation explicite de l'état spatial 3D du monde et de ses transitions, puis relie ces transitions aux actions du robot. Le modèle a été préentraîné sur 6 000 heures de démonstrations expertes, dont seulement 1 000 heures issues de robots réels, le reste provenant de sources simulées ou synthétiques. Sur le benchmark de simulation RoboTwin2.0, WSA₁ atteint un taux de réussite de 93% en manipulation, et sur des tâches de contrôle robotique en conditions réelles il affiche un gain moyen de 20% par rapport aux meilleurs RFM existants. L'enjeu pour l'industrie robotique est la sobriété en données réelles. La plupart des modèles fondation actuels, qu'il s'agisse de Pi-0, GR00T N2 ou Helix, dépendent de volumes massifs de téléopération et de collecte sur robots physiques, une contrainte coûteuse qui freine leur déploiement à grande échelle chez les intégrateurs. En démontrant qu'une modélisation conjointe 3D monde-action permet d'atteindre une généralisation compétitive avec un ratio de données réelles très faible, WSA₁ ouvre une voie potentiellement plus abordable vers des systèmes robotiques polyvalents, sans nécessiter les flottes de collecte massives déployées par des acteurs comme Figure ou Tesla pour leurs humanoïdes. Ce travail s'inscrit dans la lignée des critiques adressées aux RFM actuels, accusés de manquer d'un raisonnement physique réel sur la dynamique 3D et les effets causaux des actions du robot sur son environnement, un décalage jugé limitant pour la généralisation en conditions réelles. Les auteurs positionnent explicitement WSA₁ face aux modèles VLA (vision-language-action) de référence du secteur. La publication, encore au stade de préprint arXiv, ne détaille pas de calendrier de déploiement industriel ni de partenariat matériel, les prochaines étapes attendues portant vraisemblablement sur une validation élargie hors simulation et sur des comparaisons directes avec davantage de RFM concurrents.

IA physique⚡Actu

1 source

43

1457arXiv cs.RO 

Combler l'écart de réalité : déploiement zero-shot du transfert simulation-réel pour la préhension et la manipulation dextériques basées sur la force

Une équipe de recherche présente une méthode d'apprentissage par renforcement permettant de transférer directement en simulation vers le réel des politiques de contrôle pour une main robotique à cinq doigts, sans aucun réglage fin sur le matériel physique. Le système combine un retour tactile dense avec une mesure du couple articulaire pour réguler finement les interactions de contact. Trois innovations techniques rendent ce transfert possible : une simulation tactile rapide calculant les distances entre unités tactiles virtuelles et l'objet via une cinématique directe parallélisée, une calibration courant-couple qui élimine le besoin de capteurs de couple physiques en convertissant le courant moteur en couple articulaire, et une modélisation randomisée de la dynamique des actionneurs pour compenser les effets non idéaux couple-vitesse. Entraînées entièrement en simulation via un pipeline PPO acteur-critique asymétrique, les politiques obtenues exécutent deux compétences clés de la main humaine, le contrôle de force de préhension sur commande et la réorientation d'objets dans la main, de façon robuste dès le déploiement sur robot réel. Cette avancée s'attaque à un verrou majeur de la robotique manipulatrice : l'écart de réalité (reality gap) entre simulation et exécution physique, particulièrement critique pour les mains à cinq doigts où la richesse des contacts et les imperfections d'actionnement rendent le transfert notoirement difficile. Contrairement aux approches nécessitant un réglage fin coûteux sur le robot réel, cette méthode zéro-shot réduit drastiquement le temps et le coût de déploiement, un enjeu direct pour les intégrateurs et fabricants qui cherchent à industrialiser la manipulation dextre au-delà des pinces simples. Les auteurs affirment qu'il s'agit de la première démonstration de préhension contrôlable sur une main multi-doigts entraînée uniquement en simulation. Le défi du sim-to-real occupe la recherche en robotique depuis plusieurs années, avec des approches concurrentes s'appuyant sur la randomisation de domaine ou l'apprentissage par imitation à partir de données réelles. L'ajout combiné de capteurs tactiles denses et de couple articulaire, plutôt que la seule vision ou proprioception, distingue cette approche et pourrait orienter les prochains travaux vers une intégration plus poussée du sens tactile dans les architectures de contrôle destinées aux mains robotiques commerciales.

Recherche❖Paper

1 source

43

1458arXiv cs.RO 

Vers des métriques fondées sur les données pour l'évaluation comparative de la navigation sociale des robots

Une équipe de recherche a publié une métrique d'évaluation entièrement pilotée par les données pour la navigation robotique en environnement social, baptisée SN26. Le travail s'appuie sur un jeu de données de 4427 trajectoires, dont 182 enregistrées sur des robots réels et 4245 générées en simulation, notées ensuite par des évaluateurs humains selon des critères de qualité et d'acceptabilité sociale. Après un contrôle qualité des annotations, 4402 trajectoires notées ont été retenues pour entraîner le modèle. Les auteurs présentent des résultats qualitatifs et quantitatifs, dont la perte de test obtenue, une comparaison directe avec les métriques manuelles utilisées jusqu'ici dans le domaine, ainsi qu'une étude d'ablation détaillant la contribution de chaque composante. L'ensemble des données, du code et des poids du modèle a été rendu public. Cette publication répond à un problème concret pour les équipes qui développent des robots mobiles autonomes destinés à évoluer parmi des humains, entrepôts, hôpitaux, espaces commerciaux : l'absence de métrique standardisée et fiable pour juger si une trajectoire de navigation est socialement acceptable. Jusqu'ici, les métriques reposaient sur des règles conçues à la main, distance minimale aux piétons, vitesse, fluidité, qui peinent à capturer la perception humaine réelle du confort ou de l'intrusion. Une métrique apprise à partir de données réelles et d'annotations humaines pourrait devenir un outil de référence pour comparer objectivement des politiques de navigation, y compris celles entraînées par apprentissage par renforcement, et accélérer le passage de la démonstration en simulation au déploiement en conditions réelles, un des points de friction classiques du secteur robotique. Le sujet s'inscrit dans un effort collectif de la communauté de recherche en navigation sociale, où plusieurs benchmarks et simulateurs concurrents coexistent sans consensus sur la métrique d'évaluation à privilégier. En rendant public le dataset, le code et les poids du modèle SN26, les auteurs cherchent explicitement à fournir une base commune réutilisable par d'autres laboratoires et industriels, plutôt qu'un outil propriétaire fermé. Les prochaines étapes attendues concernent l'élargissement du dataset à davantage de trajectoires réelles et l'adoption de cette métrique par d'autres équipes pour valider sa généralisation au-delà du corpus initial.

Recherche❖Paper

1 source

43

1459arXiv cs.RO 

Coordination multi-robots adaptative et ouverte à travers des environnements, partenaires et échelles inédits

Une équipe de recherche publie sur arXiv (2607.04972v1) un nouveau cadre nommé HOLA, pour Hypergraphic Open-ended Learning Algorithm, destiné à coordonner des équipes de robots capables de s'adapter simultanément à des environnements inconnus, des partenaires inconnus et des tailles d'équipe variables. Contrairement aux approches classiques qui supposent une composition d'équipe fixe (le "closed-world assumption"), les chercheurs modélisent la coopération via un jeu sous forme hypergraphique, une construction théorique des jeux qui capture les relations coopératives à l'échelle de l'équipe entière plutôt que seulement des interactions par paires, à la différence des architectures de réseaux de neurones sur graphes. L'algorithme HOLA entraîne les agents en élargissant progressivement la diversité des partenaires et des environnements plutôt qu'en optimisant pour une configuration figée. Testé sur des tâches de poursuite coopérative, le système a été validé sur des essaims multi-drones et multi-quadrupèdes, avec des déploiements réels sur les plateformes Crazyflie (drones du fabricant suédois Bitcraze) et Zsibot L1 (quadrupèdes), sans réglage fin supplémentaire lors du transfert du simulateur au matériel physique. Ce résultat compte pour l'industrie de la robotique en essaim et multi-agents parce qu'il attaque de front un angle mort connu du secteur: la plupart des systèmes multi-robots démontrés en recherche restent calibrés pour une équipe et un environnement fixés à l'avance, ce qui limite leur usage en conditions réelles où les partenaires, leur nombre et le terrain changent en permanence. Un transfert sim-to-réel direct et sans fine-tuning, s'il se confirme à plus grande échelle, réduit un coût d'ingénierie important pour les intégrateurs qui déploient des flottes hétérogènes de drones ou de robots à pattes. Le travail s'inscrit dans la lignée de l'apprentissage par renforcement multi-agents et des méthodes d'apprentissage "open-ended" par diversification progressive des adversaires et partenaires, popularisées notamment dans les jeux de population type league training. Les auteurs annoncent avoir surpassé toutes les méthodes de référence sur les trois axes d'adaptabilité testés (environnement, partenaires, échelle), ouvrant la voie à des essais sur des flottes plus larges et des plateformes robotiques supplémentaires.

Recherche❖Paper

1 source

42

1460arXiv cs.RO 

LH-AVLN : un benchmark pour la navigation audio-visuo-langagière à long terme

Des chercheurs présentent LH-AVLN (Long-Horizon Audio-Visual-Language Navigation), un nouveau benchmark pour évaluer des agents de navigation autonome devant accomplir des missions longues combinant vision, langage et audio spatialisé. Contrairement aux benchmarks existants, généralement silencieux et centrés sur un objectif unique, LH-AVLN impose à l'agent une mission globale de deux à quatre objectifs, spécifiés soit par catégorie d'objet, soit par description en langage naturel, soit par image de référence. L'agent navigue dans des environnements intérieurs en 3D à l'aide d'observations RGB-D, de données de pose et de son binaural persistant, les missions pouvant être ordonnées ou non. Les chercheurs ont aussi développé PAG-Nav, un agent de référence sans entraînement (training-free) qui construit une carte sémantique temporelle uniforme et planifie ses déplacements de façon progressive, utilisant le son pour guider la recherche hors champ de vision tout en réservant la confirmation finale d'un objectif à une vérification visuelle et sémantique. Ce travail met en lumière un écart important entre les capacités démontrées par les agents actuels et les exigences de missions longues et multimodales. Les tests montrent que les agents existants, qu'ils soient basés sur la vision-langage, la mémoire ou l'audio-visuel, échouent largement à compléter des missions LH-AVLN dans leur intégralité. Ce constat interroge la solidité réelle des approches de navigation incarnée dès qu'elles sortent du cadre mono-objectif habituel des benchmarks académiques, un signal utile pour les équipes de recherche en robotique mobile et en IA incarnée qui cherchent à évaluer la maturité réelle de leurs systèmes avant tout déploiement. LH-AVLN s'inscrit dans une tendance de fond de la recherche en navigation incarnée, qui délaisse progressivement les tâches ponctuelles pour des scénarios de mission complexes et prolongés, plus proches des besoins réels en robotique de service ou d'inspection. En proposant simultanément des indices sonores persistants, des spécifications d'objectifs hétérogènes et des missions multi-étapes, ce benchmark comble un vide par rapport aux travaux antérieurs en navigation audio-visuelle, généralement focalisés sur un seul objectif. PAG-Nav, présenté comme référence diagnostique plutôt que solution définitive, laisse une marge de progression substantielle, ouvrant la voie à de futurs travaux combinant mieux perception multimodale et planification à long terme.

Recherche❖Paper

1 source

42

1461arXiv cs.RO 

SoftVTBench : un benchmark visuo-tactile axé sur la sécurité pour la manipulation robotique d'objets déformables sous contraintes physiques

Des chercheurs viennent de publier SoftVTBench, un benchmark construit sous Isaac Sim pour évaluer la manipulation robotique d'objets déformables non plus seulement sur la réussite de la tâche, mais sur la sécurité physique de l'interaction. Le système simule les objets déformables par éléments finis (FEM) et combine vues RGB multiples, capteurs tactiles RGB avec suivi de marqueurs, proprioception et instructions en langage naturel. Il définit quatre suites de tâches croisant type d'objet (déformable versus rigide) et axe de variation (objet versus position spatiale), et distingue deux métriques : le Goal Success, qui mesure l'atteinte de l'objectif, et le Safety Success, plus strict, qui exige en plus l'absence de chute et un niveau de déformation maximal sous un seuil calibré par objet, mesuré via les états FEM cachés à la politique. Les auteurs testent des politiques basées sur pi0.5, le modèle vision-langage-action (VLA) de Physical Intelligence, dans ce protocole. Les résultats sont un signal d'alarme pour l'évaluation actuelle des politiques de manipulation : une part importante des trajectoires qui atteignent l'objectif violent en réalité les contraintes physiques de sécurité, ce que les benchmarks classiques, uniquement orientés succès, ne détectent pas. L'ajout du retour tactile change la donne : le Safety Success passe de 21,4% à 35,6% sur les tâches déformables centrées objet, avec une réduction mesurable de la déformation pendant l'exécution, sans dégrader le Goal Success. Pour les intégrateurs et chercheurs en robotique manipulant des objets souples (textile, alimentaire, emballage), cela confirme qu'un capteur tactile n'est pas un simple bonus de précision mais un levier direct de sécurité opérationnelle, et que les métriques de succès seules surestiment la fiabilité réelle d'une politique. SoftVTBench s'inscrit dans une littérature où les benchmarks de manipulation restent très majoritairement centrés sur la réussite de tâche, laissant un angle mort sur le comportement physique pendant l'exécution. En s'appuyant sur pi0.5, déjà positionné comme référence VLA face à des modèles comme GR00T N2 ou Helix, les auteurs proposent un protocole reproductible que d'autres équipes pourront réutiliser pour comparer leurs propres politiques visuo-tactiles sous contrainte physique, plutôt que sur le seul critère du taux de réussite.

Recherche❖Paper

1 source

42

1462arXiv cs.RO 

LOTUSim : simulateur multi-domaines pour la robotique marine

Des chercheurs présentent LOTUSim, un simulateur maritime open source conçu pour la robotique navale multi-domaines, combinant drones aériens, véhicules de surface et engins sous-marins dans un même environnement partagé. Publié sur arXiv début juillet 2026, ce travail répond à un manque identifié dans les simulateurs existants, généralement centrés sur l'autonomie pure et dépourvus d'interaction humaine en temps réel. LOTUSim apporte deux contributions techniques. D'abord, une architecture temps réel supportant plusieurs opérateurs simultanément, capable de monter en charge jusqu'à de larges flottes hétérogènes de drones tout en conservant fidélité visuelle et performance d'exécution stricte. Ensuite, un modèle de courants sous-marins inspiré des couches d'Ekman, qui capture la dynamique des flux dépendants du vent et de la profondeur avec une précision physique supérieure aux modèles stochastiques de Gauss-Markov habituellement employés, comme le confirment les validations menées contre des données de réanalyse océanique. Pour l'industrie de la robotique marine, cet outil comble un vide concret: l'entraînement des opérateurs et la répétition de missions navales coordonnées nécessitent des simulateurs capables de mêler humains et machines en boucle fermée, pas seulement de valider des algorithmes d'autonomie en isolation. La capacité à faire cohabiter des essaims de drones aériens, de surface et sous-marins dans un même scénario interactif touche directement les besoins d'opérations militaires ou de surveillance côtière multi-véhicules, où le coût et le risque des essais réels rendent la simulation incontournable. Le gain de précision du modèle de courants a aussi une portée pratique: une dynamique océanique mal modélisée fausse les prédictions de trajectoire et de consommation énergétique des véhicules sous-marins autonomes. Ce projet s'inscrit dans une lignée de simulateurs robotiques qui, jusqu'ici, ont privilégié soit le rendu visuel, soit la fidélité physique, rarement les deux à l'échelle avec un opérateur humain dans la boucle. En le rendant open source, les auteurs visent son adoption par la communauté de recherche en robotique opérateur-en-boucle, avec pour perspective l'extension à des scénarios encore plus larges de coordination navale multi-drones.

Recherche❖Paper

1 source

42

1463arXiv cs.RO 

Vert pour avancer, rouge pour s'arrêter : ancrage visuel par segmentation sémantique pour la navigation VLA

Une équipe de recherche propose une méthode pour améliorer la fiabilité des modèles vision-langage-action (VLA) utilisés en navigation robotique, en s'appuyant sur la segmentation sémantique en temps réel. Le système utilise SegFormer pour colorer l'image perçue par le robot: en vert les zones traversables, en rouge les zones à éviter, avant de transmettre cette image enrichie au modèle de navigation OmniVLA. Deux variantes ont été testées, une segmentation appliquée uniquement à l'observation courante, et une seconde appliquée conjointement à l'observation et à l'image ou l'instruction cible. Sur le jeu de données Grand Tour, cette technique de "grounding" visuel réduit l'erreur moyenne de trajectoire au point de passage le plus éloigné de 27 à 44%, un gain qui varie selon la longueur de l'instruction donnée au robot. Les auteurs montrent aussi, via une analyse d'erreur normalisée, que le bénéfice provient surtout d'un raccourcissement de 30% de la longueur de trajectoire prédite, plutôt que d'un raisonnement spatial réellement amélioré par unité de distance. Pour les intégrateurs et ingénieurs qui déploient des robots mobiles guidés par instructions en langage naturel, ce résultat est notable car il ne nécessite aucun réentraînement du modèle VLA existant, seulement une couche de traitement d'image ajoutée en amont, peu coûteuse en calcul. Les auteurs sont transparents sur les limites: le gain est quasi nul pour les instructions basées sur une image cible plutôt qu'un texte, et la méthode ne compense pas l'absence de signal d'entraînement pour des instructions hors distribution. Cela confirme un écart connu du secteur entre performance démonstrative et robustesse réelle des modèles de navigation par langage. OmniVLA s'inscrit dans la famille grandissante des modèles vision-langage-action pour la navigation, aux côtés d'approches comme Pi-0 ou GR00T N2 développées pour la manipulation et le déplacement robotique. Le travail présenté ici, une première évaluation empirique du grounding visuel appliqué spécifiquement à ces politiques de navigation, ouvre la voie à des ajouts similaires et légers sur d'autres architectures VLA sans passer par un réentraînement complet, une piste pratique pour fiabiliser des déploiements réels en environnement encombré ou ambigu.

IA physique⚡Actu

1 source

41

1464arXiv cs.RO 

MUSON : jeu de données multimodal orienté raisonnement pour la navigation socialement conforme en milieu urbain

Une équipe de recherche publie MUSON, un nouveau jeu de données multimodal destiné à entraîner les robots et systèmes de navigation autonome à respecter les normes sociales dans les espaces partagés avec des humains. Le corpus comprend 10 110 échantillons égocentriques (captés à la première personne, comme le ferait un robot ou un piéton) collectés dans des scènes intérieures et extérieures variées. Chaque échantillon est annoté selon un cadre structuré en cinq étapes de raisonnement en chaîne : perception, prédiction, raisonnement, action et explication, avec un espace de décision standardisé à six actions possibles et une modélisation explicite des contraintes physiques statiques (obstacles fixes, rétrécissements de passage, etc.). Les chercheurs ont évalué dix modèles vision-langage (VLM) de taille petite à moyenne sur ce benchmark. Qwen3-VL-8B, développé par Alibaba, arrive en tête avec une précision d'action de 0,7765, un score Macro-F1 de 0,7490 et le taux de collision le plus bas parmi les modèles testés, à 0,0609. Le dataset est publié en accès libre sur GitHub sous la version 1.0. Cette publication répond à un manque identifié dans la recherche en navigation sociale : jusqu'ici, aucun jeu de données à grande échelle ne combinait annotations égocentriques et raisonnement structuré pour ce cas d'usage précis. Les modèles vision-langage génériques, même performants sur des tâches visuelles classiques, peinent à interpréter finement les normes sociales implicites (céder le passage, anticiper une trajectoire piétonne, respecter une distance de confort) sans fine-tuning spécifique. En fournissant un benchmark reproductible avec des métriques comparables, MUSON offre aux équipes de recherche en robotique mobile et en véhicules autonomes de proximité un outil pour évaluer objectivement leurs modèles, plutôt que de se fier à des démonstrations ponctuelles souvent peu représentatives des conditions réelles. Le projet s'inscrit dans la lignée des travaux récents cherchant à exploiter les VLM comme couche de raisonnement de haut niveau pour la navigation robotique, en complément des piles de perception et de contrôle bas niveau classiques. Contrairement à une annonce produit, il s'agit ici d'une contribution académique dont la valeur dépendra de son adoption par la communauté comme référence d'évaluation, à l'image d'autres benchmarks ayant structuré des sous-domaines de la robotique ces dernières années. Le code et les données étant publics, les prochaines étapes attendues sont des extensions du dataset et des comparaisons avec des modèles plus volumineux ou spécialisés.

Recherche❖Paper

1 source

41

1465arXiv cs.RO 

Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA

Des chercheurs présentent ThinkProprio, une nouvelle architecture pour les modèles vision-langage-action (VLA) qui pilotent les robots. Contrairement aux approches classiques où la proprioception, c'est-à-dire l'état interne du robot comme la position de ses articulations, n'intervient qu'en toute fin de traitement comme simple signal de conditionnement passif, ThinkProprio discrétise cette information en tokens compatibles avec le vocabulaire du modèle de vision-langage. Ces tokens sont ensuite utilisés conjointement avec l'instruction textuelle pour filtrer les patches visuels avant même que le calcul du VLM ne démarre. Résultat clé des expériences menées sur les bancs d'essai CALVIN et LIBERO ainsi qu'en manipulation réelle : ne conserver qu'environ 12% des tokens visuels suffit à dépasser les performances d'une baseline utilisant l'intégralité des tokens sur le protocole CALVIN ABC vers D, tout en réduisant la latence d'inférence de bout en bout. L'apport est significatif pour le secteur car il renverse une hypothèse répandue : ajouter la proprioception comme simple signal supplémentaire ne change quasiment rien aux performances, contrairement à ce qu'on pourrait attendre. La valeur n'apparaît que lorsque l'état du robot sert de requête active, en sélectionnant en amont quelles informations visuelles méritent d'être traitées. Pour les intégrateurs et équipes robotique confrontées au goulot d'étranglement de la latence d'inférence lors du déploiement de VLA sur du matériel réel, cette piste ouvre une voie concrète pour accélérer l'exécution sans sacrifier la précision des actions. Cette contribution s'inscrit dans une tendance de fond de la recherche en VLA, où des modèles comme GR00T N2, Pi-0 ou Helix intègrent généralement la proprioception de façon tardive et peu exploitée architecturalement. Face à la pression pour rendre ces modèles exécutables en temps réel embarqué, l'efficacité de l'inférence devient un axe de recherche aussi central que la précision des tâches. Les auteurs valident leur approche par des ablations systématiques montrant la supériorité des tokens de vocabulaire VLM sur des projecteurs appris, ouvrant la voie à une adoption potentielle par les laboratoires développant des modèles fondation pour la robotique embarquée.

Recherche⚡Actu

1 source

41

1466arXiv cs.RO 

Apprentissage des affordances 3D pour l'insertion de lames en environnement encombré

VulcanVoxel, un nouveau système de perception robotique présenté dans un article publié le 2 juillet sur arXiv (2607.02549), résout un problème concret de la logistique automatisée : comment une lame robotique doit-elle balayer des articles entassés dans des bacs en tissu pour créer un espace d'insertion, lors des opérations de stowing (rangement) en entrepôt. Plutôt que de prédire une pose unique pour la lame comme le font les approches classiques, le système reconstruit un champ d'occupation 3D voxel par voxel via un autoencodeur masqué, conditionné sur la géométrie de la scène. Entraîné sur 10 000 épisodes réels de rangement en entrepôt sans aucune annotation humaine, VulcanVoxel atteint un taux de couverture top-5 de 0,89, contre 0,71 pour la meilleure référence basée sur des poses SE(3). Une version distillée du modèle permet une inférence directe RGB vers voxel en seulement 30 millisecondes, contre 1,4 seconde pour l'approche voxel-à-voxel complète. Les chercheurs ont aussi publié un jeu de données d'épisodes réels d'insertion de lame, avec observations RGB-D et trajectoires de pose, disponible sur armbench.com. L'intérêt de ce travail dépasse le cas d'usage de la lame de stowing : il pointe une limite structurelle des méthodes actuelles d'apprentissage d'affordances, y compris les objectifs génératifs récents comme le flow matching. Ces méthodes, entraînées sur des données produites par une seule politique d'exécution, n'apprennent qu'une distribution unimodale et ne peuvent pas récupérer les alternatives géométriques équivalentes qui existent réellement dans une scène encombrée. En reformulant le problème dans l'espace plutôt que dans l'espace des poses, VulcanVoxel capture nativement cette multimodalité. Pour les intégrateurs et responsables d'automatisation d'entrepôt, le gain de vitesse (times 45 environ) est ce qui rend l'approche déployable en cadence de production réelle, là où le calcul voxel-à-voxel complet resterait trop lent. Le contexte de cette recherche est celui des systèmes de stowing en production qui génèrent, selon les auteurs, des millions d'épisodes de manipulation, un volume caractéristique des opérations d'automatisation logistique à grande échelle, comme celles qu'on associe généralement au jeu de données ArmBench. L'article positionne explicitement son approche contre les méthodes de pose SE(3) et les modèles génératifs unimodaux dominants dans le secteur, et la publication du jeu de données d'insertion de lame ouvre la voie à des comparaisons futures sur ce type de tâche de manipulation par affordances de volume libre, un sous-problème encore peu étudié comparé à la préhension classique.

Recherche❖Paper

1 source

41

1467arXiv cs.RO 

De l'arrivée en zone à l'ancrage au niveau de l'instance en navigation vision-langage

Une équipe de recherche vient de publier sur arXiv un article identifiant une faille méthodologique dans l'évaluation des agents de navigation vision-langage (VLN), ces systèmes qui suivent des instructions en langage naturel pour se déplacer et localiser des objets dans un environnement. Les protocoles actuels valident une navigation comme réussie dès que l'agent s'arrête dans un rayon de 3 mètres de la cible, sans vérifier son orientation finale ni si l'objet est réellement visible depuis sa position d'arrêt. Les auteurs baptisent ce problème le "Last-3-Meter Grounding Gap" et introduisent trois métriques inédites pour le quantifier : précision de proximité, visibilité de la cible et qualité du cadrage final. Pour y remédier, ils proposent REALM (Region-to-Entity Alignment for Last-3-Meter Navigation), un module de raffinement plug-and-play compatible avec n'importe quelle architecture existante, qui sépare la navigation longue distance de l'approche fine du dernier tronçon et intègre une stratégie d'arrêt sensible à la visibilité pour éviter les arrêts prématurés. Un nouveau jeu de données, REVERIE-AIM, apporte 180 000 exemples d'entraînement courte distance avec des objectifs définis à l'échelle de l'instance d'objet, et non plus seulement de la région. Cette distinction entre "arriver dans la bonne zone" et "voir réellement l'objet visé" touche directement la fiabilité des robots mobiles et humanoïdes appelés à manipuler des objets précis en environnement réel, où un mètre d'erreur ou un mauvais angle de vue peut rendre l'action suivante impossible. Le travail illustre un écart classique entre métriques de démonstration favorables et performance réellement exploitable en production, un point sensible pour les intégrateurs qui évaluent des piles de navigation avant déploiement industriel. Testé sur quatre architectures VLN différentes, REALM améliore systématiquement la précision de proximité et le taux de succès de l'ancrage visuel, ce qui suggère une adoption possible comme brique additionnelle plutôt que comme refonte complète des systèmes existants, sans calendrier de déploiement commercial annoncé à ce stade.

Recherche❖Paper

1 source

41

1468arXiv cs.RO 

RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarné

La robotique humanoïde et manipulatrice s'appuie de plus en plus sur une architecture a deux niveaux: un "System 1" qui gère le contrôle moteur bas niveau et un "System 2", le cerveau incarne, charge du raisonnement et de la prise de décision. Un article mis a jour sur arXiv présente RoboBench, un benchmark conçu pour évaluer spécifiquement ce cerveau incarne lorsqu'il est implémenté par un modèle multimodal de grande taille (MLLM). Le benchmark couvre cinq dimensions: compréhension des instructions, raisonnement perceptif, planification généralisée, prédiction d'affordances et analyse d'échecs, reparties en 14 capacités, 25 taches et 6 092 paires question réponse. Les données combinent des jeux de données robotiques réels a grande échelle et des collectes internes couvrant plusieurs types de robots, des objets aux attributs varies, des scenes multi vues et des taches de navigation dépendantes de la mémoire. Dix huit MLLMs de pointe ont été testes sur ce benchmark. L'enjeu dépasse la simple mesure de performance: la plupart des benchmarks existants évaluent surtout le succès final d'exécution, sans isoler la qualité du raisonnement de haut niveau qui précède l'action, ni la réalité des taches proposées. RoboBench cherche a combler cet écart en testant directement si un modèle comprend une consigne implicite, raisonne correctement sur l'espace et le temps, ou diagnostique un échec, indépendamment de la couche de contrôle moteur. Les résultats montrent des limites persistantes sur la compréhension d'instructions implicites, le raisonnement spatio-temporel, la planification inter scenarios, la compréhension fine des affordances et le diagnostic d'échecs, ce qui questionne la maturité réelle des MLLMs actuels comme cerveaux de robots, au delà des démonstrations souvent mises en avant par les laboratoires. Pour l'évaluation de la planification, les auteurs introduisent un cadre inédit dit "MLLM comme simulateur du monde", qui vérifie si un plan prédit peut effectivement produire les changements d'état critiques d'un objet sous contraintes physiques et visuelles, plutôt que de se contenter d'un simple appariement symbolique avec un plan de référence. Cette approche vise une évaluation plus fidèle du raisonnement a long horizon. Les chercheurs analysent également le lien entre ces capacités cognitives incarnées et la performance réelle en contrôle robotique, positionnant RoboBench comme un outil de référence pour orienter la prochaine génération de MLLMs vers une intelligence robotique plus robuste.

Recherche❖Paper

1 source

41

1469arXiv cs.RO 

GelNeuro : un système tactile neuromorphique intégrant détection et calcul pour la reconnaissance de textures

Une équipe de recherche a présenté GelNeuro, un système tactile neuromorphique entièrement intégré combinant un capteur optique GelSight Mini avec la puce neuromorphique Speck2f. Contrairement aux systèmes existants qui dépendent d'un ordinateur hôte pour lire, prétraiter ou relayer les données avant inférence, GelNeuro traite tout directement sur puce : les mouvements des marqueurs induits par le contact sont capturés sous forme d'événements par un capteur de vision dynamique (DVS), puis acheminés via le réseau embarqué vers un classificateur à réseau de neurones convolutif à impulsions (SCNN). Pour limiter la perte de précision lors du déploiement en 8 bits, les chercheurs ont introduit une stratégie de bridage des poids adaptée au matériel (hardware-aware weight clamping). Testé en conditions réelles sur puce physique pour une tâche de reconnaissance de 15 classes de textures naturelles, le système atteint 96,3% de précision avec une fenêtre d'inférence de seulement 80 millisecondes, tout en ne consommant que 19,6 mW de puissance active au niveau carte. Cette consommation représente plus de trois ordres de grandeur de moins que les architectures CPU/GPU classiques évaluées sur le même benchmark, ce qui change la donne pour l'intégration de perception tactile fine sur des plateformes embarquées à budget énergétique serré, comme les mains robotiques, les préhenseurs ou les capteurs distribués sur des robots mobiles. Le résultat appuie une thèse plus large du secteur neuromorphique : que le traitement événementiel de bout en bout, du capteur à la puce, peut remplacer les pipelines classiques gourmands en calcul sans sacrifier la précision, du moins sur des tâches de classification tactile bien définies. GelNeuro montre aussi une bonne généralisation face à des profondeurs de contact non vues à l'entraînement, un point clé pour une utilisation en conditions réelles variables. Ce travail s'inscrit dans la lignée des efforts récents pour rapprocher capteur et calcul, un axe déjà exploré par les puces Speck de SynSense et les capteurs optiques tactiles GelSight, tous deux largement utilisés dans la recherche en robotique manipulatrice. La prochaine étape naturelle serait une validation sur des tâches de manipulation en boucle fermée plutôt que sur la seule classification de textures, ainsi qu'une intégration physique complète dans une main ou un doigt robotique.

Recherche❖Paper

1 source

41

1470arXiv cs.RO 

GaP : un système multi-agents auto-apprenant à graphe-politique pour l'automatisation variationnelle

Une équipe de recherche publie sur arXiv (référence 2607.05369, version 1) un système baptisé GaP, pour Graph-as-Policy, destiné à un type de tâches qu'elle définit sous le terme d'"automatisation variationnelle" (VA) : des opérations industrielles où la géométrie et la position des objets varient davantage que dans l'automatisation fixe classique, mais sans atteindre la complexité totale d'un environnement ouvert. Concrètement, GaP est un harnais multi-agents qui génère automatiquement des graphes de calcul dirigés combinant des nœuds de perception, de planification et de contrôle, puisés dans une bibliothèque modulable de compétences robotiques ouverte baptisée MORSL. Le système crée ensuite un environnement de simulation interne pour rejouer en parallèle différentes variantes de graphes sur une même tâche, affinant progressivement leur structure et leurs paramètres afin d'améliorer le taux de réussite et le débit. Les auteurs annoncent des résultats sur huit nouveaux bancs d'essai qu'ils ont eux-mêmes conçus, quatre en simulation et quatre en conditions réelles, avec des performances qui surpasseraient nettement les méthodes de référence, sans toutefois préciser lesquelles ni détailler l'écart chiffré, un point qui mérite prudence tant que les données ne sont pas vérifiées indépendamment. L'intérêt de l'approche tient à sa tentative de réconcilier deux écoles longtemps opposées dans la robotique industrielle : la programmation interprétable héritée du Task and Motion Planning et de ROS, et l'adaptabilité des politiques apprises sans modèle, du type de celles qui alimentent les modèles VLA récents. Pour les intégrateurs et décideurs industriels, la promesse est celle d'une fiabilité d'exécution proche de l'automatisation fixe, tout en gérant les variations de pose et de géométrie que les lignes rigides ne tolèrent pas, sans dépendre entièrement d'une politique de bout en bout dont le comportement reste difficile à auditer. Le travail s'inscrit dans la continuité des recherches sur le TAMP et l'écosystème ROS, en réponse implicite aux limites de fiabilité observées chez les politiques génératives pures. Code, données et bancs d'essai sont publiés en accès libre sur graph-robots.github.io/gap, ce qui ouvre la voie à des comparaisons indépendantes avec d'autres architectures avant toute adoption industrielle.

Recherche❖Paper

1 source

40

1471arXiv cs.RO 

StageCraft : atténuation, sensible à l'exécution, des échecs de distraction et d'obstruction dans les modèles VLA

Des chercheurs proposent StageCraft, une méthode qui améliore les performances des modèles VLA (Vision-Language-Action) sans réentraînement, en s'appuyant sur le raisonnement en contexte de grands modèles vision-langage (VLM) préentraînés sur des données à l'échelle d'internet. Le système prend en entrée des vidéos d'exécution de la politique robotique ainsi que des étiquettes de succès ou d'échec, puis identifie quels objets dans l'état initial de l'environnement doivent être déplacés ou retirés pour éviter les échecs anticipés liés à des distracteurs ou des obstructions physiques. Conçu comme un module plug-and-play, StageCraft ne nécessite que quelques essais de la politique pour fonctionner et n'impose aucune contrainte supplémentaire sur le modèle VLA sous-jacent. Les auteurs rapportent un gain de performance absolu de 40% sur trois domaines de tâches réelles impliquant des distracteurs et obstructions variés, ainsi que des résultats complémentaires en simulation sur RLBench. Cette approche s'attaque à un point de friction concret pour le déploiement industriel des VLA: ces modèles généralisent bien à de nouvelles tâches, objets et scènes grâce au préentraînement massif, mais restent fragiles dès que l'environnement réel introduit des éléments perturbateurs non anticipés, l'écart classique entre démonstration contrôlée et conditions réelles de production. Les méthodes existantes de finetuning peinent encore face à des distracteurs inédits. En proposant une correction au niveau de l'état initial de la scène plutôt qu'au niveau des poids du modèle, StageCraft ouvre une voie moins coûteuse pour fiabiliser des politiques déjà déployées, un argument qui intéressera directement les intégrateurs cherchant à éviter des cycles de réentraînement à chaque changement d'environnement de production. Le travail s'inscrit dans la lignée des efforts pour combler l'écart entre capacités démontrées en laboratoire et robustesse en conditions réelles des modèles VLA, une préoccupation centrale du secteur alors que ces architectures se multiplient. Les auteurs montrent aussi que l'intervention de StageCraft s'adapte à la force de la politique sous-jacente et s'améliore avec davantage d'exemples en contexte, suggérant une piste d'amélioration continue sans réentraînement lourd. Des vidéos de démonstration sont disponibles sur le site dédié au projet.

Recherche⚡Actu

1 source

40

1472arXiv cs.RO 

DSWAM : un modèle fondation à double système pour la manipulation robotique fine

Des chercheurs publient sur arXiv (référence 2607.04927v1) DSWAM, un nouveau modèle "Dual-System World Action Model" destiné à la manipulation robotique fine. Le système combine deux composants : un exécuteur System 1 basé sur un World Action Model (WAM), qui reste le chemin de contrôle par défaut, et un planificateur System 2 de type vision-langage, activé seulement quand une tâche nécessite une décomposition en sous-tâches. Ce planificateur prédit des sous-tâches exécutables à partir d'un court historique visuel et d'une consigne globale, tandis que l'exécuteur WAM génère les actions en tenant compte du contexte du monde observé. Contrairement aux WAM classiques, DSWAM ne génère pas de vidéo future à l'inférence : il prédit directement des séquences d'actions ("action chunks"), tout en étant entraîné avec une co-supervision vidéo. Pour un déploiement temps réel sur robot physique, les auteurs ajoutent une accélération TensorRT, une exécution asynchrone et un mécanisme de "real-time chunking" (RTC) afin que les requêtes du modèle ne bloquent pas le contrôle moteur. Le système est évalué sur le protocole DeMaVLA, dédié à la manipulation d'objets déformables, avec plateforme robotique, données de pré-entraînement et post-entraînement identiques à celles utilisées pour comparer aux politiques VLA. L'intérêt principal de ce travail est méthodologique autant que technique : jusqu'ici, la comparaison entre approches VLA (Vision-Language-Action) et WAM souffrait d'un manque de protocole équitable, chaque camp utilisant ses propres données, robots et critères d'évaluation. En imposant un cadre contrôlé (DeMaVLA), DSWAM cherche à trancher un débat central du secteur robotique : les modèles WAM, réputés plus ancrés physiquement mais moins doués pour planifier des instructions complexes en langage naturel, peuvent-ils combler cet écart via un module de planification optionnel, sans sacrifier la vitesse d'exécution nécessaire au contrôle temps réel ? Ce travail s'inscrit dans la lignée des VLA génériques comme Pi-0 ou GR00T N2, qui ont démontré la viabilité de politiques apprises à grande échelle mais peinent parfois sur des tâches multi-étapes complexes typiques des environnements domestiques. En positionnant explicitement le System 2 comme optionnel plutôt que systématique, DSWAM propose une architecture hybride que d'autres laboratoires pourraient reprendre pour arbitrer entre réactivité et capacité de planification, un compromis clé pour la manipulation fine à l'approche de déploiements domestiques réels.

Recherche⚡Actu

1 source

40

1473arXiv cs.RO 

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau. Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production. L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

Recherche⚡Actu

1 source

40

1474arXiv cs.RO 

Au-delà des heuristiques : un pipeline Real2Sim standardisé pour l'interaction physique homme-robot en simulation avec humain dans la boucle

Une équipe de recherche présente un pipeline Real2Sim destiné à améliorer la fidélité des simulations Human-in-the-Loop (HITL) utilisées pour tester des robots d'assistance physique. Le système cible l'interface pelvis-sangle d'un assistant mobile à l'équilibre porté au-dessus du sol, modélisée comme un mécanisme viscoélastique à 6 degrés de liberté (DoF). Douze paramètres directionnels de raideur et d'amortissement sont identifiés pour chaque sujet grâce à l'algorithme CMA-ES (Covariance Matrix Adaptation Evolution Strategy), en utilisant le retour subjectif "sûr et confortable" de l'utilisateur comme point de fonctionnement reproductible, ce qui permet de lever l'ambiguïté liée au serrage du harnais selon la morphologie de chaque personne. Sur une cohorte de cinq sujets, une analyse par corrélation intraclasse distingue les paramètres transférables d'un individu à l'autre de ceux propres à chaque sujet, produisant un jeu de paramètres a priori. Appliqué à un nouveau sujet non testé auparavant, ce prior ne nécessite plus de recalibrer que 5 des 12 paramètres, contre les 12 habituellement requis. L'enjeu dépasse la seule prouesse méthodologique: la simulation HITL est présentée comme une alternative nécessaire aux essais physiques, coûteux et risqués, pour valider des robots destinés à une population vieillissante. Or la fidélité de ces simulations dépendait jusqu'ici de paramètres d'impédance réglés à la main plutôt qu'identifiés à partir de données réelles. Les auteurs montrent que des réglages trop souples ou trop rigides échouent systématiquement à reproduire le comportement réel, ce qui confirme qu'aucune procédure heuristique ne permet de trouver de façon fiable le bon point de fonctionnement. Le modèle calibré reproduit l'enveloppe d'interaction réelle et génère des adaptations de démarche biomécaniquement plausibles chez le jumeau numérique humain (Human Digital Twin, HDT). Ce travail s'inscrit dans la recherche sur les jumeaux numériques humains comme outils prédictifs pour la vérification préclinique de contrôleurs personnalisés, avant tout déploiement sur un patient réel. En réduisant le nombre de paramètres à recalibrer pour un nouvel utilisateur, l'approche ouvre la voie à une adaptation plus rapide des simulateurs à chaque morphologie, une étape jugée nécessaire avant d'envisager des essais cliniques plus larges sur des dispositifs d'assistance à l'équilibre.

Recherche❖Paper

1 source

40

1475arXiv cs.RO 

XS-VLA : associe distillation spatiale à gros grain et appariement de flux latent pour un contrôle robotique léger

Des chercheurs publient sur arXiv (juillet 2026) XS-VLA, un modèle Vision-Language-Action en deux étapes conçu pour le contrôle robotique embarque a faible cout de calcul. La première étape distille les connaissances spatiales d'un grand modèle, Qwen3-VL-4B, vers un squelette léger SmolVLM2 de seulement 0,25 milliard de paramètres, via un fine-tuning sur des descriptions spatiales grossières. La seconde étape conditionne ce squelette enrichi avec une politique de Latent Flow Matching, qui combine un autoencodeur variationnel conditionnel (CVAE) et une dynamique de flow matching pour modéliser des distributions d'actions multimodales, plutôt qu'un contrôleur déterministe classique. Sur le benchmark de simulation LIBERO, XS-VLA atteint l'état de l'art parmi les modèles de moins de 0,5 milliard de paramètres, avec un gain de taux de réussite moyen allant jusqu'a 7,2 points par rapport a la base SmolVLA 0,25B, dont 23 points sur la tache LIBERO-Long, et dépasse même la version SmolVLA a 2,2 milliards de paramètres, près de neuf fois plus grosse. Les auteurs revendiquent aussi une accélération de 3,2 fois du temps d'exécution de mission face a la précédente politique de flow matching légère. Le résultat cible un problème concret pour l'industrie robotique: les grands modèles vision-langage comprennent bien l'espace mais sont trop lourds pour du contrôle temps réel embarque, tandis que les modèles légers souffrent généralement de "cécité spatiale". Si les chiffres se confirment au-delà de la simulation, cela suggère qu'un entrainement cible, distillation spatiale puis génération d'actions par flow matching, peut compenser un manque de paramètres, ce qui intéressé directement les intégrateurs cherchant a déployer des VLA sur du materiel edge limite plutôt que sur des clusters GPU. Ce travail s'inscrit dans la vague de modèles VLA ouverts lancée par des politiques comme Pi-0, GR00T N2 ou Helix, et prolonge spécifiquement la lignée SmolVLA d'Hugging Face en visant l'efficacité plutôt que la taille. Il reste toutefois a un stade de recherche: les résultats sont mesures sur LIBERO, un benchmark simule standard mais éloigné des conditions réelles, et aucune validation sur robot physique n'est mentionnée a ce stade.

IA physique⚡Actu

1 source

39

1476arXiv cs.RO 

DREAMSTEER : les modèles du monde latents peuvent orienter les politiques VLA au déploiement sans aucun ajustement

DREAMSTEER, présenté dans un article arXiv déposé début juillet 2026 (arXiv:2607.02865v1), est un nouveau framework destiné à piloter des politiques VLA (vision-language-action) pré-entraînées directement au moment du déploiement, sans aucun réentraînement ni modification des paramètres du modèle. Concrètement, le système échantillonne des séquences d'actions candidates générées à la fois par la politique VLA de base et par des primitives de mouvement prédéfinies, puis utilise un modèle du monde latent conditionné par l'action pour "imaginer" les conséquences de chaque trajectoire avant de les classer avec un modèle de valeur conditionné par le langage. Sur quatre bancs d'essai de manipulation en conditions réelles impliquant des objets jamais vus à l'entraînement, DREAMSTEER fait grimper le taux de réussite des tâches de 23,75% à 66,25%, et la précision de suivi des instructions de 38,75% à 56,25% par rapport à la politique VLA de base seule. Cette approche s'attaque à un problème central et bien documenté du déploiement robotique: les politiques VLA pré-entraînées généralisent bien en théorie mais s'effondrent souvent face au moindre décalage de distribution entre l'environnement d'entraînement et celui du terrain, un écart classique entre démonstration et réalité opérationnelle. La solution habituelle, le réentraînement sur des données spécifiques au site cible, suppose de disposer de démonstrations déjà collectées dans cet environnement, ce qui est coûteux et souvent impossible en déploiement réel. En évitant tout finetuning, DREAMSTEER ouvre la voie à des robots capables de s'adapter à de nouveaux objets ou environnements sans cycle de collecte de données ni réentraînement, un enjeu direct pour les intégrateurs industriels qui cherchent à réduire le temps et le coût de mise en service de flottes de manipulateurs. Le travail s'inscrit dans la lignée des politiques VLA génériques type OpenVLA, RT-2 ou Pi-0, dont la promesse de généralisation zero-shot peine souvent à tenir en pratique. En couplant modèle du monde et modèle de valeur pour simuler et évaluer des trajectoires avant exécution, DREAMSTEER relève d'une famille émergente de méthodes de contrôle par planification en espace latent, distincte du réentraînement pur. Les auteurs limitent pour l'instant leur validation à quatre bancs d'essai de manipulation; la généralisation à des tâches plus complexes, à la locomotion ou à des plateformes humanoïdes reste une étape à venir pour confirmer la portée de l'approche au-delà du laboratoire.

Recherche⚡Actu

1 source

39

1477arXiv cs.RO 

Transition de phase de nuée et réponses aux menaces dans des essaims de drones autonomes bio-inspirés

Ce document technique arXiv présente un algorithme de vol en essaim tridimensionnel inspiré du comportement animal, où chaque drone n'interagit qu'avec un nombre minimal de voisins influents, en s'appuyant uniquement sur des règles locales d'alignement et d'attraction, sans coordination centralisée ni partage global de position. En faisant varier systématiquement ces deux paramètres de gain, les chercheurs ont établi un diagramme de phase révélant des transitions nettes entre comportement de type essaim dispersé et banc compact façon poisson, ainsi qu'une zone critique où la susceptibilité du système, les fluctuations de polarisation et la capacité de réorganisation atteignent leur maximum. Des essais en extérieur avec un essaim réel de dix drones, couplés à des simulations reposant sur un modèle calibré de dynamique de vol, montrent que faire fonctionner l'essaim près de cette transition critique améliore sa réactivité aux perturbations externes. Confronté à un intrus, l'essaim exécute des virages collectifs rapides, des expansions transitoires, puis retrouve un alignement élevé en quelques secondes seulement. Ce résultat est significatif car il démontre que des règles d'interaction purement locales et minimales suffisent à générer plusieurs phases collectives distinctes, sans nécessiter d'architecture de contrôle centralisée coûteuse en calcul ou en communication, un frein habituel au passage à l'échelle des essaims de drones. La modulation de deux simples gains offre ainsi un mécanisme efficace pour ajuster stabilité, flexibilité et résilience selon le contexte opérationnel. Pour les intégrateurs de systèmes multi-drones, cela ouvre une voie vers des essaims capables de basculer dynamiquement entre un mode compact et économe en énergie et un mode dispersé et réactif, une propriété recherchée pour la surveillance, l'inspection d'infrastructures ou les applications de sécurité type détection d'intrusion, sans complexifier l'architecture logicielle embarquée. Cette approche s'inscrit dans une longue tradition de modélisation du mouvement collectif animal, des premiers modèles de boids aux travaux sur les bancs de poissons et les nuées d'étourneaux, transposée ici à la robotique aérienne réelle plutôt qu'à la seule simulation, ce qui reste rare dans ce champ de recherche. La validation en extérieur avec dix drones physiques, et non uniquement en environnement contrôlé, constitue une contribution notable face à la littérature dominée par les simulations numériques. Les prochaines étapes attendues concernent le passage à l'échelle vers des essaims plus larges et l'évaluation de la robustesse de ces transitions de phase face à des perturbations environnementales plus variées, notamment pour des usages en défense anti-drones ou en recherche et sauvetage.

Recherche❖Paper

1 source

39

1478arXiv cs.RO 

MOSAIC : planification de manipulation centrée sur les compétences par simulation physique

Le fossé entre le nombre potentiellement infini de compétences robotiques disponibles et l'incapacité des robots à les enchaîner de façon fiable sur des tâches longues reste un problème central en robotique. Une équipe de chercheurs présente MOSAIC, une méthode de planification centrée sur les compétences qui s'appuie sur la simulation physique pour estimer, avant exécution, la probabilité de succès de chaque compétence dans un contexte donné. Plutôt que d'explorer pas à pas un espace de séquences quasi infini, comme le font les méthodes incrémentales classiques, ou de raisonner sur des représentations symboliques simplifiées mais fragiles et coûteuses à construire à la main, MOSAIC combine deux familles complémentaires de compétences: les Générateurs, qui identifient des « îlots de compétence », c'est-à-dire des zones où une action donnée réussit de façon démontrable, et les Connecteurs, qui relient ces trajectoires entre elles en résolvant des problèmes aux limites. L'équipe a testé l'approche sur des tâches de manipulation longues et complexes, en simulation comme sur un robot réel, en mobilisant un ensemble hétérogène d'outils: modèles de diffusion génératifs, algorithmes classiques de planification de mouvement et modèles spécialisés en manipulation. Le papier, une version révisée publiée sur arXiv, est accompagné d'un site de démonstrations (skill-mosaic.github.io). L'enjeu dépasse la seule performance algorithmique. Le planning long-horizon par composition de compétences est considéré depuis des années comme un verrou pour des robots véritablement généralistes, capables d'assembler des briques génériques pour résoudre des tâches nouvelles sans reprogrammation dédiée. En concentrant l'effort de recherche sur les régions où chaque compétence est réellement fiable, plutôt que de faire confiance à une couverture uniforme de l'espace des possibles, MOSAIC apporte une réponse concrète à la fragilité chronique des approches symboliques et à l'explosion combinatoire des méthodes purement incrémentales, un sujet sensible à l'heure où l'industrie mise massivement sur les modèles vision-langage-action pour la généralisation. Cette contribution s'inscrit dans la lignée des travaux de planification tâche-et-mouvement (TAMP), où la tension entre robustesse symbolique et flexibilité des méthodes apprises est documentée de longue date. L'essor récent des politiques de diffusion et des modèles génératifs comme briques de bas niveau change la donne: MOSAIC propose justement un cadre capable d'orchestrer ce type d'outils hétérogènes sans passer par une couche symbolique rigide. La publication d'une troisième version sur arXiv suggère un travail encore en cours de révision, avec des démonstrations concrètes disponibles pour les équipes de recherche souhaitant évaluer la méthode sur leurs propres bancs d'essai.

Recherche❖Paper

1 source

39

1479arXiv cs.RO 

PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements

Il n'y a pas de nom d'entreprise, de labo ou de deploiement commercial cité dans cet abstract (c'est un papier de recherche arXiv), donc l'article reste focalisé sur la méthode et ses résultats mesurés, sans inventer de contexte industriel absent du texte source. Des chercheurs présentent PRISM, un pipeline qui génère des jeux de données robotiques personnalisés à partir d'une seule image et d'une instruction en langage naturel, sans téléopération humaine. Le système construit des scènes dites "digital cousins" : des environnements synthétiques alignés sémantiquement et géométriquement avec l'environnement cible de l'utilisateur, mais suffisamment variés au niveau des instances (objets, agencements) pour éviter le surapprentissage. PRISM synthétise ensuite des démonstrations exécutables directement utilisables pour entraîner une politique robotique. Sur les benchmarks LIBERO et LIBERO-Plus, les politiques entraînées sur les données générées par PRISM surpassent celles entraînées sur des jeux de données de référence, et atteignent jusqu'à 100 % de taux de réussite sur trois tâches de manipulation réelles, avec une meilleure robustesse lorsque l'environnement de test diffère de celui vu à l'entraînement. L'enjeu ici est la collecte de données, principal goulot d'étranglement pour déployer des modèles vision-langage-action (VLA) au-delà des laboratoires. La téléopération produit des données bien alignées avec la tâche mais coûte cher et ne passe pas à l'échelle ; la simulation pure passe à l'échelle mais peine à ressembler à l'environnement réel de l'utilisateur final. PRISM tente de concilier les deux, ce qui intéresse directement les intégrateurs et décideurs B2B confrontés au coût de personnalisation d'un robot pour un site spécifique (usine, entrepôt, domicile) : si la génération de données synthétiques personnalisées tient ses promesses hors laboratoire, elle réduit un frein économique majeur à l'adoption des politiques génératives en robotique. Ce travail s'inscrit dans la vague plus large des modèles fondation VLA (dans la lignée de Pi-0, GR00T N2 ou Helix) qui cherchent à généraliser au-delà des tâches et environnements d'entraînement, un problème encore mal résolu malgré les démonstrations impressionnantes de ces modèles. Il fait aussi écho à la tendance du "sim-to-real" et à l'usage de scènes synthétiques proches mais non identiques à la réalité pour diversifier les données d'entraînement sans reproduire du réel coûteux. Les auteurs positionnent PRISM face à deux approches concurrentes existantes, la téléopération manuelle et la simulation générique, en montrant un gain de performance sur des benchmarks standards ainsi que sur des tâches de manipulation réelles. L'abstract ne précise pas de calendrier de déploiement ou de partenariat industriel : à ce stade, il s'agit d'un résultat de recherche à valider sur un périmètre de tâches plus large.

Recherche⚡Actu

1 source

39

1480arXiv cs.RO 

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

Recherche⚡Actu

1 source

39

1481arXiv cs.RO 

IndustryNav : explorer le raisonnement spatial des agents incarnés dans la navigation industrielle dynamique

Des chercheurs ont publié IndustryNav, premier benchmark de navigation industrielle dynamique conçu pour évaluer le raisonnement spatial des agents visuels et langagiers (VLLM) en conditions actives. Le dispositif s'appuie sur douze scénarios d'entrepôt haute fidélité créés sous Unity, intégrant objets mobiles et déplacements humains simulés. Les auteurs proposent un pipeline de navigation PointGoal en zero-shot, combinant vision égocentrique et odométrie globale pour tester la planification à la fois locale et globale. Deux métriques originales, le taux de collision et le taux d'alerte, mesurent spécifiquement les comportements orientés sécurité. Quatorze modèles de pointe ont été testés, dont GPT-5.2, Claude-4.6 et Gemini-3, sur cet ensemble de tâches de navigation dynamique. Les résultats montrent que les modèles propriétaires conservent un avantage constant sur les modèles ouverts, mais qu'aucun agent, quel qu'il soit, ne maîtrise réellement l'évitement d'obstacles, la planification de trajectoire robuste ou l'exploration active. C'est un signal important pour les intégrateurs et décideurs qui envisagent de déployer des agents pilotés par VLLM dans des entrepôts ou des lignes de production: la performance impressionnante de ces modèles sur des benchmarks domestiques statiques ne se transfère pas automatiquement à des environnements industriels dynamiques et peuplés d'humains. Le papier vient ainsi nuancer le discours ambiant sur la maturité des agents incarnés génériques, en montrant que la perception passive ne suffit pas là où la sécurité active est requise. Cette étude comble un vide identifié dans la littérature existante: la quasi-totalité des benchmarks d'agents incarnés se limite à des environnements domestiques passifs et statiques, et évalue des capacités isolées plutôt qu'une performance holistique. IndustryNav se positionne comme le premier effort ciblant spécifiquement le domaine industriel avec complexité dynamique. Publié sur arXiv (version révisée du texte initial), le travail appelle la recherche en robotique incarnée à dépasser la simple perception pour développer des comportements stables, exploratoires et sûrs en environnement réel mouvant, une orientation qui concerne directement les futurs déploiements d'AMR et de robots mobiles en logistique.

Recherche❖Paper

1 source

39

1482arXiv cs.RO 

TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA

Des chercheurs ont présente TACO (TActile world model as a self-COrrector), un cadre de post-entrainement pour les modèles Vision-Language-Action (VLA) dédié aux taches de manipulation robotique a fort contact physique, décrit dans un article publie sur arXiv (2607.02840v1). Le système repose sur une boucle en trois étapes baptisée Recognize-Imagine-Label : un modèle unifie de progression et d'action détecte les états proches de l'échec a partir d'estimations de progression, un modèle génératif visuo-tactile imagine des segments de correction locale, puis ce même modèle de progression-action étiquette ces segments avec des actions correctives exécutables. Applique a des taches réelles de manipulation a fort contact, TACO améliore le taux de réussite de 44 points de pourcentage par rapport a la politique de base, et de 32 points par rapport a une version dépourvue de son mécanisme d'adaptation tactile a isolation de connaissances, qui protégé les priors visuo-linguistiques pré-entraines pendant l'apprentissage. Ce travail cible un angle mort connu des modèles VLA actuels : la vision seule peine a détecter les micro-perturbations de contact (glissement, mauvais alignement, prise partielle) qui, dans une tache d'assemblage ou de préhension fine, peuvent transformer une erreur locale en échec irrécupérable. Jusqu'ici, corriger ce type de défaillance nécessitait soit une supervision humaine couteuse a grande échelle, soit des modèles du monde uniquement visuels susceptibles de générer des trajectoires imaginées plausibles a l'oeil mais physiquement incohérentes au niveau du contact. En montrant qu'un modèle du monde tactile peut produire des corrections exploitables sans superviseur humain et sans dégrader les capacités de base du modèle, TACO apporte un élément de réponse concret a une limite régulièrement pointée par les intégrateurs industriels : des démonstrations VLA impressionnantes en environnement contrôle qui ne se traduisent pas toujours en fiabilité sur des taches de préhension fine en usine ou en logistique. L'approche s'inscrit dans la lignée des travaux récents sur les modèles du monde pour améliorer les politiques robotiques par simulation de rollouts, dans la même veine que ce qui alimente des familles de modèles VLA comme Pi-0, GR00T N2 ou Helix, mais en ajoutant une modalité tactile la ou ces travaux se limitaient jusque-la a la vision. L'article ne précise ni affiliation institutionnelle ni déploiement industriel : il s'agit a ce stade d'une contribution de recherche publiée en preprint, sans intégration annoncée chez un fabricant de bras robotique ou d'humanoïde. La suite logique, si ces résultats se confirment, serait une adoption par des laboratoires travaillant sur la manipulation fine (objets déformables, assemblage électronique, tri logistique), la ou le cout de supervision humaine pour corriger les échecs de contact reste aujourd'hui le principal frein au déploiement a grande échelle des politiques VLA.

Recherche⚡Actu

1 source

39

1483arXiv cs.RO 

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif. Les auteurs testent CoRE-VLA sur les benchmarks LIBERO et RoboCasa GR1 Tabletop, ainsi que sur des manipulations réelles à deux bras, et rapportent des performances supérieures à un modèle dense équivalent et à un VLA pré-entraîné de référence, y compris en généralisation zero-shot sur des scénarios non vus à l'entraînement. L'enjeu pratique est réel pour les intégrateurs: la plupart des VLA actuels couplent rigidement la génération d'action à un jeu de capteurs fixe, ce qui les rend fragiles dès qu'un capteur auxiliaire tombe en panne ou qu'un embodiment robotique en est simplement dépourvu par conception. CoRE-VLA promet une dégradation gracieuse sans réentraînement complet, un point clé pour des flottes hétérogènes déployées en usine ou en entrepôt où tous les robots n'ont pas la même instrumentation. C'est un signal de plus que la recherche VLA s'oriente vers la robustesse opérationnelle plutôt que la seule performance en benchmark contrôlé, un décalage régulièrement pointé du doigt entre démonstrations académiques et réalité industrielle. Ce travail s'inscrit dans la lignée des architectures VLA généralistes type Pi-0 ou GR00T N2, mais adresse un angle mort spécifique: l'hétérogénéité capteurs plutôt que la seule diversité des tâches. Il s'agit ici d'une contribution de recherche publiée sur arXiv, sans partenaire industriel ni déploiement annoncé; les prochaines étapes attendues seraient une validation sur davantage d'embodiments réels et une comparaison directe avec les VLA propriétaires déployés en production.

Recherche⚡Actu

1 source

39

1484arXiv cs.RO 

EVA-Client : framework unifié de collecte, d'inférence et de déploiement pour politiques incarnées sur robots réels

Un nouveau framework open-source baptisé EVA-Client vient formaliser une brique jusqu'ici bricolée maison par chaque laboratoire de robotique manipulatrice : le pont entre un serveur d'inférence de politique et le robot physique. Publié sur arXiv début juillet 2026, l'outil unifie en un seul code base les trois étapes critiques de la boucle d'itération sur robot réel, déploiement, collecte de données et évaluation. Son architecture découple explicitement trois couches orthogonales, les backends robots, les stratégies d'inférence et les middlewares de transport, de sorte qu'ajouter un nouveau bras ou un nouvel algorithme ne touche qu'une seule couche du système. EVA-Client propose aussi trois modes d'exécution inspectables, Debug, Collect et Eval, allant de la simulation en boucle ouverte au contrôle temps réel continu. Surtout, chaque run d'évaluation enregistre automatiquement des rollouts complets au format prêt pour l'entraînement, avec logs exhaustifs et un visualiseur de comparaison côte à côte, transformant chaque test en donnée réutilisable plutôt qu'en simple observation perdue. Le framework consolide enfin les principales stratégies d'inférence temps réel du secteur, exécution synchrone et asynchrone, lissage temporel façon ACT, Real-Time Chunking, et une base asynchrone naïve servant de référence, derrière une seule interface de configuration. Pour les équipes qui entraînent des politiques d'imitation ou des modèles VLA (vision-language-action), ce type d'infrastructure comble un angle mort réel : la littérature regorge de nouvelles architectures de politiques, mais la mise en production sur robot réel reste souvent un patchwork non reproductible, ce qui complique les comparaisons équitables entre méthodes et ralentit le passage du prototype au déploiement en série. En traitant chaque évaluation comme une collecte de données, EVA-Client attaque directement le problème du volume de données réelles, goulot d'étranglement classique face aux modèles génératifs entraînés sur des corpus web massifs. Ce travail s'inscrit dans une vague plus large d'outillage d'infrastructure pour l'IA incarnée, à mesure que des modèles fondation comme Pi-0, GR00T N2 ou Helix gagnent en maturité et que le goulot se déplace de l'algorithme vers l'ingénierie de déploiement. Contrairement aux piles propriétaires fermées de certains acteurs commerciaux, une approche ouverte et modulaire pourrait faciliter les comparaisons inter-laboratoires et accélérer l'adoption par des équipes académiques ou industrielles ne disposant pas de stack maison.

Infrastructure❧Opinion

1 source

39

1485arXiv cs.RO 

Apprentissage robotique dextérique à grande échelle via des interactions homme-robot à distance en réalité augmentée

Des chercheurs publient une nouvelle méthode d'apprentissage pour robots manipulateurs dexterity, combinant téléopération à distance en réalité augmentée (AR) et apprentissage par renforcement. Le système fonctionne en deux phases: d'abord un entraînement par clonage comportemental (behavior cloning) à partir de démonstrations collectées via une interface AR permettant à un opérateur humain de piloter à distance un bras-main robotique; ensuite un raffinement par apprentissage par renforcement enrichi de contrastive learning, avec une tête de projection dédiée pour accélérer la convergence. Un système de récompense événementiel a été ajouté pour renforcer la sécurité des interactions. Les auteurs ont validé leur approche à la fois en simulation physique sous PyBullet et lors d'expériences réelles sur robot, en comparant les résultats à plusieurs méthodes de référence. Les démonstrations vidéo sont disponibles sur le site des auteurs (cyberyyc.github.io). Cette publication s'inscrit dans un axe de recherche central pour la robotique dexterity: comment collecter efficacement des données de démonstration de qualité, le principal goulot d'étranglement des politiques de manipulation apprises. La téléopération AR répond directement à ce problème en rendant la collecte de données à distance plus rapide et moins coûteuse que les setups de téléprésence classiques. Plus significatif encore, les auteurs affirment que leur combinaison BC puis RL contrastif règle un problème connu et documenté du RL appliqué à la manipulation robotique: l'effondrement de politique (policy collapse), où l'agent converge vers un comportement dégénéré. Si les gains de vitesse d'entraînement et de taux de réussite se confirment au-delà du cadre académique, la méthode pourrait intéresser les équipes travaillant sur des politiques de manipulation généralistes, dans la lignée des approches VLA comme Pi-0 ou GR00T N2. L'article s'inscrit dans la vague de travaux combinant téléopération immersive et apprentissage par imitation puis renforcement, une direction explorée par plusieurs laboratoires académiques et industriels depuis l'essor des politiques vision-langage-action. Contrairement aux démonstrations commerciales de Figure ou Optimus, ce travail reste à un stade de recherche, validé en simulation et sur banc d'essai, sans annonce de déploiement industriel ni de partenaire commercial.

Recherche❖Paper

1 source

39

1486arXiv cs.RO 

Au-delà de la sémantique liée aux points : champs sémantiques centrés sur l'objet pour une manipulation généralisable

Un nouvel article publié sur arXiv (référence 2607.03163v1) propose une méthode pour améliorer la manipulation robotique generalisable en dotant les nuages de points 3D d'une compréhension sémantique stable des parties fonctionnelles d'un objet, poignées, têtes d'outils, ouvertures, zones de préhension. Les nuages de points bruts capturent la géométrie mais pas la sémantique, et l'échantillonnage varie selon le point de vue, le capteur ou l'instance d'objet observée. Les auteurs introduisent un champ sémantique continu et centré sur l'objet, entraîné à partir de modèles d'objets annotés par parties, qui associe à toute position 3D interrogée un embedding sémantique conscient de la fonction de la partie concernée. Une fois entraîné, ce champ est figé et sert à générer des nuages de points sémantiques utilisés comme conditionnement au niveau de l'objet pour des politiques de manipulation. Les tests, menés sur les tâches de simulation RoboTwin ainsi que sur de la manipulation bimanuelle réelle, montrent une amélioration des performances par rapport aux approches de référence: nuage de points brut, lifting de features 2D vers la 3D, et features ponctuelles 3D discrètes. L'enjeu dépasse le simple gain de précision. Pour l'industrie de la manipulation robotique et les concepteurs de politiques de type VLA (vision-language-action), le vrai problème n'est pas de reconnaître un objet mais de savoir où et comment le saisir de façon fiable, quel que soit l'angle de vue ou l'exemplaire précis rencontré. En rendant la sémantique indépendante de l'échantillonnage observé, cette approche s'attaque directement à un point faible connu des pipelines actuels: la fragilité des indices sémantiques ponctuels quand la scène ou le capteur changent. C'est un argument de plus dans le débat sur la généralisation réelle des politiques de manipulation, un enjeu central alors que le secteur cherche à dépasser les démonstrations en environnement contrôlé. Ce travail s'inscrit dans la lignée des efforts pour enrichir la perception 3D en robotique, après les méthodes de projection de features 2D issues de modèles de vision-langage et les représentations ponctuelles 3D discrètes, deux approches dont l'article démontre les limites en comparaison directe. RoboTwin, la plateforme de simulation utilisée, sert de banc d'essai standard pour ce type d'évaluation comparative dans la communauté. Les auteurs mettent à disposition une page projet dédiée, laissant présager la publication du code et des modèles pour permettre une réplication et une adoption plus large par la communauté de recherche en manipulation robotique.

Recherche❖Paper

1 source

39

1487arXiv cs.RO 

PreSIST : prédire la persistance des objets via vision-langage dans des scènes en monde ouvert

Des chercheurs présentent PreSIST (Predictive Scene-conditioned Instance Survival over Time), une méthode qui permet à un robot de prédire combien de temps un objet va rester à sa position observée, plutôt que de simplement constater après coup qu'il a bougé. Le système combine des estimations de "priors" de persistance, calculées à partir des propriétés de l'objet et du contexte de la scène, avec un filtre probabiliste qui affine ces prédictions au fil des nouvelles observations. Deux variantes ont été développées : PreSIST-Lang, qui s'appuie directement sur un modèle vision-langage (VLM) pour raisonner sur le contexte, et PreSIST-Vis, un modèle uniquement visuel entraîné par distillation à partir des pseudo-labels générés par PreSIST-Lang, pensé pour un déploiement plus léger et plus rapide en conditions réelles. Les auteurs ont aussi constitué un nouveau jeu de données d'annotations de persistance d'objets en environnement ouvert et non contrôlé, sur lequel les deux variantes surpassent les approches de référence existantes. L'enjeu dépasse la simple curiosité académique : les robots déployés sur de longues durées, en entrepôt, en environnement domestique ou en espace public, doivent maintenir une carte de leur environnement à jour sans revisiter physiquement chaque zone en permanence. Les systèmes actuels réagissent après coup, en recalant leur carte seulement quand ils reconstatent qu'un objet a disparu ou changé de place, ce qui coûte du temps de calcul et impose des repassages fréquents. PreSIST exploite le bon sens contextuel des VLM, capables de distinguer par exemple qu'une voiture arrêtée à un feu rouge ne restera probablement pas là contrairement à une voiture garée sur une place de parking, pour anticiper ces changements avant même de les observer. Pour des intégrateurs travaillant sur la navigation autonome ou la maintenance de cartes sémantiques, cela ouvre la voie à des architectures de perception moins gourmandes en re-scans constants. Ce travail s'inscrit dans la continuité des recherches sur la cartographie sémantique et le SLAM dynamique en environnement ouvert, où la difficulté historique était justement l'absence de raisonnement proactif sur le changement. L'arrivée des VLM comme brique de raisonnement contextuel change la donne face aux méthodes purement géométriques ou fondées sur la seule reconnaissance de classe d'objet. Les auteurs positionnent leur jeu de données annoté comme une ressource ouverte pour de futurs travaux sur la prédiction de persistance en monde ouvert.

Recherche❖Paper

1 source

39

1488arXiv cs.RO 

AnchorDream : réorienter la diffusion vidéo pour la synthèse de données robotiques sensibles à l'incarnation

Des chercheurs présentent AnchorDream, un modèle génératif qui détourne des modèles de diffusion vidéo pré-entraînés pour synthétiser des données de démonstration robotique. Publié sur arXiv (2512.11797v2, version révisée), le système conditionne le processus de diffusion sur des rendus du mouvement du robot, ce qui ancre la cohérence de l'embodiment (la géométrie et la cinématique du bras ou de l'humanoïde) pendant que le modèle génère de nouveaux objets et environnements. À partir d'une poignée de démonstrations en téléopération humaine seulement, la méthode permet de démultiplier ces exemples en jeux de données massifs et variés, sans modélisation explicite de l'environnement. Les résultats annoncés font état d'un gain relatif de 36,4% sur des benchmarks en simulateur, et d'une performance quasiment doublée lors d'essais en conditions réelles pour l'apprentissage de politiques par imitation. Cette avancée s'attaque directement au goulot d'étranglement le plus critique de l'apprentissage par imitation en robotique: la collecte de données réelles est coûteuse et lente, tandis que les simulateurs souffrent d'un écart de fidélité persistant avec le monde réel, le fameux sim-to-real gap. Les méthodes génératives existantes se contentaient souvent de modifier l'apparence visuelle des scènes sans produire de nouveaux comportements, ou généraient des mouvements physiquement incohérents avec l'embodiment du robot. En prouvant qu'un modèle de diffusion vidéo peut être ancré au mouvement réel du robot pour générer des données exploitables à grande échelle, AnchorDream ouvre une voie concrète pour les intégrateurs et laboratoires qui cherchent à entraîner des politiques VLA sans dépendre uniquement de flottes de téléopération ou de simulateurs coûteux à construire. Ce travail s'inscrit dans la vague récente des world models appliqués à la robotique, où plusieurs équipes explorent la génération vidéo comme substitut ou complément à la simulation physique classique. Contrairement à des approches purement visuelles, AnchorDream mise sur l'ancrage cinématique explicite pour éviter les hallucinations de mouvement, un problème récurrent des générateurs vidéo appliqués aux robots. À ce stade, il s'agit d'un résultat de recherche publié sur arXiv, sans déploiement produit ni partenariat industriel annoncé, mais l'ampleur des gains rapportés en fait une piste à suivre pour la prochaine génération de pipelines de données robotiques.

Recherche❖Paper

1 source

39

1489arXiv cs.RO 

Arbres de croyance gaussiens en temps continu pour la planification de mouvement

Un article de recherche publié sur arXiv (2607.02884) propose une nouvelle méthode de planification de trajectoire pour robots évoluant sous incertitude, en temps continu plutôt qu'en temps discret. Les auteurs modélisent la dynamique du robot comme une équation différentielle stochastique linéaire à temps continu, tandis que les mesures des capteurs n'arrivent qu'à des instants discrets. Ils construisent un modèle de propagation de croyance ("belief") hybride : entre deux mesures, la croyance évolue selon des équations différentielles ordinaires, puis subit une mise à jour brusque par filtre de Kalman à chaque nouvelle mesure. Pour garantir la sécurité, l'équipe introduit un vérificateur basé sur des fonctions barrières de croyance, capable de certifier la sécurité sur des segments entiers de trajectoire plutôt que seulement aux points d'échantillonnage. La méthode a été intégrée aux planificateurs RRT et SST et testée sur plusieurs environnements de référence, avec des taux de réussite élevés et un respect robuste des contraintes probabilistes, notamment dans des passages étroits. L'enjeu concret est la fiabilité des robots mobiles et manipulateurs en environnement incertain, un point critique pour les intégrateurs qui déploient des AMR ou des bras robotiques en usine. Les approches classiques de planification, qui ne vérifient la sécurité qu'à des nœuds discrets du chemin, peuvent laisser passer des violations de contraintes entre deux points d'échantillonnage, un angle mort particulièrement dangereux dans les couloirs étroits ou les zones à forte densité d'obstacles. En traitant l'incertitude et la vérification de sécurité en temps continu, cette approche comble une lacune connue des méthodes de planification sous incertitude, sans changer la nature probabiliste du problème. Ce travail s'inscrit dans la lignée des méthodes de planification sous incertitude basées sur des arbres de croyance, où les mises à jour par filtre de Kalman servent depuis longtemps à estimer l'état d'un robot à partir de mesures bruitées. En combinant cette estimation continue avec les planificateurs RRT et SST, largement utilisés en robotique mobile, les auteurs proposent une extension directement compatible avec les pipelines de planification existants, plutôt qu'un cadre entièrement nouveau à réimplémenter.

Recherche❖Paper

1 source

38

1490arXiv cs.RO 

Caméras fixes ou libres : un modèle vision-langage-action sans calibration, robuste aux changements de vue

Des chercheurs du DAMO Academy d'Alibaba ont publié le 7 juillet 2026 un article arXiv (2607.05396) présentant CamVLA (Camera-Centric Vision-Language-Action), un nouveau modèle robotique qui résout un problème pratique jusqu'ici mal traité: le repositionnement des caméras lors du déploiement réel. Contrairement aux politiques VLA robustes aux changements de point de vue existantes, qui nécessitent de fournir explicitement les paramètres extrinsèques de la caméra pour fonctionner, CamVLA n'a besoin que d'une seule image RGB monoculaire, sans profondeur ni calibration préalable. Le modèle prédit deux éléments séparément: une action de l'effecteur terminal exprimée dans le référentiel local de la caméra, et une matrice main-œil à 6 degrés de liberté reliant la caméra à la base du robot. Une transformation géométrique déterministe combine ensuite ces deux prédictions pour produire l'action finale dans le référentiel du robot. Les évaluations, menées à la fois en simulation et sur données robotiques réelles, montrent une amélioration constante des taux de réussite sur des points de vue inédits. Ce travail cible un angle mort classique du déploiement industriel des VLA: en usine ou en entrepôt, les caméras sont fréquemment déplacées, remontées ou changées selon les contraintes du poste de travail, ce qui casse les politiques entraînées sur une configuration de vue fixe. Obliger un recalibrage manuel à chaque changement de caméra freine l'adoption par les intégrateurs, qui cherchent des systèmes tolérants aux aléas de terrain plutôt que des démonstrations en laboratoire. En rendant le modèle calibration-free et dépendant uniquement d'une caméra RGB simple, l'approche réduit aussi le coût matériel du déploiement, sans capteur de profondeur dédié. Le sujet s'inscrit dans la compétition actuelle autour des modèles VLA génériques, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, où la robustesse au changement de viewpoint reste un verrou identifié mais rarement résolu sans hypothèses fortes sur la caméra. L'équipe a mis en ligne une page projet dédiée; les prochaines étapes attendues concernent l'extension à davantage de plateformes robotiques et de scénarios de déploiement réel au-delà des essais publiés.

IA physique⚡Actu

1 source

38

1491arXiv cs.RO 

Fils invisibles : les principes de la marionnette et leurs liens cachés avec le comportement des robots

Des chercheurs en interaction homme-robot proposent une nouvelle source d'inspiration pour concevoir le comportement non verbal des robots : la marionnette. Publié le 3 juillet sur arXiv, ce travail part d'un constat simple : depuis des années, la conception des gestes et postures des robots sociaux s'appuie largement sur les Principes d'Animation de Disney, popularisés par Thomas et Johnston dans les années 1980 pour donner vie aux personnages de dessin animé. Les auteurs ont mené des entretiens avec des marionnettistes professionnels et analysé des ouvrages de référence sur cet art pour en extraire un ensemble de principes de conception directement transposables à la robotique, couvrant la morphologie du corps, la dynamique du mouvement et les modalités d'interaction avec un public ou un partenaire humain. L'intérêt pour les concepteurs de robots est concret : contrairement à l'animation, qui s'affranchit des lois physiques et se limite souvent à des règles de mécanique de bas niveau (timing, exagération, anticipation), la marionnette a toujours composé avec des contraintes matérielles réelles proches de celles d'un robot physique, comme le poids, l'inertie ou les degrés de liberté limités d'une structure articulée. Elle a aussi, depuis des siècles, développé des savoir-faire sur l'interaction incarnée avec un public, un terrain que l'animation ne couvre pas puisqu'un dessin animé ne partage jamais l'espace physique avec son spectateur. Pour les équipes qui conçoivent des robots sociaux ou collaboratifs, ce corpus offre donc des pistes de conception à plus haut niveau que les principes d'animation, potentiellement plus directement actionnables pour des systèmes contraints par le monde réel. Ce travail s'inscrit dans un courant de recherche en robotique sociale qui puise depuis longtemps dans les arts du spectacle : théâtre, danse et animation ont déjà été mobilisés pour informer le design comportemental des robots. La marionnette restait jusqu'ici un angle mort de cette littérature, malgré une histoire longue de plusieurs siècles d'exploration de la forme, du mouvement et de l'interaction de personnages incarnés. Les auteurs positionnent leurs principes comme complémentaires, et non substituables, à ces apports antérieurs, ouvrant la voie à des travaux futurs testant leur application concrète sur des plateformes robotiques.

Recherche❖Paper

1 source

38

1492arXiv cs.RO 

ResTacVLA : manipulation riche en contacts grâce à une représentation tactile résiduelle

Les modèles Vision-Language-Action (VLA), qui pilotent la nouvelle génération de bras robotiques et d'humanoïdes, souffrent d'un défaut connu quand on y ajoute du tactile : le signal visuel, beaucoup plus riche en données, écrase systématiquement les informations de contact, un phénomène que les chercheurs appellent "l'effondrement de modalité". Une équipe propose ResTacVLA, une architecture publiée le 3 juillet 2026 sur arXiv (2607.03387), qui s'inspire du codage prédictif, un mécanisme neuronal par lequel le cerveau ignore ce qui est prévisible pour se concentrer sur l'inattendu. Au lieu d'injecter les données tactiles brutes dans le modèle, ResTacVLA calcule une "représentation tactile résiduelle" : l'écart entre ce que la vision laissait prévoir et ce que le capteur de contact ressent réellement. Ce résidu est ensuite compressé via un goulot d'étranglement à quantification vectorielle (VQ) en "primitives de contact latentes", puis injecté de façon adaptative dans le modèle, avec un gain renforcé précisément lorsque la vision devient incertaine ou obstruée. L'enjeu dépasse la prouesse technique. Pour les intégrateurs qui visent des tâches à fort contact physique, insertion de précision, assemblage, manipulation d'objets déformables ou glissants, le tactile est le signal qui distingue une démonstration en laboratoire d'un geste fiable en production. Or la plupart des VLA actuels traitent le tactile comme un flux secondaire noyé par la caméra. En démontrant qu'un filtrage inspiré de la neuroscience permet de rendre ce signal rare mais décisif exploitable sans le diluer, les auteurs répondent directement à l'un des angles morts récurrents des architectures multimodales pour la robotique manipulatrice, où l'ajout de capteurs supplémentaires improve rarement les performances sans repenser la fusion des modalités. Le travail reste à ce stade un article de recherche, sans affiliation industrielle citée dans le résumé ni déploiement annoncé : il s'agit d'un préprint arXiv, testé sur un ensemble de tâches de manipulation en contact selon les auteurs, avec une page de projet dédiée mais pas encore de publication en conférence confirmée. Il s'inscrit dans une dynamique plus large de recherche sur l'intégration tactile en apprentissage robotique, un axe que plusieurs laboratoires explorent en parallèle pour combler l'écart entre robots qui voient et robots qui, littéralement, sentent ce qu'ils touchent.

Recherche❖Paper

1 source

38

1493arXiv cs.RO 

Réassignation de castes dans des essaims hétérogènes : protocole à confiance asymétrique et contresignature auditée

Une équipe de recherche propose un protocole de gouvernance pour la réaffectation de rôles ("caste reassignment") au sein d'essaims de robots hétérogènes, décrit dans un article publié sur arXiv début juillet. Le principe : quand un robot change de capacité opérationnelle sous l'effet de la batterie, de la charge utile ou d'une priorité de mission, ce changement peut soit réduire ses privilèges (admis automatiquement), soit les élever (ce qui nécessite alors une contre-signature d'un opérateur humain, dans la limite d'un budget défini par axe). Chaque transition génère une chaîne de causalité signée, inscrite dans un journal d'audit structuré en Merkle et vérifiable hors ligne. Les chercheurs ont testé une implémentation de référence avec de vraies signatures Ed25519 sur des essaims allant jusqu'à 100 robots : les reclassements vers le bas s'exécutent en quelques millisecondes à basse dizaine de millisecondes, et le protocole bloque par construction quatre types d'attaques (usurpation de caste, escalade par relaxations répétées, usurpation d'identité d'opérateur, falsification de la chaîne de causalité). Un journal d'audit distribué, répliqué sur autant de nœuds que de membres de l'essaim avec ordre total par quorum, a aussi été validé en conditions réelles sur 100 processus distincts reliés par TCP, résistant à un nœud byzantin sans qu'aucune fourche ne se produise dans le journal. L'enjeu dépasse l'exercice académique : à mesure que les essaims de robots (logistique, inspection, défense civile) entrent dans des contextes réglementés, la question de savoir qui autorise un robot à gagner en autonomie ou en capacité devient un point de conformité, pas seulement d'ingénierie. Ce travail formalise une frontière claire entre décisions locales automatisées et décisions nécessitant une supervision humaine traçable, un sujet que les intégrateurs et responsables de flottes devront de plus en plus documenter face aux régulateurs. Le protocole généralise une approche déjà proposée pour la gouvernance d'un agent unique (mutation de persona) au niveau d'un essaim entier, en s'appuyant sur des briques classiques des systèmes distribués tolérants aux pannes byzantines. Les auteurs annoncent avoir isolé, via une base partiellement gouvernée, quel mécanisme de contrôle arrête quelle attaque précisément, ouvrant la voie à des audits de sécurité plus ciblés sur ce type d'architecture.

Recherche❖Paper

1 source

38

1494arXiv cs.RO 

MorphQuad : un quadrirotor transformable pour une manœuvrabilité, manipulation et résilience surhumaines

Des chercheurs présentent MorphQuad, un quadricoptère morphable capable d'un vol omnidirectionnel et d'une manipulation avec une force proche de celle d'une main humaine, selon un article publié le 2 juillet 2026 sur arXiv (2607.02764v1). Contrairement aux drones classiques limités par leur structure rigide, MorphQuad articule indépendamment chacun de ses quatre rotors via des cardans à deux axes, ce qui permet de vectoriser la poussée maximale dans n'importe quelle direction tout en conservant une stabilité globale sur toutes les orientations. Grâce à un système de contrôle allouant l'énergie de façon optimale, entièrement embarqué et autonome, l'appareil a démontré des rotations multi-tours en translation ou en vol stationnaire pour l'inspection de tuyauteries et le suivi de cibles, l'ouverture de vannes, le perchage, ainsi que la poussée et la pression d'objets avec une force comparable à celle d'un humain, tout en résistant à des perturbations de vent venant de n'importe quelle direction, y compris concentrées sur un seul rotor. Cette avancée s'attaque directement à une limite structurelle connue des drones à usage industriel: la plupart des quadricoptères actuels ne peuvent ni vectoriser leur poussée dans toutes les directions, ni garantir une stabilité de contrôle sur l'ensemble des orientations possibles, ce qui restreint leur usage aux tâches de survol et de captation d'images plutôt qu'à la manipulation physique de force. Pour les intégrateurs de maintenance d'infrastructures, l'inspection par contact et la réponse d'urgence, un aéronef capable d'appliquer des forces de contact précises tout en résistant aux effets de sol et au vent ouvre la voie à des interventions aujourd'hui réservées aux opérateurs humains ou aux robots au sol, dans des zones difficiles d'accès comme les pipelines, les structures en hauteur ou les sites accidentés. Le papier illustre ainsi un solveur potentiel du fossé classique entre démonstration en laboratoire et robustesse en conditions réelles, un point sur lequel de nombreuses annonces robotiques restent généralement vagues. Le projet part d'un constat des auteurs: aucun véhicule aérien existant ne combine simultanément vectorisation de poussée maximale, stabilité globale et conception compacte dérivée des plateformes quadrotor standards, faute de co-conception matérielle et logicielle adaptée. MorphQuad répond à cette lacune par une approche hybride associant cardans motorisés et algorithme d'allocation de poussée empêchant les interférences de flux d'air entre rotors et le blocage de cardan. L'article ne mentionne pas de partenaire industriel ni de calendrier de commercialisation, ce qui situe la publication au stade de la recherche académique plutôt que du produit prêt à déployer; les prochaines étapes attendues porteraient vraisemblablement sur des essais en conditions réelles hors laboratoire et une possible collaboration avec des acteurs de l'inspection industrielle ou de la robotique aérienne, un secteur où les laboratoires américains dominent actuellement la publication mais où des acteurs européens en drones industriels pourraient s'inspirer de cette architecture.

Recherche❖Paper

1 source

38

1495arXiv cs.RO 

Un robot autonome, conscient des normes sociales, franchit des portes et livre une charge utile en urgence

Les chercheurs à l'origine de ce papier arXiv (2607.05315v1) ont testé un système d'assistance robotique à l'évacuation d'urgence sur le Toyota Human Support Robot (HSR), une plateforme mobile équipée d'un bras manipulateur. Le robot doit remplir deux missions simultanées lors d'une évacuation : ouvrir les portes sur le chemin des personnes évacuées en repérant et actionnant les boutons d'accès conformes aux normes ADA, et récupérer du matériel de secours pour le livrer aux intervenants d'urgence. L'équipe a bâti l'architecture de décision autour d'un arbre de comportement (behavior tree), une structure capable de sélectionner des tâches de haut niveau selon des déclencheurs environnementaux et de s'étendre à de nouvelles situations. Le système a été évalué sur 105 essais, répartis entre cinq scénarios matériels réels et trois scénarios en simulation, avec un taux de réussite de 97 sur 105, soit environ 92%. Ce résultat compte parce qu'il s'attaque à un problème rarement traité dans la littérature robotique : la prise de décision sociale en contexte d'urgence, où le robot doit arbitrer en temps réel entre céder le passage à une personne, franchir une porte qu'un humain tient déjà ouverte, ou aller chercher un équipement avant de traverser. C'est un cas concret où la robotique d'assistance dépasse la simple exécution de tâches pour intégrer une conscience de l'environnement humain, un enjeu clé pour les intégrateurs qui envisagent des déploiements en environnements partagés avec des personnes, secteur hospitalier, logistique de secours ou sites industriels évacuables. Le choix de l'arbre de comportement plutôt qu'un contrôleur monolithique ou un modèle end-to-end répond à un besoin d'extensibilité et de traçabilité des décisions, un critère souvent recherché dans les systèmes destinés à des usages critiques. Les auteurs ont publié le code et des démonstrations vidéo sur GitHub (AndrewSnowdy/hsrmmcontrol), ouvrant la voie à des reproductions et extensions vers d'autres tâches de réponse d'urgence.

Recherche❖Paper

1 source

38

1496arXiv cs.RO 

Athena-WBC : experts de politique alignés sur les capacités pour le contrôle corporel complet des humanoïdes en longue traîne

Les chercheurs à l'origine du système Athena-WBC s'attaquent à un problème persistant du contrôle corps-entier des robots humanoïdes : même les meilleurs contrôleurs de suivi de mouvement à grande échelle échouent sur un sous-ensemble récalcitrant de mouvements, en particulier les transitions à haute dynamique et les gestes critiques pour l'équilibre, et ce même quand ces clips sont réentraînés de façon ciblée. L'équipe montre que la cause n'est pas seulement un manque d'exposition à ces mouvements rares, mais un décalage entre les exigences du mouvement et la capacité effective que produit la recette d'entraînement par défaut. Leur réponse est un pipeline compact de type enseignant-élève combinant des "experts" alignés sur la capacité requise : des experts dynamiques, entraînés avec un objectif de suivi allégé des pénalités conservatrices et temporelles tout en conservant les contraintes physiques de faisabilité, et des experts d'équilibre, formés via un curriculum de gravité progressif pour améliorer la survie en début d'apprentissage. Ces enseignants privilégiés sont ensuite routés par mouvement pour une distillation DAgger, puis compressés en un contrôleur unique utilisant des observations déployables, affiné par apprentissage par renforcement. Sur un humanoïde grandeur nature, la méthode améliore la récupération des mouvements rares de l'ensemble d'entraînement et le suivi sur des mouvements non vus, par rapport à une base solide utilisant la recette SONIC, avec seulement un petit nombre d'experts. Ce travail cible directement l'un des goulots d'étranglement les plus sensibles de la robotique humanoïde actuelle : le fameux "long tail" des mouvements difficiles, qui sépare les démonstrations en vidéo soigneusement sélectionnées des déploiements réellement robustes en usine ou en environnement non contrôlé. Pour les intégrateurs et décideurs industriels, la promesse n'est pas un nouveau matériel mais une méthode d'entraînement plus efficace en données et en nombre d'experts, ce qui réduit le coût d'ingénierie nécessaire pour couvrir les cas extrêmes de chute, de rattrapage d'équilibre ou de transition rapide entre postures, souvent le vrai facteur limitant avant la mise en production de humanoïdes. Le papier s'inscrit dans la lignée des architectures enseignant-élève par distillation DAgger désormais standard pour le contrôle de mouvement humanoïde, et se positionne explicitement contre la recette SONIC, une référence récente du domaine, en cherchant à la dépasser sur les cas rares sans multiplier le nombre d'experts spécialisés. Publié sur arXiv le 7 juillet 2026, le travail ouvre la voie à des comparaisons futures avec d'autres pipelines de contrôle corps-entier utilisés par les acteurs commerciaux du secteur, sans toutefois préciser à ce stade de calendrier de transfert vers un produit industriel.

Recherche❖Paper

1 source

38

1497arXiv cs.RO 

3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la vision

Des chercheurs publient 3D Cal, une bibliothèque open source qui transforme une imprimante 3D bas coût en dispositif de sondage automatisé pour calibrer les capteurs tactiles à base de vision. Le système génère de grands volumes de données d'entraînement labellisées puis entraîne des réseaux convolutifs personnalisés pour produire des reconstructions de profondeur à partir des images captées par ces capteurs. Les auteurs testent leur méthode sur deux capteurs commerciaux largement utilisés en robotique, DIGIT et GelSight Mini, et établissent des lignes directrices empiriques sur le volume de données nécessaire pour une calibration de qualité. Les résultats obtenus atteignent une erreur moyenne de reconstruction de 156 micromètres pour DIGIT et 205 micromètres pour GelSight Mini sur des objets non vus pendant l'entraînement, des performances jugées comparables à l'état de l'art. Pour l'industrie de la manipulation robotique, cette avancée s'attaque à un goulot d'étranglement rarement mis en avant mais bien réel: la calibration des capteurs tactiles reste aujourd'hui artisanale, chronophage et peu reproductible d'un laboratoire à l'autre, ce qui freine leur adoption en dehors de la recherche académique. En automatisant ce processus avec un matériel accessible, 3D Cal réduit la barrière à l'entrée pour les équipes qui veulent intégrer du retour tactile fin dans leurs systèmes de préhension, un enjeu central pour la manipulation dextre, l'inspection de pièces fragiles ou les tâches d'assemblage fin où la seule vision globale ne suffit pas. C'est aussi un signal que la standardisation des outils de calibration progresse, condition nécessaire avant tout déploiement tactile à l'échelle industrielle. Le sondage tactile par vision, popularisé par des capteurs comme GelSight puis DIGIT (ce dernier co-développé par Meta et poussé comme standard bas coût et open source), souffre depuis ses débuts d'un manque d'outils de calibration partagés et reproductibles. 3D Cal s'inscrit dans cette lignée de travaux visant à démocratiser le tactile en robotique, aux côtés d'efforts comme les capteurs GelSight Mini ou les librairies de traitement associées. Publié en open source, l'outil devrait accélérer les travaux de recherche sur la perception tactile et faciliter son intégration dans des plateformes robotiques réelles, sans toutefois constituer encore un produit prêt à l'emploi pour l'industrie.

Recherche❖Paper

1 source

38

1498arXiv cs.RO 

Manipulation robotique multi-incarnations via un espace d'action unifié pour la main

Des chercheurs proposent l'Unified Hand Action Space (UHAS), une représentation d'action unifiée pour piloter des mains robotiques dexteres de morphologies différentes à partir d'un seul espace de commande. Le principe consiste à représenter les mouvements de la main comme des déformations géométriques d'une sphère canonique, puis à utiliser un algorithme baptisé Cascade Inverse Kinematics (CIK) pour convertir cette représentation abstraite en configurations articulaires propres à chaque main. Les auteurs entraînent des politiques de manipulation par apprentissage par renforcement directement dans cet espace, sur une tâche de réorientation de cube en main. Le système est évalué en simulation et en conditions réelles sur quatre mains robotiques aux architectures distinctes: l'Allegro Hand (Wonik Robotics), la LEAP Hand (design open source), la Shadow Hand (Shadow Robot) et le modèle de main humaine MANO. Les résultats montrent un transfert zero-shot vers des mains non vues à l'entraînement et un réajustement rapide lors du passage d'une morphologie à l'autre. Le papier est publié en preprint sur arXiv, sans relecture par les pairs, et les chiffres de succès du "déploiement réel" ne sont pas détaillés dans le résumé, ce qui appelle à la prudence sur l'ampleur réelle des résultats. L'enjeu dépassé ici est celui du cross-embodiment, un des principaux verrous de l'apprentissage robotique: une politique de manipulation entraînée pour une main à quatre doigts ne se transfère généralement pas à une main à cinq doigts ou à un nombre d'articulations différent, obligeant à tout réentraîner à chaque nouveau design de préhenseur. Si l'approche tient ses promesses au-delà du cas d'usage testé, cela réduirait le coût de portage des politiques de manipulation dexterese entre fabricants de mains robotiques, un sujet clé pour les intégrateurs qui évaluent aujourd'hui des modèles VLA génériques cens

Recherche❖Paper

1 source

38

1499arXiv cs.RO 

Recherche paresseuse basée sur les conflits pour une planification rapide multi-manipulateurs

Une équipe de chercheurs propose un nouvel algorithme baptisé Conflict-Based Lazy Search (CBLS), conçu pour planifier en temps réel les mouvements simultanés de plusieurs bras manipulateurs robotiques dans un espace de travail encombré. L'algorithme s'appuie sur Conflict-Based Search (CBS), une méthode de pathfinding multiagent qui a déjà démontré des gains de vitesse d'un ordre de grandeur par rapport aux approches précédentes. CBS fonctionne en résolvant une série de problèmes de recherche de chemin pour un seul agent à la fois, ce qui signifie que sa performance globale dépend directement de l'efficacité de cet algorithme de base. Les auteurs y ajoutent deux innovations: un graphe précalculé à évaluation paresseuse et sparsité contrôlée pour un manipulateur unique, et un nouvel algorithme de recherche appelé Lazy Edge-based A (LEA), qui réduit le nombre d'évaluations d'arêtes, considéré comme le principal goulot d'étranglement computationnel dans la planification de bras robotiques. Cette avancée cible un problème très concret pour l'industrie: dans une cellule robotique où plusieurs bras manipulateurs opèrent côte à côte, chaque calcul de trajectoire doit vérifier les collisions potentielles entre pièces mobiles, ce qui devient rapidement coûteux en temps de calcul à mesure que le nombre de bras augmente. En réduisant drastiquement ces évaluations grâce à la recherche paresseuse, CBLS ouvre la voie à une planification plus rapide et davantage exploitable en temps réel, un enjeu direct pour les intégrateurs qui déploient des cellules multi-bras dans des usines ou des entrepôts, où la vitesse de replanification conditionne le débit de production. Le travail s'inscrit dans la lignée du MAPF (multiagent pathfinding), un champ de recherche né notamment des besoins de coordination en entrepôt et en logistique autonome, que les auteurs transposent ici aux manipulateurs industriels. Les chercheurs comparent directement CBLS à l'algorithme CBS original ainsi qu'à RRT-Connect, une méthode de planification par échantillonnage largement utilisée en robotique, et affirment obtenir des performances supérieures sur des problèmes de planification multi-manipulateurs. L'article, encore au stade de prépublication arXiv, ne précise pas de tests sur du matériel réel ni de partenariat industriel, ce qui en fait pour l'instant une contribution algorithmique plutôt qu'une solution déployée en production.

Recherche❖Paper

1 source

37

1500arXiv cs.RO 

Attention spatiale : adapter les horizons d'exécution des politiques de diffusion via la sensibilité à l'observation

Les chercheurs à l'origine de ce papier arXiv (2607.04739v1) s'attaquent à un problème central des politiques robotiques par imitation basées sur des modèles génératifs : l'échantillonnage de blocs d'actions ("action chunks") via diffusion. Ces méthodes, aujourd'hui largement utilisées pour l'apprentissage par démonstration, exécutent généralement chaque bloc d'actions pendant un horizon fixe, ce qui oblige à choisir entre réactivité et coût de calcul. Les auteurs proposent une métrique baptisée "Spatial Attention", définie comme la norme carrée attendue du gradient de la log-vraisemblance de l'action par rapport à l'observation. Elle mesure la sensibilité de la distribution d'actions de la politique aux variations de l'observation. Leur résultat théorique montre que, à budget d'échantillonnage fixe, l'horizon d'exécution qui minimise la perte de vraisemblance cumulée causée par des perturbations diminue quand la Spatial Attention augmente. En prévoyant les valeurs futures de cette métrique en parallèle du bloc d'actions, le système ajuste dynamiquement l'horizon : plus court dans les phases sensibles, plus long dans les phases stables. Des tests en simulation et sur robot réel, sur tâches standards et perturbées, montrent une amélioration significative des taux de succès par rapport aux méthodes à horizon fixe, à horizon moyen d'exécution comparable. Pour l'industrie robotique, ce travail cible un compromis très concret rencontré par les architectures VLA et de type Diffusion Policy (ACT, Pi-0, RT-2 et consorts) : plus un bloc d'actions est long, moins le système coûte cher en inférence, mais plus il devient vulnérable aux imprévus entre deux replanifications. Une adaptation automatique de cet horizon, sans capteur supplémentaire ni coût de calcul additionnel notable, pourrait rendre les politiques de diffusion plus robustes en environnement réel, un enjeu clé pour tout déploiement en usine ou en logistique où les perturbations sont fréquentes. Ce papier s'inscrit dans la lignée des travaux sur les Diffusion Policies et l'apprentissage par imitation à base de modèles génératifs, un courant de recherche en forte expansion depuis l'introduction de l'action chunking comme alternative aux politiques réactives image-par-image. L'abstract ne précise ni l'institution ni la plateforme robotique utilisée pour les essais réels, et reste pour l'instant au stade de contribution méthodologique validée expérimentalement, sans annonce de déploiement industriel.

Recherche❖Paper

1 source