Actualités robotique — page 38

4 691 articles au fil, du plus récent au plus ancien.

43

1851arXiv cs.RO 

Planification séquentielle par points d'ancrage pour la robotique

Des chercheurs de la Case Western Reserve University ont publié SPARK (Sequential Planning via Anchored Robotic Keypoints), un système neurosymbolique de manipulation robotique sans entraînement supplémentaire. Sur LIBERO-PRO, benchmark évaluant la robustesse face aux changements de position et de tâche, SPARK atteint 43,7 % sur six configurations, soit plus du double de CaP-Agent0 (18,2 %) et des baselines Vision-Language-Action. L'architecture repose sur deux appels Gemini : le premier génère un arbre de comportement (behavior tree) typé composé de primitives précodées intégrant le contrôle bas niveau (mouvement, préhension, géométrie de profondeur) ; le second propose trois formulations textuelles alternatives par objet, que SAM3 évalue pour retenir la détection la plus confiante. Un mécanisme de récupération relance toute primitive échouée sur des objets re-détectés, sans nouvel appel LLM. Le système a été validé sur trois familles de robots (UR10e, Franka FR3, Franka bimanuels) pour neuf tâches à vingt essais chacune, avec une moyenne de 68 %. Le résultat central est architectural : SPARK identifie la perception comme le principal point de rupture des pipelines de manipulation, non la planification. Les formulations alternatives par objet apportent +27,7 points sur les tâches spatiales et +10,0 sur la suite objet ; la boucle de récupération ajoute +5,0 points globalement. Là où CaP-Agent0 re-interroge un LLM en repartant de zéro à chaque échec, SPARK ne replanifie que la détection, réduisant significativement le coût computationnel. Point stratégique : chaque essai produit automatiquement une trajectoire vérifiée et étiquetée, permettant à un planificateur training-free de générer les données dont les VLAs ont besoin sans téleopération humaine. SPARK s'inscrit dans le débat entre architectures VLA end-to-end (pi-0 de Physical Intelligence, RT-2 de Google DeepMind, OpenVLA de Berkeley) et approches hybrides symboliques. Les VLAs misent sur la généralisation apprise de données massives mais restent fragiles aux distributions non vues à l'entraînement, précisément ce que LIBERO-PRO mesure. SPARK démontre qu'une conception neurosymbolique rigoureuse peut surpasser des modèles foundation sur des configurations difficiles. La validation reste limitée à neuf tâches sur trois plateformes, sans timeline de déploiement industriel annoncée. La modularité du système -- détecteur, planificateur et contrôleur remplaçables indépendamment -- ouvre la voie à des intégrations sur de nouvelles plateformes sans réentraînement.

Recherche❖Paper

1 source

42

1852arXiv cs.RO 

WoVR : des modèles du monde comme simulateurs fiables pour l'entraînement post-déploiement des politiques VLA par renforcement

Des chercheurs ont publié sur arXiv (référence 2602.13977v2) un framework nommé WoVR, conçu pour entraîner via du reinforcement learning (RL) des politiques de type Vision-Language-Action (VLA) sans recourir à des milliers d'heures d'interaction physique réelle. Le principe : substituer le robot réel par un modèle du monde appris, c'est-à-dire un modèle vidéo conditionné par les actions qui prédit le comportement de l'environnement. WoVR articule trois mécanismes distincts : un modèle vidéo action-conditionné à stabilité contrôlée, une stratégie baptisée Keyframe-Initialized Rollouts qui réinitialise les trajectoires imaginées à partir d'images-clés pour limiter l'accumulation d'erreurs sur l'horizon, et une co-évolution conjointe du modèle du monde et de la politique pour maintenir leur cohérence dans le temps. Les expériences rapportées montrent des gains sur le benchmark LIBERO et des améliorations mesurées sur plusieurs plateformes robotiques physiques. Ce travail s'attaque à un verrou central du post-entraînement des VLA : le RL promet d'aller au-delà de l'imitation learning, mais ses besoins en données d'interaction rendent son application directe sur robot physique quasi prohibitive. La contribution de WoVR est de montrer qu'un modèle du monde imparfait peut néanmoins servir de simulateur RL fiable, à condition de contrôler explicitement ses hallucinations plutôt que de les ignorer. C'est un signal positif pour la thèse que le sim-to-real, appliqué non au niveau du rendu physique mais au niveau de la prédiction vidéo apprise, peut débloquer l'optimisation de politiques à grande échelle. La nuance importante : les résultats sont publiés sous forme de papier de recherche, les démonstrations sont disponibles sur wovr-corl.github.io, mais aucun déploiement industriel n'est revendiqué. WoVR s'inscrit dans une vague de recherche qui cherche à reproduire pour la robotique ce que le RL a accompli pour les grands modèles de langage. Les VLA comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA ont montré des capacités impressionnantes en imitation, mais leur amélioration par RL reste un problème ouvert. D'autres approches concurrentes misent sur des simulateurs physiques classiques (Isaac Lab, MuJoCo) ou sur du RL directement en conditions réelles, avec des cycles de collecte longs et coûteux. WoVR propose une troisième voie via les world models vidéo, dans la lignée des travaux de type DIAMOND ou DreamerV3 appliqués à la robotique. La soumission cible CORL, conférence de référence du domaine, ce qui suggère une prochaine validation par les pairs et potentiellement une intégration dans les pipelines d'entraînement open-source des équipes académiques et industrielles dès 2026.

Recherche❧Opinion

1 source

42

1853arXiv cs.RO 

ConCent : apprentissage centré sur le contact réel-vers-sim-vers-réel depuis une seule démonstration

Déposé sur arXiv fin juin 2026 (arXiv:2606.30268), ConCent (Contact-Centric Real-to-Sim-to-Real) est un framework d'apprentissage par renforcement conçu pour résoudre le transfert sim-to-real dans les tâches de manipulation robotique riche en contacts. L'approche part d'une seule démonstration réelle : à partir de celle-ci, elle extrait automatiquement la séquence d'événements de contact (quand, où et comment les contacts surviennent), puis optimise en simulation la géométrie des objets, approximés comme des groupes de primitives géométriques, pour que la dynamique locale reproduise fidèlement les transitions d'état observées. Cette séquence de contact devient un signal de récompense structuré qui guide la politique RL vers des régimes de contact physiquement plausibles, l'empêchant d'exploiter des artefacts irréalistes du simulateur. Aucune conception manuelle de fonction de récompense par tâche n'est nécessaire. Le noeud du problème que ConCent attaque est le reality gap sur les tâches à fort couplage mécanique (vissage, assemblage précis, manipulation d'objets déformables), où une légère différence de dynamique de contact suffit à invalider une politique entière. Contrairement aux approches par domain randomization ou aux pipelines nécessitant de larges corpus de données réelles, ConCent impose une contrainte structurelle : la politique ne peut progresser qu'en respectant les séquences de contact validées dans le monde réel. Les résultats présentés montrent une meilleure stabilité et robustesse du transfert face à des baselines RL non contraintes. L'absence de reward engineering par tâche représente un gain opérationnel concret pour les équipes souhaitant déployer de nouvelles tâches sans reconfiguration coûteuse. Le problème du sim-to-real pour la manipulation remonte aux travaux fondateurs sur la domain randomization (OpenAI Dactyl, 2019) et aux pipelines de learning from demonstration. Des approches récentes comme la simulation différentiable (DiffTaichi) ou les VLA de type pi0 (Physical Intelligence) et GR00T N2 (NVIDIA) s'attaquent au même reality gap, mais avec des architectures et des volumes de données très différents. ConCent se distingue en ancrant la dynamique simulée sur une démonstration réelle unique, sans calibration manuelle du simulateur. Il s'agit à ce stade d'un preprint académique sans déploiement industriel annoncé, les résultats étant validés en conditions de laboratoire. La suite logique serait une évaluation sur des cycles d'assemblage industriels réels et une comparaison directe avec des architectures VLA pour quantifier l'avantage de l'approche contact-centric à l'échelle.

Recherche❖Paper

1 source

42

1854arXiv cs.RO 

CORE : régularités communes issues de démonstrations visuelles sans actions pour la manipulation robotique

Des chercheurs ont publié fin juin 2026 CORE (Common Outcome Regularities from Action-Free Visual Demonstrations), un cadre d'apprentissage de politique robotique conçu pour exploiter des vidéos humaines sans annotations de mouvements, afin d'entraîner des robots manipulateurs. La méthode s'appuie sur une observation clé : bien que les trajectoires menant à une même tâche varient, leurs états terminaux partagent des configurations d'objets stables, des relations spatiales et des contraintes de contact reproductibles. CORE entraîne d'abord un encodeur d'état terminal par apprentissage contrastif et objectifs temporels auxiliaires, agrège ensuite les embeddings terminaux réussis en prototypes visuels de but (visual goal prototypes), puis injecte ces prototypes comme conditions globales dans la politique de contrôle du robot. Les gains de taux de succès mesurés sur les benchmarks de référence sont de +3,9 points de pourcentage sur Meta-World, +11,1 pp sur RoboTwin 2.0, et jusqu'à +17,0 pp en manipulation réelle. L'enjeu est direct pour les intégrateurs : collecter des démonstrations robotiques est coûteux en équipement, en opérateurs et en temps de setup, tandis que des millions d'heures de vidéos humaines d'assemblage, de logistique ou de cuisine existent déjà. L'écart morphologique entre la main humaine et un préhenseur robotique a jusqu'ici rendu ces vidéos inutilisables pour l'apprentissage par imitation direct. CORE contourne le problème en ne cherchant pas à transférer les actions elles-mêmes, mais uniquement les régularités des états finaux. Le gain de +17 pp en conditions réelles est particulièrement notable car il indique une réduction du fossé sim-to-real sans contrainte sur la morphologie du robot. En surpassant les variantes conditionnées par texte (architecture VLA classique), CORE suggère que les prototypes visuels de but apportent des contraintes géométriques et physiques plus exploitables que les instructions en langage naturel, une nuance importante pour la calibration de politiques multi-tâches. L'apprentissage par imitation depuis des vidéos humaines est un axe de recherche actif, porté notamment par Google DeepMind avec RT-2, Physical Intelligence avec pi-0, et Meta FAIR. Des méthodes comme R3M ou VIP apprennent des représentations visuelles transférables depuis des vidéos humaines, mais CORE cible spécifiquement les états terminaux plutôt que les représentations d'observation générales, ce qui constitue sa distinction architecturale principale. Les benchmarks retenus, Meta-World et RoboTwin 2.0, sont reconnus sans être universellement adoptés, ce qui limite les comparaisons directes avec les résultats concurrents. Aucun partenariat industriel ni déploiement commercial n'est mentionné : il s'agit d'un preprint arXiv, dont les suites dépendront de réplications indépendantes et d'extensions vers des tâches plus complexes, notamment la manipulation en chaîne longue ou en environnements non structurés.

Recherche❧Opinion

1 source

42

1855arXiv cs.RO 

Mémoire analytique centrée sur les concepts pour la manipulation incarnée à base d'agents

Une équipe de recherche a soumis le 30 juin 2026 sur arXiv (arXiv:2606.29774) un cadre de mémoire structurée pour agents de manipulation robotique à long horizon. Baptisé "analytic concept-centric memory", le système organise l'expérience autour de concepts analytiques : chaque objet est représenté par ses parties sémantiques, des gabarits paramétriques, des poses ancrées dans l'espace, ses affordances et ses états de manipulation. Deux couches supplémentaires complètent l'architecture : une mémoire de transitions enregistrant les effets des actions sur l'état de scène, et une mémoire de compétences (skill memory) stockant des politiques réutilisables ancrées dans ces gabarits. À l'exécution, l'agent effectue une récupération coarse-to-fine pour identifier objets pertinents, états courants et compétences applicables. Les auteurs valident leur approche sur des tâches de manipulation dépendantes de la mémoire, la généralisation à des objets articulés (portes, tiroirs) et une évaluation en environnement réel. La gestion de mémoire reste un goulet d'étranglement critique en manipulation longue durée. Les agents actuels, y compris ceux fondés sur des architectures VLA (Vision-Language-Action), peinent à réutiliser les connaissances acquises lors d'interactions passées, forçant une replanification coûteuse à chaque nouvelle tâche. Ce cadre montre que structurer explicitement la mémoire autour de concepts physiques améliore le taux de complétion de tâches, la précision de récupération, la réidentification d'objets et la généralisation de compétences inter-objets, par rapport aux baselines non structurées et aux représentations vectorielles par embeddings. Pour les intégrateurs industriels, c'est un signal que la réutilisabilité des compétences sans réentraînement complet commence à devenir atteignable, ce qui réduit potentiellement les coûts de déploiement dans des environnements variables. La manipulation robotique à long horizon est un chantier actif chez plusieurs acteurs majeurs : Google DeepMind avec ses architectures RT-2 et SayCan, Physical Intelligence et son modèle Pi-0, Boston Dynamics, ainsi que des laboratoires comme Stanford et ETH Zurich. Ce travail s'inscrit dans une lignée cherchant à concilier planification symbolique structurée et politiques neuronales, deux paradigmes longtemps opposés. Ce preprint n'a pas encore été soumis à revue par les pairs, et les benchmarks restent des environnements de laboratoire contrôlés. La démonstration sur une plateforme industrielle réelle, avec la diversité des objets, le bruit sensoriel et les contraintes temps réel, reste à établir. Les prochaines étapes naturelles incluent l'intégration avec des VLA à grande échelle et l'évaluation sur des manipulateurs ou humanoïdes en contexte de production semi-réelle.

Recherche❧Opinion

1 source

42

1856arXiv cs.RO 

GROW² : ancrage du choix d'outil et de sa position pour la manipulation robotique

Des chercheurs ont publié le 30 juin 2026 un système baptisé GROW² (GROunding Which and Where), conçu pour permettre à un robot d'utiliser des objets du quotidien comme outils de substitution lorsque l'outil nominal est absent. L'exemple canonique : couper un gâteau avec une assiette faute de couteau. Le problème technique sous-jacent est ce que les auteurs nomment l'« open-world affordance grounding », identifier quel objet peut remplir la fonction d'un outil et localiser précisément la zone d'action sur cet objet, sans avoir été entraîné spécifiquement sur cette combinaison. GROW² décompose ce problème en deux niveaux hiérarchiques : un niveau sémantique, qui mobilise des Vision-Language Models (VLMs) pour interpréter une instruction en langage naturel, sélectionner l'objet-outil et identifier les parties pertinentes ; et un niveau géométrique, qui utilise des modèles de vision fondamentaux pour ancrer ces parties dans des régions 3D précises à partir d'une seule image RGB-D. L'intérêt industriel est réel : les pipelines robotiques actuels supposent que les outils sont prédéfinis et présents. Dès qu'un objet manque ou qu'une tâche sort du périmètre nominal, le robot s'arrête. GROW² ouvre la voie à une flexibilité opérationnelle sans retraining coûteux, ce qui est directement pertinent pour les intégrateurs en logistique, chirurgie assistée ou fabrication flexible. Les résultats reportés montrent des performances supérieures aux baselines sur les benchmarks d'affordance prediction et une généralisation zero-shot sur des catégories d'objets ouvertes, en simulation comme en conditions réelles. Un point de nuance : l'article ne communique pas de métriques de temps de cycle ni de taux de succès chiffrés en déploiement réel, ce qui rend difficile l'évaluation de la robustesse opérationnelle hors labo. GROW² s'inscrit dans la dynamique des architectures VLA (Vision-Language-Action) qui tentent de résoudre le « sim-to-real gap » en exploitant des modèles fondamentaux pré-entraînés plutôt que de collecter massivement des données robotiques spécifiques. Sur ce créneau, les travaux concurrents incluent notamment π₀ (Physical Intelligence), RT-2 (Google DeepMind) et les recherches autour de SayCan (Google). L'approche de GROW² se distingue par sa modularité hiérarchique et l'absence de fine-tuning bout-en-bout, un choix architectural qui réduit les besoins en données mais dont la robustesse à grande échelle reste à démontrer. La prochaine étape naturelle serait des tests sur des plateformes humanoïdes ou des bras industriels en environnement semi-structuré.

IA physique❧Opinion

1 source

42

1857arXiv cs.RO 

Fiez-vous à vos instincts : RL à l'inférence guidé par la confiance pour les modèles VLA

Des chercheurs ont publié le 30 juin 2026 sur arXiv (ref. 2506.29892) un framework d'apprentissage par renforcement baptisé T²VLA (Test-time VLA), conçu pour améliorer les modèles Vision-Language-Action sans recourir à aucun signal de récompense externe. Le principe central repose sur une observation empirique : dans les VLA à actions discrètes, les trajectoires générées avec un niveau de confiance interne plus élevé ont statistiquement une probabilité nettement supérieure de réussir la tâche. T²VLA exploite cette propriété en utilisant la similarité de chaque trajectoire produite avec des démonstrations expertes à haute confiance comme signal de récompense intrinsèque. Le framework intègre un mécanisme appelé Confidence-Driven Dual Expert Bootstrapping, qui arbitre dynamiquement entre un Local Pseudo-Expert (favorisant l'exploration locale) et un Global Expert Pool (garantissant la stabilité de l'entraînement). Les expériences portent sur les benchmarks LIBERO et RoboTwin, deux environnements de référence en manipulation robotique simulée, et couvrent plusieurs architectures VLA dont OpenVLA-OFT et la série pi (pi-0, pi-0.5). L'intérêt pratique de T²VLA est de supprimer le principal frein au déploiement du RL pour les robots incarnés : la nécessité d'instrumenter l'environnement avec des détecteurs de succès ou des fonctions de récompense prédéfinies. En robotique industrielle ou logistique, concevoir ces signaux externes est coûteux, fragile, et souvent impossible hors d'un laboratoire contrôlé. Le fait que le modèle puisse s'auto-améliorer à partir de ses propres évaluations internes représente un changement de paradigme potentiellement significatif pour le sim-to-real : les résultats publiés montrent que T²VLA dépasse les baselines supervisées et s'approche des performances d'un RL oracle (disposant des vraies récompenses), ce qui suggère que le signal intrinsèque capture bien la qualité des trajectoires. Il convient néanmoins de noter que les évaluations restent pour l'instant confinées à des environnements simulés, et l'écart sim-to-real sur du matériel réel n'est pas abordé dans ce papier. T²VLA s'inscrit dans une dynamique plus large autour des VLA généralistes, portée notamment par Physical Intelligence (pi-0), DeepMind (RT-2), et les équipes autour d'OpenVLA. Ces modèles combinent vision, langage et contrôle moteur dans une architecture unifiée, mais leur amélioration post-déploiement butait jusqu'ici sur la nécessité d'un retour environnemental explicite. Le framework proposé est décrit comme agnostique à l'architecture, ce qui facilite théoriquement son intégration sur les VLA existants. Les auteurs ne mentionnent pas de partenaire industriel ni de timeline de déploiement réel, et le travail reste au stade de preuve de concept académique sur simulateurs ; des validations sur robots physiques et en conditions de variabilité industrielle seront déterminantes pour confirmer la portée opérationnelle de l'approche.

IA physique❧Opinion

1 source

42

1858arXiv cs.RO 

ReactiveBFM : planification de mouvement réactive en boucle fermée pour le contrôle global des humanoïdes

Des chercheurs ont publié le 30 juin 2026 sur arXiv (identifiant 2606.30362) les travaux ReactiveBFM, un framework de planification-contrôle en boucle fermée temps réel pour humanoïdes, validé sur le robot Unitree G1. L'approche atteint un taux de succès de 93,1 % lors de benchmarks sim-to-sim soumis à des perturbations sévères, surpassant de 28,6 points les baselines en boucle ouverte classiques. Le système permet notamment la poursuite de cibles mobiles en zero-shot, c'est-à-dire sans avoir été entraîné explicitement sur cette tâche, en mobilisant une coordination corps entier fluide et une replanification à la volée. Le verrou technique adressé est le problème dit d'exposition bias : quand un modèle génératif de planification de mouvement est naïvement chaîné avec un contrôleur d'exécution, les écarts de suivi s'accumulent jusqu'à provoquer des effondrements comportementaux. ReactiveBFM répond à cela via un curriculum d'échantillonnage par préfixe planifié (scheduled prefix sampling), qui force le planificateur à apprendre des comportements de récupération d'erreur à partir d'états physiques imparfaits plutôt que de trajectoires de référence idéales. Un second mécanisme d'asynchronisme découple la replanification autorégressive, lente, du tracking haute fréquence, tandis qu'un chunking de trajectoire assure la cohérence spatio-temporelle sans jitter physique. Pour les intégrateurs industriels et les équipes de recherche en contrôle humanoïde, cela valide une piste concrète pour rendre les Behavior Foundation Models (BFMs) exploitables hors conditions laboratoire. Les BFMs sont une classe émergente de modèles pré-entraînés qui fournissent des priors de contrôle pour humanoïdes, analogues aux LLMs pour le texte. Jusqu'ici, leur limitation majeure était l'exécution figée de mouvements pré-définis, sans adaptation à l'environnement. Le Unitree G1, humanoïde chinois à 16 000 dollars commercialisé depuis 2024, s'est imposé comme banc de test standard dans la recherche académique. Les concurrents directs sur le plan scientifique incluent les travaux autour de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et les architectures VLA embarquées chez Figure et Agility Robotics. Ce papier reste à ce stade un preprint non évalué par les pairs : les résultats sim-to-sim sont prometteurs mais aucun déploiement industriel ni transfert sim-to-real robuste n'est encore démontré.

Recherche❧Opinion

1 source

42

1859arXiv cs.RO 

SIR : représentations d'images structurées pour un apprentissage robotique explicable

Des chercheurs du laboratoire Intuitive Robots publient SIR (Structured Image Representations, arXiv:2606.30101), une méthode visant à corriger l'un des angles morts persistants des politiques robotiques basées sur l'apprentissage profond : leur opacité. Le pipeline repose sur les Scene Graphs (graphes de scènes) comme couche intermédiaire entre la perception et l'action. À partir d'une image d'entrée, le système construit d'abord un graphe complet dont les noeuds sont initialisés avec des features visuelles extraites. Un second module apprend ensuite, de bout en bout, à réduire (sparsifier) ce graphe pour n'en conserver que le sous-graphe pertinent à la tâche courante, avant de le transmettre au générateur d'actions. Évalué sur RoboCasa, un benchmark de manipulation en environnement domestique simulé, SIR atteint un taux de succès moyen de 19,5 % contre 14,81 % pour les baselines à embeddings visuels directs, soit un gain relatif d'environ 30 %. L'intérêt ne se limite pas à ce delta de performance, en soi modeste en valeur absolue. Ce qui distingue SIR, c'est que le sous-graphe creux appris constitue une représentation lisible et auditable : il devient possible d'inspecter sur quels objets et quelles relations le modèle fonde ses décisions pour une tâche donnée. Lorsque ce sous-graphe s'écarte des attentes humaines, qu'il intègre des noeuds distracteurs sans rapport avec la tâche ou qu'il omet des objets pourtant centraux, les auteurs montrent que cela révèle systématiquement des biais dans le dataset d'entraînement, notamment des corrélations spurieuses et des biais positionnels. Pour des intégrateurs industriels ou des équipes soumises à des exigences de validation et de certification, cette capacité d'audit intrinsèque est un argument autrement plus fort qu'une amélioration marginale du taux de réussite. Ce travail s'inscrit dans un débat de fond au sein de la communauté robotique : les représentations visuelles latentes des architectures de type VLA (Vision-Language-Action) ou des politiques par diffusion sont puissantes mais pratiquement impossibles à déboguer. Les approches concurrentes pour l'explicabilité passent généralement par des méthodes post-hoc, cartes de saillance ou visualisation d'attention dans les Transformers, qui n'interviennent pas dans la boucle d'inférence. SIR propose à l'inverse une explicabilité structurelle native. Le code est disponible sur GitHub (intuitive-robots/SIR\_Model) et les auteurs évaluent pour l'instant uniquement en simulation ; la généralisation à des robots physiques dans des environnements non contrôlés reste la prochaine étape critique pour valider le sim-to-real transfer de cette approche.

Recherche❖Paper

1 source

42

1860arXiv cs.RO 

AsyncMDE : estimation de profondeur monoculaire en temps réel via mémoire spatiale asynchrone

Des chercheurs ont publié sur arXiv (arXiv:2603.10438v2) AsyncMDE, un système de perception de profondeur monoculaire asynchrone conçu pour permettre un déploiement temps-réel sur plateformes embarquées. L'architecture dissocie deux chemins d'exécution : un modèle fondation "slow path" de 97,5 millions de paramètres, figé, qui génère périodiquement des représentations spatiales de haute qualité en arrière-plan ; et un "fast path" léger de seulement 3,83 millions de paramètres entraînables, qui tourne en parallèle en réutilisant ces features via une fusion complémentaire avec l'observation courante et une mise à jour autorégressive de la mémoire. Sur GPU RTX 4090, le fast path atteint 237 FPS. Sur Jetson AGX Orin optimisé TensorRT, la cible embarquée réaliste pour la robotique mobile, il tourne à 161 FPS tout en récupérant 77 % de l'écart de précision par rapport au modèle fondation complet. L'enjeu industriel est direct : l'estimation de profondeur monoculaire à base de modèles fondation constitue une alternative crédible aux capteurs actifs (LiDAR, ToF), mais leur coût computationnel les rendait jusqu'ici incompatibles avec les contraintes temps-réel des robots mobiles et des AMR. AsyncMDE répond à ce verrou en amortissant le coût du modèle lourd sur plusieurs frames consécutives, en exploitant la redondance spatiale naturelle des déplacements continus d'un robot. La dégradation de précision est bornée et prédictible sur trois benchmarks couvrant des scènes statiques, dynamiques et des mouvements extrêmes synthétiques, ce qui est plus rassurant que des métriques moyennes masquant les cas limites. La profondeur monoculaire est un champ de recherche en forte accélération depuis que les architectures Vision Transformer et les modèles fondation (DPT, Depth Anything, UniDepth) ont montré des généralisations zero-shot solides, mais le goulot computationnel restait le principal obstacle à l'embarquement. AsyncMDE s'inscrit dans une tendance plus large d'inférence asynchrone et de caching de features, similaire aux approches utilisées en détection vidéo temps-réel. Les concurrents directs incluent les méthodes de distillation de modèles fondation (par exemple MobileDepth, FastDepth) et les pipelines LiDAR-caméra fusion légère. La prochaine étape naturelle sera de valider ces chiffres sur des robots réels en navigation autonome, où la latence bout-en-bout, et non le seul débit du réseau, détermine l'utilisabilité.

Recherche❖Paper

1 source

42

1861arXiv cs.RO 

OGM-CBF : contrôle sûr de robot mobile avec carte d'occupation et mémoire des obstacles hors de vue

Une équipe de chercheurs publie sur arXiv (identifiant 2405.10703, quatrième révision) une méthode baptisée OGM-CBF qui couple les fonctions de barrière de contrôle (CBF) à une carte d'occupation en grille (occupancy grid map) construite dynamiquement pendant l'opération du robot. Le problème adressé est précis : les approches CBF existantes ne considèrent que les obstacles présents dans le champ de vision instantané (FoV) du robot. Dès qu'un objet quitte ce champ, occultation, portée capteur dépassée, angle mort, la garantie de sécurité formelle disparaît. OGM-CBF mémorise les obstacles préalablement observés, de forme arbitraire, et les intègre dans le calcul de la barrière même après leur sortie du FoV. Pour résoudre la dégénérescence du gradient de la Signed Distance Function (SDF) en face-à-face avec un obstacle (ce qui annule l'autorité de braquage), les auteurs introduisent une pyramide d'images sur la SDF, produisant un CBF multi-niveaux. La méthode est validée dans le simulateur CARLA, puis déployée sur matériel réel : un robot d'entrepôt compact et un chargeur à roues articulé de grande taille, à direction de châssis. L'enjeu pratique est direct pour les intégrateurs AMR et opérateurs d'engins autonomes : en environnement industriel, un palettier, une machine ou un opérateur en mouvement peuvent masquer momentanément un obstacle critique. Sans mémoire d'environnement, le robot agit comme s'il évoluait dans un espace vide dès la sortie du FoV. OGM-CBF apporte une garantie formelle continue sans exiger de carte préchargée ni de reconstruction 3D explicite, ce qui limite le coût computationnel embarqué. La validation sur un chargeur articulé, véhicule lourd à cinématique non-holonome, typique des chantiers et ports, est particulièrement significative : elle démontre que les garanties CBF tiennent au-delà des plateformes holonomes de laboratoire, ouvrant une voie vers l'automatisation sécurisée en BTP, logistique portuaire et extraction minière. Les CBF constituent un axe de recherche actif depuis une décennie, en concurrence avec les champs de potentiel artificiel et les planificateurs à base de sampling pour la navigation sûre. OGM-CBF se distingue des approches GP-CBF (modélisation probabiliste de l'incertitude) et des CBF couplés à du SLAM complet, en exploitant directement la grille d'occupation sans étape de reconstruction explicite. La publication en est à sa quatrième révision, signe d'un travail itéré par la communauté. Aucun partenaire industriel ni horizon de commercialisation n'est mentionné : il s'agit d'une contribution de recherche fondamentale avec preuves de concept réelles, pas d'une annonce produit.

Recherche❖Paper

1 source

42

1862arXiv cs.RO 

STEAM : modélisation de l'avantage par ensemble temporel auto-supervisé pour l'apprentissage robotique réel

Des chercheurs ont publié le 30 juin 2026 sur arXiv (référence 2606.29834) une méthode baptisée STEAM, pour Self-Supervised Temporal Ensemble Advantage Modeling, visant à améliorer l'apprentissage de politiques robotiques à partir de données hétérogènes. Le problème traité est concret : les jeux de données d'entraînement mélangent inévitablement des démonstrations de qualité avec des séquences de blocage, des corrections maladroites ou des comportements sous-optimaux. STEAM attribue à chaque paire de frames un score d'avantage sans nécessiter d'annotation humaine. Le système entraîne un ensemble de prédicteurs décalés temporellement sur des trajectoires expertes, chaque prédicteur estimant le décalage temporel normalisé entre deux frames pour produire un scalaire d'avantage. Le score final retenu est le minimum de l'ensemble, ce qui confère une posture conservative face aux données ambiguës. Combiné à CFGRL (Classifier-Free Guidance Reinforcement Learning), STEAM a été évalué sur quatre tâches physiques réelles : pliage bimanuel de serviettes, passage de chips en caisse, réassort de canettes de cola, et pick-and-place à un bras. Les gains de taux de succès observés sont respectivement de 59 %, 54,3 %, 23 % et 16,2 % par rapport aux baselines. L'intérêt pour les intégrateurs et les équipes de recherche appliquée est double. D'abord, STEAM est entièrement label-free : il n'exige pas d'annotation manuelle des frames "bonnes" ou "mauvaises", ce qui réduit drastiquement le coût de curation des datasets. Ensuite, les gains mesurés sur des tâches réelles de manipulation, notamment sur le pliage de tissu qui reste un benchmark difficile en robotique souple, suggèrent que la méthode tient face au reality gap, une hypothèse longtemps débattue dans le domaine sim-to-real. La discrimination automatique entre progression utile et stall ou régression est un verrou central pour l'apprentissage à partir de données d'opérateurs humains en environnement industriel, où la qualité des démonstrations est rarement homogène. STEAM s'inscrit dans une vague de méthodes cherchant à rendre le Reinforcement Learning from Demonstrations (RLfD) moins dépendant de données propres et annotées. Des approches voisines comme GAIL, IRL ou les méthodes basées sur des modèles de récompense appris se heurtent toutes à la question de la supervision implicite de la qualité. STEAM tente d'y répondre via une hypothèse simple : la proximité temporelle dans une trajectoire experte est un proxy fiable de la progression. Les auteurs ne mentionnent pas d'affiliations industrielles explicites ni de déploiement prévu à date, et les résultats restent à confirmer sur des environnements plus bruités ou des horizons temporels plus longs. Les prochaines étapes naturelles porteront sur la généralisation à des politiques de type VLA (Vision-Language-Action) et à des configurations multi-robots.

Recherche❖Paper

1 source

42

1863arXiv cs.RO 

Transformateur tactile hétérogène

Des chercheurs ont déposé le 30 juin 2026 sur arXiv (référence 2606.29948) le Heterogeneous Tactile Transformer (HTT), un framework visant à résoudre un verrou fondamental du toucher artificiel : l'hétérogénéité des capteurs tactiles. Un modèle entraîné sur un capteur visuotactile de type GelSight ne peut aujourd'hui pas être réutilisé sur un capteur matriciel résistif sans réentraînement complet, ce qui empêche toute mutualisation des données à grande échelle. HTT propose une architecture composée d'encodeurs spécifiques à chaque capteur couplés à un tronc transformer partagé, pré-entraîné par reconstruction masquée par modalité et alignement cross-modal entre paires de capteurs. Ce pré-entraînement s'appuie sur un nouveau dataset baptisé Heterogeneous Paired Tactile (HPT), compilant 1,6 million de frames synchronisées issues de quatre capteurs : deux visuels (vision-based) et deux matriciels (array-based). Les expériences montrent que HTT produit des représentations transférables à de nouvelles tâches et à des capteurs jamais vus à l'entraînement. Ce verrou est réel et coûteux pour les équipes robotique. Contrairement à la vision, où des modèles pré-entraînés comme ViT ou CLIP se transfèrent facilement d'une caméra à une autre, le tactile est resté un silo par capteur, forçant chaque projet à recollecte ses propres données de contact. Si HTT généralise correctement, cela ouvre la voie à des datasets tactiles fédérés, analogue à ce qu'Open X-Embodiment a réalisé pour la manipulation visuo-motrice, et potentiellement à des politiques contact-rich entraînées sur des données hétérogènes issues de plusieurs fournisseurs. Pour un intégrateur ou un COO industriel, l'enjeu est concret : pouvoir changer de capteur tactile sans tout réentraîner représente un gain de temps et de coût significatif sur les lignes d'assemblage précis. Ce travail succède à des approches comme T3 (Transferable Tactile Transformers, 2024) et UniTouch, qui avaient amorcé la représentation cross-capteur mais restaient limitées à une ou deux modalités. Sur le marché, GelSight et ses dérivés (DIGIT, GelSight Mini) dominent la recherche académique, tandis qu'Xela Robotics et Contactile misent davantage sur les grilles résistives ou piézoélectriques. L'article est présenté comme preprint et n'a pas encore été soumis à revue par les pairs ; le code, les poids de modèle et le dataset HPT seront publiés à la parution définitive, ce qui permettra une évaluation indépendante des performances revendiquées. L'étape suivante naturelle sera l'intégration de HTT dans des pipelines VLA (Vision-Language-Action) pour doter les mains humanoïdes d'un retour haptique fiable et généralisable à l'échelle.

Recherche❖Paper

1 source

42

1864arXiv cs.RO 

Génération de concepts spatiaux de haut niveau intégrant l'incertitude dans des graphes de scènes 3D factorisés par GNN

Des chercheurs ont publié fin 2024 (arXiv:2409.11972, version 4) une méthode d'apprentissage automatique permettant à un robot de découvrir de manière autonome des concepts spatiaux de haut niveau, pièces, murs, couloirs, à partir de simples observations géométriques primitives telles que des surfaces planes verticales. L'approche s'appuie sur un réseau de neurones de graphe (GNN) qui infère ces concepts en ligne, puis les injecte comme facteurs optimisables dans un backend de SLAM (Simultaneous Localization and Mapping) reposant sur des Factorized 3D Scene Graphs. Ces graphes de scène 3D organisent la représentation de l'environnement de façon hiérarchique et métrico-sémantique, de l'obstacle ponctuel jusqu'à la pièce entière. Les gains mesurés sont significatifs : en environnements simulés à agencements complexes, la détection de pièces progresse de 20,7 % et l'estimation de trajectoire de 19,2 %. Sur des chantiers de construction réels, la détection de pièces s'améliore de 5,3 % et la précision du recalage cartographique de 3,8 %. L'intérêt de ce travail réside dans la suppression d'un goulot d'étranglement persistant dans la robotique d'intérieur : jusqu'ici, la génération de concepts spatiaux et la spécification des covariances associées reposaient sur des heuristiques conçues à la main, concept par concept. Cette dépendance limitait la généralisation à de nouveaux types d'environnements et rendait coûteuse l'extension à de nouvelles classes sémantiques. En automatisant à la fois la génération des facteurs et la calibration de leur incertitude, la méthode rend le pipeline SLAM plus robuste et potentiellement déployable sans expertise de réglage fin, ce qui intéresse directement les intégrateurs de robots mobiles autonomes (AMR) opérant dans des bâtiments industriels ou des chantiers évolutifs. Les 3D Scene Graphs, popularisés notamment par les travaux du MIT et de l'université Carnegie Mellon sur Hydra et ses successeurs, constituent depuis plusieurs années un cadre de référence pour la cartographie sémantique hiérarchique. La variante "factorisée" utilisée ici, qui encode les concepts comme contraintes d'optimisation dans le graphe de poses, est une direction active de la communauté graph-SLAM. Les concurrents directs incluent les approches basées sur des segmentations panoptiques 2D projetées en 3D (SegMap, Kimera) ainsi que les méthodes neuronales implicites de type NeRF-SLAM. La prochaine étape naturelle sera d'étendre la méthode à des concepts au-delà des pièces, zones fonctionnelles, étages, bâtiments, et de la valider à plus grande échelle sur des flottes robotiques opérant en continu.

Recherche❖Paper

1 source

42

1865arXiv cs.RO 

IA incarnée et environnement : vers des robots de soins physiques sûrs et sensibles au contexte

Des chercheurs du laboratoire EMPRISE de l'université Cornell ont publié E²-CARE (arXiv:2606.28592), un cadre de contrôle pour robots d'assistance physique capables de s'adapter à la fois aux environnements variables et aux différentes morphologies robotiques sans reprogrammation. L'architecture représente l'espace de soins dans un graphe de scène 3D dynamique unifié qui modélise explicitement l'environnement, le robot et l'humain assisté. Ce graphe sert à synthétiser des contraintes spécifiques à chaque tâche, injectées en temps réel pour piloter l'exécution de gabarits d'interaction (interaction templates) prédéfinis. Le système a été évalué sur quatre activités de la vie quotidienne (ADL) dans des centaines d'environnements domestiques simulés, puis validé par des études utilisateurs portant sur deux tâches de soin avec deux robots distincts dans des environnements réels. La démonstration centrale d'E²-CARE est que les mêmes primitives de mouvement peuvent être réutilisées en zero-shot sur des robots de morphologies différentes et dans des environnements non vus à l'entraînement, sans dégradation de sécurité. C'est une réponse directe à l'un des verrous majeurs du secteur : le couplage fort entre un système de soin et son environnement ou son hardware d'origine. La contrainte de sécurité autour des humains, souvent absente des démonstrateurs existants, est ici modélisée comme une couche de contraintes d'exécution. Pour un intégrateur ou un acheteur B2B dans l'aide à la personne, c'est un argument de fond : un pipeline logiciel unique potentiellement déployable sur plusieurs plateformes matérielles, ce qui réduit substantiellement le coût d'intégration multi-hardware. EMPRISE (Enabling Manipulation and Physical Robot Interaction with Sensing and Embodiment) travaille depuis plusieurs années sur les robots d'assistance physique en contexte de vie quotidienne. Ce domaine reste très fragmenté : Diligent Robotics (Moxi, logistique hospitalière), 1X Technologies, et les plateformes académiques comme PR2 ou HSR de Toyota traitent chacun des sous-espaces étroits. E²-CARE n'est pas un produit commercial annoncé : il s'agit d'une contribution académique, sans prototype industriel ni timeline de commercialisation. Les étapes suivantes logiques impliquent des évaluations sur un plus grand nombre de morphologies physiques réelles et des scénarios d'interaction plus complexes, notamment avec des utilisateurs à mobilité fortement réduite ou en situation de dépendance avancée.

Recherche❖Paper

1 source

42

1866arXiv cs.RO 

Odométrie proprioceptive à ancrage de contact pour robots à pattes et roues-pattes

Des chercheurs présentent dans un preprint arXiv (2602.17393, v3) un estimateur d'état proprioceptif pour robots à pattes qui n'utilise ni caméra, ni LiDAR, uniquement IMU et encodeurs moteurs. Le système calcule la pose et la vitesse du corps avec une formulation unifiée couvrant quadrupèdes et robots roue-patte (wheel-legged), validée sur quatre plateformes quadrupèdes distinctes. Le principe central est l'ancrage cinématique par contact : l'estimation des forces d'appui via le couple articulaire sélectionne les pieds en stance, dont les empreintes au sol fournissent des contraintes intermittentes dans le repère monde qui limitent la dérive cumulative de l'IMU. Un algorithme de clustering de hauteur avec décroissance temporelle corrige la dérive en élévation lors de longues traversées en recalant les nouvelles empreintes sur les plans d'appui précédemment observés. Pour les plateformes roue-patte, le contact enregistré est propagé par déplacement de roulement effectif avec compensation du mouvement de jambe et correction de direction sur pente. Cette approche répond à un verrou concret de la robotique mobile : les robots à pattes déployés en environnements visuellement dégradés (poussière, fumée, obscurité, souterrains) ne peuvent pas se fier à la vision ou au LiDAR. Les méthodes purement inertielles accumulent une dérive de cap et de position incompatible avec une navigation autonome prolongée. En ancrant l'estimation sur des contacts validés par couple, la méthode s'affranchit partiellement de la qualité des encodeurs de vitesse, sujets à quantification. Un filtre de Kalman cubature (UKF) par cinématique inverse est proposé en module optionnel pour améliorer les observations de vitesse pied sans alourdir l'architecture principale. La cohérence géométrique multi-contacts est injectée comme prior souple de cap plutôt que comme reset brutal de l'attitude, préservant la continuité de l'état estimé. L'odométrie proprioceptive pour robots à pattes est un terrain actif depuis les travaux Contact-Aided Invariant EKF (Hartley, University of Michigan) et les plateformes ANYmal développées à l'ETH Zurich. Les grandes solutions commerciales actuelles comme Boston Dynamics Spot ou Unitree B2 combinent odométrie visuelle et inertielle en production, ce qui signale l'intérêt industriel pour des alternatives sans capteurs exogènes dans des conditions adverses. La méthode est présentée comme extensible aux bipèdes, morphologie centrale dans la course aux humanoïdes industriels. À sa troisième révision sur arXiv, le papier cible probablement une conférence de robotique de premier rang (IROS, ICRA), sans calendrier de soumission annoncé.

Recherche❖Paper

1 source

41

1867arXiv cs.RO 

Génération de données multi-tâches par apprentissage par renforcement pour la manipulation bimanuelle guidée par le langage

Des chercheurs ont publié sur arXiv (référence 2606.22471) une approche systématique pour générer automatiquement, via apprentissage par renforcement (RL), des données d'entraînement synthétiques destinées à la manipulation bimane et dextre conditionnée par le langage. Le pipeline proposé combine trois briques : une conception de récompenses généralisables (non spécifiques à une tâche), une randomisation de domaine pour combler l'écart simulation-réel (sim-to-real gap), et des annotations de tâches exprimées en langage naturel. Les expériences portent sur trois tâches de manipulation représentatives ; les auteurs concluent à une amélioration significative de la généralisation par rapport aux baselines, sans toutefois publier de métriques quantitatives précises dans le résumé disponible. Le principal verrou qu'adresse ce travail est le manque de données massives et de qualité pour entraîner des politiques généralistes sur des manipulateurs bimanes à haute dextérité. La télé-opération humaine, standard actuel pour collecter des démonstrations (méthode utilisée par des projets comme ACT, Diffusion Policy, ou les datasets de Aloha), souffre de limitations structurelles : faible diversité de tâches, inadéquation morphologique entre la main humaine et l'effecteur robot, et absence des actions robot dans les vidéos brutes. Le RL surmonte ces obstacles mais exige traditionnellement des fonctions de récompense artisanales, tâche par tâche. En proposant une conception de récompenses généralisables, les auteurs visent à rendre le pipeline scalable sans surcoût d'ingénierie par tâche, ce qui est le vrai défi industriel pour quiconque cherche à déployer des politiques multi-tâches sur des lignes d'assemblage ou de conditionnement. Ce travail s'inscrit dans une tendance de fond : face à la rareté des données robotiques réelles, la synthèse en simulation devient une voie centrale, portée par des frameworks comme Isaac Lab (NVIDIA), MuJoCo Playground, ou Genesis. Il dialogue directement avec des approches comme RoboGen, RoboCasa ou GROOT, qui cherchent également à automatiser la génération de tâches et de données. Les politiques VLA (Vision-Language-Action) telles que pi0 de Physical Intelligence ou OpenVLA nécessitent des corpus variés que la télé-opération seule ne peut pas alimenter à l'échelle requise. Les prochaines étapes naturelles seront la validation sur hardware réel et la comparaison quantitative avec des datasets de référence comme RoboSet ou Open X-Embodiment.

Recherche❖Paper

1 source

41

1868arXiv cs.RO 

Modèles vision-langage pour la navigation de robots sociaux déployables : relier le raisonnement sémantique et le contrôle de bas niveau

Des chercheurs ont publié fin juin 2026 une étude de synthèse (arXiv:2606.28760) consacrée à l'intégration des modèles vision-langage (VLM) dans les systèmes de navigation sociale pour robots mobiles. Le papier, qui recense l'état de l'art dans ce domaine encore fragmenté, structure les approches existantes autour de trois composantes interdépendantes : le raisonnement de haut niveau assuré par le VLM, les modules de planification et de contrôle bas niveau, et les mécanismes intermédiaires qui assurent la traduction entre les deux couches. Les auteurs proposent en parallèle une feuille de route structurée couvrant l'ancrage spatial, les représentations intermédiaires, les évaluateurs sémantiques et les modules de contrôle, avec une revue des jeux de données et plateformes d'évaluation disponibles pour la navigation sociale. L'enjeu mis en évidence est précisément celui qui bloque le passage en production de nombreux robots de service : les méthodes classiques de navigation (SLAM, planification métrique, évitement d'obstacles) sont fiables mais aveugles aux normes sociales, aux intentions humaines et au contexte situationnel. Un robot qui calcule la trajectoire optimale dans un couloir d'hôpital ne sait pas, sans couche sémantique, qu'il coupe la route à un soignant pressé ou s'arrête trop près d'un patient. Les VLMs apportent ce raisonnement commun et la compréhension du langage naturel, mais leur latence et leur non-déterminisme les rendent difficiles à coupler directement à des boucles de contrôle temps-réel et safety-critical. L'article argumente que des architectures hybrides, VLM pour le raisonnement, contrôleurs classiques pour l'exécution, sont aujourd'hui la seule voie viable vers le déploiement. Ce travail s'inscrit dans un mouvement plus large d'hybridation entre fondation models et robotique embarquée, porté ces deux dernières années par des papiers comme RT-2 (Google DeepMind), SayCan (Everyday Robots) et les travaux de navigation sémantique de CMU et Stanford. Côté industriel, les plateformes de robots de service (Keenon, Pudu, Bear Robotics côté asie-pacifique ; Enchanted Tools en France avec Miroki) cherchent précisément à résoudre ce passage de l'interaction naturelle au mouvement contraint. Le survey ne décrit pas un système déployé mais un cadre de référence académique, à lire comme une cartographie des briques disponibles plutôt que comme une validation terrain.

IA physique❧Opinion

1 source

41

1869arXiv cs.RO 

Apprentissage de dynamiques transférables : des modèles d'action aux modèles du monde

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.29501) décrivant A2World, un modèle de monde diffusion multi-vues conditionné par les actions, pré-entraîné sur de larges volumes de données de manipulation robotique avec annotations d'actions réelles. L'idée centrale est que prédire comment une action modifie visuellement une scène, plutôt que simplement générer des vidéos plausibles, force le modèle à capturer des dynamiques d'interaction réutilisables. Ce pré-entraînement produit ce que les auteurs appellent des "priors de dynamiques transférables". À partir des mêmes poids pré-entraînés, deux variantes sont dérivées : A2World-sim, adapté en simulateur spécialisé par tâche ou environnement, et A2World-policy, un modèle de prédiction jointe vidéo-action conditionné par des instructions visuelles. Les expériences sont validées sur des benchmarks de simulation et en conditions réelles, sans que les auteurs ne publient de métriques quantitatives précises dans le résumé. L'enjeu concret pour les équipes de robotique industrielle est le coût des données de rollout réel : A2World-sim vise à remplacer les passages physiques sur robot par des déroulements dans le modèle de monde, permettant une évaluation de politique à grande échelle et des analyses contrefactuelles ("que se passerait-il si...") sans mobiliser de hardware. C'est le noeud dur du problème sim-to-real : les simulateurs classiques (Isaac Sim, MuJoCo) échouent sur la fidélité visuelle et de contact, tandis qu'un modèle de monde appris sur des données réelles devrait, en théorie, hériter de la physique implicite du monde réel. A2World-policy s'inscrit dans la lignée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, en conditionnant la prédiction d'action sur le flux visuel et des instructions en langage naturel. Il s'agit toutefois d'un préprint non revu par les pairs, et les métriques présentées (benchmarks de simulation) restent à confirmer sur des déploiements réels à l'échelle. Ce travail s'inscrit dans une dynamique de recherche active sur les modèles de monde pour la robotique, portée depuis 2023-2024 par des approches comme UniSim (Google), RoboDreamer, ou Genie, qui toutes cherchent à découpler l'apprentissage de politique du coût de la collecte de données physiques. Physical Intelligence (pi-0, pi-0.5), Figure AI (Figure 02/03) et 1X Technologies misent sur des architectures VLA similaires pour la généralisation multi-tâches. La contribution spécifique d'A2World est de partager les poids pré-entraînés entre le simulateur et le modèle de politique, plutôt que de les traiter comme deux systèmes distincts. Les prochaines étapes attendues dans ce type de travaux sont la publication de benchmarks ouverts, une comparaison directe contre des rollouts réels, et, pour les acteurs industriels, la question de savoir si ces approches tiennent sur des environnements non structurés hors laboratoire.

IA physique❧Opinion

1 source

41

1870arXiv cs.RO 

ViPSim : collaboration entre espaces visuels et paramétriques pour des modèles du monde incarnés cohérents sur le long terme

Des chercheurs ont publié le 30 juin 2026 un article de préprint (arXiv:2606.28804) présentant ViPSim, un framework de simulation destiné à entraîner et évaluer des systèmes Vision-Langage-Action (VLA) sans risque pour le matériel réel. Le problème central qu'adresse ViPSim est le "representation gap" : les modèles de monde incarné (Embodied World Models, EWMs) doivent traduire des actions en basse dimension (positions articulaires, vitesses) en vidéos haute résolution cohérentes sur de longues séquences. Sans correctif, cette asymétrie produit une dérive de trajectoire cumulée et des interactions robot-objet incohérentes dès qu'on dépasse quelques pas de simulation. Pour y remédier, ViPSim combine deux espaces complémentaires : un Visual Space qui fournit des ancrages géométriques explicites (projections pixel-alignées de la pose de l'effecteur, perspectives caméra, géométrie de scène assistée par la profondeur, masques morphologiques du robot) et un Parameter Space qui injecte les séquences d'action brutes et les matrices caméra pour guider précisément le mouvement. Les expériences rapportées montrent que l'approche est backbone-agnostic, c'est-à-dire indépendante de l'architecture de génération vidéo sous-jacente. L'enjeu industriel est direct : le principal frein à l'utilisation des EWMs comme bancs de test pour les VLA est précisément leur manque de fidélité géométrique sur des horizons longs, ce qui rend leurs évaluations peu fiables pour des tâches de manipulation complexe. ViPSim prétend résoudre ce verrou, et les résultats préliminaires indiquent une capacité émergente sur des objets déformables, notamment le pliage de tissu, un cas d'usage notoire pour mettre en échec les simulateurs rigides classiques. Le framework conserverait également des performances robustes dans des scénarios hors-distribution et en cross-embodiment, c'est-à-dire appliqué à des morphologies robotiques non vues à l'entraînement. Pour un intégrateur ou un équipementier cherchant à réduire les coûts de collecte de données réelles, un simulateur de ce type permettrait d'accélérer le cycle de validation des politiques VLA avant déploiement terrain. Il convient toutefois de nuancer : il s'agit d'un preprint académique sans validation industrielle publiée, et les vidéos de démonstration sélectionnées ne constituent pas une preuve de performance en production. Le contexte est celui d'une course effrénée à la simulation haute-fidélité pour robots incarnés, portée par la montée en puissance des architectures VLA comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA. Ces modèles nécessitent des volumes massifs de données de démonstration, et la génération synthétique en est le principal levier de scalabilité. Des frameworks concurrents comme UniSim, IRASim ou Genesis s'attaquent au même problème avec des approches différentes, certains privilégiant la physique explicite, d'autres la génération neuronale pure. ViPSim se positionne sur la cohérence géométrique longue durée plutôt que sur le réalisme visuel brut, une niche encore peu couverte. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication actuelle : il s'agit pour l'instant d'une contribution de recherche ouverte, sans implémentation publique annoncée.

Recherche❧Opinion

1 source

41

1871arXiv cs.RO 

FADA : adaptation de domaine few-shot par alignement des dynamiques pour le contrôle humanoïde

Des chercheurs du LECAR Lab (Learning, Computing and Autonomous Robots) ont publié le 30 juin 2026 sur arXiv (référence 2506.28476) un préprint décrivant FADA, un cadre d'adaptation en quelques exemples pour le contrôle de robots humanoïdes. L'architecture, baptisée Planner-IDM (Planner, Inverse Dynamics Model), fonctionne en trois étapes : entraînement d'une politique oracle avec accès à des informations privilégiées (état complet du simulateur), distillation de ce comportement dans un modèle étudiant déployable via DAgger, puis fine-tuning ciblé du seul module IDM à partir d'environ deux minutes de données collectées dans l'environnement réel. La supervision ne requiert ni démonstrations expertes ni signal de récompense : uniquement les paires (actions, observations) enregistrées lors de ces brefs rollouts. Les expériences montrent que FADA surpasse les baselines d'adaptation in-context et d'adaptation end-to-end sur des tâches whole-body à haute précision exécutées sur robot physique. L'enjeu pratique est réel : le "dynamics mismatch", écart entre les dynamiques simulées et celles du domaine cible dues aux variations de terrain, de charge utile ou de réponse actionneur, reste l'un des principaux freins au déploiement industriel des humanoïdes. Les approches actuelles forcent un compromis inconfortable entre la randomisation de domaine (zero-shot, mais sous-spécialisée) et le recalibrage complet du modèle ou le ré-entraînement de politique (précis, mais coûteux en données et en temps). Deux minutes de rollouts pour aligner un IDM représentent un point d'équilibre opérationnellement crédible pour des intégrateurs qui ne peuvent pas interrompre une ligne de production plusieurs heures. Cela dit, les vidéos hardware présentées sur le site du projet sont sélectionnées par les auteurs ; aucune évaluation statistique robuste sur variété de terrains ou charges n'est encore disponible dans ce préprint non relu par les pairs. Le sim-to-real gap est un problème structurel que l'ensemble de l'écosystème humanoïde, Figure (02/03), Tesla Optimus, Boston Dynamics Atlas, Physical Intelligence (pi-zero), tente de résoudre, principalement par randomisation massive en simulation ou par apprentissage en contexte (in-context RL). FADA s'inscrit dans une troisième voie, plus proche des travaux sur l'adaptation rapide de politiques (MAML, RMA) mais appliquée à l'architecture Planner-IDM. Le LECAR Lab, affilié à l'Université de Californie San Diego, capitalise ici sur des travaux antérieurs en locomotion et manipulation whole-body. Prochaine étape attendue : validation sur une plus large variété de dynamiques et de morphologies robotiques, ainsi qu'une soumission à conférence (ICRA ou CoRL) pour passer le filtre de la revue par les pairs.

Recherche❖Paper

1 source

40

1872arXiv cs.RO 

TACO : un cadre de test et vérification pour l'optimisation robuste de graphe de poses

Des chercheurs ont publié TACO (Test And Check Optimization), un framework open-source dédié à la robustification de l'optimisation de graphes de poses (PGO), pierre angulaire des systèmes SLAM (Simultaneous Localization and Mapping). Présenté dans un preprint arXiv (2606.29851), le système adresse un problème concret : les mesures aberrantes (outliers) issues d'associations incorrectes de reconnaissance de lieux, phénomène classique en environnements répétitifs (couloirs, entrepôts). TACO repose sur deux composants complémentaires. Le premier, IPC (Incremental Probabilistic Consensus), évalue en ligne la cohérence de chaque fermeture de boucle entrant dans le graphe. Le second, Switchable Outlier Sanitization, s'appuie sur les Switchable Constraints existantes pour purger périodiquement les mesures incohérentes qu'IPC aurait à tort intégrées. Sur des benchmarks 2D et 3D, TACO atteint un taux de succès supérieur à 90 % en 2D et 83 % en 3D, même avec un taux d'outliers pouvant atteindre 50 %, avec des temps de convergence moyens de 45 ms en 2D et 100 ms en 3D. Ces performances positionnent TACO comme une alternative crédible aux méthodes offline état de l'art, tout en restant déployable en temps réel, ce qui est rare dans ce segment. Pour les intégrateurs de robots mobiles (AMR, AGV) et les équipes SLAM embarqué, c'est un signal important : un pipeline PGO robuste aux outliers avec une latence inférieure à 100 ms ouvre la voie à des localisations fiables dans des environnements industriels mal contraints, sans nécessiter de post-traitement offline coûteux. Le fait que la robustesse soit atteinte sans modélisation explicite inlier/outlier simplifie aussi le tuning en production. Le PGO robuste est un champ actif depuis plus d'une décennie, avec des approches comme DCS (Dynamic Covariance Scaling), les Switchable Constraints de Sünderhauf, ou encore les méthodes basées M-estimateurs. TACO s'inscrit dans cette lignée en combinant une évaluation incrémentale probabiliste à une sanitisation rétrospective, là où la plupart des méthodes temps réel font l'un ou l'autre. Les concurrents directs incluent ROBIN, Graduated Non-Convexity (GNC) et ORB-SLAM3 pour le SLAM visuel 3D. Le code est publié en open source, ce qui facilitera l'intégration dans des stacks ROS existants et permettra à la communauté de valider les performances sur des jeux de données propriétaires.

Recherche❖Paper

1 source

40

1873arXiv cs.RO 

TacEvo : découverte d'architectures auto-évolutives pour la perception tactile robotique via une recherche qualité-diversité pilotée par LLM

Une équipe de chercheurs publie TacEvo (arXiv:2606.30109), un framework de découverte autonome d'architectures neuronales pour la perception tactile robotique. Les capteurs tactiles visuels comme le ViTacTip convertissent les déformations de surface en images pour inférer des forces de contact et des textures fines inaccessibles à la vision conventionnelle, mais les architectures réseau efficaces restent hautement spécifiques au capteur et à la physique du contact, imposant une itération manuelle intensive par des experts. TacEvo utilise un LLM pour générer des mutations et croisements au niveau du code, couplé à une boucle MAP-Elites (algorithme de qualité-diversité) qui maintient une population d'architectures élites diversifiées tout en privilégiant les prompts ayant produit les meilleures améliorations. Deux descripteurs comportementaux guident l'exploration : Architectural Diversity et Efficiency Ratio. Sur le ViTacTip, en régression de force et classification de réseaux de rainures, TacEvo atteint un taux de génération d'architectures entraînables de 96,0 % et 94,5 %, et améliore la fitness de validation de 56,1 % et 96,1 % sur 20 générations. Dans une évaluation haute-fidélité à 20 seeds, le framework atteint la parité avec la baseline expert en prédiction de force et la surpasse en classification fine de textures. Le résultat le plus significatif est la fiabilité de la génération autonome à plus de 94 %, prérequis non trivial pour industrialiser l'approche. Pour les équipes R&D travaillant sur des capteurs tactiles propriétaires comme Digit, GelSight ou XELA, la promesse est d'automatiser la phase d'exploration architecturale sans définir à l'avance un espace de recherche restreint, là où les NAS classiques comme DARTS ou ENAS restent contraints par leurs primitives prédéfinies. TacEvo s'inscrit dans un courant de NAS guidé par LLM initié notamment par FunSearch (DeepMind) et EvoPrompting, qui cherche à remplacer les espaces de recherche hand-crafted par une exploration ouverte au niveau du code. Le capteur ViTacTip utilisé comme banc d'essai est développé à l'Université de Bristol, acteur académique européen central sur la tactilité robotique. L'article est un preprint non encore soumis à peer-review, et les résultats restent à confirmer sur des capteurs et tâches variés ; les prochaines étapes naturelles seraient un benchmark multi-capteurs et une intégration dans des pipelines de manipulation dextre.

Recherche❖Paper

1 source

40

1874arXiv cs.RO 

Détection multi-classe d'humains et d'objets sur des bras robotiques par capteurs proprioceptifs

Une équipe de recherche a publié sur arXiv (référence 2508.02425) une étude portant sur la détection multi-classe de contacts en collaboration physique humain-robot (pHRC), testée sur le manipulateur Franka Emika Panda, l'un des cobots de référence pour la recherche académique. L'objectif : identifier en temps réel si le robot entre en contact avec un humain, un objet mou ou un objet dur, en utilisant uniquement la perception proprioceptive (couples articulaires, positions, vitesses) sans aucun capteur visuel externe. Un dataset dédié a été constitué sur ce bras à 7 degrés de liberté, puis trois architectures de réseaux de neurones ont été entraînées et comparées : LSTM, GRU et Transformers. Le meilleur modèle atteint 91,11 % de précision en test temps réel, avec une approche de prétraitement par fenêtre glissante identifiée comme optimale pour cette analyse de séries temporelles. Ce résultat marque une progression significative par rapport aux classifieurs binaires (humain/non-humain ou mou/dur) qui constituaient jusqu'ici l'état de l'art dans ce domaine. Passer à trois classes augmente la granularité de l'analyse de contact, ce qui est directement utile pour des applications industrielles : un robot qui distingue un opérateur d'un outil ou d'une pièce peut adapter sa réponse (arrêt d'urgence, réduction de vitesse, reconfiguration de trajectoire) de façon bien plus fine. L'approche purement proprioceptive est également un avantage pratique majeur : elle ne nécessite ni caméra supplémentaire ni calibration visuelle, ce qui simplifie l'intégration sur des cellules robotisées existantes. La précision de 91 % en conditions temps réel reste toutefois à valider sur des scénarios industriels variés au-delà du protocole de collecte de données décrit. Le Franka Emika Panda, désormais commercialisé sous la marque Franka Robotics après le rachat par Agile Robots, est une plateforme quasi-standard pour la recherche en pHRC grâce à son contrôle en couple natif. Ce travail s'inscrit dans un axe de recherche actif qui cherche à rivaliser avec les approches par vision (détection de contact par caméra RGB-D ou tactile) en misant sur la richesse des signaux internes du robot. Les concurrents directs incluent des travaux utilisant des peaux tactiles (BioTac, iCub) ou des réseaux de neurones appliqués aux données de force/couple de robots Universal Robots ou Kuka. La prochaine étape naturelle serait l'extension à des environnements moins contrôlés et à des robots à payload plus élevé pour valider le transfert sim-to-real de ces modèles.

Recherche❖Paper

1 source

40

1875arXiv cs.RO 

CSAR : architecture système conteneurisée pour la robotique

Des chercheurs ont publié en juin 2026 CSAR (Containerized System Architecture for Robotics), un cadre architectural décrit dans un preprint arXiv (identifiant 2606.30293). L'architecture s'appuie sur la conteneurisation système via LXC/LXD, la communication inter-processus ROS 2/DDS, et une infrastructure edge organisée en trois couches : Infrastructure Core, Platform and Multi-User Orchestration, et Compute and Acceleration. Ces couches visent à créer des environnements d'exécution persistants et "hardware-affines", découplés des charges expérimentales volatiles. CSAR a été déployé et évalué dans un laboratoire de robotique académique à travers deux cas d'usage représentatifs : du SLAM 3D déporté sur serveur edge et de la cartographie sémantique accélérée par GPU. Les templates de déploiement, fichiers de configuration et documentation sont publiés en open source sur GitHub (goyoambrosio/CSAR). L'intégration logicielle en robotique distribuée souffre depuis des années de frictions récurrentes : isolation des dépendances défaillante, incompatibilités entre environnements embarqués et cloud, partage inefficace des GPU dans les équipes multi-utilisateurs. CSAR apporte une réponse structurée en séparant explicitement les couches d'infrastructure stables des workloads expérimentaux. Selon les auteurs, les résultats observés incluent une meilleure utilisation des ressources partagées, une intégration logicielle simplifiée et un prototypage plus sûr. Pour un intégrateur ou un responsable R&D, l'enjeu est concret : réduire le phénomène "works on my machine" et raccourcir le cycle test-déploiement sur des architectures edge hétérogènes, un problème chronique dans les labo multi-robots ou multi-chercheurs. L'adoption de Docker et Kubernetes en robotique s'est faite de manière ad hoc, sans tenir compte des contraintes spécifiques du secteur : latence temps-réel, accès direct au matériel (GPU, capteurs), et partage de ressources entre utilisateurs concurrents. CSAR s'inscrit dans un courant de travaux "devops for robotics" qui inclut AWS RoboMaker, les environnements CI Gazebo, ou encore des projets académiques sur la robotics cloud infrastructure. Il faut noter que CSAR reste pour l'instant une contribution de recherche avec un déploiement en labo académique, sans adoption industrielle annoncée. Les suites naturelles seraient une validation à plus grande échelle, sur des architectures multi-sites, ou une intégration dans des pipelines de déploiement de flottes robotiques réelles.

Infrastructure❧Opinion

1 source

40

1876arXiv cs.RO 

AeroPlace-Flow : placement d'objets guidé par le langage pour manipulateurs aériens via prévision visuelle et flux d'objets

Des chercheurs ont publié sur arXiv (arXiv:2603.07744) AeroPlace-Flow, un framework de placement d'objets par langage naturel pour manipulateurs aériens, des drones équipés de bras robotiques. Le système prend en entrée des observations RGB-D de l'objet saisi et de la scène cible, ainsi qu'une instruction en langue naturelle, pour produire une trajectoire de placement exécutable sans coordonnées prédéfinies. Concrètement, AeroPlace-Flow génère d'abord une image objectif synthétique ("goal image") via un modèle d'édition d'images qui visualise la configuration finale souhaitée, puis ancre cette image dans l'espace métrique 3D par alignement de profondeur et raisonnement centré sur l'objet. Il en déduit un "object flow", un champ de déplacement 3D tenant compte des collisions, qui guide le manipulateur vers une pose de pose cohérente avec l'instruction et les contraintes de contact. Les expériences menées en simulation et en conditions réelles affichent un taux de succès moyen de 75% sur plateforme matérielle, sur des scénarios de placement variés. L'intérêt principal de cette approche réside dans son caractère "training-free" : contrairement aux pipelines classiques de manipulation aérienne qui nécessitent soit des coordonnées cibles codées en dur, soit un entraînement spécifique à chaque tâche, AeroPlace-Flow ne requiert aucune donnée d'apprentissage dédiée au placement. Pour un intégrateur ou un OEM développant des drones industriels à capacité de manipulation, cela réduit considérablement le coût de mise en service sur de nouveaux environnements. La combinaison de la prévoyance visuelle (foresight) et du raisonnement géométrique explicite représente également une alternative aux architectures VLA (Vision-Language-Action) entièrement end-to-end, dont le transfert sim-to-real reste problématique à grande échelle. La manipulation aérienne reste un domaine de recherche émergent, largement dominé par les travaux sur la saisie (grasping) et le contrôle en vol, le placement précis d'objets étant jusqu'ici peu étudié dans ce contexte. Des acteurs comme Aeroarms, LAAS-CNRS ou des équipes de ETH Zurich travaillent sur des architectures concurrentes, généralement contraintes à des poses cibles explicites. AeroPlace-Flow se positionne comme une couche de raisonnement sémantique au-dessus des pipelines de contrôle existants, compatibles avec un suivi de trajectoire standard. Il s'agit à ce stade d'un résultat de recherche avec validation expérimentale, sans déploiement industriel annoncé ni partenaire commercial identifié.

IA physique❖Paper

1 source

40

1877arXiv cs.RO 

Puis-je vous aider ? La proactivité dans la collaboration humain-robot en groupe

Des chercheurs ont publié sur arXiv (référence 2606.28469) une étude expérimentale portant sur le rôle de l'initiative robotique dans la collaboration humain-robot à plusieurs participants. Le protocole place des binômes humains en situation de résolution collaborative de puzzles, à l'intérieur d'un escape room instrumenté, en présence d'un robot humanoïde opérant selon deux modalités distinctes : un modèle réactif, où le robot ne répond que lorsqu'il est directement interpellé, et un modèle proactif, où il écoute en continu, contribue de façon autonome et relance l'interaction de sa propre initiative. Les résultats sont mesurés selon trois axes : performance de résolution de puzzles, fréquence des interactions, et évaluations subjectives via les échelles standardisées Godspeed et RoSAS. Le modèle proactif génère mécaniquement plus d'échanges, mais c'est le modèle réactif qui affiche le taux de complétion le plus élevé : 92,86 % contre 71,42 %. Ce résultat contre-intuitif est central pour quiconque déploie des robots collaboratifs dans un contexte industriel ou de service. L'intuition commune voudrait qu'un robot qui anticipe et prend des initiatives améliore la performance collective ; l'étude montre que ce n'est pas systématiquement le cas, et que la proactivité peut fragmenter l'attention, perturber la prise de tour de parole et dégrader la coordination du groupe. Plus significatif encore : l'effet de la modalité d'interaction dépend fortement du profil de l'utilisateur. Les participants ayant une expérience préalable des LLM résolvent les premiers puzzles plus vite en mode réactif ; ceux ayant déjà travaillé avec des robots, ou se déclarant introvertis, modifient leur évaluation des deux modèles de façon distincte. Pour un intégrateur ou un COO, cela signifie qu'il n'existe pas de configuration universellement optimale : le bon niveau d'initiative robotique dépend du profil des opérateurs et de la structure cognitive de la tâche. L'étude s'inscrit dans un corpus croissant de recherches en interaction humain-robot multi-parties (HRI), un champ qui prend de l'importance à mesure que les robots collaboratifs quittent les cellules isolées pour des environnements partagés et non structurés. L'escape room comme banc d'essai contrôlé pour l'HRI est une approche émergente qui permet de tester des dynamiques de groupe réalistes sans infrastructure industrielle lourde. Sur le plan concurrentiel, les questions d'initiative robotique concernent directement les plateformes de cobots sociaux (Boston Dynamics Spot, Furhat Robotics, mais aussi des acteurs européens comme Enchanted Tools avec Miroka) et les systèmes de guidage adaptatif dans la logistique. L'étude ne donne pas de suite opérationnelle immédiate, mais ses données suggèrent qu'une personalisation du niveau de proactivité selon le profil utilisateur, plutôt qu'un réglage global unique, constitue la piste de conception la plus prometteuse.

Recherche❖Paper

1 source

39

1878arXiv cs.RO 

Autonomie partagée intelligible : communication implicite des croyances du robot par le mouvement

Des chercheurs ont publié fin juin 2026 un preprint arXiv (2606.29846) présentant une nouvelle approche de l'autonomie partagée pour bras robotiques assistifs, baptisée "legible shared autonomy". Le principe : dans les systèmes actuels, un bras à six degrés de liberté (6-DOF) interprète les commandes d'un utilisateur à mobilité réduite pour inférer un objectif et l'assister en suivant le chemin le plus court vers cet objet cible. Le problème identifié est que ce mouvement efficient est ambigu lorsque plusieurs objets se trouvent dans une direction similaire, le robot "sait" ce qu'il vise, mais l'utilisateur, lui, ne le perçoit pas. L'équipe introduit une couche de communication implicite : le mouvement du robot est conçu pour révéler explicitement quelle cible a été inférée, en s'écartant délibérément du trajet optimal pour "pointer" vers l'objet choisi. L'allocation d'autorité est adaptative : le robot adopte des mouvements lisibles et assertifs quand sa confiance est haute, et rend la main à l'utilisateur quand elle est faible. Des expériences en simulation et sur un bras physique 6-DOF ont été conduites, avec des études utilisateurs. L'enjeu pour le secteur de la robotique assistive est concret. Les deux défauts corrigés sont symétriques et coûteux : quand le robot a raison mais ne le montre pas, l'utilisateur continue à contrôler inutilement, gaspillant effort moteur et temps, critique pour des personnes atteintes de handicaps neuromusculaires. Quand le robot se trompe, l'erreur n'est détectée que tardivement, après une déviation significative du bras, forçant une correction coûteuse. La contribution démontre qu'un mouvement délibérément sous-optimal du point de vue de l'efficacité peut être globalement plus performant en réduisant la charge de contrôle totale. C'est une réfutation empirique de l'hypothèse implicite dans beaucoup de systèmes HAI (human-autonomy interaction) selon laquelle "efficient = assistif". L'autonomie partagée pour la commande de bras robotiques est un axe de recherche actif depuis une décennie, notamment dans les groupes de Siddhartha Srinivasa (UW), Henny Admoni (CMU) et Brenna Argall (Northwestern), ces derniers ciblant spécifiquement la population en situation de handicap moteur. Ce travail s'inscrit dans la lignée des travaux sur la "legibility" introduits par Dragan et Srinivasa (2013), qui établissaient qu'un robot doit parfois sacrifier l'optimalité pour être compréhensible. Ce preprint reste une annonce académique sans déploiement ni partenaire industriel déclaré, et les études utilisateurs en situation réelle (fauteuil roulant, pathologies neuromusculaires variées) restent à confirmer à plus grande échelle.

Recherche❖Paper

1 source

38

1879arXiv cs.RO 

J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés

Un préprint publié sur arXiv (identifiant 2606.28712) introduit J-LAW (Joint Localization and Actionable World Modeling), une architecture qui fusionne le SLAM classique et les modèles de monde conditionnés par l'action dans un unique graphe de facteurs probabilistes. L'objectif MAP (Maximum A Posteriori) commun optimise simultanément les poses métriques des objets, les états latents du monde et les embeddings latents de landmarks. Le pont entre ces deux formulations est un encodeur latent conditionné par la pose et un facteur de couplage pose-latent appris. Les expériences portent sur deux benchmarks : PushT, une tâche de manipulation planaire, et WildGS, un environnement de reconstruction 3D gaussienne. Les résultats montrent que la correction par graphe couplé réduit l'erreur quadratique moyenne de prédiction latente et la dérive de point final par rapport au rollout en boucle ouverte, tandis que la fermeture de boucle latente améliore la cohérence globale de trajectoire. L'enjeu est structurant pour la robotique de manipulation : les systèmes actuels souffrent d'une dichotomie entre localisation précise et planification prédictive. Le SLAM produit des cartes métriques que les planificateurs ne savent pas exploiter directement ; les modèles de monde appris prédisent l'effet des actions mais perdent la cohérence spatiale sur des horizons longs, limitant leur utilité en déploiement réel. J-LAW démontre qu'en couplant ces deux estimations, chaque composante améliore l'autre : une meilleure localisation stabilise la prédiction latente, et réciproquement. C'est une réponse partielle à la dérive en open-loop, problème concret dans les pipelines de manipulation autonome. Pour les équipes travaillant sur des systèmes VLA ou de navigation, ce cadre suggère une représentation unifiée, métrique et actionnable, sans orchestrer deux pipelines distincts. La séparation entre SLAM et modèles de monde appris est historiquement ancrée : le SLAM probabiliste date des années 2000, tandis que les modèles de monde deep (RSSM, DreamerV3) sont apparus dans la décennie suivante. Plusieurs travaux récents tentent ce rapprochement dans le champ des VLA, où la cohérence spatiale devient un enjeu croissant. J-LAW se positionne comme une contribution théorique structurée via la formalisation en graphe de facteurs, et non comme un système prêt au déploiement. Limite à noter : les expériences restent sur des benchmarks standardisés, sans validation sur robot physique réel en scène dynamique. Aucun partenariat industriel ni timeline de transfert n'est mentionné dans ce préprint.

Recherche❧Opinion

1 source

38

1880arXiv cs.RO 

OpenSPM : modèle robotique transférable combinant mémoire de poses spatiales et génération d'actions par flow matching

OpenSPM (Open-environment Spatial Persistent Memory) est un framework de manipulation robotique tabletop présenté sur arXiv en juin 2026 (réf. 2606.29936). Le système repose sur deux blocs : une mémoire spatiale persistante orientée objet et un modèle de génération d'actions par flow-matching conditionnel. À l'entraînement, OpenSPM utilise de la perception 3D sémantique couplée à un filtre de Kalman pour suivre les poses 6D des objets, extrait les poses spatiales clés depuis des démonstrations humaines et les stocke comme entrées mémoire réutilisables. À l'inférence, il récupère ces entrées via une instruction en langage naturel, transfère les poses dans de nouveaux environnements par transformations rigides SE(3), puis génère des séquences d'actions à une fréquence de contrôle équivalente de 1033,3 Hz. Sur le benchmark LIBERO-GOAL (10 tâches de manipulation), le système atteint 85,6 % de taux de succès avec une correction résiduelle terminale en boucle fermée, le tout en requérant une puissance de calcul minimale à l'inférence. La fréquence de 1033 Hz combinée à une empreinte computationnelle légère est le point saillant pour les intégrateurs. Les modèles VLA (Vision-Language-Action) end-to-end comme Pi-0 de Physical Intelligence ou OpenVLA généralisent bien sémantiquement, mais restent coûteux à entraîner et peinent à imposer des contraintes géométriques fines pour des tâches de précision comme l'assemblage ou l'insertion de pièces. OpenSPM propose un compromis : conserver la compréhension en langage naturel tout en ancrant l'exécution physique dans une mémoire géométrique explicite et transférable. L'aspect transférabilité est industriellement pertinent : les poses clés s'adaptent via SE(3) sans réentraînement complet lors d'un changement de configuration, ce qui réduit le coût de reconfiguration sur des lignes de production évolutives. LIBERO-GOAL est un benchmark académique de référence pour la manipulation tabletop, sur lequel se mesurent régulièrement les architectures Diffusion Policy, ACT et les VLA actuels, dont GR00T N2 de NVIDIA et Pi-0 de Physical Intelligence. OpenSPM se positionne entre les deux extrêmes du secteur : ni LLM lourd en boucle fermée, ni pipeline rigide à primitives fixes. Il s'agit pour l'instant d'un preprint sans déploiement industriel ni partenariat commercial annoncé. Les ablations publiées renforcent la rigueur méthodologique, mais la généralisation à des contextes hors tabletop, manipulation en environnement non structuré ou sur plateforme mobile, reste entièrement à démontrer.

IA physique❧Opinion

1 source

38

1881arXiv cs.RO 

Optimisation de trajectoire sans collision pour la fabrication additive multi-axes par projection de gradient contraint

Une équipe de recherche vient de publier sur arXiv (2606.29766) un cadre de calcul pour optimiser les trajectoires de bras robotisés redondants utilisés en fabrication additive multi-axes (MAAM). Le système a été validé sur une plateforme à 8 degrés de liberté (DOF), exécutant des chemins d'outils longs, sans structure de support et conformes à la géométrie des pièces. Les résultats annoncés sont précis : erreur moyenne de position de la buse inférieure à 10 micromètres, réduction du jerk articulaire maximal jusqu'à 77,6 %, élimination de toutes les violations de collision et d'orientation détectées lors des tests. Par rapport à la méthode de référence SQP (programmation quadratique séquentielle), le gain de vitesse de convergence atteint 10,2x. Des impressions physiques de géométries complexes ont été réalisées, avec moins d'artefacts de dépôt visibles. L'intérêt technique réside dans la combinaison de deux contraintes difficiles à réconcilier dans la MAAM : maintenir la position exacte de la buse (contrainte d'égalité stricte au niveau de chaque waypoint) tout en évitant les collisions avec une pièce dont la géométrie évolue au fil du dépôt. Les auteurs formulent la cinématique relative buse-pièce via un Jacobien relatif, et modélisent les collisions avec une SDF (signed distance function) différentiable, ce qui permet de propager les gradients d'optimisation même lorsque la géométrie de fabrication change. La projection itérative sur la variété de self-motion du robot permet de respecter les contraintes de position sans compromettre l'évitement de collision. Pour un intégrateur ou un décideur industriel, c'est une avancée concrète : la MAAM redondante devient planifiable de manière robuste sur des trajectoires longues, ce qui ouvre la voie à des pièces aérospatiales ou médicales sans support imprimées directement sur robot 6+ axes. La fabrication additive multi-axes robotisée reste un domaine de niche, dominé par des travaux académiques issus de groupes en Europe, Asie et Amérique du Nord, sans acteur commercial dominant à ce jour. Les approches classiques d'optimisation (SQP, méthodes à points intérieurs) souffrent de temps de calcul prohibitifs sur des chemins longs, ce qui a freiné l'industrialisation. Ce travail s'inscrit dans une tendance plus large qui combine planification de mouvement différentiable et représentations géométriques implicites, une direction que partagent aussi des groupes travaillant sur la soudure robotisée et l'impression béton. L'article est un preprint non encore évalué par les pairs, et les conditions exactes des essais physiques (matériau, géométries testées, répétabilité sur série) mériteraient d'être détaillées avant toute adoption industrielle.

Recherche❖Paper

1 source

38

1882arXiv cs.RO 

Apprentissage de politiques hiérarchiques par décomposition spectrale

Des chercheurs ont publié le 30 juin 2026 sur arXiv (réf. 2606.29570) une nouvelle architecture de politique robotique appelée Causal Spectral Policy (CSP), fondée sur une décomposition spectrale des séquences d'actions via la transformée en cosinus discrète (DCT). L'observation centrale est la suivante : les composantes basse fréquence d'une séquence de mouvements encodent la trajectoire globale et l'intention de tâche, tandis que les composantes haute fréquence capturent le timing précis, l'alignement et les comportements de contact. CSP génère d'abord un mouvement grossier conditionné sur l'observation visuelle et l'instruction en langage naturel, puis produit des corrections fines conditionnellement sur la trajectoire réalisée, selon un processus causal dit "coarse-to-fine". Les évaluations en simulation et en environnement réel montrent des performances supérieures aux baselines sur des tâches de manipulation sensibles à la précision. L'équipe propose également une augmentation de données par injection de bruit de télé-opération humaine, simulant les imperfections naturelles des démonstrations collectées par opérateur. Cette approche répond à un défi structurel persistant de l'apprentissage par imitation (behavior cloning) : les politiques standards peinent à concilier cohérence globale du mouvement et précision locale au moment du contact. En séparant explicitement ces deux niveaux via la décomposition spectrale, CSP évite que les perturbations haute fréquence ne corrompent la planification de trajectoire, et inversement. La robustesse aux démonstrations bruitées est particulièrement pertinente pour les intégrateurs industriels qui collectent des données de télé-opération à grande échelle, où la qualité des démonstrations est intrinsèquement variable. Cela adresse aussi partiellement le problème du sim-to-real gap : traiter séparément la dynamique globale et les ajustements fins rend la politique moins sensible aux écarts entre simulation et réel. CSP s'inscrit dans un mouvement plus large de raffinement des politiques d'imitation, qui a vu émerger ces dernières années Diffusion Policy (Chi et al., 2023), ACT (Action Chunking with Transformers) ou des modèles VLA comme Pi-0 de Physical Intelligence et OpenVLA. Là où ces approches misent sur l'expressivité de l'architecture ou le volume de données d'entraînement, CSP parie sur un biais inductif structurel emprunté au traitement du signal. Il s'agit à ce stade d'un résultat de preprint sans déploiement industriel annoncé. Les prochaines étapes naturelles incluent des benchmarks sur des tâches de haute précision type assemblage ou vissage, et une validation sur des plateformes matérielles standardisées comme Franka ou UR.

Recherche❧Opinion

1 source

38

1883arXiv cs.RO 

X-Morph : des priors de mouvement humain pour l'apprentissage robotique évolutif multi-morphologies

Une équipe de chercheurs a publié fin juin 2026 sur arXiv (arXiv:2606.30290v1) X-Morph, un pipeline qui convertit des données de mouvement humain en politiques de locomotion et de loco-manipulation déployables sur des robots à pattes non-humanoïdes. L'approche cible trois morphologies distinctes : un quadrupède, un hexapode, et un quadrupède équipé d'un bras manipulateur. Le pipeline fonctionne en trois étapes : un module de re-ciblage cross-morphologique transforme des séquences de mouvement humain en références cinématiquement cohérentes avec la structure mécanique du robot cible ; ces références sont ensuite suivies par une politique d'apprentissage par renforcement (RL) dite "privileged" qui accède à des informations d'état complètes, puis distillées en une politique étudiante causale utilisable en inférence temps-réel. Les politiques obtenues généralisent à des mouvements humains non vus à l'entraînement et ouvrent trois applications concrètes : téleopération par vidéo, contrôle par prior comportemental, et génération de mouvement conditionnée par texte. La valeur technique de X-Morph tient à ce qu'il propose une réponse directe au problème central de la robotique non-humanoïde : la rareté des données de mouvement robot-spécifiques. Les systèmes humanoïdes comme Figure 02, Optimus Gen 2 ou Atlas bénéficient d'immenses corpus de capture de mouvement humain (AMASS, CMU MoCap, entre autres), mais les quadrupèdes de type Spot, ANYmal ou Unitree Go2 n'ont pas d'équivalent structurel. X-Morph pose l'hypothèse qu'un re-ciblage morphologique rigoureux peut combler cet écart sans collecter de nouvelles données robot. La mécanique RL "privileged" puis distillée est bien établie dans la littérature, notamment chez ETH Zurich et ANYbotics, mais son application à la réutilisation cross-morphologique de données humaines reste peu explorée à cette échelle. La capacité à conditionner les politiques par texte représente par ailleurs une interface opérateur plus accessible pour les intégrateurs industriels. Ce preprint s'inscrit dans une dynamique de recherche qui a accéléré depuis 2023, portée par des laboratoires exploitant les données humaines pour bootstrapper des comportements robotiques généraux : Pi-0 chez Physical Intelligence (Berkeley), GR00T N2 chez NVIDIA, ou Helix chez Figure AI. X-Morph se distingue en ciblant explicitement les morphologies non-humanoïdes, là où la majorité de la recherche reste concentrée sur les bipèdes. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné, ce qui en fait pour l'instant une contribution académique à suivre plutôt qu'un produit disponible. La question ouverte demeure celle du sim-to-real gap sur les morphologies hexapodes, que le papier ne quantifie pas en conditions réelles.

IA physique❧Opinion

1 source

38

1884arXiv cs.RO 

REPAIR-Bench : benchmark pour la perception des erreurs et la reprise d'interaction en robotique

Une équipe de chercheurs a publié REPAIR-Bench (Robot Error Perception And Interaction Recovery Benchmark), un jeu de données et de tâches d'évaluation conçu pour mesurer comment les utilisateurs humains perçoivent les pannes robotiques et y répondent. Le benchmark repose sur 214 essais d'interaction impliquant 41 participants exposés à quatre types de défaillances induites. Pour chaque session, les chercheurs ont capturé des données multimodales synchronisées : unités d'action faciale (AU), posture de la tête, transcriptions vocales, ainsi que des rapports d'affect et de stratégies de récupération recueillis après interaction. Trois tâches d'évaluation inédites structurent le benchmark : la détection de pannes sur des sessions interdépendantes (pour modéliser l'adaptation longitudinale de l'utilisateur), la classification visuelle du type de défaillance au-delà du simple binaire succès/échec, et la prédiction de stratégie de récupération centrée utilisateur. En baseline, un modèle récurrent hiérarchique atteint un F1 strict de 0,80 contre 0,68 pour un modèle mono-session, avec une erreur signée moyenne de -0,51 s et une erreur absolue médiane de 2,97 s pour la localisation temporelle des pannes. Pour la prédiction de récupération, un Mistral-7B affiné par QLoRA obtient Hit@5 = 0,76 et F1@5 = 0,32. L'intérêt scientifique de REPAIR-Bench tient à ce qu'il rompt avec trois limites persistantes de la littérature en interaction humain-robot (HRI) : le traitement des défaillances comme des événements isolés, la réduction de la détection à une décision binaire, et la modélisation de la récupération par des règles figées. En intégrant la dimension longitudinale, le benchmark permet de modéliser comment un utilisateur adapte progressivement son comportement face à des défaillances répétées, un phénomène documenté mais rarement instrumenté à cette échelle. Pour les équipes qui déploient des robots de service ou médicaux, c'est un signal concret : la robustesse perçue n'est pas seulement une propriété technique du système, mais une fonction de l'historique d'interaction. Le benchmark ouvre aussi la voie à des systèmes de récupération adaptatifs pilotés par les préférences inférées de l'utilisateur, plutôt que par des arbres de décision codés à la main, ce qui est pertinent pour les intégrateurs qui cherchent à réduire la charge cognitive des opérateurs. Ce travail s'inscrit dans un champ de recherche en expansion sur la fiabilité perçue des robots autonomes, accéléré par la multiplication des déploiements en contexte médical et industriel où une panne mal gérée peut rompre la confiance de façon durable. Les approches précédentes, comme les travaux sur la détection d'anomalies en manipulation ou les études d'affect en HRI, restaient souvent cloisonnées ; REPAIR-Bench propose un cadre unifié couvrant le cycle de vie complet de la défaillance. Le benchmark est publié sur arXiv (2606.29937) et cible explicitement les communautés HRI et HRI médicale. Les prochaines étapes naturelles incluent l'extension à des plateformes robotiques variées (bras manipulateurs, robots mobiles, humanoïdes) et l'évaluation de modèles de langage multimodaux en temps réel comme superviseurs de récupération, une piste que les résultats Mistral-7B rendent crédible sans pour autant la valider à l'échelle.

Recherche❖Paper

1 source

38

1885arXiv cs.RO 

SPACE : champs de phéromones pour l'exploration adaptative d'essaims sans collision

Des chercheurs ont présenté SPACE (Swarm Pheromone Fields for Adaptive Collision-Aware Exploration), un algorithme de coordination décentralisée pour essaims robotiques à grande échelle, publié en juin 2026 sur arXiv. Inspiré des phéromones de fourmis, le système guide des groupes allant jusqu'à 256 robots dans des environnements intérieurs inconnus via un champ environnemental partagé à trois couches : phéromones attractives vers les zones frontières inexplorées, phéromones répulsives marquant les zones déjà visitées, et champ de densité robotique calculé en temps réel. Les évaluations portent sur des données de bâtiments réels : seize plans de maisons issus du dataset HouseExpo et huit étages de campus du dataset KTH de Stockholm. Résultat central : SPACE réduit les contacts inter-robots de 4 à 17 fois par rapport à un planificateur glouton de type nearest-frontier classique, tout en maintenant le temps de couverture à moins de 2 % du planificateur quasi-optimal en temps. Le résultat le plus instructif n'est pas la performance brute, mais la conclusion qui l'accompagne : à grande échelle, la coordination améliore avant tout la sécurité, pas la vitesse d'exploration. Ce constat remet en question l'hypothèse répandue selon laquelle ajouter des robots accélère proportionnellement la couverture. Au-delà d'un certain seuil, les goulets d'étranglement, couloirs, portes, créent de la congestion, et chaque robot supplémentaire génère davantage de risques de collision qu'il n'apporte de gain de vitesse. SPACE se positionne sur la frontière de Pareto empirique : meilleure sécurité à chaque taille d'essaim congestionnée, sans sacrifier significativement la rapidité. Pour les intégrateurs de flottes AMR (robots mobiles autonomes) en entrepôt ou en logistique, ce travail fournit une base algorithmique solide pour arbitrer entre densité de déploiement et sécurité opérationnelle lors du passage à l'échelle industrielle. La navigation en essaim s'appuie sur la stigmergie, principe emprunté à l'entomologie : les individus se coordonnent non par communication directe, mais en modifiant un environnement partagé. Les approches nearest-frontier classiques sont efficaces pour de petits groupes mais génèrent des embouteillages à haute densité. Face aux méthodes centralisées, coûteuses en calcul à 256 unités, et aux systèmes à communication directe, fragiles sans réseau fiable, SPACE reste purement décentralisé via le champ partagé. Ce préprint arXiv n'a pas encore été évalué par les pairs et les expériences sont conduites en simulation sur floorplans réels : une validation sur robots physiques reste à établir. Les suites logiques incluent des tests sur hardware réel et l'intégration dans des middlewares standards comme ROS 2.

Recherche❖Paper

1 source

38

1886arXiv cs.RO 

RetrDex : récupération efficace d'objets dans des environnements encombrés avec une main dextérique

RetrDex est un framework de recherche publié sur arXiv (référence 2502.18423, troisième révision) dont l'objectif est d'apprendre à un système bras-main dextre à récupérer des objets enfouis sous un empilement d'autres objets. L'approche repose sur du reinforcement learning (RL) parallèle à grande échelle conduit en simulation, couplé à une représentation spatiale qui encode les patterns d'occlusion ainsi que les relations géométriques entre la cible, la main multi-doigts et les objets alentour. La politique résultante développe un répertoire de gestes, poussée, agitation et piquage (poking), pour dégager activement les obstacles avant ou pendant la saisie. Évalué sur 16 objets ménagers courants dans des configurations variées, le système affiche de bonnes performances sur des cibles vues en entraînement comme sur des cibles inédites. Un transfert zero-shot vers un robot réel multi-doigts est revendiqué, sans fine-tuning supplémentaire. La récupération d'objets en scène encombrée est un problème ouvert en manipulation robotique : les approches classiques décomposent la tâche en étapes séquentielles indépendantes (retirer les objets qui gênent un par un, puis saisir), ce qui génère des séquences longues et peu robustes aux variations. RetrDex intègre ces interactions physiques directement dans la politique de récupération, réduisant potentiellement le nombre de mouvements nécessaires. La revendication la plus notable reste le zero-shot sim-to-real sur une main dextre : ce type de transfert est notoirement difficile à cause de la complexité des contacts multi-doigts et du gap dynamique entre simulation et réalité physique. Si les résultats tiennent à l'examen approfondi, cela renforce la thèse que le RL massivement parallèle en simulation peut généraliser sur du matériel réel pour des tâches de manipulation en espace contraint, sans données réelles supplémentaires. Le papier s'inscrit dans une tendance forte : utiliser le RL en simulation à très grande échelle pour entraîner des politiques de manipulation dextre, une direction explorée par des équipes de Berkeley (DexGraspNet), Stanford et, côté industriel, par des acteurs comme Unitree ou Agility Robotics sur leurs propres mains multi-doigts. Les méthodes concurrentes récentes, graphes de relations de support ou planification séquentielle avec contraintes géométriques, adoptent des stratégies que RetrDex cherche à dépasser en termes d'efficacité. Soumis initialement en février 2025 et révisé jusqu'en 2026, le travail n'annonce pas de code open-source dans son résumé, ce qui limite les possibilités de réplication à court terme. Les suites naturelles seraient des tests sur objets déformables, une extension à des charges utiles plus importantes et une intégration dans une chaîne logistique ou un poste d'assemblage industriel réel.

Recherche❖Paper

1 source

38

1887arXiv cs.RO 

SCREP : génération de trajectoires perceptuelles par régression de coordonnées de scène et apprentissage évidentiel

Des chercheurs ont publié sur arXiv (référence 2507.07467v3) SCREP, un planificateur de trajectoire dit "perception-aware" conçu pour les drones autonomes évoluant en intérieur sans signal GPS. Le système repose sur la régression de coordonnées de scène (SCR, ou Scene Coordinate Regression) couplée à un apprentissage évidentiel : au lieu d'effectuer une reconstruction de carte 3D par appariement de features (approche classique mais coûteuse en calcul et en stockage), le réseau prédit directement les coordonnées 3D associées à chaque pixel de l'image embarquée, ce qui permet une estimation de pose absolue en temps réel. Un optimiseur de trajectoire à horizon glissant (receding-horizon) oriente activement la caméra vers les zones de la scène présentant la plus faible incertitude de localisation. Un lisseur à retard fixe (fixed-lag smoother) fusionne ensuite les estimations de pose SCR, de basse fréquence, avec les données IMU haute fréquence pour produire une estimation de pose continue et de haute qualité. En simulation, SCREP réduit l'erreur quadratique moyenne (RMSE) de translation d'au moins 4,9 % et celle de rotation d'au moins 30,8 % par rapport aux méthodes de référence. Des expériences hardware-in-the-loop valident la faisabilité dans des conditions proches du déploiement réel. L'intérêt industriel de cette approche tient à deux tensions classiques dans la navigation autonome en intérieur : la scalabilité des cartes de localisation visuelle et le coût de calcul embarqué. Les méthodes par appariement de features (comme celles utilisées dans ORB-SLAM ou HLoc) imposent une reconstruction préalable de la carte et souffrent d'une explosion mémoire dans les grands environnements entrepôts ou industriels. La SCR résout ce problème par un réseau compact appris offline, directement exploitable onboard sur un calculateur de drone. L'apport d'SCREP va plus loin : en intégrant l'incertitude estimée dans la boucle de planification de trajectoire, le système évite activement les zones visuellement ambiguës plutôt que de subir leur dégradation localement. C'est un changement de paradigme notable par rapport aux planificateurs classiques qui traitent la localisation comme une boîte noire externe. Pour un intégrateur ou un décideur industriel déployant des drones d'inspection ou d'inventaire, cela réduit le risque de dérive de pose dans les couloirs peu texturés ou les allées sombres. La navigation en environnement GPS-denied est un verrou technique persistant pour les drones d'intérieur autonomes, avec une communauté de recherche active depuis une décennie autour de VIO (Visual-Inertial Odometry), SLAM et, plus récemment, des méthodes apprises comme NeRF ou les champs de scène implicites. La SCR elle-même est une alternative proposée initialement par la communauté relocalisation visuelle (travaux pionniers Microsoft Research, DSAC++), mais son application dans une boucle de planification proactive reste peu explorée. SCREP se positionne comme une contribution de recherche académique, présentée sous forme de preprint arXiv sans affiliation industrielle identifiée ni annonce de déploiement commercial. Les résultats hardware-in-the-loop sont encourageants mais ne constituent pas une validation terrain à grande échelle. Les concurrents directs incluent les approches VIO+planification certifiée (ETH Zurich, MIT CSAIL), ainsi que des acteurs industriels comme Skydio ou Exotec pour la navigation autonome en entrepôt. Les prochaines étapes attendues seraient une évaluation sur des environnements réels de grande dimension et une comparaison avec des champs de scène neuraux récents comme l'iNeRF ou les Gaussian Splats.

Recherche❖Paper

1 source

37

1888arXiv cs.RO 

Limites de stabilité et performance motrice dans les interactions dyadiques médiées par robot avec délai

Une équipe de chercheurs publie sur arXiv (référence 2510.14511, troisième révision) un cadre analytique permettant de déterminer avec précision les frontières de stabilité dans les systèmes d'interaction haptique à distance entre deux opérateurs humains médiatisés par un robot. La méthode repose sur une approche de passage par zéro dans le domaine fréquentiel, qui contourne les approximations conservatives habituellement employées dans la littérature pour extraire des limites de stabilité explicites, directement liées aux dynamiques matérielles du robot et à la raideur de couplage entre les interfaces. Les auteurs étendent ensuite l'analyse d'un couplage élastique simple vers une topologie de proxy virtuel asymétrique et complexe, démontrant la généralité du framework. Le résultat théorique central est que la raideur d'interaction contraint de manière non linéaire la marge de stabilité du système: augmenter la rigidité du couplage accroît la sensibilité aux délais réseau, ce qui est contre-intuitif pour des concepteurs habitués aux systèmes mécaniques passifs. Ce résultat est validé expérimentalement par des essais montrant une corrélation directe entre les marges de stabilité analytiques et les performances motrices empiriques mesurées lors d'interactions dyadiques avec délai. Pour les intégrateurs de solutions haptiques téléopérées -- rééducation neuromotrice, chirurgie à distance, collaboration industrielle distribuée -- ce travail fournit des règles de conception rigoureuses et pose les conditions préalables à l'élaboration de stratégies effectives de compensation du délai. Ce papier s'inscrit dans un champ de recherche actif sur la téléhaptique et le contrôle bilatéral à distance, où les approches classiques comme les variables d'onde (wave variables) ou les modèles passifs souffrent souvent d'un conservatisme excessif qui pénalise les performances. Le problème du délai réseau est critique au-delà d'environ 100 ms de latence aller-retour, seuil au-delà duquel les systèmes haptiques conventionnels basculent vers l'instabilité. Cette contribution, sous forme de preprint en troisième itération, n'est pas encore un produit déployé mais un outil théorique destiné aux chercheurs et concepteurs de systèmes d'interaction haptique distante, avec une application potentielle directe en robotique médicale et dans les environnements collaboratifs industriels géographiquement distribués.

Recherche❖Paper

1 source

37

1889arXiv cs.RO 

Passage de messages amélioré par flots normalisants pour la localisation collaborative multi-robots

Des chercheurs proposent dans un preprint arXiv (identifiant 2606.29868, juin 2026) un algorithme de passage de messages pour la localisation collaborative distribuée de flottes multi-robots, en unifiant la propagation de croyances gaussiennes (GBP) et l'approximation champ moyen (MF). GBP préserve les dépendances entre les états des robots, tandis que MF estime dynamiquement les statistiques de bruit. Pour traiter les termes non conjugués issus de modèles de mesure non linéaires, l'algorithme intègre un estimateur de gradient basé sur des flux normalisants (NF), des modèles génératifs qui rendent l'échantillonnage paramétrique et entraînable de bout en bout, les paramètres du NF étant ajustés selon le comportement du passage de messages lors d'un entraînement global. La méthode est étendue aux espaces d'états sur groupes de Lie pour représenter correctement les rotations 3D, puis validée sur des véhicules de surface autonomes (ASV) en fusionnant odométrie, mesures GNSS et télémétrie inter-robots ultra-wideband (UWB). La nature distribuée de l'algorithme élimine tout point de défaillance centralisé : chaque robot maintient et propage ses propres estimations, ce qui est critique pour des flottes opérant en environnements dégradés ou à couverture GNSS partielle. L'intégration des flux normalisants comme estimateurs de gradient rend l'approximation adaptative, là où la linéarisation classique (EKF) perd en précision face à des non-linéarités fortes. La fusion odométrie/GNSS/UWB couvre explicitement les situations où le signal satellite seul est insuffisant, configuration typique en milieu maritime, portuaire ou en zone urbaine dense. La localisation collaborative multi-robots est un domaine actif depuis les années 2000, avec des approches allant des filtres particulaires décentralisés aux graphes de facteurs incarnés par des systèmes comme COVINS ou Kimera-Multi. L'apport des flux normalisants au cadre de passage de messages reste récent, et la validation expérimentale sur ASVs en simulation et en conditions réelles distingue ce travail des contributions purement théoriques. Les auteurs n'annoncent pas de déploiement opérationnel : l'étape suivante probable est la montée en échelle vers des flottes plus larges et l'intégration dans des pipelines de navigation pour l'inspection maritime ou la logistique portuaire autonome.

Recherche❖Paper

1 source

37

1890arXiv cs.RO 

FutureNav : modélisation unifiée monde-action pour la navigation vision-langage

FutureNav est un cadre de modélisation unifiée monde-action pour la navigation vision-langage (VLN) en environnements continus, présenté sous forme de preprint sur arXiv (arXiv:2606.30367). Le système encode conjointement des features textuelles, visuelles et spatiales dans un grand modèle de langage, entraîné sur quatre objectifs simultanés : prédiction d'action de navigation, dynamiques inverse et forward pour modéliser les transitions d'états, et génération future pour anticiper les états spatiaux à venir. Avec un backbone de 4 milliards de paramètres, FutureNav revendique des performances state-of-the-art sur plusieurs benchmarks VLN, surpassant les méthodes antérieures selon ses auteurs. Le code et les modèles seront publiés en open source. La contribution centrale est architecturale : la plupart des modèles de navigation fondationnels récents traitent la tâche comme une génération directe d'actions, sans modéliser explicitement l'état du monde ni son évolution future. FutureNav cherche à combler cet écart en forçant le modèle à représenter des transitions d'états, ce qui est censé renforcer la robustesse sur des séquences d'actions longues en environnement non discrétisé. Pour les chercheurs en navigation incarnée ou les intégrateurs de robots mobiles autonomes, cela pointe vers une approche où le raisonnement spatial prospectif améliore la politique d'action sans surcoût d'inférence notable, un point clé pour l'embarqué. La VLN en environnements continus est un domaine actif depuis les benchmarks R2R, VLN-CE et REVERIE. Des travaux comme NavGPT, MapGPT ou EmbodiedScan ont scalé des VLM sur la navigation, mais en mode "action pure". FutureNav s'inscrit dans la tendance des world models appliqués à la navigation incarnée, parallèlement aux approches VLA comme OpenVLA ou aux travaux de DeepMind sur la robotique prédictive. Il s'agit pour l'instant d'un preprint non évalué par les pairs, et les gains annoncés sur les benchmarks méritent une vérification indépendante avant conclusions définitives. La prochaine étape annoncée est la publication publique du code.

Recherche⚡Actu

1 source

37

1891arXiv cs.RO 

KYON : quadrupède semi-modulaire roues-pattes aux capacités bimanuelles agiles

KYON est un robot quadrupède hybride roue-jambes, doté d'un torse bimanel, présenté dans un preprint arXiv (2606.30243) publié fin juin 2026 par une équipe dont l'affiliation institutionnelle n'est pas précisée dans l'abstract. La plateforme adopte une architecture semi-modulaire : les membres inférieurs sont reconfigurables, permettant de basculer entre locomotion sur roues et locomotion sur pattes selon le terrain. Plutôt que de distribuer les actionneurs le long des membres, KYON les concentre dans le châssis central et transmet le mouvement via des mécanismes de transmission, ce qui réduit l'inertie distale et améliore l'agilité dynamique. Le système de contrôle combine un cadre de contrôle du corps entier (whole-body control) avec une politique d'apprentissage par renforcement (RL), traitant séparément mais de façon coordonnée les tâches de locomotion et de manipulation. Les résultats expérimentaux rapportés valident la capacité du robot à opérer en locomotion dynamique et en manipulation bimane dans des environnements non structurés -- aucun chiffre précis de charge utile, de degrés de liberté ou de temps de cycle n'est communiqué dans l'abstract. L'intérêt de KYON pour les intégrateurs industriels et les décideurs B2B tient à la combinaison rare d'une base mobile à double mode (roue/patte) et d'une capacité de manipulation à deux bras sur un même châssis compact. La réduction de l'inertie distale via la centralisation des actionneurs est un choix de conception déjà validé sur des plateformes comme l'ANYmal de ANYbotics ou le MIT Cheetah, et son application à un système bimane à mobilité hybride constitue un apport méthodologique tangible. L'usage du RL pour absorber les perturbations dynamiques sans recalibration manuelle est cohérent avec les avancées récentes en sim-to-real, bien que les conditions exactes de test et les métriques de robustesse ne soient pas détaillées, ce qui limite l'évaluation externe à ce stade. Le marché des quadrupèdes mobiles est aujourd'hui dominé par Boston Dynamics (Spot), ANYbotics (ANYmal C/D), Unitree (B2, Go2) et, en France, des acteurs comme Wandercraft sur le segment bipède. La niche hybride roue-patte est occupée par peu de plateformes commerciales matures, ce qui positionne KYON comme un candidat de recherche dans un espace encore peu peuplé. Publié en preprint sans validation par les pairs, ce travail reste au stade de prototype de laboratoire : aucun partenaire industriel, aucun déploiement ni calendrier de commercialisation ne sont mentionnés. Les prochaines étapes naturelles seraient une publication en conférence (ICRA, IROS, RSS) et des tests en conditions réelles d'entrepôt ou de logistique.

Recherche❖Paper

1 source

37

1892arXiv cs.RO 

HUMEMBR : apprentissage des routines humaines pour la navigation incarnée prédictive

Des chercheurs ont publié sur arXiv (arXiv:2606.30404, juin 2026) un système baptisé HUMEMBR, Human-Centered Memory for Embodied Robots, conçu pour permettre à un robot incarné de modéliser, mémoriser et exploiter les routines comportementales des individus qu'il côtoie. Le système répond à des requêtes telles que « où se trouve probablement cette personne en ce moment » ou « à quelle heure quitte-t-elle habituellement le bâtiment », en s'appuyant sur un historique d'observations accumulé sur le long terme. HUMEMBR couple une construction mémoire continue à un mécanisme de récupération et d'interrogation parallèle, produisant des représentations structurées des routines humaines interrogeables à la demande. Le système a été validé sur un robot physique déployé dans deux environnements distincts, sans que le papier précise le modèle de plateforme, le nombre de DOF ni les conditions exactes des essais terrain. L'intérêt principal de HUMEMBR réside dans son efficacité computationnelle par rapport aux approches naïves à base de LLM en plein contexte : les auteurs rapportent de meilleures performances sur le raisonnement à long horizon tout en consommant significativement moins de tokens. Pour les intégrateurs de robots de service ou les déployeurs en environnement tertiaire (hôpitaux, entrepôts, bureaux), cela ouvre la voie à des robots capables d'anticiper la position d'un opérateur sans requête GPS ni tag actif, en inférant simplement depuis des patterns observés. C'est un pas vers la résolution du « routine gap », la difficulté à faire raisonner un robot sur des comportements récurrents et non étiquetés, au-delà de la navigation réactive classique. La navigation incarnée guidée par le langage (VLA, NavLLM) est un champ très actif depuis 2023, avec des travaux comme NavGPT, SayNav ou EmbodiedGPT qui explorent l'usage des LLMs comme planificateurs de trajectoire. HUMEMBR se différencie en ciblant explicitement la modélisation comportementale humaine sur la durée, plutôt que la seule compréhension d'instructions à la volée. Aucun partenaire industriel ni calendrier de transfert technologique n'est mentionné dans l'abstract, il s'agit d'une contribution académique, pas d'un produit annoncé. Les prochaines étapes naturelles seraient de tester la robustesse face à des changements de routine imprévus et de quantifier les performances sur des métriques standardisées comme HM3D ou R2R.

Recherche❖Paper

1 source

36

1893arXiv cs.RO 

RoboGaze : évaluer les modèles du monde robotiques via l'analyse vision-langage structurée

Une équipe de recherche a soumis en juin 2026 sur arXiv (réf. 2606.28385) RoboGaze, un framework d'évaluation multi-agents basé sur des modèles de vision-langage (VLM) pour analyser les vidéos générées par des world models robotiques. Sans entraînement spécifique, son pipeline à trois étapes enchaîne un ancrage tâche-scène, un routage vers des agents spécialistes par dimension d'analyse, puis une vérification critique, produisant des rapports de défauts temporellement localisés selon une taxonomie originale en 6 dimensions et 30 types propres à la robotique. Les auteurs ont constitué un jeu de données de référence de 382 clips validés humainement, couvrant simulation et manipulation réelle en multi-vues. Évalué sur huit backbones VLM open-source et propriétaires, RoboGaze améliore le F1 de description jusqu'à +43 points et l'alignement temporel (F1 x IoU) jusqu'à +37 points face aux baselines zero-shot, comblant 85 % de l'écart avec l'évaluateur humain. Ce travail répond à un problème structurel croissant : les world models génèrent des vidéos visuellement convaincantes qui violent pourtant régulièrement les lois physiques, la cohérence temporelle ou la logique de tâche, des défauts que les métriques classiques comme FID ou SSIM ne détectent pas. Les VLMs utilisés en juges monolithiques souffrent par ailleurs du biais dit "cry-wolf" : ils signalent des erreurs sur des clips corrects dans plus de 75 % des cas, rendant leur diagnostic inexploitable en pratique. Le module critic de RoboGaze corrige ce biais, faisant passer la précision sur les clips propres de moins de 25 % à plus de 80 %, ce qui en fait un outil de diagnostic scalable et interprétable pour les équipes qui entraînent ou benchmarkent des modèles génératifs pour la planification robotique. Les world models pour robots incarnés constituent depuis 2024 un axe de recherche en forte croissance, avec des travaux comme UniSim, IRASim ou les approches de planification en espace latent, mais l'évaluation rigoureuse de leurs sorties vidéo restait un angle mort méthodologique. RoboGaze se positionne face aux approches d'évaluation monolithiques en proposant une architecture modulaire et diagnostique, plus proche des pratiques de validation industrielle. En tant que préimpression, les performances annoncées restent à confirmer par révision par les pairs et sur des distributions hors-domaine ; les auteurs ne mentionnent pas de transfert industriel immédiat, mais la nature training-free du système facilite son intégration dans des pipelines d'évaluation existants.

Recherche❧Opinion

1 source

36

1894arXiv cs.RO 

MoPe : permanence du mouvement pour une cartographie gaussienne monoculaire robuste en environnements dynamiques

Une équipe de recherche publie en préimpression sur arXiv (2606.29237) une méthode baptisée MoPe (Motion Permanence) qui vise à corriger un défaut structurel des systèmes de cartographie par Gaussian Splatting monoculaire en environnements dynamiques. Le problème ciblé est précis : les approches actuelles de SLAM avec Gaussian Splatting traitent chaque image de manière indépendante pour décider si une région est dynamique ou statique. Résultat, quand un piéton ralentit, s'arrête ou réapparaît après une occultation, la trame courante semble statique et le système intègre ce contenu mobile dans la carte permanente, générant des artefacts de type "fantôme" (ghosting). MoPe repose sur un principe qu'il nomme Motion Permanence : l'identité dynamique d'un objet doit persister dans le temps plutôt qu'être réévaluée à chaque image. Concrètement, la méthode propage le posterior dynamique historique via un warping géométriquement cohérent en SE(3), puis le fusionne avec les observations de la trame courante par mises à jour bayésiennes en log-odds bornées. Ce posterior persistant pilote le suivi, la cartographie, l'insertion sélective de gaussiennes et un post-nettoyage par gaussienne individuelle. Les auteurs évaluent MoPe sur trois benchmarks publics (Wild-SLAM, Bonn, TUM) et rapportent des gains de robustesse en tracking et une réduction des ghosting, avec les améliorations les plus marquées sur les séquences à humains dynamiques. L'enjeu pour les intégrateurs et les équipes de navigation autonome est direct : un SLAM qui "hallucine" des obstacles statiques là où un piéton s'était simplement immobilisé dégrade la planification de trajectoire et la prise de décision en aval. En introduisant une mémoire temporelle au niveau de la représentation de scène elle-même, MoPe traite le problème à la racine plutôt qu'en post-filtrage. La méthode prouve qu'un filtre d'incertitude à mémoire, relativement léger à implémenter, suffit à franchir une partie du fossé entre les démos en laboratoire et les déploiements réels en environnements peuplés, sans recourir à une caméra stéréo ou à un LiDAR. Le Gaussian Splatting appliqué au SLAM est un domaine en effervescence depuis 2023, porté par des travaux comme SplaTAM, MonoGS et GaussianSLAM, qui ont démontré la faisabilité d'une cartographie haute-fidélité en temps réel à partir d'une seule caméra. MoPe s'inscrit dans la vague des méthodes qui cherchent à rendre ces représentations exploitables hors des environnements contrôlés, aux côtés d'approches concurrentes comme RobustSplat ou les variantes uncertainty-aware de MonoGS. Il s'agit pour l'instant d'une préimpression non revue par les pairs, sans code publié ni validation sur robot réel annoncée, ce qui invite à tempérer les conclusions : les gains mesurés sur séquences vidéo ne garantissent pas un comportement équivalent sur plateforme embarquée avec contraintes temps-réel. Les prochaines étapes naturelles seront l'intégration dans un pipeline de navigation complet et la validation sur datasets intérieurs type HM3D ou ScanNet avec scènes plus peuplées.

Recherche❖Paper

1 source

36

1895arXiv cs.RO 

CAR : adaptation cinédynamique inter-véhicules par représentation de la mobilité

Des chercheurs proposent sur arXiv (arXiv:2603.06866) un cadre algorithmique baptisé CAR, pour Cross-vehicle kinodynamics Adaptation via mobility Representation, conçu pour transférer rapidement les modèles de comportement dynamique d'un robot mobile à un autre sans recollecte massive de données. Le système exploite un encodeur Transformer avec normalisation de couche adaptative (Adaptive Layer Normalization) pour projeter trajectoires et configurations physiques de véhicules dans un espace latent commun dit "espace de mobilité partagé". CAR identifie ensuite les voisins les plus proches dans cet espace pour extraire les comportements communs et les adapter à une nouvelle plateforme. Évalué sur le simulateur Verti-Bench, construit sur le moteur multi-physique Chrono, et validé sur quatre configurations distinctes de la plateforme Verti-4-Wheeler, le framework atteint une réduction de l'erreur de prédiction de 67,2 % par rapport à un transfert direct entre plateformes similaires, avec seulement une minute de nouvelles données de trajectoire. Ce résultat adresse un verrou opérationnel réel pour les déployeurs de flottes hétérogènes : adapter un système de navigation autonome à un nouveau châssis exige aujourd'hui soit des campagnes d'acquisition de données coûteuses et spécifiques à chaque plateforme, soit des modèles simplifiés (unicycle, bicyclette) qui ignorent la kinodynamique réelle du robot. Ces abstractions montrent rapidement leurs limites sur terrain accidenté ou en conditions industrielles. CAR propose un transfert de connaissances inter-plateformes à faible coût de calibration. Pour un intégrateur déployant des AMR avec plusieurs types de châssis, réduire à une minute la fenêtre d'adaptation représente un levier opérationnel concret, même si ces conditions de benchmark restent à reproduire en environnements de production réels. L'article s'inscrit dans un courant actif de la recherche en robotique de terrain visant à briser la dépendance aux modèles plateforme-spécifiques. La plateforme Verti-4-Wheeler, reconfigurable mécaniquement, et le simulateur Verti-Bench offrent un banc d'essai modulaire bien adapté à ce type d'étude. Les approches concurrentes incluent les méthodes de méta-apprentissage (MAML et dérivés) et les modèles à dynamiques latentes (Dreamer, RSSM) appliqués à la locomotion. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné : il s'agit d'un résultat académique en cours de révision (v3 sur arXiv), dont la validation à grande échelle reste à démontrer.

Recherche❖Paper

1 source

36

1896arXiv cs.RO 

ActiveVital : surveillance des signes vitaux intégrant la géométrie corporelle pour robots de soins à domicile

Des chercheurs présentent dans un preprint arXiv (référence 2606.30275, juin 2026) un système baptisé ActiveVital, conçu pour surveiller en continu les signes vitaux, fréquence respiratoire et rythme cardiaque, sans contact physique, à bord d'un robot domestique équipé d'un radar à ondes millimétriques (mmWave). Le problème physique de départ est précis : un radar mmWave ne mesure que la composante radiale du mouvement. Lorsque le robot n'est pas positionné face à la cage thoracique du patient, l'alignement angulaire se dégrade, rendant le signal inutilisable. Résultat avant correction : une erreur d'intervalle respiratoire de 0,87 seconde et une erreur de fréquence cardiaque de 13,59 bpm. Après activation d'ActiveVital, ces chiffres tombent à 0,14 seconde et 2,22 bpm, soit des performances comparables à celles obtenues dans des conditions de mesure statique et contrôlée. La contribution centrale n'est pas algorithmique au sens habituel : elle recadre le problème de la détection passive en régulation géométrique active. Le système détecte la position du thorax par points clés visuels, convertit l'erreur d'alignement en commandes de déplacement, et oriente dynamiquement le radar vers une incidence quasi-normale à la surface thoracique. Un module de rehaussement différentiel de phase stabilise ensuite l'extraction du signal pendant les mouvements résiduels. Pour un COO de EHPAD ou un intégrateur de robots de compagnie, cela signifie concrètement qu'un robot en patrouille libre peut surveiller les constantes d'un résident sans balise portée, sans caméra RVB dédiée aux signes vitaux, et sans immobilité imposée. Le monitoring non-contact par radar mmWave est un axe de recherche actif depuis au moins 2018, mais les travaux antérieurs supposaient des configurations statiques ou semi-contrôlées. Les acteurs industriels positionnés sur la robotique de soin incluent des plateformes comme Labrador Systems ou les robots de compagnie de Softbank, et côté capteur, des puces mmWave de Texas Instruments ou Infineon. ActiveVital reste à ce stade un prototype académique non affilié à un déploiement industriel annoncé ; aucun essai terrain ni partenariat industriel n'est mentionné dans le preprint. La prochaine étape naturelle sera la validation sur robot mobile réel dans des environnements non supervisés, puis l'évaluation sur des populations âgées avec comorbidités respiratoires.

Recherche❖Paper

1 source

35

1897arXiv cs.RO 

WARP : rétargétage corps entier pour l'apprentissage par démonstrations humaines préenregistrées

Un pipeline de transformation de poses humaines en actions robotiques, baptisé WARP (Whole-body-Aware Retargeting from human Pose), vient d'être publié en préprint sur arXiv (2606.29940). L'objectif est de permettre la manipulation mobile corps-entier à partir de séquences de démonstrations humaines capturées hors-ligne, sans recourir à la télé-opération. La méthode centrale repose sur un solveur géométrique à forme fermée dit SEW (Shoulder-Elbow-Wrist), qui calcule de façon exacte la position et l'orientation des effecteurs terminaux du robot tout en conservant la cohérence globale de la posture. À cela s'ajoute une stratégie de contrôle "lazy" de la base mobile, qui minimise les déplacements inutiles de la plateforme pour produire des trajectoires cohérentes et déterministes. Les auteurs rapportent qu'en rejeu boucle ouverte sur robot réel, les données générées sont suffisamment fiables pour une exécution directe sans correction humaine, ce qui constitue leur principale validation expérimentale. L'enjeu central est la suppression de la télé-opération comme source de données d'entraînement. Collecter des données de téléopération à grande échelle reste coûteux, lent et difficile à généraliser entre plateformes. Les méthodes de retargeting existantes produisent des solutions ambiguës, engendrant une "multi-modalité d'action" qui empêche la convergence des politiques supervisées. WARP prétend résoudre ce problème via un solveur déterministe, ce qui aligne données humaines et action robot de façon univoque. Si la revendication "zero-shot" des auteurs se confirme en dehors de conditions contrôlées, cela réduirait significativement le coût d'acquisition de données pour les systèmes de manipulation mobile, en ouvrant l'accès à des corpus vidéo humains existants comme source d'entraînement à grande échelle. Ce travail s'inscrit dans une tendance forte de la recherche en robotique apprenante : exploiter la donnée humaine plutôt que la donnée robot. Des systèmes comme pi-0 (Physical Intelligence), OpenVLA ou ACT ont montré que les politiques visuomotrices peuvent apprendre depuis des démonstrations téléopérées ou humaines, mais le passage à la manipulation corps-entier sur base mobile restait un verrou technique non résolu. WARP ne mentionne ni déploiement industriel ni plateforme robot spécifique dans son résumé, ce qui cantonne pour l'instant la contribution au cadre académique. La prochaine étape logique serait de tester la robustesse hors distribution et de comparer les politiques issues de WARP à celles entraînées sur données téléopérées, sur des benchmarks communs comme ceux d'OXE ou LIBERO.

Recherche❖Paper

1 source

35

1898arXiv cs.RO 

AERMANI-VLM : prompting structuré et raisonnement pour la manipulation aérienne avec des modèles vision-langage

AERMANI-VLM est un cadre logiciel publié sur arXiv (arXiv:2511.01472v2) conçu pour piloter des manipulateurs aériens (drones équipés de bras robotiques) à partir de commandes en langage naturel, sans réentraînement spécifique à la tâche. Le système décompose le problème en deux couches : un modèle de vision-langage (VLM) pré-entraîné génère un raisonnement pas-à-pas en réponse à des instructions textuelles enrichies de contraintes de sécurité, puis sélectionne parmi une bibliothèque prédéfinie de primitives de vol pour exécuter physiquement l'action. Les auteurs revendiquent une première mondiale dans l'adaptation de VLMs généralistes à la manipulation aérienne sans fine-tuning. Le cadre a été validé en simulation et sur matériel réel sur des tâches pick-and-place multi-étapes, avec généralisation à des objets, commandes et environnements non vus à l'entraînement. Aucun taux de succès chiffré n'est communiqué dans la publication. L'enjeu central qu'AERMANI-VLM cherche à résoudre est le problème des hallucinations dans les systèmes de contrôle robotique basés sur des VLM. Un drone en vol ne tolère pas des commandes incohérentes ou dynamiquement infaisables : une sortie erronée du modèle peut provoquer une chute. En séparant explicitement le raisonnement symbolique du contrôle physique, et en contraignant les sorties à une bibliothèque de primitives flight-safe, les chercheurs contournent ce risque sans modifier les poids du modèle fondation. C'est une alternative architecturale aux approches de fine-tuning type Pi-0 (Physical Intelligence) ou GR00T N2 de NVIDIA, plus légère à déployer mais dont l'extensibilité dépend entièrement de la qualité et de l'exhaustivité de la bibliothèque de compétences. La généralisation annoncée reste à confirmer au-delà du pick-and-place, l'une des tâches les plus simples en manipulation robotique. La manipulation aérienne reste un domaine de recherche confidentiel, distinct des humanoïdes terrestres ou des bras industriels à grande série, mais porteur d'applications en inspection d'infrastructures, logistique en hauteur et défense. AERMANI-VLM s'inscrit dans la tendance des architectures dites "skill library + LLM planner", popularisées par SayCan (Google DeepMind, 2022) et déclinées depuis dans de nombreux contextes robotiques. L'avantage du zero-shot sans collecte de données de démonstration est réel, mais l'approche suppose une bibliothèque de primitives couvrant l'ensemble des comportements attendus, une contrainte de conception souvent sous-estimée en conditions réelles. Les prochaines étapes attendues pour ce type de système incluent des validations en extérieur, des tâches de manipulation plus complexes et la publication de métriques quantitatives sur des benchmarks standardisés.

Recherche⚡Actu

1 source

35

1899arXiv cs.RO 

HJ-SafeDMP : primitives de mouvement dynamiques guidées par Hamilton-Jacobi pour la sécurité certifiée du robot

Une équipe de chercheurs a publié sur arXiv (2506.28995) HJ-SafeDMP, un cadre algorithmique qui combine Dynamic Movement Primitives (DMP) et analyse de joignabilité Hamilton-Jacobi (HJ) pour garantir formellement la sécurité des trajectoires d'un robot. Les DMP assurent stabilité inhérente et généralisation de trajectoire depuis une seule démonstration humaine, mais sans certificat de sécurité formelle. HJ-SafeDMP apprend hors ligne une Control Barrier Value Function (CBVF) via une récursion HJ model-free à différences finies, puis la déploie comme filtre de sécurité en temps réel avec une loi de contrôle en forme fermée, sans résoudre de programme quadratique en ligne, contrairement aux approches CBF-QP classiques. Les expériences sur un manipulateur à 7 degrés de liberté (DOF) montrent une exécution plusieurs ordres de grandeur plus rapide que les baselines d'optimisation, avec garanties formelles d'évitement de collision et couverture probabiliste calibrée par prédiction conforme sur échantillon fini. L'enjeu industriel est direct : les DMP sont prisés pour leur robustesse aux perturbations et leur flexibilité temporelle, mais ils n'offrent aucun certificat de sécurité. À l'inverse, l'analyse HJ Reachability fournit des marges de sécurité au pire cas (worst-case safety margins), mais souffre de la malédiction de la dimensionnalité, ce qui la rend impraticable pour le contrôle en temps réel sur des architectures robotiques réelles. HJ-SafeDMP résout ce compromis sans coût d'optimisation en ligne, le rendant compatible avec les boucles de contrôle rapides des robots industriels et cobots. La calibration par prédiction conforme apporte en outre une garantie probabiliste quantifiée, un argument potentiellement pertinent pour les processus de certification de sécurité fonctionnelle en contexte d'interaction humain-robot. Les DMP ont été introduits au début des années 2000 par Stefan Schaal et sont restés une référence en apprentissage par imitation. Les méthodes CBF (Control Barrier Functions) constituent aujourd'hui le standard pour la sécurité temps réel, mais leur résolution QP à chaque pas de temps génère un goulot computationnel non négligeable. L'analyse HJ Reachability, portée notamment par la Berkeley HJ Reachability Toolbox, est théoriquement rigoureuse mais rarement déployée en temps réel faute de scalabilité sur des systèmes à haute dimensionnalité. HJ-SafeDMP s'en distingue aussi par un objectif d'apprentissage par expectile qui évite les requêtes hors distribution, un point de fragilité courant des approches offline. Il s'agit d'une contribution académique préliminaire : aucun partenaire industriel ni calendrier de déploiement en production n'est mentionné dans l'article.

Recherche❖Paper

1 source

35

1900arXiv cs.RO 

Percevoir le toucher par le mouvement : une politique visuo-tactile unifiée avec corrélation tactile-mouvement

Une équipe de recherche publie sur arXiv (référence 2606.29941, juin 2026) une approche inédite pour améliorer la perception tactile des robots manipulateurs en environnements à contact riche. Les capteurs tactiles optiques, qui filment la déformation d'une surface en gel élastique via une caméra interne pour inférer les forces de contact, offrent une résolution spatiale élevée, mais souffrent d'un problème de fond : les méthodes existantes représentent l'information tactile soit par images brutes, soit par champs de mouvement cumulatifs. Ces deux approches génèrent de l'ambiguïté perceptive, des états de contact distincts produisant des patterns visuellement similaires. Les chercheurs montrent qu'en corrélant le mouvement transitoire (instantané) et le mouvement cumulatif du gel, il devient possible de discriminer explicitement ces états fins. Sur cette base, ils proposent une représentation tactile dite "motion-aware" et une politique visuo-tactile unifiée reposant sur une architecture Mixture-of-Transformers (MoT), conçue pour capturer les interactions cross-modal tout en préservant les propriétés propres à chaque modalité. L'enjeu industriel est concret : la manipulation à contact riche, assemblage de précision, insertion de connecteurs, manipulation d'objets déformables, reste l'un des murs techniques les plus durs pour le déploiement de bras robotiques autonomes. L'incapacité à distinguer des variations subtiles de contact force les intégrateurs à sur-contraindre les pièces ou à limiter les tolérances, ce qui réduit la flexibilité des lignes. La contribution clé ici n'est pas le capteur lui-même mais le traitement du signal : exploiter la dynamique temporelle du gel plutôt que son état statique ou agrégé. L'approche MoT évite également le compromis habituel entre fusion cross-modal et préservation des features spécifiques à chaque modalité, un problème que ni la concaténation brute de features ni les architectures parallèles séparées ne résolvent proprement. Les capteurs tactiles optiques (GelSight de MIT, DIGIT de Meta, BioTac de SynTouch) ont connu une montée en charge dans les labos ces cinq ans, mais leur intégration dans des politiques d'apprentissage robustes reste un sujet ouvert. Ce papier s'inscrit dans un courant actif qui inclut des travaux de Berkeley, CMU et Stanford sur les politiques visuomotrices enrichies par le toucher. Aucune entreprise n'est mentionnée, et aucun partenaire industriel n'est cité : il s'agit d'un preprint académique non encore évalué par les pairs, sans démonstration matérielle publiée ni benchmark standardisé communiqué. Les prochaines étapes naturelles seront la validation sur des tâches réelles d'assemblage et la comparaison quantitative avec les baselines de référence du domaine.

Recherche❖Paper

1 source