Aller au contenu principal

Dossier arXiv cs.RO — page 8

568 articles · page 8 sur 12

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

BEACON : co-entraînement inter-domaines de politiques robotiques génératives par adaptation au mieux
351arXiv cs.RO RechercheOpinion

BEACON : co-entraînement inter-domaines de politiques robotiques génératives par adaptation au mieux

Une équipe de chercheurs a publié sur arXiv en mai 2026 (arXiv:2605.08571) un cadre théorique baptisé BEACON -- acronyme de Best-Effort Adaptation for Cross-Domain Co-Training -- destiné à entraîner des politiques robotiques génératives lorsque les données dans le domaine cible sont rares. L'approche repose sur un mécanisme de pondération par importance : plutôt que de mélanger naïvement des démonstrations provenant de domaines sources abondants (simulation, autres environnements) avec un faible nombre de démonstrations réelles, BEACON apprend simultanément une politique visuomotrice basée sur la diffusion et des poids par échantillon source qui minimisent une fonction objectif garantissant la généralisation sur le domaine cible. Pour rendre cela praticable sur des séquences de haute dimension, les auteurs développent des estimateurs de divergence à l'échelle de l'instance, des mises à jour alternées stochastiques, et une extension multi-sources capable de pondérer des domaines sources hétérogènes. L'enjeu est directement lié au problème du sim-to-real gap, l'un des verrous principaux de la robotique de manipulation : collecter des démonstrations téléopérées dans le monde réel reste coûteux et lent, tandis que la simulation génère des données à bas coût mais au prix d'un écart de distribution souvent fatal au déploiement. BEACON montrerait, selon les auteurs, des gains de robustesse et d'efficacité de données par rapport à trois baselines majeures -- entraînement sur cibles seules, co-entraînement à ratio fixe, et alignement de features explicite -- dans des configurations sim-to-sim, sim-to-real et manipulation multi-sources. Le résultat le plus contre-intuitif est qu'en l'absence de tout objectif d'alignement explicite, BEACON produit néanmoins un alignement de représentations comme effet émergent de la pondération par divergence. Les auteurs ne fournissent pas de taux de réussite précis dans l'abstract, ce qui limite la comparaison directe avec des benchmarks publiés. Ce travail s'inscrit dans une vague de recherches sur le transfert de politiques entre domaines, portée notamment par des méthodes comme RoboAgent, DROID, ou les approches VLA (vision-language-action) de Physical Intelligence (Pi-0) et Google DeepMind (GR00T N2), qui cherchent elles aussi à tirer parti de données hétérogènes à grande échelle. Là où ces dernières misent sur des architectures généralistes entraînées sur des corpus massifs, BEACON propose un angle complémentaire et plus frugal : exploiter intelligemment des sources existantes sans disposer de millions de démonstrations. Le code et les expériences n'étant pas encore publics, il reste à confirmer si les résultats tiennent sur des tâches de manipulation réelle complexes hors du cadre contrôlé des évaluations présentées.

1 source
Quand faire confiance à l'imagination : exécution adaptative des actions pour les modèles d'action du monde
352arXiv cs.RO 

Quand faire confiance à l'imagination : exécution adaptative des actions pour les modèles d'action du monde

Des chercheurs présentent sur arXiv (2605.06222) une méthode d'exécution adaptative pour les World Action Models (WAMs), une famille d'architectures de manipulation robotique qui prédisent simultanément les observations visuelles futures et les séquences d'actions à exécuter. Le problème structurel de ces systèmes est qu'ils exécutent un nombre fixe d'actions prédites après chaque inférence, sans vérifier si le déroulé physique réel correspond à l'état "imaginé" par le modèle. Pour y remédier, les auteurs proposent FFDC (Future Forward Dynamics Causal Attention), un vérificateur léger qui croise en temps réel les actions prédites, la dynamique visuelle anticipée, les observations caméra actuelles et les instructions en langage naturel, pour décider si le plan reste valide ou s'il faut déclencher une nouvelle inférence plus tôt. Ce module est couplé à une stratégie d'entraînement baptisée Mixture-of-Horizon Training, conçue pour améliorer la couverture des trajectoires longues. Sur le benchmark RoboTwin, FFDC réduit le nombre de passes avant du modèle de 69,10 % et le temps d'exécution de 34,02 %, avec un taux de succès en hausse de 2,54 % par rapport à une baseline à chunk court. En conditions réelles, le gain atteint 35 % de succès supplémentaire, bien que le nombre d'essais et les tâches testées ne soient pas précisés dans ce préprint. L'apport principal est de résoudre un compromis structurel qui freine le déploiement industriel des robots manipulateurs : réinférer fréquemment est réactif mais coûteux en calcul, tandis qu'exécuter de longues séquences prédites est efficace mais aveugle aux imprévus. FFDC introduit une troisième voie, où la taille du chunk d'action devient une variable émergente pilotée par la cohérence entre imagination et réalité. Ce mécanisme est particulièrement critique pour les phases de contact riche, où un décalage millimétrique entre état prédit et état réel suffit à faire échouer une saisie, et représente une avancée concrète vers des WAMs opérationnels hors environnement contrôlé. Les WAMs s'inscrivent dans la dynamique plus large des modèles d'actions visuelles et langagières (VLAs), aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou RT-2 et ses successeurs chez Google DeepMind. Leur spécificité est d'intégrer explicitement une prédiction de l'état visuel futur pour planifier à plus long horizon. Ce préprint, sans affiliation industrielle déclarée, n'est pas encore évalué par les pairs. La prochaine étape naturelle serait une validation sur des benchmarks standardisés plus larges et des pilotes en environnement industriel non structuré.

IA physiqueOpinion
1 source
Traversée prudente de graphes à coûts d'arêtes stochastiques et corrélés pour une mobilité planétaire globale sûre
353arXiv cs.RO 

Traversée prudente de graphes à coûts d'arêtes stochastiques et corrélés pour une mobilité planétaire globale sûre

Des chercheurs en robotique planétaire ont publié sur arXiv (réf. 2505.13674v2) un nouvel algorithme de planification de trajectoire pour l'exploration de surface martienne longue distance. Le travail formalise ce problème sous la forme d'une variante du Problème du Voyageur Canadien (Canadian Traveller Problem, CTP) intégrant explicitement l'aversion au risque. L'objectif est de produire une politique de traversée minimisant le CVaR (Conditional Value-at-Risk), une mesure de risque héritée de la finance quantitative et reconnue pour son interprétabilité intuitive. L'algorithme proposé trouve des politiques CVaR-optimales exactes en s'appuyant sur des techniques de recherche AND-OR établies, initialement conçues pour la minimisation d'espérance, étendues ici au domaine de l'aversion au risque. La validation s'effectue sur des simulations de traversées longue distance construites à partir de vraies cartes orbitales de la surface martienne, avec des probabilités de franchissement issues de cartes de terrain réelles. Ce travail répond à un goulet d'étranglement opérationnel concret dans les missions planétaires actuelles : les opérateurs humains doivent identifier manuellement les segments à traversabilité incertaine et adapter les plans en temps réel selon les difficultés rencontrées. En formalisant ce processus décisionnel adaptatif, les auteurs ouvrent la voie à une planification stratégique plus autonome, réduisant la charge sur les équipes sol tout en maintenant un contrôle explicite du niveau de risque. L'aspect le plus notable est la prise en compte des corrélations de traversabilité entre zones de terrain similaire : lorsqu'une région ressemble à une autre déjà évaluée, l'incertitude n'est pas traitée comme indépendante. Les résultats montrent empiriquement que des détours exploratoires ("information-seeking detours") permettent de réduire significativement le risque dans ces configurations corrélées, ce qui n'est pas possible avec les approches classiques insensibles au risque. Le contexte immédiat est celui des rovers martiens comme Curiosity (actif depuis 2012) et Perseverance (2021), dont la planification de trajectoire reste aujourd'hui très humano-dépendante et limitée en portée quotidienne. Le CTP est un problème classique de la littérature en planification sous incertitude, mais son adaptation risk-averse pour la mobilité planétaire globale n'avait pas encore été traitée de façon formelle. Ce travail reste pour l'instant une contribution académique sans implémentation annoncée sur matériel réel ni collaboration institutionnelle (NASA, ESA) mentionnée explicitement. Les prochaines étapes naturelles seraient une intégration dans les outils de planification de mission existants et une validation sur des données de terrain analogues terrestres, étape habituelle avant tout déploiement sur véhicule spatial.

RecherchePaper
1 source
Correspondance de flux action-à-action
354arXiv cs.RO 

Correspondance de flux action-à-action

Des chercheurs proposent dans un preprint arXiv (arXiv:2506.07322v2, mis à jour en 2026) une nouvelle architecture de politique robotique baptisée A2A (Action-to-Action Flow Matching), qui remplace le point de départ aléatoire habituel des modèles de diffusion par une initialisation ancrée dans l'action proprioceptive précédente du robot. Concrètement, au lieu de générer une trajectoire d'action à partir d'un bruit gaussien pur, A2A encode une séquence d'états proprioceptifs historiques (positions articulaires, vitesses, couples) dans un espace latent de haute dimension, et utilise ce vecteur comme point de départ du processus de flow matching. Le résultat le plus saillant : A2A produit des actions de haute qualité en une seule étape d'inférence, contre plusieurs dizaines d'étapes pour les politiques par diffusion standard, ce qui réduit drastiquement la latence au moment de l'exécution. Les auteurs rapportent également une meilleure robustesse aux perturbations visuelles (changements d'éclairage, objets parasites) et une généralisation supérieure à des configurations non vues durant l'entraînement. L'enjeu industriel est direct : la latence d'inférence est l'un des principaux verrous à l'adoption des politiques diffusion pour le contrôle temps-réel sur des manipulateurs ou des humanoïdes. Les architectures comme Diffusion Policy (Chi et al., 2023) ou Pi-0 de Physical Intelligence ont démontré une expressivité remarquable, mais leur coût computationnel par pas de contrôle reste prohibitif à haute fréquence. En ramenant l'inférence à un seul pas, A2A ouvre la voie à des boucles de contrôle plus rapides sans sacrifier la qualité des trajectoires, une contrainte particulièrement critique pour les tâches de manipulation dextre ou les robots mobiles en environnement dynamique. Le fait que la méthode tire parti de la continuité temporelle du mouvement, plutôt que de l'ignorer comme une condition statique, représente un changement de paradigme dans la modélisation des politiques robotiques. A2A s'inscrit dans la continuité des travaux sur le flow matching (Lipman et al., 2022), une alternative au processus de diffusion de Langevin qui permet des trajectoires plus droites dans l'espace latent et donc moins d'étapes d'intégration. Les politiques par diffusion pour la robotique ont émergé comme standard de facto entre 2023 et 2025, portées par des travaux comme ACT, Diffusion Policy et plus récemment GR00T N2 de NVIDIA ou Pi-0. A2A se positionne comme une optimisation d'inférence sur ce paradigme plutôt qu'une rupture architecturale. Les auteurs étendent également la méthode à la génération vidéo, suggérant une applicabilité au-delà du contrôle moteur pur. Le projet dispose d'un site public, mais aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'une contribution académique à valider sur des benchmarks plus larges avant toute intégration en production.

RechercheOpinion
1 source
Vers un contrôle adaptatif des robots humanoïdes par distillation multi-comportements et affinage renforcé
355arXiv cs.RO 

Vers un contrôle adaptatif des robots humanoïdes par distillation multi-comportements et affinage renforcé

Une équipe de chercheurs propose Adaptive Humanoid Control (AHC), un framework de contrôle locomoteur pour humanoïdes publié sur arXiv (2511.06371v3). Le problème de départ est structurel : les méthodes dominantes entraînent une politique séparée pour chaque compétence (se relever, marcher, courir, sauter), générant des contrôleurs rigides qui échouent dès que le terrain devient irrégulier. AHC y répond en deux phases : d'abord, plusieurs politiques primaires sont entraînées puis fusionnées par distillation multi-comportements en un contrôleur unique capable de commuter dynamiquement selon le contexte ; ensuite, un affinage par renforcement avec retours en ligne consolide l'adaptabilité sur terrains variés. Le système est validé en simulation et en conditions réelles sur le robot Unitree G1 d'Unitree Robotics. Pour les intégrateurs et les décideurs industriels, la promesse est concrète : un seul contrôleur couvrant l'ensemble des comportements locomoteurs réduit la complexité opérationnelle et supprime les transitions manuelles entre modes. Du côté de la recherche, le résultat le plus notable est que la distillation combinée à un fine-tuning par RL en ligne permet de réduire partiellement le sim-to-real gap sans ré-entraînement complet. La réserve à formuler : le papier ne publie pas de métriques quantitatives détaillées (taux de succès par terrain, fréquence de chute), ce qui rend difficile la comparaison objective avec d'autres approches. Le Unitree G1 (1,27 m, environ 35 kg, 16 000 dollars) est devenu depuis 2024 une plateforme de recherche de référence pour ce type de travaux. AHC s'inscrit dans une compétition internationale où Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Figure (Helix) et Boston Dynamics cherchent tous à produire des politiques locomotrices généralisables hors environnement contrôlé. L'approche par distillation multi-politiques rappelle les travaux de curriculum learning menés à Berkeley et CMU, et l'affinage par RL en ligne emprunte aux méthodologies RLHF adaptées à la robotique physique. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé ; le projet en est au stade de la démonstration académique.

RecherchePaper
1 source
Apprentissage par renforcement modulaire pour essaims coopératifs
356arXiv cs.RO 

Apprentissage par renforcement modulaire pour essaims coopératifs

Une équipe de chercheurs propose, dans un preprint déposé sur arXiv le 7 mai 2026 (arXiv:2605.04939), une méthode d'apprentissage par renforcement modulaire pour les essaims de robots coopératifs. Le problème ciblé est précis : dans un essaim, chaque robot dispose d'une capacité de calcul et de mémoire limitée, n'observe qu'un sous-ensemble restreint de ses voisins, et n'a aucune visibilité sur l'effet de ses actions sur l'utilité collective. Les approches standard de MARL distribué (Multi-Agent Reinforcement Learning) apprennent à chaque agent à coordonner ses actions avec le groupe, mais elles imposent de représenter un espace d'états d'interaction potentiellement combinatoire, ce qui dépasse rapidement les contraintes mémoire de robots à faible puissance. La solution proposée est une représentation décomposée : chaque dimension de l'état spatial est traitée par un module d'apprentissage indépendant, et les résultats sont ensuite agrégés pour guider la politique. Les auteurs valident l'approche sur des simulations de tâches de collecte (foraging), un benchmark classique en robotique en essaim. L'intérêt industriel est direct pour toute architecture multi-robots à budget matériel contraint. La croissance combinatoire de l'espace d'états est un goulot d'étranglement bien documenté qui freine le passage à l'échelle des essaims : augmenter la taille du groupe multiplie le problème. En décomposant la représentation, l'approche modulaire pourrait permettre de déployer des politiques coopératives sur des robots bon marché sans recourir à une unité centrale de coordination. C'est une direction complémentaire aux approches centralisées lors de l'entraînement et décentralisées à l'exécution (CTDE), qui restent lourdes en entraînement. À noter cependant que les résultats présentés reposent uniquement sur des simulations, sans validation sur hardware réel, ce qui laisse ouverte la question du sim-to-real gap. La robotique en essaim est un domaine actif depuis les travaux de Marco Dorigo sur les fourmis artificielles dans les années 1990. Les avancées récentes en MARL, notamment QMIX et MADDPG, ont montré que la coordination émergente est accessible sans communication explicite, mais au prix d'une complexité croissante de représentation. Sur le terrain, des acteurs comme Bitcraze (drones Crazyflie), Exotec (essaims AMR pour entrepôts logistiques), ou encore des labos européens sur les micro-robots explorent des architectures contraintes similaires. La prochaine étape naturelle pour ce travail serait une validation sur plateforme physique et une comparaison quantitative avec les baselines CTDE standard.

UEExotec (France), acteur des essaims AMR logistiques, opère dans un contexte de contraintes matérielles similaires à celles ciblées par ce preprint, mais la contribution reste académique et simulée, sans déploiement ou validation européenne directe.

RecherchePaper
1 source
AnyPos : des actions automatisées indépendantes de la tâche pour la manipulation bimanuele
357arXiv cs.RO 

AnyPos : des actions automatisées indépendantes de la tâche pour la manipulation bimanuele

Une équipe de chercheurs a publié sur arXiv (référence 2507.12768) AnyPos, un pipeline d'apprentissage automatisé conçu pour la manipulation bimane généraliste. Le système repose sur un principe de modélisation dite "task-agnostic" : au lieu d'entraîner le robot sur des trajectoires liées à des tâches précises, AnyPos génère à grande échelle des paires image-action indépendantes couvrant l'ensemble de l'espace de travail atteignable. Ces données alimentent un apprentissage par dynamique inverse, combinant un décodeur directionnel et une séparation explicite entre les mouvements du bras et de l'effecteur terminal, pour stabiliser les prédictions en dehors de la distribution d'entraînement. Testée sur cinq tâches domestiques (actionner un micro-ondes, griller du pain, plier des vêtements, arroser des plantes, frotter des assiettes), l'approche améliore les taux de réussite de 30 à 40% par rapport aux baselines de référence, avec un gain de 51% en précision sur les évaluations test. Ce résultat pointe un problème structurel du secteur : la rareté des données de manipulation robotique et leur entanglement avec une plateforme ou une tâche spécifique. La plupart des politiques visuomotrices actuelles, qu'il s'agisse de VLA (vision-language-action models) ou de diffusion policies, nécessitent des données séquentielles coûteuses à collecter et quasiment non transférables entre robots. En découplant la modélisation de l'embodiment de l'apprentissage de politique de haut niveau, AnyPos propose une réutilisation des données d'action cross-tâches et cross-plateformes, sans modèle physique explicite ni simulation intensive. L'argument est directement dirigé contre le "sim-to-real gap" : les représentations sont ici apprises depuis des données réelles générées automatiquement à grande échelle, contournant les biais de simulation. L'approche rejoint une tendance récente consistant à séparer embodiment modeling et politique de haut niveau, visible chez Physical Intelligence (modèle pi0), Figure AI ou 1X Technologies. Elle se distingue par son refus de la télé-opération intensive ou de la simulation massive, préférant une exploration automatisée du workspace réel. Le pipeline est conçu pour se coupler à des modèles de politique existants, le positionnant potentiellement comme une couche de préentraînement réutilisable et échangeable. L'article ne mentionne ni déploiement industriel, ni partenariat commercial : AnyPos reste à ce stade une contribution de recherche académique, sans timeline de mise en production annoncée.

RechercheOpinion
1 source
Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation
358arXiv cs.RO 

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

UEImpact indirect limité : ANYbotics (Suisse) est citée comme plateforme cible type, mais le travail est un preprint académique sans affiliation institutionnelle européenne identifiée ni déploiement opérationnel.

RecherchePaper
1 source
Cartographie topologique spatiale-sémantique en ligne robuste aux changements
359arXiv cs.RO 

Cartographie topologique spatiale-sémantique en ligne robuste aux changements

Des chercheurs ont publié le 2 mai 2025 sur arXiv (référence 2505.02227) un article décrivant CROSS, pour Change-Robust Online Spatial-Semantic, un nouveau système de cartographie topologique conçu pour la navigation autonome en intérieur. L'approche abandonne la carte métrique globale cohérente traditionnellement construite par les pipelines SLAM (Simultaneous Localization and Mapping) au profit d'un graphe topologique en ligne composé de keyframes RGB-D, c'est-à-dire des images couleur couplées à une carte de profondeur. Le système gère explicitement l'ambiguïté perceptuelle via des tests d'hypothèses séquentiels dans l'espace continu SE(3), le groupe de transformations rigides 3D, et maintient une croyance de type mélange gaussien borné sur la pose du robot. Les expériences réelles incluent de la navigation vers des objets cibles dans des environnements soumis à des variations d'éclairage et à des réarrangements de mobilier, deux perturbations particulièrement destructrices pour les systèmes classiques. Le résultat central est une robustesse améliorée face aux changements d'apparence sévères, là où les pipelines SLAM conventionnels dégradent leurs performances d'association de données et de relocalisation. Pour un intégrateur ou un COO industriel, cela adresse un problème concret : les robots déployés dans des environnements non statiques, entrepôts réaménagés, hôpitaux avec éclairage variable ou bureaux reconfigurés, perdent leur carte de référence et nécessitent des recalibrations coûteuses. Le traitement probabiliste des fermetures de boucle et des événements dits "kidnapped-robot" (robot déplacé brusquement) sans perte de sécurité constitue un avantage opérationnel non négligeable. Il faut noter que les résultats sont présentés dans un cadre académique contrôlé : les conditions exactes des scènes et la comparaison des baselines méritent un examen attentif avant toute extrapolation industrielle. Le problème de la robustesse aux changements d'apparence est un axe de recherche actif depuis que les systèmes SLAM comme ORB-SLAM3 ou RTAB-Map ont montré leurs limites en conditions réelles. Des approches concurrentes comme SeqSLAM ou les méthodes fondées sur des descripteurs appris (NetVLAD, SuperGlue) ont tenté de résoudre la relocalisation sous changement, sans résoudre complètement la dérive à long terme. La représentation topologique pure, popularisée par des travaux comme TopoMap ou les graphes de scène neuronaux, gagne du terrain dans la communauté robotique mobile. Les auteurs n'annoncent pas de partenariat industriel ni de calendrier de commercialisation : CROSS reste à ce stade une contribution de recherche fondamentale, dont une implémentation open-source ou une intégration dans des frameworks comme ROS 2 Nav2 constituerait la prochaine étape naturelle.

RecherchePaper
1 source
Décomposer et recomposer : inférer de nouvelles compétences robotiques à partir des capacités existantes
360arXiv cs.RO 

Décomposer et recomposer : inférer de nouvelles compétences robotiques à partir des capacités existantes

Une équipe de chercheurs a publié en mai 2025 sur arXiv (identifiant 2605.01448) un framework baptisé "Decompose and Recompose" visant à résoudre la généralisation inter-tâches en manipulation robotique en milieu ouvert. L'approche repose sur des paires compétence-action atomiques comme représentation intermédiaire : le système décompose des démonstrations de tâches connues en alignements interprétables, puis recompose ces compétences pour accomplir des tâches inconnues via un raisonnement compositionnel. Concrètement, la méthode construit une bibliothèque dynamique de démonstrations adaptative, fondée sur une récupération visuo-sémantique couplée aux séquences de compétences produites par un agent planificateur, complétée d'une bibliothèque statique sensible à la couverture pour combler les patterns manquants. Les expériences sont conduites sur le benchmark AGNOSTOS et en environnement réel, avec des résultats de généralisation zero-shot sur des tâches non présentées durant l'entraînement. La généralisation inter-tâches reste l'un des verrous fondamentaux pour déployer des robots manipulateurs polyvalents dans des environnements industriels non structurés. Les approches d'apprentissage en contexte existantes fournissent uniquement des séquences d'actions continues de bas niveau, conduisant les modèles à imiter superficiellement des trajectoires sans extraire de connaissances transférables. "Decompose and Recompose" introduit une couche d'abstraction explicite, les compétences atomiques, qui permet de raisonner sur la composition et l'ordonnancement des actions plutôt que de mémoriser des trajectoires. Pour les intégrateurs et décideurs industriels, cela ouvre une voie pour réduire le volume de démonstrations nécessaires lors du déploiement sur de nouvelles tâches, point de friction majeur dans l'industrialisation de la manipulation apprenante, sans nécessiter aucune mise à jour des paramètres du modèle. Cette recherche s'inscrit dans un courant actif d'apprentissage en contexte appliqué à la robotique, en contrepoint des approches fondées sur des modèles VLA (Vision-Language-Action) massivement entraînés comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou les politiques embarquées de Figure et 1X Technologies. Là où ces systèmes misent sur des jeux de données d'entraînement volumineux, "Decompose and Recompose" parie sur le raisonnement compositionnel à l'inférence. Le benchmark AGNOSTOS est conçu spécifiquement pour évaluer la généralisation à des tâches non vues, offrant un cadre plus rigoureux que les benchmarks standards comme RLBench ou MetaWorld. Ce travail en est au stade de preprint, sans annonce de déploiement industriel ni de partenariat commercial associé.

RecherchePaper
1 source
Affection robotique : opportunités de l'IA haptique pour le toucher social des robots par approche multi-deep-learning
361arXiv cs.RO 

Affection robotique : opportunités de l'IA haptique pour le toucher social des robots par approche multi-deep-learning

Une équipe de chercheurs propose, dans un article de positionnement déposé sur arXiv en mai 2025 (arXiv:2605.02538), une architecture multi-modèles pour traiter le toucher social affectif en robotique. Le problème ciblé est précis : si la préhension et la dextérité robotiques ont significativement progressé grâce au retour haptique, les gestes affectifs - poignées de main, caresses rassurantes, contacts sociaux codifiés - restent non résolus en interaction humain-robot (HRI). Les auteurs proposent de décomposer le toucher affectif en sous-tâches spécialisées, chacune traitée par un modèle dédié, dans une architecture distribuée en boucle fermée inspirée de la neurobiologie. Ce cadre repose sur un protocole de partage d'état pair-à-pair et s'intègre dans un pipeline Sim-to-Real pour faciliter le transfert de l'entraînement en simulation vers les plateformes physiques. Il s'agit à ce stade d'un cadre conceptuel sans validation expérimentale publiée. Le verrou adressé est réel : un robot capable de saisir un objet de cinq kilos avec précision peut échouer à simuler une poignée de main naturelle. Les auteurs introduisent la notion de "vallée de l'étrange haptique" (haptic uncanny valley), par analogie avec son équivalent visuel - un toucher robotique "presque juste" génère un inconfort plus marqué qu'un contact clairement artificiel. L'approche multi-modèles distribuée, à l'opposé d'un mouvement moteur monolithique, permettrait un développement cumulatif et modulaire : les équipes spécialisées en haptique, en IA et en robotique peuvent contribuer indépendamment. Pour les intégrateurs de robots sociaux dans les secteurs médical, thérapeutique ou d'assistance à la personne, cela ouvre une voie vers des interactions physiques acceptables et objectivement mesurables. La robotique sociale s'est longtemps concentrée sur l'expressivité faciale et vocale - Pepper de SoftBank Robotics, Paro de l'AIST japonais - en laissant le toucher en marge. Les travaux sur le retour haptique dans la manipulation (MIT, Stanford) ont ouvert la voie, mais sans cibler spécifiquement la dimension affective. Les acteurs industriels aujourd'hui dominants - Figure AI avec Figure 02, Boston Dynamics, 1X Technologies - concentrent leurs efforts sur la locomotion et la manipulation de charges, pas sur la qualité sociale du contact physique. Ce papier de positionnement structure un agenda de recherche interdisciplinaire dont les prochaines étapes attendues seront l'implémentation et l'évaluation sur des robots compagnons ou d'assistance, segments où des acteurs européens comme Enchanted Tools (France) et des projets d'assistance à la dépendance commencent à émerger.

UELa proposition d'un cadre modulaire pour le toucher affectif représente une piste de R&D pertinente pour des acteurs français comme Enchanted Tools, actifs sur les robots d'assistance et de compagnie.

RecherchePaper
1 source
ExoActor : génération de vidéos exocentriques pour le contrôle généralisable d'humanoïdes interactifs
362arXiv cs.RO 

ExoActor : génération de vidéos exocentriques pour le contrôle généralisable d'humanoïdes interactifs

Un framework de contrôle humanoïde baptisé ExoActor a été publié en preprint sur arXiv (2604.27711, avril 2026) par une équipe proposant d'utiliser la génération vidéo en vue tierce comme interface unifiée de commande robotique. Le principe : à partir d'une instruction textuelle et du contexte visuel de la scène, ExoActor génère une vidéo synthétique d'exécution plausible, extrait les cinématiques humaines correspondantes, puis les transmet à un contrôleur de mouvement généraliste pour produire une séquence comportementale exécutable. Le pipeline complet, implémenté de bout en bout, est évalué sur des scénarios inédits sans collecte additionnelle de données réelles. L'intérêt de l'approche réside dans la manière dont elle attaque un verrou central du contrôle humanoïde : modéliser des comportements riches en interactions entre le robot, son environnement et les objets manipulés, tout en capturant simultanément contexte spatial, dynamiques temporelles et intention de tâche. Plutôt qu'un VLA classique mappant directement observations vers actions, ExoActor intercale une représentation vidéo comme espace latent intermédiaire, dont la capacité de généralisation provient de grands modèles vidéo pré-entraînés à l'échelle. Si les résultats de généralisation sont confirmés sur des benchmarks indépendants, cela ouvrirait une alternative sérieuse à la collecte coûteuse de données de téléopération que supportent actuellement des acteurs comme Figure AI, Agility Robotics ou 1X Technologies. Cette publication s'inscrit dans un courant cherchant à court-circuiter les démonstrations réelles via des modèles génératifs. Elle dialogue avec Pi-0 de Physical Intelligence (diffusion sur flux d'actions), GR00T N2 de NVIDIA (entraîné sur données humaines synthétiques et réelles), ainsi qu'avec UniSim et IRASim qui utilisent la synthèse vidéo comme simulateur de politique. La spécificité d'ExoActor est l'usage explicite d'une perspective exocentrique, vue tierce personne, là où d'autres approches travaillent en vue égocentrique. Les auteurs reconnaissent les limitations actuelles, notamment la qualité de l'estimation de mouvement humain à partir de vidéo synthétique. Aucun déploiement industriel ni partenariat commercial n'est annoncé : ExoActor reste à ce stade une contribution académique.

IA physiqueOpinion
1 source
FlexiTac : une solution tactile open source, économique et modulaire pour les systèmes robotiques
363arXiv cs.RO 

FlexiTac : une solution tactile open source, économique et modulaire pour les systèmes robotiques

Une équipe de chercheurs a présenté FlexiTac, un capteur tactile piézorésistif open-source, bas coût et scalable, conçu pour équiper les effecteurs terminaux de robots manipulateurs. Le système se compose de deux éléments : des nappes tactiles flexibles fines générant des signaux tactiles denses, et une carte d'acquisition multi-canaux compacte transmettant les mesures synchronisées à 100 Hz via liaison série vers un ordinateur hôte. La structure physique des nappes repose sur un empilement laminé en trois couches (FPC-Velostat-FPC), avec des électrodes directement intégrées dans des circuits imprimés flexibles, ce qui améliore le débit de fabrication et la répétabilité. FlexiTac se décline en plusieurs configurations, patins de bout de doigt et tapis tactiles de plus grande surface, et peut être monté sur des grippers rigides ou souples sans modification mécanique majeure. Ces résultats sont présentés sous forme de preprint arXiv (2604.28156v1) ; il s'agit d'une annonce académique, pas d'un produit commercialisé. L'intérêt de FlexiTac pour l'industrie tient à trois points distincts. D'abord, le coût et la reproductibilité : les composants électroniques sont standard et la fabrication des nappes est automatisable, ce qui rend un déploiement à grande échelle envisageable pour des lignes d'assemblage ou de tri. Ensuite, la compatibilité native avec les pipelines d'apprentissage modernes : les auteurs démontrent l'intégration avec la fusion visuo-tactile 3D pour la prise de décision en contact, le transfert de compétences cross-embodiment, et le fine-tuning real-to-sim-to-real avec simulation tactile parallèle sur GPU. Enfin, la nature plug-in du module réduit l'effort d'intégration mécanique, frein classique à l'adoption du toucher artificiel hors laboratoire. La plupart des solutions tactiles existantes restent soit coûteuses (GelSight de MIT, DIGIT de Meta), soit difficiles à fabriquer en série, soit propriétaires. FlexiTac s'inscrit dans une tendance croissante vers des capteurs open-source accessibles, aux côtés de projets comme les travaux du Touch Lab d'University College London. Les acteurs industriels comme Xela Robotics ou Contactile restent positionnés sur des solutions packagées premium ; FlexiTac vise plutôt les laboratoires, les startups robotiques et les intégrateurs souhaitant construire leur propre stack de données tactiles. L'étape naturelle serait une validation hors lab en environnement industriel réel, point non adressé dans le preprint.

UELes laboratoires et startups robotiques européens peuvent adopter FlexiTac comme base open-source pour leurs propres stacks de données tactiles, réduisant la dépendance aux solutions propriétaires coûteuses (DIGIT, GelSight), sans impact institutionnel direct sur la France ou l'UE.

RecherchePaper
1 source
CLAMP : préentraînement par apprentissage contrastif multi-vues 3D pour la manipulation robotique conditionnée par l'action
364arXiv cs.RO 

CLAMP : préentraînement par apprentissage contrastif multi-vues 3D pour la manipulation robotique conditionnée par l'action

Des chercheurs ont publié en 2026 sur arXiv (référence 2502.00937v2) un nouveau framework de pré-entraînement 3D pour la manipulation robotique, baptisé CLAMP, pour Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining. Le principe : fusionner des images RGB-D avec les paramètres extrinsèques des caméras pour reconstruire un nuage de points 3D unifié, puis re-rendre des observations multi-vues à quatre canaux (RGB, profondeur, coordonnées 3D), incluant une vue dynamique au niveau du poignet du robot. Un encodeur est pré-entraîné par apprentissage contrastif sur de larges jeux de trajectoires simulées, en associant la géométrie spatiale des objets aux séquences d'actions du robot. Simultanément, une Diffusion Policy est pré-entraînée pour initialiser les poids lors du fine-tuning, avant d'être affinée sur un nombre limité de démonstrations réelles. CLAMP surpasse les baselines état de l'art sur six tâches en simulation et cinq tâches en environnement réel. La valeur opérationnelle de CLAMP tient principalement à son impact sur l'efficacité d'apprentissage. Les approches standards de behavior cloning s'appuient sur des représentations 2D pré-entraînées (ViT, ResNet), qui ignorent la profondeur et la géométrie spatiale, critiques pour les tâches de manipulation de précision. En injectant cette information 3D dès le pré-entraînement, CLAMP réduit le nombre de démonstrations humaines nécessaires pour atteindre des performances satisfaisantes sur de nouvelles tâches, ce qui est un levier concret pour les intégrateurs industriels. L'architecture hybride contrastive plus Diffusion Policy est potentiellement transférable. Prudence toutefois : les résultats en conditions réelles portent sur cinq tâches seulement, et le preprint ne détaille pas les protocoles de sélection des vidéos, ce qui invite à nuancer la portée des résultats. CLAMP s'inscrit dans un champ de recherche actif visant à dépasser les limites des politiques purement 2D et des VLA (Vision-Language-Action models) pour la manipulation. Il dialogue directement avec des travaux comme R3M, MVP, DP3 (Diffusion Policy 3D) ou SpatialVLA. La principale originalité est le conditionnement par les actions dans l'apprentissage contrastif 3D, combinaison peu explorée jusqu'ici. Le code et les vidéos sont disponibles sur clamp3d.github.io. Aucun déploiement industriel ni partenariat n'est annoncé ; il s'agit d'un résultat académique. La suite logique serait une évaluation à plus grande échelle, avec davantage de robots et de scénarios hors distribution, pour confirmer la généralisation sim-to-real à l'échelle.

RecherchePaper
1 source
Localisation de robots par correspondance hiérarchique de graphes de scène avec apprentissage automatique et cartes préalables
365arXiv cs.RO 

Localisation de robots par correspondance hiérarchique de graphes de scène avec apprentissage automatique et cartes préalables

Une équipe de recherche a publié fin avril 2026 sur arXiv (réf. 2604.27821) un pipeline différentiable bout-en-bout pour la localisation de robots en environnement intérieur, sans recours à une correction manuelle de dérive SLAM. La méthode repose sur la mise en correspondance de deux représentations complémentaires : un graphe de scène construit en temps réel à partir des capteurs du robot (LiDAR), et un graphe dérivé hors-ligne d'un BIM (Building Information Model), la maquette numérique architecturale du bâtiment. L'algorithme exploite explicitement la hiérarchie sémantique des deux graphes, en faisant correspondre simultanément des nœuds de haut niveau (pièces, zones) et de bas niveau (surfaces murales). Entraîné exclusivement sur des plans d'étage synthétiques, le modèle dépasse la méthode combinatoire de référence en score F1 sur des environnements LiDAR réels, tout en s'exécutant environ dix fois plus rapidement. Ce résultat est significatif pour les intégrateurs de robots mobiles autonomes (AMR) déployés en environnements industriels ou tertiaires équipés de BIM. Le problème de la dérive SLAM à longue durée d'opération reste un frein opérationnel réel, et les approches combinatoires actuelles deviennent prohibitives dès que le graphe dépasse quelques centaines de nœuds. Le fait que la généralisation zéro-shot fonctionne, c'est-à-dire que le modèle n'a jamais vu de données LiDAR réelles à l'entraînement, suggère que la représentation hiérarchique capture des invariants structurels suffisamment robustes. C'est une hypothèse forte, et les auteurs la valident sur des environnements réels, ce qui distingue ce travail de nombreux papiers SLAM qui s'arrêtent à la simulation. Le matching de graphes de scène pour la localisation robotique est un champ en pleine consolidation depuis deux à trois ans, porté notamment par des travaux issus de MIT, ETH Zurich et CMU sur la représentation spatiale sémantique. L'intégration des BIM comme prior de localisation est particulièrement pertinente dans le contexte industriel européen, où les bâtiments neufs sont systématiquement modélisés. Aucun déploiement commercial n'est annoncé, il s'agit d'un article de recherche fondamentale. Les suites naturelles incluent l'extension aux environnements dynamiques (objets mobiles non présents dans le BIM) et l'intégration dans des stacks SLAM open-source comme Kimera ou Hydra, qui structurent déjà leurs cartes sous forme de graphes hiérarchiques.

UELa généralisation zéro-shot sur des maquettes BIM est particulièrement pertinente pour le marché industriel européen où les bâtiments neufs sont systématiquement modélisés, offrant aux intégrateurs AMR européens une piste technique concrète pour éliminer la dérive SLAM en opération longue durée.

RecherchePaper
1 source
ATLAS : un outil d'annotation pour la segmentation d'actions robotiques à long horizon
366arXiv cs.RO 

ATLAS : un outil d'annotation pour la segmentation d'actions robotiques à long horizon

Des chercheurs ont publié le 30 avril 2026 sur arXiv (référence 2604.26637) ATLAS, un outil d'annotation dédié à la segmentation d'actions robotiques sur des horizons temporels longs. L'outil propose une visualisation synchronisée de données multimodales : flux vidéo multi-vues et signaux proprioceptifs comme l'état de la pince ou les capteurs force/couple. ATLAS prend en charge nativement les formats les plus répandus dans la communauté robotique, à savoir les ROS bags et le format RLDS (Reinforcement Learning Dataset), avec un support direct pour des jeux de données spécifiques tels que REASSEMBLE. Son interface centrée sur le clavier vise à réduire la charge cognitive de l'annotateur. Sur une tâche d'assemblage riche en contacts, ATLAS réduit le temps moyen d'annotation par action d'au moins 6 % par rapport à ELAN, améliore l'alignement temporel avec les annotations expertes de plus de 2,8 %, et divise par cinq l'erreur aux frontières d'actions par rapport aux outils purement visuels. Ce résultat pointe vers un goulot d'étranglement souvent sous-estimé dans le développement des politiques de manipulation : la qualité des annotations temporelles conditionne directement la performance des modèles d'imitation et de segmentation d'actions. Les approches VLA (Vision-Language-Action) et les méthodes de policy learning par démonstration nécessitent des frontières d'actions précises pour généraliser correctement. L'absence de synchronisation entre vidéo et signaux robot dans les outils existants introduit des biais systématiques dans les datasets, qui se répercutent ensuite sur le sim-to-real gap. ATLAS adresse ce problème structurel pour les équipes qui construisent des pipelines de données à grande échelle. ELAN, l'outil de référence historique pour l'annotation multimodale issu de la linguistique computationnelle, était jusqu'ici la solution la plus utilisée dans les labos robotique faute d'alternative spécialisée. ATLAS se positionne explicitement comme son successeur pour les usages robotiques, avec une couche d'abstraction modulaire qui facilite l'intégration de nouveaux formats. Le format RLDS, popularisé notamment par les travaux de Google DeepMind sur RT-2 et Open X-Embodiment, est devenu un standard de facto pour les datasets de manipulation à large échelle, rendant la compatibilité native d'ATLAS particulièrement pertinente. Aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade : il s'agit d'un outil de recherche open source, dont la prochaine étape naturelle serait une adoption par les équipes construisant des benchmarks de manipulation standardisés.

RecherchePaper
1 source
STARRY : modélisation du monde centrée sur l'action spatio-temporelle pour la manipulation robotique
367arXiv cs.RO 

STARRY : modélisation du monde centrée sur l'action spatio-temporelle pour la manipulation robotique

Des chercheurs ont publié sur arXiv (arXiv:2604.26848) un nouveau modèle de politique robotique appelé STARRY, conçu pour améliorer la manipulation d'objets en intégrant un module de prédiction spatiotemporelle directement dans la boucle de génération d'actions. L'architecture repose sur un débruitage conjoint de latents spatiotemporels futurs et de séquences d'actions, complété par un mécanisme baptisé Geometry-Aware Selective Attention Modulation (GASAM), qui convertit la profondeur prédite et la géométrie de l'effecteur terminal en poids d'attention alignés sur les tokens d'action. Sur le benchmark RoboTwin 2.0, STARRY atteint 93,82 % de taux de succès moyen en configuration propre (Clean) et 93,30 % en configuration aléatoire (Randomized). En conditions réelles, le modèle améliore le taux de succès de 42,5 % à 70,8 % par rapport à π0.5, la politique de référence de Physical Intelligence. Ce résultat en conditions réelles mérite attention : le delta de +28,3 points sur π0.5 suggère que l'intégration explicite de la structure spatiotemporelle dans la politique, plutôt qu'en post-traitement, apporte un gain concret au-delà du benchmark simulé. Pour les intégrateurs et décideurs industriels, c'est un signal que le sim-to-real gap sur des tâches de manipulation précise reste un vrai verrou, et que les architectures VLA (Vision-Language-Action) classiques, sans modélisation de l'interaction future, plafonnent sur les scénarios à forte contrainte géométrique. La distinction entre prédire le monde et prédire ce qui est pertinent pour l'action semble être la clé ici, ce que STARRY formalise avec GASAM. STARRY s'inscrit dans une compétition dense autour des politiques VLA pour la manipulation : π0 et π0.5 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA, et les travaux issus des labos de Stanford, CMU ou Berkeley. Le benchmark RoboTwin 2.0, utilisé comme terrain d'évaluation principal, est un environnement de simulation récent orienté tâches bimanuelles. Il convient de noter que cette publication est un preprint arXiv, sans revue par les pairs à ce stade, et que les expériences réelles décrites semblent limitées en nombre de tâches et de contextes. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks plus diversifiés comme LIBERO ou Open X-Embodiment, et une validation à plus grande échelle en environnement industriel réel.

IA physiqueOpinion
1 source
CodeGraphVLP : code comme planificateur et graphe sémantique d'état pour les modèles VLA non-markoviens
368arXiv cs.RO 

CodeGraphVLP : code comme planificateur et graphe sémantique d'état pour les modèles VLA non-markoviens

Une équipe de recherche a publié en avril 2026 sur arXiv (référence 2604.22238) un nouveau framework hiérarchique baptisé CodeGraphVLP, conçu pour résoudre une limitation structurelle des modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique longue durée. Le système repose sur trois composants couplés : un graphe sémantique persistant qui maintient les entités et relations pertinentes à la tâche même sous observabilité partielle, un planificateur généré sous forme de code exécutable (d'où le préfixe "Code"), et un mécanisme de prompting visuo-linguistique guidé par la progression. Ce dernier construit des observations épurées, sans encombrement visuel parasite, pour focaliser l'exécuteur VLA sur les indices critiques. Les résultats sur des tâches non-markoviennes en environnement réel montrent une meilleure complétion que les baselines VLA standard et leurs variantes avec historique, avec une latence de planification significativement réduite par rapport aux approches qui intègrent un VLM directement dans la boucle de contrôle. L'enjeu technique est précis : les VLA actuels sont entraînés et déployés comme politiques à horizon court, sous hypothèse markovienne, autrement dit, la dernière observation suffit à raisonner sur l'action suivante. Cette hypothèse tient pour des gestes simples, mais s'effondre dès qu'une tâche exige de mémoriser des états antérieurs, d'interpréter des scènes occultées ou de distinguer des objets pertinents parmi du désordre visuel. CodeGraphVLP rompt avec cette contrainte en externalisant la mémoire dans un graphe symbolique et en confiant la planification à du code synthétisé plutôt qu'à des appels répétés à un grand modèle de langage, ce qui réduit la latence tout en maintenant une traçabilité explicite de la progression de la tâche. C'est un signal intéressant pour les intégrateurs industriels : la combinaison représentation symbolique + politique neuronale commence à produire des résultats mesurables sur du matériel réel, pas uniquement en simulation. Les VLA généralisés sont au coeur d'une compétition active en 2025-2026 : Physical Intelligence avec pi0, Google DeepMind avec RT-2 et ses successeurs, et des équipes académiques comme celles derrière OpenVLA. Le positionnement de CodeGraphVLP est distinct, il ne propose pas un nouveau modèle de fondation mais une architecture d'orchestration au-dessus de VLA existants, ce qui le rend potentiellement composable avec des modèles tiers. Les ablations publiées confirment la contribution individuelle de chaque module. La prochaine étape naturelle serait des tests sur des plateformes humanoïdes ou des bras industriels dans des environnements non contrôlés, domaine où l'hypothèse markovienne est la plus souvent violée.

IA physiqueOpinion
1 source
Un cadre d'apprentissage autonome en boucle fermée piloté par LLM pour robots confrontés à des tâches inédites en environnement ouvert
369arXiv cs.RO 

Un cadre d'apprentissage autonome en boucle fermée piloté par LLM pour robots confrontés à des tâches inédites en environnement ouvert

Une équipe de recherche a publié le 22 avril 2026 sur arXiv (référence 2604.22199) un framework d'apprentissage autonome en boucle fermée piloté par LLM, conçu pour permettre à des robots d'intégrer durablement de nouvelles compétences sans recourir indéfiniment à des modèles de langage externes. Le principe central : lorsqu'un robot rencontre une tâche absente de sa bibliothèque locale de méthodes, il déclenche un processus structuré dans lequel le LLM joue le rôle de raisonnement de haut niveau (analyse de tâche, sélection de modèle candidat, planification de collecte de données, organisation de la stratégie d'exécution). Le robot apprend ensuite à partir de sa propre exécution ou par observation active de comportements externes réussis, effectue un entraînement quasi-temps-réel, et consolide le résultat validé dans sa bibliothèque locale pour toute réutilisation future. Les résultats expérimentaux montrent une réduction du temps moyen d'exécution de 7,7772 s à 6,7779 s, et surtout une chute du nombre moyen d'appels LLM par tâche de 1,0 à 0,2 dans les scénarios de ré-exécution répétée -- soit 80 % de dépendance au LLM éliminée sur les tâches déjà apprises. L'intérêt industriel de cette approche est d'ordre économique autant que technique. Les architectures actuelles de robotique généraliste (VLA, agents LLM embarqués) génèrent des coûts d'inférence récurrents et des latences incompatibles avec des déploiements à l'échelle en environnement de production. En construisant un savoir local cumulatif à partir d'interactions réussies, ce framework agit comme un mécanisme de compilation implicite : les appels LLM coûteux disparaissent au fil des répétitions. C'est une réponse directe au reproche souvent adressé aux systèmes fondation : leur dépendance permanente au cloud pour des décisions qui devraient devenir réflexes. Ce travail s'inscrit dans une tendance de recherche active autour de l'adaptation continue des robots en monde ouvert, en concurrence avec des approches comme l'apprentissage few-shot en ligne (RT-2, OpenVLA) ou les architectures de mémoire hiérarchique explorées chez Physical Intelligence (pi0) et chez Figure AI. La distinction clé ici est la boucle fermée entre observation, entraînement local et pruning des dépendances externes, une piste encore peu exploitée à l'échelle réelle. Les auteurs ne citent pas de partenaire industriel ni de déploiement terrain : il s'agit pour l'heure d'une preuve de concept académique, dont la robustesse en environnement non contrôlé reste à démontrer.

RechercheOpinion
1 source
Apprendre l'apesanteur : imiter des mouvements non auto-stabilisants sur un robot humanoïde
370arXiv cs.RO 

Apprendre l'apesanteur : imiter des mouvements non auto-stabilisants sur un robot humanoïde

Une équipe de chercheurs propose dans un preprint arXiv (référence 2604.21351, avril 2026) une méthode baptisée Weightlessness Mechanism (WM), conçue pour permettre aux robots humanoïdes d'exécuter des mouvements dits non-autostabilisants (NSS, Non-Self-Stabilizing). Ces mouvements englobent des actions aussi banales que s'asseoir sur une chaise, s'allonger sur un lit ou s'appuyer contre un mur : contrairement à la locomotion bipède classique, le robot ne peut maintenir sa stabilité sans interagir physiquement avec l'environnement. Les expériences ont été menées en simulation et sur le robot humanoïde Unitree G1, sur trois tâches représentatives : s'asseoir sur des chaises de hauteurs variables, s'allonger sur des lits à différentes inclinaisons, et s'appuyer contre des murs via l'épaule ou le coude. La méthode est entraînée sur des démonstrations en action unique, sans fine-tuning spécifique à chaque tâche. L'apport technique central s'appuie sur une observation biomécanique : lors de mouvements NSS, les humains relâchent sélectivement certaines articulations pour laisser le contact passif avec l'environnement assurer la stabilité, un état que les auteurs qualifient de "weightless". Le WM formalise ce mécanisme en déterminant dynamiquement quelles articulations relâcher et dans quelle mesure, complété par une stratégie d'auto-étiquetage automatique de ces états dans les données d'entraînement. Pour les intégrateurs industriels qui déploient des humanoïdes dans des environnements réels, ce verrou est significatif : les pipelines actuels d'imitation learning combiné au reinforcement learning imposent généralement un suivi rigide de trajectoire sans modéliser les interactions physiques avec les surfaces, ce qui les rend inopérants dès que le robot doit s'appuyer sur quelque chose. Le contexte est celui d'un secteur en pleine accélération : Figure AI avec le Figure 03, Agility Robotics avec Digit, Boston Dynamics avec Atlas et 1X Technologies poussent tous leurs humanoïdes vers des déploiements en entrepôt ou en usine, mais les scénarios de contact-riche restent largement non résolus. Le Unitree G1, plateforme commerciale accessible, s'impose progressivement comme banc de test académique standard, ce qui accélère la reproductibilité des résultats. Il faut néanmoins souligner que ce travail est au stade de preprint non évalué par les pairs, et que les séquences vidéo accompagnant ce type de publication sont souvent sélectionnées favorablement : la robustesse réelle en conditions non supervisées reste à démontrer. Les suites naturelles seraient une intégration dans des politiques généralisées comme GR00T N2 de NVIDIA ou pi0 de Physical Intelligence, et une évaluation sur des scènes hors distribution.

IA physiquePaper
1 source
État de l'art de la robotique à pattes en environnements non inertiels : passé, présent et futur
371arXiv cs.RO 

État de l'art de la robotique à pattes en environnements non inertiels : passé, présent et futur

Une équipe de chercheurs dépose en avril 2026 sur arXiv (référence 2604.20990) une revue de littérature consacrée à la locomotion des robots à pattes dans les environnements dits non inertiels, c'est-à-dire des surfaces en mouvement, en inclinaison ou en accélération. Le travail couvre trois grandes familles d'applications : les plateformes de transport terrestre (véhicules en déplacement), les plateformes maritimes (navires, offshore) et les contextes aérospatiaux. Les auteurs y passent en revue les méthodes existantes de modélisation, d'estimation d'état et de contrôle de la locomotion, en cartographiant leurs hypothèses et leurs limites respectives. Ils identifient ensuite quatre classes de problèmes non résolus : le couplage robot-environnement, l'observabilité du système en présence de perturbations persistantes, la robustesse des lois de contrôle face aux accélérations variables, et la validation expérimentale dans des conditions dynamiques représentatives. L'enjeu industriel est immédiat. L'écrasante majorité des robots à pattes aujourd'hui commercialisés, quadrupèdes comme l'ANYmal d'ANYbotics, le Spot de Boston Dynamics ou le Go2 d'Unitree, est conçue, calibrée et validée sur sol rigide et stationnaire. Les frameworks de contrôle classiques (MPC, whole-body control) posent explicitement l'hypothèse d'un point d'appui fixe. Dès qu'un navire tangue ou qu'un véhicule accélère, ces hypothèses s'effondrent, entraînant des comportements instables non récupérables sans adaptation du contrôleur en temps réel. Pour un COO qui envisage de déployer des robots d'inspection sur une plateforme pétrolière offshore, un cargo ou un aéronef, ce gap technique constitue aujourd'hui un frein concret à la commercialisation, indépendamment des progrès spectaculaires réalisés sur sol plat. Le domaine progresse depuis la fin des années 2010, porté par l'apprentissage par renforcement (sim-to-real) et l'estimation d'état à haute fréquence par IMU, mais les déploiements réels en environnement non inertiel demeurent rares et peu documentés dans la littérature. Aucun acteur industriel dominant ne s'est encore imposé sur ce segment, ni en Europe ni en Asie, ce qui laisse la fenêtre ouverte pour des laboratoires académiques et des intégrateurs spécialisés. Le survey identifie plusieurs directions prioritaires : les stratégies bio-inspirées (adaptation observée chez les animaux marins ou arboricoles), la co-conception robot-plateforme, et l'élaboration de protocoles de test standardisés simulant les perturbations dynamiques. Ce travail de cartographie a vocation à servir de référence pour orienter les prochains appels à projets et les roadmaps des fabricants de robots à pattes qui visent les marchés industriels les plus exigeants.

UEAucun déploiement européen documenté, mais le survey cartographie un segment non adressé (inspection offshore, navires, plateformes maritimes) où des laboratoires académiques et intégrateurs européens pourraient se positionner en l'absence de leader établi.

RecherchePaper
1 source
Système de navigation vision-langage incarné et déployable avec cognition hiérarchique et exploration contextuelle
372arXiv cs.RO 

Système de navigation vision-langage incarné et déployable avec cognition hiérarchique et exploration contextuelle

Une équipe de chercheurs a publié en avril 2026 sur arXiv (référence 2604.21363) un système de navigation embodied par vision et langage (VLN) conçu pour fonctionner en temps réel sur des plateformes robotiques embarquées aux ressources limitées. L'architecture repose sur trois modules asynchrones découplés : un module de perception temps-réel pour l'acquisition continue de l'environnement, un module d'intégration mémorielle pour l'agrégation spatiale et sémantique, et un module de raisonnement pour la prise de décision de haut niveau via un modèle vision-langage (VLM). Le coeur du système est un graphe de mémoire cognitive construit de façon incrémentale, décomposé en sous-graphes pour alimenter le VLM sans saturer la mémoire embarquée. Pour optimiser l'exploration, les auteurs reformulent le problème comme un Weighted Traveling Repairman Problem (WTRP) contextuel, qui minimise le temps d'attente pondéré des points de vue candidats. Les expériences portent à la fois sur des environnements simulés et sur des plateformes robotiques réelles, avec des résultats supérieurs aux approches VLN existantes en taux de succès et en efficacité de navigation. Ce travail s'attaque directement à une tension structurelle du domaine : les systèmes VLN les plus performants exigent des capacités de raisonnement qui restent typiquement hors de portée d'un matériel embarqué. Le découplage en modules asynchrones est une réponse architecturale concrète à cette contrainte, permettant de maintenir une boucle de perception à faible latence sans bloquer le raisonnement lourd. La démonstration sur hardware contraint réel, pas seulement en simulation, est le point de validation critique : elle réduit l'argument du sim-to-real gap qui frappe la majorité des publications académiques sur les VLA et VLN. Pour un intégrateur ou un décideur industriel, cela suggère que des robots capables de suivre des instructions en langage naturel dans des environnements non-structurés pourraient être déployés sans infrastructure GPU dédiée. La navigation embodied par vision et langage est un champ en pleine consolidation, porté par les progrès des VLM multimodaux (GPT-4o, LLaVA, InternVL) et par la disponibilité de benchmarks comme R2R ou REVERIE. La plupart des approches récentes sacrifient soit la généralisation soit la vitesse d'inférence pour tenir sur un robot réel. Ce papier s'inscrit dans un courant de recherche qui cherche à rendre ces systèmes embarquables sans fine-tuning massif, une direction que suivent également des équipes comme celles de CMU, ETH Zurich ou du LAAS-CNRS côté européen. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés publics et une intégration dans des plateformes commerciales comme Boston Dynamics Spot ou des AMR industriels, mais ces éléments ne sont pas annoncés dans l'abstract.

UEDes équipes européennes comme ETH Zurich et le LAAS-CNRS travaillent sur des directions similaires, mais ce papier n'implique pas directement d'acteurs ou de déploiements en France/UE.

IA physiqueOpinion
1 source
Correspondance par pont de Schrödinger rectifié pour la navigation visuelle en peu d'étapes
373arXiv cs.RO 

Correspondance par pont de Schrödinger rectifié pour la navigation visuelle en peu d'étapes

Une équipe de chercheurs a soumis sur arXiv (ref. 2604.05673, v2, avril 2026) un cadre baptisé Rectified Schrödinger Bridge Matching (RSBM), visant à réduire drastiquement le coût d'inférence des politiques génératives de navigation visuelle. Les modèles basés sur la diffusion ou les ponts de Schrödinger (SB) capturent fidèlement les distributions d'actions multimodales mais exigent dix étapes d'intégration ou plus, incompatibles avec le contrôle robotique temps-réel. RSBM unifie les SB standard (ε=1, entropie maximale) et le transport optimal déterministe (ε→0, comme en Conditional Flow Matching) via un unique paramètre de régularisation entropique ε. Les auteurs démontrent que le champ de vitesse conditionnel conserve la même forme fonctionnelle sur tout le spectre ε (un seul réseau suffit pour toutes les intensités de régularisation) et que réduire ε diminue linéairement la variance du champ, stabilisant l'intégration ODE à pas larges. Résultat : 94 % de similarité cosinus et 92 % de taux de réussite en 3 étapes seulement, sans distillation ni entraînement multi-étapes. Ce résultat s'attaque directement au goulot d'étranglement des politiques VLA (Vision-Language-Action) en déploiement industriel. Les architectures de diffusion embarquées dans les robots manipulateurs et humanoïdes actuels (π0 de Physical Intelligence, GR00T N2 de NVIDIA) plafonnent leur fréquence de contrôle à cause du nombre d'étapes de dénoising requises. Passer de dix à trois étapes sans distillation, technique qui ajoute un cycle d'entraînement coûteux et instable, ouvre la voie à des politiques embarquables sur matériel edge standard sans GPU serveur dédié. Limite à noter : les expériences portent sur des benchmarks de navigation visuelle simulés ; le transfert sim-to-real n'est pas validé dans cette publication. RSBM s'inscrit dans la continuité de travaux sur l'accélération du sampling génératif : Rectified Flow (Liu et al., 2022), Consistency Models, et l'application des ponts de Schrödinger au contrôle robotique étudiée par des groupes à Stanford et CMU. Face au Conditional Flow Matching de Meta AI, rapide mais moins expressif face aux distributions fortement multimodales, RSBM revendique un équilibre théoriquement fondé entre vitesse et couverture multimodale. Aucune implémentation open-source ni déploiement hardware n'est annoncé à ce stade. Les suites probables incluent une validation sur tâches de manipulation réelles et une comparaison directe avec des méthodes de distillation rapide comme le Shortcut Model de Physical Intelligence.

RechercheOpinion
1 source
Les modèles du monde au service d'interventions endovasculaires robotisées autonomes et sûres
374arXiv cs.RO 

Les modèles du monde au service d'interventions endovasculaires robotisées autonomes et sûres

Des chercheurs ont développé un système d'intelligence artificielle capable de naviguer de manière autonome dans les vaisseaux sanguins pour traiter des accidents vasculaires cérébraux, sans intervention humaine directe. Publiés sur arXiv, leurs travaux portent sur la thrombectomie mécanique, une procédure d'urgence qui consiste à retirer un caillot obstruant une artère cérébrale. L'agent IA repose sur TD-MPC2, un algorithme d'apprentissage par renforcement basé sur un modèle du monde, capable de planifier ses actions en anticipant les conséquences de ses mouvements. Testé sur des anatomies vasculaires propres à chaque patient, il affiche un taux de succès de 58 % en simulation, contre 36 % pour le meilleur algorithme concurrent (SAC, Soft Actor-Critic), une différence statistiquement significative (p < 0,001). En laboratoire, sur des répliques physiques de vaisseaux réels guidées par fluoroscopie, TD-MPC2 atteint 68 % de succès contre 60 % pour SAC, avec une trajectoire plus optimale, bien qu'au prix de procédures légèrement plus longues. La force exercée par l'outil sur les parois vasculaires reste en moyenne à 0,15 newton, très en dessous du seuil de rupture estimé à 1,5 newton. Ces résultats constituent une première mondiale : c'est la première fois qu'un système d'IA autonome pour la thrombectomie est validé à la fois en simulation sur des données patient inédites et sur des fantômes vasculaires physiques sous guidage fluoroscopique. L'enjeu est considérable car la thrombectomie mécanique est une course contre la montre : chaque minute perdue aggrave les séquelles neurologiques. Un système autonome fiable pourrait réduire la dépendance aux neuroradiologues interventionnels, dont la disponibilité 24h/24 est limitée, notamment dans les hôpitaux de taille moyenne. La thrombectomie robotisée fait l'objet d'une compétition intense depuis plusieurs années, portée par des acteurs comme Siemens Healthineers, Corindus (filiale de Siemens) ou des startups comme Endowave. L'approche par modèles du monde est plus récente dans ce domaine : elle permet à l'agent de simuler mentalement les conséquences de ses actions avant d'agir, ce qui améliore la robustesse face à la diversité anatomique des patients. Les prochaines étapes passeront probablement par des essais précliniques sur animal avant toute perspective d'application clinique humaine.

UELa technologie pourrait à terme réduire les inégalités d'accès aux soins dans les hôpitaux européens de taille moyenne manquant de neuroradiologues interventionnels disponibles 24h/24.

RecherchePaper
1 source
Manipulation bimanuelles par robot via apprentissage en contexte multi-agents
375arXiv cs.RO 

Manipulation bimanuelles par robot via apprentissage en contexte multi-agents

Des chercheurs ont présenté BiCICLe (Bimanual Coordinated In-Context Learning), un nouveau cadre permettant à des grands modèles de langage (LLM) standard de contrôler des robots à deux bras sans aucun entraînement spécifique à la tâche. Publié sous forme de preprint sur arXiv, ce travail s'appuie sur l'apprentissage en contexte (In-Context Learning), une technique qui permet à un LLM de généraliser à de nouvelles situations à partir de quelques exemples fournis directement dans le prompt. Évalué sur 13 tâches issues du benchmark TWIN, BiCICLe atteint un taux de succès moyen de 71,1 %, surpassant la meilleure méthode sans entraînement de 6,7 points de pourcentage et dépassant la majorité des approches supervisées. Le défi de la manipulation bimanuele est précisément ce qui rend ce résultat remarquable. Coordonner deux bras robotiques implique un espace d'action à très haute dimensionnalité et des contraintes de synchronisation strictes entre les deux membres, ce qui dépasse rapidement les capacités des fenêtres de contexte standard des LLM. BiCICLe contourne ce problème en reformulant le contrôle bimanuel comme un problème multi-agents de type leader-suiveur : chaque bras est géré par un LLM distinct, le second conditionnant ses prédictions sur celles du premier. Un troisième modèle joue le rôle de juge, évaluant et sélectionnant les trajectoires coordonnées les plus plausibles parmi plusieurs propositions, via un processus itératif baptisé Arms' Debate. Ce travail s'inscrit dans une tendance plus large qui vise à exploiter les capacités de raisonnement des LLM pour la robotique incarnée, sans passer par des cycles d'entraînement coûteux. Jusqu'ici, l'ICL avait surtout été appliqué à des tâches à un seul bras, plus simples à modéliser. BiCICLe ouvre la voie à une robotique plus flexible, où des modèles de langage généralistes peuvent être déployés sur des systèmes physiques complexes avec un minimum d'exemples. Les résultats de généralisation sur des tâches inédites renforcent la crédibilité de cette approche pour des applications industrielles ou domestiques où la variété des manipulations est élevée.

RechercheActu
1 source
VTouch++ : jeu de données multimodal combinant vision et retour tactile pour la manipulation bimanuelle
376arXiv cs.RO 

VTouch++ : jeu de données multimodal combinant vision et retour tactile pour la manipulation bimanuelle

Des chercheurs ont publié VTOUCH, un nouveau jeu de données multimodal conçu pour améliorer la manipulation bimanuelles des robots, c'est-à-dire la capacité d'un robot à utiliser deux bras de manière coordonnée. Présenté sur arXiv (référence 2604.20444), ce dataset combine des capteurs tactiles basés sur la vision pour fournir des signaux d'interaction physique haute fidélité. Concrètement, ces capteurs permettent au robot de "sentir" les contacts et pressions lors de tâches complexes, comme assembler un objet ou manipuler des matériaux fragiles. La collecte des données s'appuie sur des pipelines automatisés couvrant des scénarios réels orientés par la demande, et l'organisation des tâches suit une structure matricielle pensée pour faciliter l'apprentissage systématique à grande échelle. La manipulation bimanualle reste l'un des défis les plus ardus de la robotique incarnée, notamment parce que les tâches à fort contact physique exigent une coordination fine et des retours sensoriels précis que les datasets existants ne capturent pas suffisamment. VTOUCH répond directement à ce manque en intégrant des signaux tactiles riches là où la plupart des jeux de données se limitent à la vision ou aux données proprioceptives. Les expériences quantitatives menées sur la récupération cross-modale, ainsi que les évaluations sur robots réels, confirment l'efficacité du dataset. Plus important encore, les chercheurs ont démontré que les politiques entraînées sur VTOUCH se généralisent à plusieurs types de robots et plusieurs types de tâches, ce qui en fait un outil potentiellement mutualisable à travers l'industrie. La robotique incarnée connaît une accélération notable depuis l'essor des grands modèles de langage et vision, des acteurs comme Google DeepMind, Figure AI ou Physical Intelligence investissant massivement dans des robots capables d'opérer dans des environnements non structurés. La manipulation bimanualle est un goulot d'étranglement reconnu : même les systèmes les plus avancés peinent à égaler la dextérité humaine dans des tâches d'assemblage ou de cuisine. VTOUCH s'inscrit dans une tendance plus large de constitution de datasets spécialisés de grande échelle, à l'image d'Open X-Embodiment, pour accélérer l'entraînement de politiques robotiques généralisables. La prochaine étape sera de voir si ce dataset est rendu public et adopté par la communauté au-delà du laboratoire d'origine.

HumanoïdesActu
1 source
Cortex 2.0 : ancrer les modèles du monde dans les déploiements industriels réels
377arXiv cs.RO 

Cortex 2.0 : ancrer les modèles du monde dans les déploiements industriels réels

Des chercheurs ont présenté Cortex 2.0, un système de manipulation robotique industrielle qui rompt avec le contrôle réactif au profit d'une architecture de planification basée sur un modèle du monde. Décrit dans un article publié sur arXiv, le système génère plusieurs trajectoires futures candidates dans un espace latent visuel, les évalue selon leur probabilité de succès et leur efficacité, puis sélectionne la meilleure avant d'agir. Évalué sur des plateformes à un bras et deux bras, Cortex 2.0 a été testé sur quatre tâches d'une complexité croissante : saisie et placement d'objets, tri d'articles et de déchets, tri de vis, et déballage de boîtes à chaussures. Les résultats montrent que Cortex 2.0 surpasse systématiquement les modèles Vision-Language-Action (VLA) de dernière génération sur l'ensemble des tâches évaluées. L'avantage est particulièrement net dans les environnements encombrés, avec des occlusions fréquentes et des manipulations à forte contrainte physique, c'est-à-dire précisément les situations où les approches réactives accumulent les erreurs et échouent. Pour l'industrie robotique, cela représente un changement de paradigme concret : des robots capables d'exécuter des séquences d'actions longues de manière fiable, sans nécessiter des environnements strictement contrôlés, ouvrent la voie à un déploiement plus large en logistique, en assemblage ou en tri de matériaux. Les modèles VLA ont marqué une avancée importante ces dernières années en permettant aux robots de généraliser à de nouvelles tâches grâce à leur compréhension du langage et de la vision. Leur faiblesse structurelle reste néanmoins leur caractère réactif : ils optimisent l'action immédiate sans anticiper les conséquences à moyen terme, ce qui les fragilise sur des tâches longues où les erreurs s'accumulent. Cortex 2.0 s'inscrit dans un effort plus large pour doter les robots d'une capacité de planification par simulation, comparable à ce que l'on trouve dans des systèmes comme AlphaGo. Si ces résultats se confirment à plus grande échelle et sur une plus large diversité de tâches, ils pourraient accélérer significativement le déploiement de robots industriels autonomes dans des environnements réels et non scénarisés.

UESi les résultats se confirment à plus grande échelle, les secteurs industriels européens, logistique, assemblage, tri de matériaux, pourraient bénéficier d'un déploiement accéléré de robots autonomes capables d'opérer dans des environnements réels non scénarisés.

IA physiqueOpinion
1 source
ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère
378arXiv cs.RO 

ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère

Des chercheurs ont présenté ETac, un framework de simulation tactile conçu pour entraîner des robots manipulateurs dotés de capteurs tactiles à peau élastomère. Publié sur arXiv, ETac repose sur un modèle léger d'apprentissage automatique pour simuler la propagation des déformations lors des contacts, sans recourir aux coûteuses méthodes par éléments finis (FEM). Exécuté sur un seul GPU RTX 4090, le système supporte jusqu'à 4 096 environnements parallèles et atteint un débit total de 869 images par seconde. La politique de préhension entraînée avec ETac affiche un taux de réussite moyen de 84,45 % sur quatre types d'objets différents, sans aucune vision -- uniquement via le retour tactile large surface. Ce résultat est significatif car il lève l'un des principaux verrous du domaine : la simulation tactile haute fidélité est habituellement si coûteuse en calcul qu'elle empêche l'apprentissage par renforcement à grande échelle. ETac produit des estimations de déformation de surface comparables à celles obtenues par FEM, tout en étant suffisamment rapide pour l'entraînement massif de politiques robotiques. Pour les laboratoires et entreprises qui développent des robots manipulateurs -- en logistique, chirurgie assistée ou assemblage industriel -- cette approche ouvre la voie à des agents capables de saisir des objets variés et fragiles sans dépendre de caméras. La manipulation dextère reste l'un des défis les plus ardus de la robotique moderne, et le sens du toucher est reconnu depuis longtemps comme essentiel pour combler l'écart avec les capacités humaines. Les capteurs tactiles type GelSight ou DIGIT ont progressé rapidement ces dernières années, mais leur intégration dans des boucles d'apprentissage par renforcement butait sur l'absence de simulateurs rapides et réalistes. ETac s'inscrit dans un mouvement plus large visant à aligner simulation et réalité physique (sim-to-real transfer) pour les retours haptiques. Les prochaines étapes pourraient inclure le transfert de politiques vers des robots réels et l'extension à des scénarios de manipulation bimanuelle plus complexes.

HumanoïdesPaper
1 source
PhysMem : mise à l'échelle de la mémoire physique pour la manipulation robotique
379arXiv cs.RO 

PhysMem : mise à l'échelle de la mémoire physique pour la manipulation robotique

PhysMem, un cadre mémoire présenté sur arXiv (identifiant 2502.20323, version 5 actualisée au printemps 2026), propose une approche permettant aux planificateurs robotiques basés sur des modèles vision-langage (VLM) d'acquérir des connaissances physiques au moment de l'exécution, sans modifier les paramètres du modèle. Le système enregistre les interactions, génère des hypothèses sur les propriétés physiques observées, les soumet à vérification par des gestes ciblés, puis n'intègre que les hypothèses validées pour guider les décisions futures. Évalué sur trois tâches de manipulation réelle et des benchmarks de simulation avec quatre architectures VLM distinctes, PhysMem atteint 76 % de succès sur une tâche contrôlée d'insertion de brique, contre 23 % pour une récupération directe d'expérience. Sur des sessions de déploiement de 30 minutes, les performances progressent de façon consistante au fil du temps. L'apport central de PhysMem réside dans la séparation entre récupération et vérification. Les approches classiques de mémoire épisodique supposent que les expériences passées s'appliquent directement à la situation courante, ce qui produit des échecs dès que les conditions physiques changent, même marginalement. PhysMem brise ce cycle en testant activement chaque hypothèse avant de l'exploiter, une propriété critique pour les environnements industriels où surfaces, matériaux et tolérances varient d'un poste à l'autre. Pour les intégrateurs et les décideurs B2B, cela ouvre la voie à des robots capables de s'adapter à de nouveaux objets ou environnements sans cycle de réentraînement coûteux. L'écart de 53 points de pourcentage entre les deux modes illustre que le problème n'est pas la mémoire en soi, mais la rigidité de son application directe. Les VLM comme planificateurs robotiques ont été popularisés par des travaux comme SayCan (Google DeepMind), Code as Policies, ou plus récemment pi0 de Physical Intelligence, qui ont démontré une capacité de raisonnement abstrait sur les tâches. Leur limite persistante reste l'incapacité à modéliser les propriétés physiques spécifiques d'objets particuliers, un obstacle majeur à la généralisation hors laboratoire. PhysMem s'inscrit dans un mouvement plus large vers le test-time adaptation en robotique, distinct du fine-tuning classique et complémentaire des approches VLA (Vision-Language-Action). À noter: les résultats publiés portent sur des tâches de laboratoire contrôlées, et aucun déploiement industriel n'est annoncé à ce stade. Les suites logiques incluent des tests sur des horizons de déploiement plus longs et des tâches impliquant des objets déformables ou des matériaux à comportement incertain, là où les hypothèses physiques sont les plus difficiles à abstraire.

IA physiquePaper
1 source
Mask World Model : prédire l'essentiel pour un apprentissage robuste des politiques robotiques
380arXiv cs.RO 

Mask World Model : prédire l'essentiel pour un apprentissage robuste des politiques robotiques

Des chercheurs ont publié sur arXiv (réf. 2604.19683) le Mask World Model (MWM), une architecture de world model pour l'apprentissage de politiques robotiques robustes. Contrairement aux approches dominantes qui entraînent des modèles génératifs sur de la vidéo RGB, MWM prédit l'évolution de masques sémantiques, des représentations géométriques des objets en scène, à l'aide d'une architecture de diffusion vidéo. Une tête de politique basée sur la diffusion est intégrée en aval pour un contrôle bout-en-bout. Évalué sur les benchmarks de simulation LIBERO et RLBench, MWM surpasse significativement les world models RGB de l'état de l'art. Un protocole de robustesse par élagage aléatoire de tokens et des expériences en conditions réelles confirment la résilience du modèle face à la perte partielle d'information visuelle. Le problème ciblé est structurel : les world models entraînés à prédire des pixels RGB mémorisent des corrélations parasites liées aux arrière-plans dynamiques, aux variations d'éclairage ou aux textures changeantes. Ces distracteurs produisent des politiques fragiles qui échouent hors distribution, phénomène central du "demo-to-real gap" qui freine le déploiement industriel des robots apprenants. En contraignant le modèle à opérer sur des masques géométriques plutôt que sur des pixels bruts, MWM impose un goulot d'information qui force la représentation interne à capturer ce qui importe réellement pour la manipulation : dynamiques physiques, relations de contact, géométrie des objets. C'est une contribution méthodologique notable dans le débat sur ce que les world models doivent apprendre pour être fiables à l'échelle opérationnelle. Les world models pour la robotique ont émergé comme paradigme dominant ces deux dernières années, portés par des architectures comme UniSim, Dreamer, ou les VLA récents de Physical Intelligence (pi-0), Google DeepMind (GR00T N2) et Figure Robotics, qui misent presque tous sur la fidélité de reconstruction RGB. MWM propose une alternative centrée sur l'abstraction géométrique, un positionnement distinct dans cet écosystème en pleine consolidation. Il convient de noter qu'il s'agit d'une prépublication non encore relue par des pairs, et que les expériences en conditions réelles restent limitées en échelle et en diversité de tâches. Les suites naturelles incluent une validation sur des manipulateurs industriels en environnement non contrôlé, étape que les auteurs n'ont pas encore franchie.

RechercheOpinion
1 source
ExpertGen : apprentissage de politiques expertes par transfert simulation-réel à partir de comportements imparfaits
381arXiv cs.RO 

ExpertGen : apprentissage de politiques expertes par transfert simulation-réel à partir de comportements imparfaits

ExpertGen est un framework de recherche publié sur arXiv (2603.15956) qui automatise l'apprentissage de politiques de manipulation robotique en simulation pour en faciliter le transfert vers du matériel réel. Le système initialise une politique de diffusion à partir de démonstrations imparfaites, générées par un grand modèle de langage ou fournies manuellement, puis applique du renforcement pour l'affiner sans jamais modifier les poids du modèle préentraîné. L'optimisation porte uniquement sur le bruit initial de la diffusion, ce qui maintient l'exploration dans des trajectoires cohérentes avec le comportement humain, même avec des récompenses binaires éparses. Sur les benchmarks publiés, ExpertGen atteint 90,5 % de succès sur des tâches d'assemblage industriel et 85 % sur des tâches de manipulation à long horizon, surpassant toutes les méthodes de référence testées. Le transfert sim-to-réel est validé par distillation DAgger : les politiques d'état apprises en simulation sont converties en politiques visuomotrices et déployées sur du matériel robotique physique. Ce résultat s'attaque directement au principal goulot d'étranglement du robot learning industriel : la collecte de données de qualité. La téléopération à grande échelle est coûteuse, lente et ne se généralise pas. ExpertGen propose une alternative crédible en utilisant des démonstrations imparfaites, y compris synthétiques, comme amorce, puis en laissant le renforcement corriger l'écart de qualité en simulation. Le fait de geler la politique de diffusion est une décision architecturale clé : elle évite le mode collapse typique du fine-tuning RL sur des politiques expressives, tout en permettant la convergence sans reward engineering manuel. Pour les intégrateurs industriels, c'est un signal concret que le sim-to-real gap sur des tâches d'assemblage n'est pas insurmontable, à condition de disposer d'un simulateur suffisamment fidèle. Ce travail s'inscrit dans la vague des politiques de diffusion pour la robotique, initiée par Diffusion Policy (Chi et al., 2023, Columbia University) et prolongée par des systèmes comme pi-zero de Physical Intelligence ou les politiques dextères développées chez Google DeepMind et NVIDIA avec GR00T N2. ExpertGen reste pour l'instant un résultat académique : les métriques de succès sont issues de benchmarks de simulation contrôlés, et le déploiement réel mentionné dans le papier est préliminaire. Aucune timeline commerciale ni partenaire industriel ne sont annoncés. Les prochaines étapes logiques incluent des tests de robustesse à des variations de capteurs et d'environnement plus sévères, ainsi qu'une intégration éventuelle avec des politiques de fondation multimodales pour généraliser au-delà des tâches d'assemblage structurées.

RechercheOpinion
1 source
SynAgent : manipulation humanoïde coopérative généralisable par synergie d'agents, du solo au coopératif
382arXiv cs.RO 

SynAgent : manipulation humanoïde coopérative généralisable par synergie d'agents, du solo au coopératif

Une équipe de chercheurs a déposé sur arXiv (2604.18557, avril 2026) SynAgent, un framework unifié pour la manipulation coopérative entre robots humanoïdes. Le problème de départ est concret : faire collaborer deux humanoïdes pour saisir et déplacer un objet volumineux exige des données d'entraînement multi-agents quasi inexistantes. SynAgent contourne ce verrou via une stratégie "Solo-to-Cooperative Agent Synergy" : les compétences sont d'abord apprises sur des données de mouvement humain solo (un agent, un objet), puis transférées vers des scénarios à deux agents. Pour préserver les relations spatiales lors de ce transfert, les auteurs introduisent une méthode de retargeting basée sur un "Interact Mesh" construit par tétraédrisation de Delaunay. L'entraînement repose ensuite sur un préentraînement mono-agent, une adaptation via PPO décentralisé multi-agents, et une politique générative conditionnée par trajectoire utilisant un VAE conditionnel (cVAE), distillée depuis plusieurs priors d'imitation de mouvement. Le principal goulot d'étranglement de la manipulation humanoïde coopérative n'est pas l'algorithme, c'est la donnée : annoter deux humains manipulant des objets en interaction à l'échelle suffisante est coûteux. SynAgent propose de recycler les datasets de mouvement solo, qui sont eux abondants, pour bootstrapper des comportements collaboratifs. Les auteurs rapportent une surperformance significative sur les baselines existantes en imitation coopérative et en contrôle conditionné par trajectoire, avec une généralisation à des géométries d'objets variées, point souvent fragile dans la littérature. Si ces résultats se confirment hors benchmarks contrôlés, l'approche réduirait drastiquement le coût d'entrée pour déployer des paires de robots humanoïdes sur des tâches de manutention lourde. La manipulation bimanuelle distribue un axe de recherche actif : les travaux sur ALOHA (Berkeley), Stanford et CMU ont établi des bases solides pour les tâches dextères, mais sur des plateformes à deux bras unifiées. La coordination entre deux humanoïdes distincts est un problème plus récent, exacerbé par l'émergence commerciale de Figure 02/03, Agility Digit ou Unitree G1. SynAgent s'inscrit dans ce contexte où les labos académiques cherchent à fournir les briques algorithmiques que les industriels ne peuvent pas encore produire à temps. Important à noter : le papier ne mentionne aucune expérience sur hardware physique, ce qui laisse ouverte la question centrale du sim-to-real gap pour ce type de coordination distribuée. Le code et les données seront publiés après acceptation formelle.

HumanoïdesPaper
1 source
De zéro à l'autonomie en temps réel : adaptation en ligne de la dynamique dans des environnements non structurés
383arXiv cs.RO 

De zéro à l'autonomie en temps réel : adaptation en ligne de la dynamique dans des environnements non structurés

Une équipe de chercheurs propose, dans un préprint arXiv (réf. 2509.12516 v2, septembre 2025), une méthode d'adaptation en ligne des dynamiques robotiques capable de passer de zéro connaissance préalable à un contrôle sûr en quelques secondes. L'algorithme combine des encodeurs de fonctions ("function encoders") avec les moindres carrés récursifs (RLS) : les coefficients de l'encodeur sont traités comme des états latents mis à jour en continu depuis l'odométrie du robot en streaming. L'estimation s'effectue en temps constant, sans boucle interne à base de gradients, ce qui la distingue structurellement des approches de méta-apprentissage. Les expériences portent sur trois configurations : un système de Van der Pol pour valider le comportement algorithmique, un simulateur Unity pour la navigation tout-terrain haute fidélité, et un robot Clearpath Jackal en conditions réelles, notamment sur la glace d'une patinoire locale. Dans toutes ces configurations, la méthode réduit le nombre de collisions par rapport aux baselines statiques et de méta-apprentissage. L'enjeu opérationnel est direct : les transitions abruptes de terrain, comme du bitume vers de la glace ou du gravier vers de la boue, déstabilisent les planificateurs de trajectoire si le modèle dynamique ne se met pas à jour assez vite. Là où des approches comme MAML nécessitent de nombreux pas de gradient pour converger vers un nouveau régime dynamique, ce système extrait une représentation exploitable à partir de quelques secondes de données odométriques. La validation sur glace physique, environnement à très faible coefficient de frottement, renforce la crédibilité de la démonstration au-delà du seul simulateur et constitue un argument sérieux contre le "dynamics gap" souvent reproché aux méthodes d'adaptation sim-to-real. Cette recherche s'inscrit dans un courant actif autour de l'adaptation rapide pour robots mobiles, en concurrence directe avec RMA (Rapid Motor Adaptation, ETH Zürich) pour les quadrupèdes et les travaux de Berkeley sur l'adaptation contextuelle via réseaux d'encodage. Le Clearpath Jackal, plateforme différentielle de référence dans la recherche académique, facilite la reproductibilité des résultats. L'article ne mentionne aucun déploiement industriel ni partenariat commercial, mais la complexité temporelle constante de l'algorithme le rend compatible avec des contraintes embarquées réelles. La prochaine étape logique serait une validation sur flottes AMR en environnement logistique ou sur des quadrupèdes exposés à des changements de surface similaires.

RecherchePaper
1 source
Optimisation de politique par dérive : apprentissage natif en une étape pour le contrôle robotique en ligne
384arXiv cs.RO 

Optimisation de politique par dérive : apprentissage natif en une étape pour le contrôle robotique en ligne

Une équipe de chercheurs publie sur arXiv (réf. 2604.03540, version 3) un cadre en deux étapes baptisé Drift-Based Policy Optimization (DBPO), conçu pour ramener les politiques génératives de manipulation robotique à une seule passe de réseau au moment de l'inférence. La première brique, la Drift-Based Policy (DBP), exploite des objectifs de "fixed-point drifting" pour internaliser le raffinement itératif directement dans les paramètres du modèle pendant l'entraînement, supprimant ainsi le besoin de débruitage multi-étapes à l'exécution. La seconde brique, DBPO, greffe sur ce backbone une interface stochastique compatible avec le renforcement en ligne, autorisant des mises à jour on-policy stables sans sacrifier la propriété de déploiement en une étape. Sur un robot bi-bras réel, le système atteint 105,2 Hz en boucle fermée, soit une fréquence comparable aux contrôleurs industriels classiques. Sur les benchmarks de manipulation, DBP égale ou dépasse les politiques de diffusion multi-étapes tout en réduisant le coût d'inférence jusqu'à un facteur 100 en nombre d'évaluations réseau (NFEs). Ce résultat touche directement l'un des verrous les plus concrets du déploiement de politiques diffusion en robotique : le coût computationnel à l'inférence. Les politiques de diffusion actuelles (Diffusion Policy, Chi et al., 2023) nécessitent typiquement 10 à 100 NFEs par action, ce qui les rend incompatibles avec du contrôle haute fréquence sans accélérateur dédié. Transférer ce coût vers l'entraînement plutôt que l'inférence change le profil économique du déploiement : un robot en production n'a plus besoin de GPU haut de gamme pour tourner en temps réel. Par ailleurs, coupler une politique one-step avec du renforcement en ligne ouvre la voie à une adaptation continue post-déploiement, hypothèse clé pour les environnements industriels non-structurés. Les politiques de diffusion pour la manipulation ont émergé comme référence de facto depuis 2022-2023, portées par des travaux comme Diffusion Policy ou les architectures VLA de Physical Intelligence (pi0) et d'autres. La course à réduire leur latence a produit plusieurs approches concurrentes : distillation de consistance (Consistency Policy), flow matching en une étape (comme dans certaines variantes de pi0-fast), ou encore les politiques à action chunking. DBPO s'inscrit dans cette compétition avec une approche qui revendique de préserver la modélisation multimodale tout en atteignant la vitesse des méthodes one-shot. Les prochaines étapes naturelles seraient un test à plus grande échelle de tâches et de morphologies robotiques, ainsi qu'une validation sur des plateformes humanoïdes telles que celles de Figure AI ou 1X Technologies, pour lesquelles la fréquence de contrôle est un critère de sécurité, pas seulement de performance.

UELes équipes de recherche et industriels européens en robotique manipulatrice pourraient réduire leurs besoins en accélérateurs GPU à l'inférence en adoptant cette approche, mais aucun acteur français ou européen n'est directement impliqué.

IA physiquePaper
1 source
ReFineVLA : des politiques robotiques généralistes renforcées par raisonnement multimodal via fine-tuning guidé
385arXiv cs.RO 

ReFineVLA : des politiques robotiques généralistes renforcées par raisonnement multimodal via fine-tuning guidé

Des chercheurs ont publié le 22 avril 2026 sur arXiv un article présentant ReFineVLA, un cadre d'apprentissage conçu pour améliorer les capacités de raisonnement des modèles Vision-Language-Action (VLA) en robotique. L'approche repose sur deux étapes : un modèle enseignant expert génère d'abord des rationales de raisonnement pour enrichir les jeux de données robotiques existants, puis ces données augmentées servent à affiner des VLA pré-entraînés. Les auteurs évaluent leur méthode sur SimplerEnv, un environnement de simulation de manipulation, en testant deux plateformes robotiques distinctes : le bras WidowX et le Google Robot. ReFineVLA affiche un taux de succès supérieur à la deuxième meilleure méthode sur les deux benchmarks, selon les résultats rapportés. Aucun chiffre précis de marge de progression n'est fourni dans l'abstract. L'enjeu soulevé par ce travail est le fossé entre performance brute et raisonnement explicite dans les VLA actuels. Les modèles existants apprennent des mappings entrée-action fonctionnels mais omettent les étapes logiques intermédiaires, ce qui fragilise leur interprétabilité et leur généralisation sur des tâches longues et complexes. Pour les intégrateurs industriels, cette lacune est critique : un robot qui réussit une tâche sans pouvoir expliquer sa décision est difficile à valider, à certifier, ou à déboguer. ReFineVLA propose d'injecter du raisonnement structuré au moment du fine-tuning plutôt qu'en repensant l'architecture, ce qui est une approche pragmatique pour améliorer des modèles existants comme OpenVLA ou pi0 sans réentraînement complet. Ce travail s'inscrit dans une tendance récente visant à combler le gap entre LLMs raisonnants et politiques robotiques. Des approches comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA ont montré que les VLA pré-entraînés sur de larges corpus peuvent être adaptés à des domaines spécifiques. ReFineVLA pousse cette logique en ciblant explicitement le raisonnement comme vecteur de généralisation. Les évaluations restent cantonnées à la simulation, et la question du transfert sim-to-real n'est pas traitée dans cette version. Les prochaines étapes naturelles seraient une validation sur robot réel et une mesure de l'impact sur des tâches de manipulation longue séquence hors distribution.

IA physiqueOpinion
1 source
EmbodiedLGR : un graphe léger pour la mémoire sémantique-spatiale des agents robotiques
386arXiv cs.RO 

EmbodiedLGR : un graphe léger pour la mémoire sémantique-spatiale des agents robotiques

Des chercheurs ont publié le 23 avril 2026 sur arXiv (référence 2604.18271) les travaux sur EmbodiedLGR-Agent, une architecture mémoire pour robots mobiles combinant graphe sémantique léger et retrieval-augmented generation. Le système repose sur un modèle visuo-langagier (VLM) à faible empreinte paramétrique qui indexe en continu les objets détectés, leurs positions et leurs relations spatiales dans un graphe dense, tout en conservant des descriptions de haut niveau des scènes observées via une couche RAG classique. L'ensemble tourne localement, sans dépendance cloud. Évalué sur le benchmark NaVQA, EmbodiedLGR-Agent atteint des performances état de l'art sur les temps d'inférence et de requête pour les agents robotiques embarqués, tout en maintenant une précision compétitive sur la tâche globale de question-réponse spatiale. Le système a également été déployé sur un robot physique réel, validant son utilité hors simulation. Ce qui mérite attention, c'est moins la précision brute que la latence : dans les interactions humain-robot, un agent qui répond "où sont les ciseaux ?" en temps humain change radicalement l'expérience utilisateur. La majorité des architectures mémoire robotiques actuelles sacrifient la réactivité à la richesse sémantique, ou inversement. L'approche hybride graphe + RAG tente de résoudre ce compromis sans exploser les ressources de calcul embarqué. Le déploiement sur robot physique, et non en simulation pure, est un signal concret, même si l'article ne précise pas la plateforme matérielle ni les métriques de latence chiffrées en millisecondes, ce qui limite la comparabilité directe avec d'autres systèmes. L'enjeu de la mémoire sémantique-spatiale est un chantier ouvert depuis plusieurs années dans la communauté robotique, avec des approches comme les scene graphs neuraux, ConceptGraphs ou encore les travaux de SayPlan. EmbodiedLGR se positionne sur le segment des architectures légères et déployables sur matériel contraint, là où des solutions comme celles de Boston Dynamics ou des startups comme Skild AI misent plutôt sur la puissance de calcul embarquée ou le traitement distant. Sur le front européen, des acteurs comme Enchanted Tools (Mirokaï) ou Wandercraft travaillent également sur la cognition embarquée, mais dans des contextes applicatifs distincts. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks plus récents (Habitat, OpenEQA) et une publication des temps de latence mesurés sur plateforme physique.

RechercheOpinion
1 source
XEmbodied : un modèle fondation aux indices géométriques et physiques renforcés pour les environnements incarnés à grande échelle
387arXiv cs.RO 

XEmbodied : un modèle fondation aux indices géométriques et physiques renforcés pour les environnements incarnés à grande échelle

Une équipe de chercheurs a publié fin avril 2026 sur arXiv (référence 2604.18484) les travaux sur XEmbodied, un modèle fondateur côté cloud conçu pour améliorer l'annotation et l'entraînement des modèles Vision-Langage-Action (VLA) dans des environnements complexes à grande échelle. L'approche repose sur deux composants techniques distincts : un adaptateur 3D structuré qui intègre une représentation géométrique native (grilles d'occupation, boîtes englobantes 3D) dans un modèle de langage visuel (VLM) existant, et un adaptateur image-embodied efficace qui distille des signaux physiques en tokens contextuels. L'entraînement combine un curriculum progressif par domaine et un post-entraînement par apprentissage par renforcement. Les résultats sont évalués sur 18 benchmarks publics couvrant le raisonnement spatial, la sémantique trafic, l'affordance embodied et la généralisation hors distribution. Ce travail cible un goulot d'étranglement concret dans la chaîne de développement des systèmes autonomes incarnés : les pipelines d'annotation actuels s'appuient sur des VLM génériques pré-entraînés uniquement sur des paires image-texte 2D, sans compréhension intrinsèque de la géométrie 3D ni des contraintes physiques. Pour un intégrateur ou un décideur industriel qui cherche à construire des datasets de qualité pour robots mobiles ou bras manipulateurs, XEmbodied positionne la compréhension géométrique non comme une entrée auxiliaire optionnelle, mais comme une capacité fondamentale du modèle. Cela représente un changement d'approche notable dans la manière de produire des annotations scalables pour l'embodied AI, un segment où la qualité des données d'entraînement reste le principal facteur limitant avant même l'architecture du VLA lui-même. XEmbodied s'inscrit dans une vague de travaux visant à combler le fossé entre les VLM généralistes (GPT-4V, LLaVA, Qwen-VL) et les exigences de l'embodied AI, où les modèles comme π0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA nécessitent des données d'entraînement spatialement cohérentes et physiquement plausibles. La contribution ici n'est pas un VLA en soi, mais une couche d'infrastructure cloud pour en produire de meilleurs. Aucun déploiement industriel ni partenariat commercial n'est mentionné dans l'article : il s'agit d'un travail académique, dont la valeur pratique dépendra de l'adoption par les équipes qui construisent ces pipelines d'annotation à l'échelle.

RechercheOpinion
1 source
OFlow : flux temporel centré sur les objets pour une manipulation robotique robuste
388arXiv cs.RO 

OFlow : flux temporel centré sur les objets pour une manipulation robotique robuste

Des chercheurs ont publié le 24 avril 2026 OFlow, un framework destiné à améliorer la robustesse des modèles Vision-Language-Action (VLA) dans les tâches de manipulation robotique. L'approche, présentée dans un preprint arXiv (2604.17876), repose sur deux mécanismes combinés : un module de prédiction temporelle par flow matching, qui anticipe l'évolution de la scène avant d'agir, et une représentation centrée sur les objets pertinents pour la tâche, qui filtre les variations visuelles sans intérêt. Ces deux composants partagent un même espace latent sémantique, à partir duquel la génération des actions continues est conditionnée. Les évaluations couvrent quatre environnements de référence, LIBERO, LIBERO-Plus, MetaWorld et SimplerEnv, ainsi que des expériences en conditions réelles, et montrent des gains de robustesse et de taux de succès par rapport aux baselines VLA standards. Le verrou que tente de lever OFlow est bien identifié dans la communauté : les VLAs actuels raisonnent image par image, sans modèle explicite de ce qui va se passer ni de quels objets comptent vraiment. En séparant les cues visuels liés à la tâche des variations de fond (éclairage, texture, pose de la caméra), OFlow produit des représentations plus stables sous distribution shift, c'est-à-dire lorsque les conditions réelles diffèrent du training data. Pour les intégrateurs et les équipes de déploiement industriel, c'est un point critique : la fragilité des VLAs face aux écarts de conditions est l'un des principaux obstacles à leur passage en production. Les résultats sur SimplerEnv et les tâches réelles sont particulièrement scrutés, car ce benchmark est conçu pour tester explicitement ce gap sim-to-real. OFlow s'inscrit dans une vague de travaux cherchant à doter les VLAs d'une forme de planification implicite, après des modèles comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA) qui misent sur des architectures diffusion ou flux pour la génération d'actions. L'originalité revendiquée ici est l'unification dans un espace latent commun, plutôt que d'ajouter des modules séparés. Il s'agit pour l'instant d'un preprint non relu par des pairs, et les benchmarks utilisés, LIBERO notamment, sont bien maîtrisés par la communauté mais n'impliquent pas de robots déployés en production. Les prochaines étapes naturelles seront la validation sur des plateformes hardware variées et une comparaison directe avec les approches concurrentes sur des scénarios industriels réels.

IA physiqueOpinion
1 source
2D ou 3D : qui gouverne la saillance dans les modèles VLA ? Un cadre d'élagage de tokens en trois étapes avec conscience de la saillance modale
389arXiv cs.RO 

2D ou 3D : qui gouverne la saillance dans les modèles VLA ? Un cadre d'élagage de tokens en trois étapes avec conscience de la saillance modale

Des chercheurs ont publié sur arXiv (référence 2604.09244, version 2, avril 2026) un article proposant un cadre d'élagage de tokens en trois étapes pour accélérer les modèles VLA (Vision-Language-Action) multi-modaux. Le constat de départ : les VLA de dernière génération ne se contentent plus d'entrées 2D classiques (images RGB) mais intègrent également des données 3D (nuages de points, profondeur), formant ce que les auteurs appellent des modèles MVLA (Multi-Visual-Modal VLA). Cette expansion modale améliore la perception spatiale des robots, mais elle multiplie le nombre de tokens traités à l'inférence, créant un goulot d'étranglement computationnel significatif. Le framework proposé introduit une analyse en trois phases qui capture les différences de saillance entre tokens 2D et 3D à chaque étape du traitement, puis applique un élagage ciblé selon ces différences. Les expériences rapportent un gain d'accélération allant jusqu'à 2,55x à l'inférence, avec une perte de précision minimale et un surcoût de traitement limité à 5,8%. Ce résultat est pertinent pour les équipes qui cherchent à déployer des VLA sur du matériel embarqué ou des robots opérant en temps réel. L'un des freins majeurs à la commercialisation des robots manipulateurs pilotés par VLA est précisément le coût computationnel de l'inférence : un gain de 2,55x sans dégradation significative des performances ouvre la voie à des cycles de décision plus courts sans nécessiter de GPU de datacenter. Il met aussi en lumière un angle mort des approches d'optimisation existantes : les méthodes d'élagage de tokens conçues pour des VLA 2D ne tiennent pas compte du fait que les tokens 3D et 2D n'ont pas la même importance selon le contexte et l'étape de traitement. Ignorer cette hétérogénéité conduit à des élagages sous-optimaux. Les modèles VLA sont devenus le paradigme dominant en robotique incarnée depuis Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui ont tous deux popularisé l'architecture action-transformer multi-modal. La tendance à intégrer la modalité 3D s'est accélérée avec l'essor des capteurs LiDAR et RGB-D dans les environnements industriels. Ce travail s'inscrit dans une série d'efforts d'optimisation de l'inférence VLA, aux côtés de travaux comme FastV ou des approches de distillation, mais avec la spécificité de traiter explicitement la multi-modalité visuelle. Le code source n'est pas encore publié, ce qui limite pour l'instant la reproductibilité et l'adoption pratique ; les prochaines étapes annoncées concernent sa mise à disposition publique.

RechercheOpinion
1 source
Rule-VLN : unifier perception et respect des règles par raisonnement sémantique et rectification géométrique
390arXiv cs.RO 

Rule-VLN : unifier perception et respect des règles par raisonnement sémantique et rectification géométrique

Une équipe de chercheurs a publié sur arXiv (2604.16993) un article introduisant Rule-VLN, un benchmark urbain à grande échelle conçu pour évaluer la navigation par instruction langagière (Vision-and-Language Navigation, ou VLN) sous contraintes réglementaires. L'environnement couvre 29 000 nœuds de graphe urbain, avec 8 000 nœuds soumis à 177 catégories de règles distinctes réparties en quatre niveaux de difficulté croissante. Pour corriger les agents existants, les auteurs proposent le Semantic Navigation Rectification Module (SNRM), un module zero-shot greffable sur tout agent VLN pré-entraîné. Dans les expériences rapportées, SNRM réduit le taux de violation des contraintes (Constraint Violation Rate, CVR) de 19,26 % et améliore le taux de complétion de tâche (Task Completion, TC) de 5,97 % par rapport aux modèles de référence. Le problème identifié est structurel : les agents VLN actuels tombent dans ce que les auteurs appellent le "goal-driven trap", un biais où la géométrie physique ("puis-je passer ici ?") prime sur la sémantique réglementaire ("suis-je autorisé à passer ici ?"). Pour les intégrateurs de systèmes de navigation autonome en environnement urbain ou semi-public, cela signifie concrètement que les agents actuels ignorent des contraintes visibles pourtant critiques : panneaux d'interdiction, zones piétonnes, restrictions de circulation. Rule-VLN est le premier benchmark à formaliser ces contraintes à cette échelle, ce qui en fait un outil de qualification utile pour les développeurs souhaitant valider la conformité comportementale avant déploiement réel, au-delà des métriques classiques de succès de navigation. La VLN est un axe de recherche actif depuis les travaux fondateurs de l'environnement R2R (2018, Anderson et al.), majoritairement axés sur la reachability dans des environnements intérieurs. Rule-VLN étend explicitement ce cadre à l'urbain extérieur avec une dimension normative, un angle peu exploré jusqu'ici malgré la montée en charge des robots de livraison et des AMR en espace public. Côté concurrents directs, des benchmarks comme TouchDown ou CityNav posent des bases géographiques réalistes mais sans injection systématique de contraintes réglementaires. Le SNRM s'appuie sur un VLM (Vision-Language Model) en pipeline coarse-to-fine couplé à une carte mentale épistémique pour la planification de détours dynamiques. Les résultats sont présentés uniquement en conditions simulées : aucun déploiement réel n'est mentionné, et les gains de 19 % sur CVR restent à valider sur des environnements physiques avec une distribution de règles non contrôlée.

UEPertinent pour les intégrateurs de robots de livraison et AMR en espace public européen confrontés aux contraintes réglementaires urbaines, mais aucun acteur FR/EU n'est impliqué dans ces travaux.

RechercheOpinion
1 source
AnchorRefine : manipulation synergique par ancrage de trajectoire et raffinement résiduel pour les modèles VLA
391arXiv cs.RO 

AnchorRefine : manipulation synergique par ancrage de trajectoire et raffinement résiduel pour les modèles VLA

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.17787) AnchorRefine, un framework hiérarchique conçu pour améliorer les modèles vision-langage-action (VLA) dans les tâches de manipulation robotique de précision. Le principe central repose sur une décomposition en deux niveaux : un planificateur d'ancres de trajectoire (anchor planner) qui génère un squelette de mouvement grossier, et un module de raffinement résiduel qui corrige les déviations en phase d'exécution pour améliorer la précision géométrique et de contact. Le système intègre également un mécanisme de raffinement de pince sensible aux transitions discrètes (decision-aware gripper refinement), conçu pour mieux capturer le caractère binaire et critique aux frontières du contrôle de préhension. Évalué sur les benchmarks LIBERO et CALVIN, ainsi que sur des tâches en robot réel, AnchorRefine affiche des gains allant jusqu'à 7,8 points de pourcentage en taux de succès en simulation et 18 points en conditions réelles, sur des backbones VLA à base de régression comme de diffusion. Le problème que cette architecture cherche à résoudre est structurel dans la conception actuelle des politiques VLA : lorsqu'une politique génère toutes les actions dans un espace unifié, les grands mouvements de transport dominent l'optimisation et noient les signaux correctifs de faible amplitude, pourtant critiques pour les tâches de précision comme l'assemblage, l'insertion ou la manipulation d'objets fragiles. En séparant explicitement la planification macroscopique de l'ajustement microscopique, AnchorRefine reproduit une structure proche de la motricité humaine, où la trajectoire globale et la correction locale sont des processus distincts. Le gain de 18 % en conditions réelles est significatif car il suggère une réduction effective du sim-to-real gap sur les tâches de contact, un verrou majeur pour la commercialisation des manipulateurs polyvalents. Ce travail s'inscrit dans une tendance de fond en robotique académique : l'hybridation entre planification à haut niveau (souvent guidée par le langage ou la vision) et contrôle fin en boucle fermée. Des approches comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA) intègrent déjà des mécanismes proches, tandis que des labos comme celui de Chelsea Finn (Stanford) ou Sergey Levine (Berkeley) explorent la hiérarchie action depuis plusieurs années. AnchorRefine se distingue en proposant une solution modulaire compatible avec des backbones existants sans réentraîner l'ensemble du modèle, ce qui facilite potentiellement son intégration dans des pipelines VLA déjà déployés. Les auteurs ne mentionnent pas de partenariat industriel ni de timeline de déploiement, et les évaluations restent cantonnées à des benchmarks académiques, ce qui tempère les conclusions sur la robustesse en environnement non contrôlé.

RechercheOpinion
1 source
L'importance du sens du toucher pour l'apprentissage par imitation : une étude de cas sur l'allumage d'allumettes par robot
392arXiv cs.RO 

L'importance du sens du toucher pour l'apprentissage par imitation : une étude de cas sur l'allumage d'allumettes par robot

Des chercheurs ont publié en avril 2025 sur arXiv (papier 2504.13618) un cadre d'apprentissage par imitation visuotactile multimodal, évalué sur une tâche de référence particulièrement exigeante : l'allumage d'une allumette par un robot. Le système combine une architecture transformer modulaire avec un modèle génératif basé sur les flux (flow-based generative model), entraîné à partir d'un petit nombre de démonstrations humaines. L'originalité tient à l'intégration active de capteurs tactiles, capables de fournir des informations de contact précises, directement dans la boucle de politique, et non comme signal auxiliaire passif. L'allumage d'allumette n'est pas un choix anodin : c'est une tâche dynamique, riche en contacts, où le retour tactile influence mesurablementles performances humaines, ce qui en fait un banc d'essai pertinent pour isoler la contribution du toucher. Ce travail s'attaque à un angle mort bien identifié du domaine : malgré l'essor récent des politiques d'imitation (diffusion policies, VLA), la plupart des architectures restent mono-modales côté perception, vision seule, parfois force-couple, et échouent sur les manipulations dynamiques où le contact est fugace et précis. L'étude démontre expérimentalement que l'ajout du signal tactile améliore les performances de la politique par rapport à une baseline purement visuelle, ce qui étaye l'hypothèse que le sim-to-real et le demo-to-reality gap sur les tâches contact-rich peuvent être réduits en enrichissant la modalité sensorielle plutôt qu'en multipliant les démonstrations. Pour les intégrateurs industriels, c'est un signal : les capteurs tactiles de nouvelle génération (GelSight, DIGIT, XELA et équivalents) commencent à justifier leur coût d'intégration par des gains de robustesse mesurables sur des gestes fins. Ce papier s'inscrit dans une dynamique plus large où les laboratoires académiques (MIT, Stanford, CMU notamment) cherchent à dépasser les politiques visuomotrices en incorporant des modalités sensorielles supplémentaires. Du côté industriel, les robots commerciaux déployés en manipulation, bras collaboratifs Franka, systèmes Figure ou Apptronik, restent majoritairement sans retour tactile intégré, ce qui creuse un écart entre la recherche et le hardware disponible. La prochaine étape naturelle pour cette équipe sera de tester la généralisation de l'approche sur d'autres tâches contact-rich et sur des capteurs tactiles moins onéreux, condition nécessaire pour une adoption industrielle réaliste.

UEImpact indirect : Franka (fabricant allemand de bras collaboratifs) est cité parmi les systèmes actuellement dépourvus de retour tactile intégré, ce qui illustre le fossé recherche/hardware que les constructeurs européens devront combler pour rester compétitifs sur la manipulation fine.

IA physiqueOpinion
1 source
Atelier interdisciplinaire sur l'intelligence mécanique : rapport de synthèse
393arXiv cs.RO 

Atelier interdisciplinaire sur l'intelligence mécanique : rapport de synthèse

Les 30 et 31 mai 2024, la National Science Foundation (NSF) a accueilli dans ses locaux un atelier interdisciplinaire de deux jours consacré à l'intelligence mécanique (MI, Mechanical Intelligence). L'événement a réuni 38 chercheurs académiques invités et 8 responsables de programmes NSF, soit 46 participants au total. Le format privilégiait les discussions en petits groupes (4 à 5 personnes) et en groupes élargis (9 à 10 personnes), chaque session aboutissant à des notes consignées dans des diaporamas partagés et présentées en clôture le second jour. Le rapport issu de ce workshop vient d'être déposé sur arXiv (2604.16381). L'intelligence mécanique désigne la capacité de systèmes matériels, biologiques ou robotiques à encoder des fonctions cognitives, réactivité, adaptabilité, mémoire, apprentissage, directement dans leur structure physique, sans recourir à du calcul électronique ou à du code logiciel. C'est une rupture conceptuelle avec l'intelligence computationnelle classique : plutôt que de traiter l'information dans un processeur centralisé, le comportement intelligent émerge de la morphologie, de la compliance ou des propriétés des matériaux eux-mêmes. Pour les intégrateurs et concepteurs de systèmes robotiques, cette approche ouvre une voie vers des robots plus robustes, moins énergivores et capables d'opérer dans des environnements non structurés sans dépendre d'une boucle de contrôle lourde. Ce workshop s'inscrit dans un intérêt croissant pour la robotique morphologique et la soft robotics, des champs où des institutions européennes comme l'EPFL, l'Università di Pisa ou des startups françaises proches de l'écosystème Inria jouent un rôle actif. La MI fait écho aux travaux sur les actionneurs compliant et aux recherches sur le sim-to-real gap : si l'intelligence est partiellement distribuée dans la mécanique, les besoins en simulation précise diminuent. Le rapport de synthèse, produit collectivement par les participants, constitue une feuille de route potentielle pour orienter les futurs appels à projets NSF dans ce domaine, et pourrait influencer des financements analogues côté ERC ou ANR dans les prochaines années.

UEL'EPFL, l'Università di Pisa et l'écosystème Inria sont actifs dans le champ couvert ; les conclusions du rapport pourraient orienter de futurs appels ERC et ANR en robotique morphologique et soft robotics.

RecherchePaper
1 source
ShapeGen : génération de données robotiques pour la manipulation par catégorie d'objets
394arXiv cs.RO 

ShapeGen : génération de données robotiques pour la manipulation par catégorie d'objets

ShapeGen, présenté dans un preprint arXiv (2604.15569) publié en avril 2026, propose une méthode de génération automatique de données d'entraînement pour les politiques de manipulation robotique. L'enjeu central est la généralisation intra-catégorie : un robot doit savoir saisir n'importe quelle tasse, bouteille ou outil, pas uniquement les objets vus pendant l'entraînement. La méthode opère en deux étapes. La première construit une bibliothèque de formes 3D (Shape Library) en apprenant des déformations spatiales (warpings) qui font correspondre des points fonctionnellement équivalents entre objets d'une même catégorie. La seconde étape, Function-Aware Generation, exploite cette bibliothèque pour produire automatiquement des démonstrations physiquement plausibles sur de nouveaux objets géométriquement variés, avec une annotation humaine minimale. Le pipeline est dit "simulator-free" : il génère des données directement en 3D, sans recourir à un moteur de simulation classique comme MuJoCo ou Isaac Sim. Des expériences en environnement réel valident l'amélioration de la généralisation des politiques ainsi entraînées. Le problème adressé est structurel dans le déploiement industriel des bras manipulateurs : collecter manuellement des corpus de démonstrations sur des centaines de variantes d'objets est coûteux en main-d'oeuvre et logistiquement difficile. ShapeGen automatise cette diversification morphologique, ce qui pourrait réduire significativement le coût de préparation des données pour des politiques visuomotrices (VLA, diffusion policies). Si les résultats réels se confirment à plus grande échelle, cela allège directement le goulot d'étranglement data dans le cycle de développement robotique, en particulier pour les intégrateurs qui doivent adapter des cellules à des référentiels produits variables. La claim "simulator-free" mérite cependant d'être nuancée : le pipeline repose sur des modèles 3D et des transformations géométriques qui constituent en eux-mêmes une forme de simulation implicite. Les benchmarks présentés restent limités en termes de diversité de tâches et d'objets testés. La généralisation intra-catégorie est un axe de recherche actif depuis plusieurs années, exploré notamment via des approches comme PointNet, Category-Level 6D Pose Estimation (Wang et al., 2019) ou les politiques basées sur des représentations implicites (NeRF, SDF). ShapeGen se positionne dans la lignée des travaux sur la génération de données synthétiques pour la manipulation, concurrençant des approches comme RoboGen ou MimicGen (NVIDIA), qui utilisent également la génération automatique pour diversifier les démos. Le projet est affilié à des auteurs du milieu académique (page projet hébergée sur GitHub personnel), sans affiliation industrielle explicite déclarée dans le preprint. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés (RLBench, FurnitureBench) et une intégration dans des pipelines VLA existants pour mesurer le gain réel sur des tâches longue-distance.

IA physiqueActu
1 source
NeuroMesh : un framework d'inférence neurale unifié pour la collaboration multi-robots décentralisée
395arXiv cs.RO 

NeuroMesh : un framework d'inférence neurale unifié pour la collaboration multi-robots décentralisée

Une équipe de chercheurs a publié le 21 avril 2026 sur arXiv (référence 2604.15475) les spécifications de NeuroMesh, un framework d'inférence neuronale décentralisée conçu pour faire collaborer des flottes de robots hétérogènes sans dépendre d'un serveur central. Le système standardise quatre étapes clés dans un pipeline unifié : l'encodage des observations locales, le passage de messages entre robots, l'agrégation des informations reçues, et le décodage des tâches. L'implémentation est écrite en C++ haute performance et utilise Zenoh, un protocole de communication inter-robots orienté faible latence, avec support d'inférence hybride GPU/CPU. Les auteurs ont validé NeuroMesh sur une flotte mixte composée de robots aériens et terrestres sur trois catégories de tâches : perception collaborative, contrôle décentralisé et assignation de missions. Une mise en open-source est annoncée mais sans date précisée. Ce qui distingue NeuroMesh sur le plan technique est son paradigme de double agrégation, combinant fusion par réduction (agrégation globale) et diffusion par broadcast (partage sélectif), ainsi qu'une architecture parallélisée qui découple le cycle time de la latence bout-en-bout. Concrètement, cela signifie que la fréquence d'exécution locale d'un robot n'est plus bridée par les délais réseau, un verrou classique dans les architectures multi-robots apprenantes. Pour les intégrateurs industriels déployant des flottes AMR ou des systèmes drone-sol, cette propriété est critique : elle ouvre la voie à des modèles entraînés une fois et déployés sur du matériel varié sans refactoring du stack d'exécution. Le problème adressé par NeuroMesh, l'hétérogénéité matérielle combinée aux contraintes réseau, est un obstacle bien documenté dans la robotique multi-agents apprenante depuis les travaux sur MARL (Multi-Agent Reinforcement Learning) distribué. Des frameworks comme ROS 2 gèrent la communication mais pas l'inférence unifiée ; des approches comme celles de MIT CSAIL ou Stanford ILIAD ont exploré la coordination décentralisée sans proposer de stack complet cross-platform. NeuroMesh se positionne comme une couche d'abstraction au-dessus du hardware, comparable à ce que ONNX Runtime représente pour l'inférence mono-robot. L'absence de release effective au moment de la publication et la validation limitée à des configurations de laboratoire invitent à attendre des benchmarks sur flottes industrielles avant tout engagement produit.

RecherchePaper
1 source
Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert
396arXiv cs.RO 

Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert

Une équipe de chercheurs a publié le 22 avril 2026 sur arXiv (ref. 2504.15671) les résultats de ChemBot, un système robotique conçu pour automatiser des protocoles d'expérimentation chimique complexes en laboratoire. ChemBot repose sur une architecture à deux couches couplant un agent IA planificateur à un modèle Vision-Language-Action (VLA) baptisé Skill-VLA, capable de décomposer hiérarchiquement des tâches longues, typiquement des protocoles multi-étapes, puis de les exécuter sur des robots collaboratifs. Le système intègre une mémoire persistante à double niveau qui archive les trajectoires réussies sous forme d'assets réutilisables, et s'appuie sur un serveur Model Context Protocol (MCP) pour orchestrer les sous-agents et les outils. Un mécanisme d'inférence asynchrone basé sur la prédiction d'états futurs est également implémenté pour réduire les discontinuités de trajectoire, un défaut récurrent des VLA standards. Les expériences rapportées montrent des taux de succès et une précision opérationnelle supérieurs aux baselines VLA existantes sur des scénarios longs et multi-étapes. Ce travail adresse une limite structurelle bien documentée des modèles VLA : leur incapacité à capitaliser sur les expériences passées, ce qui force le système à recommencer par tâtonnements à chaque nouvelle session. En intégrant une mémoire persistante récupérable, ChemBot réduit concrètement le "trial-and-error gap" dans des environnements à longue horizon de planification, un problème critique pour l'automatisation de laboratoire où une erreur en milieu de protocole peut invalider toute une expérience. C'est également une démonstration applicative du sim-to-real dans un domaine non industriel, le laboratoire chimique, traditionnellement peu couvert par les benchmarks robotiques. Pour les intégrateurs B2B dans le pharma ou la recherche chimique, cela constitue un signal concret vers des robots de laboratoire autonomes capables de gérer des workflows non déterministes. Les modèles VLA ont connu une montée en puissance rapide depuis 2023 avec des travaux comme RT-2 (Google DeepMind), OpenVLA et Pi-0 (Physical Intelligence), mais la majorité des déploiements restent limités à des tâches courtes et répétitives. ChemBot se positionne dans le segment émergent des "long-horizon VLA", aux côtés de travaux comme SayCan ou des architectures hiérarchiques de Carnegie Mellon. Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'une publication académique avec validation sur robots collaboratifs en environnement contrôlé. Les prochaines étapes logiques incluent des tests sur des plateformes comme les robots Universal Robots ou Franka, et une intégration potentielle avec des systèmes LIMS existants dans les laboratoires pharmaceutiques.

RechercheOpinion
1 source
Planification de trajectoires multi-objectifs pour flottes de robots hétérogènes par échantillonnage
397arXiv cs.RO 

Planification de trajectoires multi-objectifs pour flottes de robots hétérogènes par échantillonnage

Une équipe de chercheurs en robotique vient de publier sur arXiv (référence 2503.03509, troisième révision) un ensemble de planificateurs de trajectoires conçus pour coordonner plusieurs robots évoluant simultanément dans un espace de travail partagé, chacun devant atteindre plusieurs objectifs successifs dans des configurations physiques variées. Le problème ciblé, dit "multi-modal multi-robot multi-goal", couvre des scénarios concrets tels que le passage de pièces entre bras robotiques (handover), la navigation avec changements de mode de préhension, ou la coordination de flottes sur des horizons de planification longs. Les planificateurs proposés sont des extensions de méthodes classiques à base d'échantillonnage (de type RRT/PRM) adaptées à l'espace composite de l'ensemble des robots, et sont prouvés probabilistically complete et asymptotically optimal, deux propriétés formelles rarement réunies dans ce contexte. Le code source et le benchmark de validation sont disponibles publiquement. L'apport principal est théorique et algorithmique : les approches existantes pour ce type de problème reposent soit sur la priorisation entre robots (un robot cède le passage à un autre selon un rang fixé), soit sur une hypothèse de complétion synchrone des tâches. Ces simplifications sacrifient à la fois l'optimalité (la solution trouvée n'est pas la meilleure possible) et la complétude (l'algorithme peut rater des solutions valides). En reformulant le problème comme un seul problème centralisé de planification, les auteurs montrent qu'on peut lever ces limitations sans explosion combinatoire, au prix d'une planification dans un espace de dimension élevée. Pour les intégrateurs de cellules robotisées multi-bras ou les concepteurs de systèmes pick-and-place collaboratifs, cela ouvre la voie à des planificateurs de référence plus rigoureux que les heuristiques actuellement déployées en production. Ce travail s'inscrit dans un courant de recherche actif sur la planification multi-robot, aux côtés de travaux comme CBS (Conflict-Based Search) pour les AMR en entrepôt ou les approches de task-and-motion planning (TAMP) développées notamment chez MIT CSAIL, TU Berlin ou dans des labos liés à Boston Dynamics et Intrinsic (Alphabet). La distinction entre planification centralisée et décentralisée reste un axe structurant du domaine : cette contribution penche résolument du côté centralisé, ce qui la rend plus adaptée aux cellules industrielles fixes qu'aux flottes mobiles à grande échelle. La prochaine étape naturelle serait une validation sur hardware réel et une confrontation aux contraintes temps-réel des contrôleurs industriels.

RecherchePaper
1 source
Transfert de compétences entre géométries différentes en une seule démonstration par décomposition en parties
398arXiv cs.RO 

Transfert de compétences entre géométries différentes en une seule démonstration par décomposition en parties

Des chercheurs ont publié le 20 avril 2026 (arXiv:2604.15455) une méthode permettant à un robot d'apprendre un geste à partir d'une seule démonstration, puis de le transférer à des objets de formes radicalement différentes, sans nouvel entraînement. L'approche repose sur une décomposition sémantique : plutôt que de comparer un objet entier à un autre, le système identifie les parties fonctionnelles pertinentes (poignée, bord, surface de contact) et transfère les points d'interaction entre les pièces homologues de l'objet de démonstration et de l'objet cible. Des modèles génératifs de formes à faible coût de données construisent automatiquement une fonction objectif qui optimise l'alignement de ces points sur les parties critiques pour l'exécution du skill. Les validations couvrent plusieurs skills et familles d'objets, en simulation et en environnement réel. Ce résultat est notable car il s'attaque directement au "demo-to-reality gap" géométrique : la majorité des systèmes actuels de transfert de skills, y compris ceux basés sur des Visual Language Action models (VLA), peinent dès que la forme de l'objet cible s'écarte significativement de celle vue lors de l'apprentissage. La décomposition en parties découple la variabilité de forme globale de la logique d'interaction locale, ce qui augmente mécaniquement le domaine de généralisation sans multiplier les données d'entraînement. Pour un intégrateur industriel ou un équipementier travaillant sur des lignes multi-références, c'est une piste concrète pour réduire le coût de re-programmation à chaque changement de référence produit. Le problème du transfert de skills en robotique est étudié depuis des années sous différents angles : apprentissage par démonstration (LfD), correspondances fonctionnelles entre objets, ou plus récemment les VLA pré-entraînés sur larges corpus vidéo (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA). Cette approche se positionne dans la lignée des travaux sur le raisonnement compositionnel, qui cherchent à représenter les objets non comme des blobs de points mais comme des assemblages de parties sémantiques, une direction explorée également par des groupes comme le MIT CSAIL et Stanford. Aucun partenariat industriel ni déploiement terrain n'est annoncé à ce stade : il s'agit d'une contribution académique, prometteuse mais encore à valider sur des skills complexes et des environnements fortement non structurés.

RechercheActu
1 source
COVER : planification de mouvement en temps fixe avec cartes à couverture vérifiée en environnements semi-statiques
399arXiv cs.RO 

COVER : planification de mouvement en temps fixe avec cartes à couverture vérifiée en environnements semi-statiques

Des chercheurs ont publié sur arXiv (référence 2510.03875v2) un framework baptisé COVER (Coverage-VErified Roadmaps), conçu pour résoudre des requêtes de planification de mouvement dans un budget temps fixe, sur un manipulateur 7-DOF effectuant des tâches de pick-and-place dans des environnements de type table rase et étagères. Le principe repose sur des environnements dits semi-statiques : la majorité de l'espace de travail reste identique entre les tâches, tandis qu'un sous-ensemble d'obstacles change de position. COVER décompose l'espace des configurations possibles de chaque obstacle mobile de façon indépendante, construit des roadmaps (graphes de chemins) de façon incrémentale, et vérifie formellement la faisabilité de ces graphes dans chaque partition. Pour les régions vérifiées, la résolution d'une requête est garantie dans un temps borné. Les benchmarks montrent une couverture de l'espace-problème plus large et un taux de succès par requête supérieur aux approches antérieures, notamment face à des obstacles de tailles hétérogènes. L'enjeu industriel est direct : les planificateurs généralistes comme RRT ou ses variantes ne garantissent pas de temps de réponse borné, ce qui bloque leur usage dans les applications temps-réel (lignes d'assemblage, cellules de palettisation, cobots en cadence synchronisée). COVER apporte une garantie formelle de couverture, absente des travaux précédents, sans discrétiser les configurations d'obstacles en un ensemble fini prédéfini. C'est ce dernier point qui étend l'applicabilité aux scénarios industriels réels, où les positions d'obstacles varient continûment et ne tombent pas dans des cases prédéterminées. Pour un intégrateur, la différence est concrète : un planificateur qui "essaie" n'a pas la même valeur contractuelle qu'un planificateur qui "garantit" dans X millisecondes. La planification de mouvement certifiée dans des environnements changeants est un problème ouvert depuis des années, à la frontière entre la robotique manipulation et la vérification formelle. Les approches par probabilistic roadmaps (PRM) offrent performance mais pas de garanties ; les méthodes exactes sont trop coûteuses en temps de calcul pour être embarquées. COVER se positionne entre ces deux extrêmes en exploitant la structure semi-statique propre à la majorité des environnements industriels. Les concurrents implicites sont les planificateurs adaptatifs comme STOMP, TrajOpt, ou les approches d'apprentissage par imitation (pi-zero de Physical Intelligence, GR00T N2 de NVIDIA), qui résolvent la planification par inférence neuronale mais sans garantie formelle de complétude. La prochaine étape naturelle serait d'étendre COVER à des environnements avec obstacles dynamiques ou à des manipulateurs montés sur bases mobiles, ce que l'article ne couvre pas encore.

RecherchePaper
1 source
De la perception à la simulation : génération haute-fidélité avec cousins numériques pour l'apprentissage et l'évaluation de robots généralisables
400arXiv cs.RO 

De la perception à la simulation : génération haute-fidélité avec cousins numériques pour l'apprentissage et l'évaluation de robots généralisables

Une équipe de chercheurs a publié en avril 2026 sur arXiv (arXiv:2604.15805) un framework génératif baptisé "Digital Cousins", conçu pour transformer automatiquement des panoramas de scènes réelles en environnements de simulation haute fidélité, puis en générer des variantes sémantiques et géométriques diversifiées. Le système prend en entrée une image panoramique d'une pièce réelle, reconstruit une scène simulée cohérente, et applique des modifications contrôlées, repositionnement d'objets, changement de géométrie, substitution de matériaux, pour produire des "scènes cousines" statistiquement variées. Un module de raccordement multi-pièces permet de construire des environnements à grande échelle pour des tâches de navigation longue portée dans des layouts complexes. Les expériences montrent que scaler massivement la génération de données améliore significativement la généralisation à des scènes et objets non vus en entraînement. Ce travail s'attaque directement à l'un des goulots d'étranglement majeurs du robot learning : collecter des données réelles diversifiées est coûteux en temps, en assets physiques et en reconfiguration manuelle d'environnements. L'approche real-to-sim-to-real proposée ici offre aux intégrateurs et équipes R&D une voie pour démultiplier leur corpus d'entraînement sans mobiliser de ressources physiques supplémentaires. La corrélation sim-to-real mesurée dans les expériences valide la fidélité de la plateforme, un point crucial, car beaucoup de frameworks de simulation peinent à transférer en conditions réelles. Pour les décideurs B2B, cela signifie des cycles de développement potentiellement plus courts et une meilleure robustesse des politiques déployées face à la variabilité des environnements industriels. À noter que les métriques de généralisation sont présentées sur des benchmarks de manipulation et de navigation en intérieur ; leur tenue dans des contextes industriels contraints (entrepôts, lignes de production) reste à démontrer hors laboratoire. Le concept de "Digital Cousins" s'inscrit dans une vague de travaux visant à combler le sim-to-real gap, aux côtés d'approches comme Isaac Sim (NVIDIA), Habitat (Meta) ou Genesis (labo Carnegie Mellon). Ce qui différencie cette contribution est la chaîne génératrice bout-en-bout à partir de panoramas, une méthode plus accessible que la modélisation 3D manuelle traditionnelle. Les auteurs ne rattachent pas explicitement le framework à un robot ou un produit commercial, ce qui en fait pour l'instant un outil de recherche. Les prochaines étapes naturelles seraient une intégration avec des pipelines VLA (Vision-Language-Action) existants comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), et une validation sur des robots manipulateurs déployés en conditions semi-réelles.

RecherchePaper
1 source