Actualités robotique — page 36

4 691 articles au fil, du plus récent au plus ancien.

42

1751Pandaily 

Ex-cadre de Xiaomi, Tang Mu lance un robot humanoïde pour la restauration, production visée fin d'année

InSpace Technology, la société robotique fondée par Tang Mu, ancien cadre de Xiaomi en charge du hardware intelligent, a présenté le 30 juin trois nouveaux robots de service alimentaire lors d'un événement de lancement : le XBot C3 pour le café, le XBot I3 pour la glace, et le très attendu XBot X1, un robot humanoïde dédié à la restauration. L'entreprise vise une production de masse du X1 d'ici la fin de l'année. Le XBot C3, facturé 219 000 yuans, sera disponible sur JD.com en juillet ; il occupe 1,83 m², un tiers de moins que son prédécesseur, prépare un americano en environ 45 secondes et peut produire 80 tasses par heure grâce à un bras robotique industriel doté d'une pince certifiée pour plus de 500 000 cycles, complété par une stérilisation UV, un suivi de température et un système de latte art qui imprime des photos fournies par le client sur la mousse. Le XBot I3, à 179 000 yuans et lancé mi-juillet sur JD.com, produit plus de 60 portions par heure avec 256 combinaisons possibles à partir de quatre sauces et quatre garnitures ; Tang Mu indique que certaines unités glace dépassent déjà les ventes des robots café, citant un centre commercial de Xiamen où 250 coupes ont été vendues en une seule journée. Le XBot X1 repose sur une base mobile à roues intégrant un compartiment de stockage plutôt que des jambes, avec deux bras humanoïdes à sept axes, une charge utile de 3 à 4 kg par effecteur, une précision de positionnement coordonné d'environ ±1 mm et une répétabilité de ±0,5 mm, complétés par des capteurs de force six axes pour détecter le poids et les efforts lors de la saisie ou du versement. Le choix des roues plutôt que des jambes est un signal notable dans un secteur où la bipédie généraliste domine le discours des acteurs comme Optimus ou Figure : Tang Mu justifie ce choix par un rapport coût-énergie-complexité peu pertinent en restauration, une approche pragmatique typique du raisonnement "électronique grand public" qu'il revendique. Plus significatif encore, InSpace affiche une traction commerciale déjà réelle avec plus de 1 000 robots café déployés dans plus de 100 villes, plus de 4 millions de tasses produites et un taux de disponibilité de 99,4 %, ce qui contraste avec de nombreuses annonces humanoïdes qui restent au stade de la démonstration ou de la vidéo sélectionnée. Pour les intégrateurs et décideurs B2B, ce positionnement suggère que les cas d'usage mono-tâches à ROI démontrable précèdent, dans les faits, l'arrivée de l'humanoïde généraliste polyvalent. L'entreprise, dont le nom chinois est Yingzhi Technology, a déjà installé ses robots café dans des lieux aussi variés que la place Tiananmen, la Commission indépendante contre la corruption de Hong Kong, des stations de métro britanniques et des clubs australiens, une stratégie de montée en charge progressive avant l'humanoïde. Elle évolue dans un paysage chinois de la robotique de service dense, aux côtés d'acteurs comme Unitree ou Pudu Robotics, mais mise sur sa spécialisation alimentaire plutôt que sur la polyvalence. Outre la production en série du X1 prévue fin d'année, InSpace a aussi présenté un concept de food truck combinant le X1 à un véhicule autonome pour créer une unité de restauration mobile et à la demande.

Chine/Asie❧Opinion

1 source

42

1752TechNode 

UBTECH dévoile U1, son robot humanoïde grand public, avec déjà 11 000 commandes avant les premières livraisons

UBTECH a dévoilé mardi à Shenzhen son premier robot humanoïde grand public, le U1 Series, sous une toute nouvelle marque destinée aux particuliers baptisée UWorld. Plus de 50 déclinaisons de gabarits ont été présentées, avec des tailles allant de 1,60 à 1,85 mètre. Selon Zhou Jian, fondateur de UBTECH, plus de 11 000 commandes ont été enregistrées sur l'ensemble des canaux de vente depuis l'ouverture des précommandes sur JD.com le 2 juin. Le U1 embarque 88 articulations à haut degré de liberté et un modèle d'IA émotionnelle censé soutenir une interaction prolongée avec l'utilisateur. UBTECH précise que les données d'interaction sont chiffrées et stockées localement par défaut, sans envoi obligatoire vers le cloud. La gamme se décline en trois versions, Lite, Pro et Ultra, facturées entre 119 800 et 990 000 yuans (17 600 à 145 000 dollars). Les premières livraisons sont annoncées pour le 16 septembre. Cette annonce marque un tournant pour UBTECH, qui bascule d'un positionnement industriel et commercial vers le marché domestique, un segment jusque-là resté largement théorique pour l'ensemble du secteur des humanoïdes. Le chiffre de 11 000 commandes doit toutefois être relativisé: il s'agit de précommandes, pas de ventes fermes, et rien n'indique le taux de conversion réel ni les modalités d'acompte. L'échelonnement des prix, du grand public jusqu'au segment premium, illustre une stratégie de segmentation inédite pour un humanoïde domestique, et l'accent mis sur le traitement local des données répond directement aux craintes de confidentialité qui freinent l'adoption de robots compagnons connectés dans les foyers. UBTECH, coté à la Bourse de Hong Kong, s'est fait connaître avec sa gamme Walker, déployée dans des usines comme celles de NIO ou Zeekr. Le lancement d'UWorld s'inscrit dans une course chinoise au robot domestique où se positionnent aussi Unitree, Xiaomi ou Fourier Intelligence, tandis qu'à l'international Tesla (Optimus), Figure et 1X visent également le foyer. La prochaine échéance à surveiller sera la capacité réelle d'UBTECH à honorer ses livraisons dès le 16 septembre.

Humanoïdes⚡Actu

1 source

45

1753arXiv cs.RO 

E-VLA : modèle vision-langage-action augmenté par événements pour scènes sombres et floues

Des chercheurs présentent E-VLA, un modèle vision-langage-action (VLA) augmenté par caméra événementielle, conçu pour maintenir la fiabilité des robots manipulateurs dans des conditions de perception dégradées : lumière très faible, flou de mouvement, écrêtage des noirs. Contrairement aux approches classiques qui tentent de reconstruire une image à partir des flux d'événements, E-VLA exploite directement les indices de mouvement et de structure captés par la caméra événementielle pour préserver la cohérence perception-action. L'équipe a construit une plateforme de téléopération open source équipée d'une caméra événementielle DAVIS346 et collecté un jeu de données synchronisé RGB-événements-actions sur des tâches de manipulation variées et sous différents niveaux d'éclairage. Les résultats sont marqués : sur une tâche de type pick-and-place à 20 lux, le taux de réussite passe de 0% avec la seule image RGB à 60% avec une simple superposition des cartes d'événements accumulées, puis à 90% avec l'adaptateur événementiel dédié conçu par les auteurs. Sous flou de mouvement sévère (simulation d'un temps d'exposition de 1000 ms), le pick-and-place progresse de 0% à 20-25% de réussite, et une tâche de tri passe de 5% à 32,5%. Ces résultats apportent une preuve concrète que la fusion événementielle, même dans sa version la plus simple et sans paramètres, comble un angle mort critique des modèles VLA actuels : leur dépendance à une caméra RGB classique les rend inutilisables dès que l'éclairage ou la stabilité de la scène se dégradent, un scénario fréquent en environnement industriel réel (entrepôts peu éclairés, bras robotiques en mouvement rapide). Pour les intégrateurs et les équipes robotique visant un déploiement en conditions réelles plutôt qu'en démonstration contrôlée, ce travail suggère qu'ajouter un capteur événementiel low-cost peut être plus efficace qu'un réentraînement massif du modèle de perception. E-VLA s'inscrit dans la lignée des modèles VLA généralistes comme GR00T N2, Pi-0 ou Helix, qui ont démontré une bonne généralisation en manipulation mais restent peu testés hors des conditions de laboratoire. Les auteurs annoncent la publication du code et du jeu de données sur GitHub, ce qui devrait permettre à la communauté d'évaluer la robustesse de la méthode sur d'autres plateformes robotiques et d'autres capteurs événementiels.

Recherche❖Paper

1 source

45

1754arXiv cs.RO 

Rapport technique RhinoVLA

HuixiAI a publié un rapport technique sur RhinoVLA, un modèle vision-langage-action (VLA) conçu spécifiquement pour tourner en temps réel sur du matériel embarqué, en co-conception avec le SoC edge Huixi R1. Le modèle s'appuie sur un backbone Qwen3-VL optimisé pour limiter le nombre de tokens visuels et contextuels traités, identifiés par les auteurs comme le principal goulot d'étranglement en latence des VLA sur puce embarquée : dans les opérateurs de projection dominés par le calcul matriciel (GEMM), le coût croît linéairement avec le nombre de tokens en entrée. RhinoVLA associe ce backbone allégé à un Action Expert à sortie continue, ainsi qu'à une interface unifiée combinant un registre de vues (View Registry), un espace d'état-action physique à 72 dimensions et des adaptateurs LoRA propres à chaque instance de robot, pour aligner des observations et schémas d'action hétérogènes sous une politique commune. Résultat annoncé : des performances comparables à π0.5 à taille de paramètres équivalente, avec une inférence de bout en bout à 11,69 Hz sur le Huixi R1, au-dessus du seuil de 10 Hz jugé nécessaire pour un contrôle en boucle fermée temps réel. L'enjeu dépasse la simple performance brute : la plupart des VLA démontrés en laboratoire (π0, GR00T N2, Helix) tournent sur GPU serveur ou desktop, loin des contraintes de puissance et de latence d'un robot mobile ou d'un bras industriel autonome. En optimisant simultanément l'architecture du modèle et la compilation matérielle (précision mixte, encodage visuel parallélisé), RhinoVLA s'attaque directement au fossé entre démonstration et déploiement réel, un point sensible pour les intégrateurs qui évaluent la viabilité commerciale des VLA en usine ou en logistique plutôt qu'en simple preuve de concept. Le projet doit être publié en open source sur GitHub (HuixiAI/RhinoVLA), une démarche qui s'inscrit dans la compétition croissante autour des architectures VLA généralistes multi-robots, aux côtés des travaux de Physical Intelligence (π0, π0.5) et NVIDIA (GR00T). Le document constitue une version révisée (v2) d'un rapport déjà déposé sur arXiv, sans calendrier de déploiement industriel précisé à ce stade.

IA physique⚡Actu

1 source

45

1755arXiv cs.RO 

Position : les modèles vision-langage-action ne peuvent pas être vérifiés pour le raisonnement physique

Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning Un article de position publié sur arXiv (2606.30686) remet en cause l'interprétation dominante des progrès des systèmes Vision-Language-Action (VLA), ces modèles de robotique construits sur des modèles vision-langage (VLM) pré-entraînés comme GR00T N2, Pi-0 ou Helix. Les auteurs décomposent une politique VLA en deux briques distinctes : le mapping sémantique, hérité de l'entraînement internet-scale, et la décision d'action physique, propre à l'exécution motrice. Leur démonstration centrale est que le taux de réussite de tâche, la métrique quasi universelle des benchmarks de manipulation robotique, ne permet pas de distinguer laquelle de ces deux briques est responsable d'une amélioration de score. Autrement dit, un gain de performance mesuré peut aussi bien refléter une meilleure généralisation sémantique, un simple recouvrement distributionnel avec les données d'entraînement, qu'une réelle généralisation physique, sans qu'aucun protocole actuel ne permette de trancher. Cette limite touche directement l'argument commercial central de la vague VLA actuelle: la promesse que des représentations apprises sur des corpus internet transfèrent vers la généralisation en environnement physique réel. Pour les intégrateurs et décideurs B2B qui évaluent des solutions humanoïdes ou des bras manipulateurs sur la base de benchmarks affichant des taux de réussite en hausse, ce papier suggère une prudence méthodologique: un score supérieur ne garantit pas une robustesse physique supérieure, et peut masquer un simple effet de mémorisation de distribution. Le concept de "narrative drift" que les auteurs pointent, où chaque nouveau système hérite et renforce l'interprétation optimiste du précédent sans isoler le mécanisme causal réel, résonne avec les critiques déjà formulées sur l'écart entre démonstrations vidéo sélectionnées et déploiements réels en usine. Les auteurs ne rejettent pas l'utilité des VLM en robotique, mais proposent une piste de recherche: des protocoles d'évaluation introduisant une variation contrôlée pour mesurer séparément la généralisation sémantique et la généralisation physique, sans nécessiter d'accès aux poids internes des modèles. Cette approche s'inscrit dans un débat plus large sur la fiabilité des benchmarks robotiques, alors que des laboratoires et startups, de Figure à Physical Intelligence, multiplient les annonces de performance sur des tâches de manipulation dont la reproductibilité en conditions réelles reste rarement vérifiée indépendamment.

Recherche❖Paper

1 source

45

1756arXiv cs.RO 

Le corps souple à quatre pattes : préhension conforme et prélèvement pour les inspections de contamination en environnements hostiles

Des chercheurs ont développé un système d'augmentation pour robots quadrupèdes destiné aux inspections de contamination au béryllium dans les zones radioactives du CERN. Il s'agit d'une queue robotique souple, légère et actionnée par câbles (tendons), montée sur un robot à quatre pattes. Cette queue possède une colonne vertébrale creuse et flexible ainsi qu'une pince souple, elle aussi actionnée par tendons, capable de saisir des tissus de prélèvement, d'essuyer des surfaces contaminées, puis de déposer ces échantillons à des points de collecte prédéfinis pour analyse ultérieure. Pour permettre une téléopération intuitive, l'équipe a conçu un modèle cinématique à forme close et un contrôleur en espace de tâche robuste aux singularités. Les essais montrent que l'actionnement de la pince a un effet négligeable sur la forme générale de la queue, tandis que l'actionnement en mode commun des tendons permet de moduler la rigidité et le précontraint de la structure. Les résultats valident aussi que le modèle cinématique proposé se prête à un contrôle en temps réel. L'intérêt de ce travail dépasse le cas d'usage du CERN: il illustre une piste concrète pour réconcilier deux exigences généralement contradictoires en robotique de terrain, l'agilité de la locomotion à pattes et la compliance nécessaire à une manipulation fine dans des environnements encombrés de câbles et d'électronique. Pour les intégrateurs industriels et les responsables sécurité en environnement dangereux (nucléaire, radioprotection, sites contaminés), cette approche ouvre la possibilité de réaliser des relevés de contamination sans exposition humaine, avec un appendice souple plutôt qu'un bras manipulateur rigide, souvent encombrant dans des espaces confinés. Le projet s'inscrit dans une tendance plus large de recherche sur la manipulation souple embarquée sur plateformes mobiles, où les bras rigides classiques atteignent leurs limites en milieu exigu. Contrairement à un simple bras robotique fixé sur un quadrupède, la queue souple tire parti de sa propre flexibilité pour se faufiler entre obstacles. Les auteurs positionnent leur concept comme généralisable à d'autres contextes dangereux ou confinés au-delà du CERN, mais le papier reste à ce stade une validation expérimentale en laboratoire, sans calendrier de déploiement opérationnel annoncé.

Recherche❖Paper

1 source

44

1757arXiv cs.RO 

Z-1 : apprentissage par renforcement efficace pour les modèles vision-langage-action

Des chercheurs présentent Z-1, un framework de post-entraînement par apprentissage par renforcement (RL) pour les modèles Vision-Language-Action (VLA) à base de flow matching, décrit dans un article publié sur arXiv (2606.31846v1). Construit sur l'architecture π0.5 de Physical Intelligence, Z-1 s'appuie uniquement sur les démonstrations publiques RoboCasa pour la phase de fine-tuning supervisé (SFT), puis applique une stratégie de Group Relative Policy Optimization (GRPO) tâche par tâche sur 24 tâches standard du benchmark RoboCasa. Pour rendre cette optimisation en ligne plus stable et efficace, les auteurs combinent quatre techniques: construction de rollouts à préfixe partagé, branchement arborescent des trajectoires, calibration des récompenses tenant compte de la complétion des tâches, et entraînement conjoint sélectif du modèle vision-langage et de l'"Action Expert". Résultat: un taux de réussite moyen de 80,6% sur les 24 tâches, soit un gain de 13,2 points par rapport au modèle SFT de départ, et une performance supérieure aux meilleurs modèles publiés jusqu'ici. L'enjeu dépasse le simple gain de benchmark. La grande majorité des politiques VLA actuelles restent bridées par le behavior cloning ou le SFT sur données figées, une approche qui plafonne dès que le robot rencontre une situation absente des démonstrations. En montrant qu'un post-entraînement RL structuré peut améliorer significativement une politique flow-based sans données de démonstration privées supplémentaires, Z-1 apporte un argument concret en faveur du RL comme étape standard après le SFT, plutôt qu'une simple option de recherche. Pour les équipes qui entraînent des VLA pour la manipulation robotique, cela suggère une voie pour corriger les échecs récurrents d'une politique sans repasser par une collecte de données coûteuse. Le travail s'inscrit dans la lignée des modèles génération π (π0, π0.5 de Physical Intelligence) et fait écho aux efforts similaires chez GR00T N2 (NVIDIA) ou Helix (Figure AI), qui cherchent tous à faire passer les VLA du stade de la démonstration à celui d'une robustesse exploitable en conditions réelles. GRPO, popularisé dans l'entraînement de modèles de langage, est ici adapté aux contraintes du contrôle continu. Les auteurs présentent Z-1 comme une preuve de concept méthodologique, sans annoncer de déploiement matériel ni de calendrier commercial.

IA physique❧Opinion

1 source

43

1758arXiv cs.RO 

Robot humanoïde à partir de vidéos humaines : apprentissage zéro-shot avec des corps alignés sur l'humain

Des chercheurs présentent Human-as-Humanoid, un système qui permet d'entraîner des robots humanoïdes directement à partir de vidéos humaines, sans passer par la téléopération classique. Le framework s'appuie sur PrimeU, un humanoïde à 60 degrés de liberté (DoF) pour le haut du corps conçu pour reproduire l'anatomie humaine. La méthode combine des vidéos synchronisées en vue égocentrique (depuis les yeux du démonstrateur) et exocentrique (vue extérieure) : la première fournit une observation alignée sur ce que "verra" le robot en déploiement, la seconde permet de reconstruire précisément le mouvement humain. Ce mouvement est ensuite converti, via une cinématique inverse (IK) en plusieurs étapes, en séquences d'actions directement exploitables par le contrôleur du robot, avant d'entraîner un modèle vision-langage-action (VLA) avec une supervision tenant compte de la cinématique directe (FK) pour préserver la géométrie du poignet et des doigts. Les auteurs rapportent un gain de débit de collecte de données de 4,8 à 7,2 fois supérieur à la téléopération humanoïde classique. L'enjeu dépasse le simple gain de vitesse : la vraie difficulté pour les VLA humanoïdes à haut DoF, c'est le manque chronique de données action-observation de qualité, la téléopération restant lente et coûteuse à grande échelle. En montrant que des politiques entraînées uniquement sur des vidéos humaines converties généralisent à un déploiement réel sans démonstration robotique dédiée à la tâche cible, cette étude appuie l'hypothèse que le goulot d'étranglement des données humanoïdes peut être contourné par les vidéos humaines abondantes sur le web, plutôt que résolu uniquement par plus de téléopération ou plus de simulation. Ce travail s'inscrit dans une lignée de recherches (Pi-0, GR00T N2, Helix) qui cherchent à exploiter des sources de données hétérogènes pour les VLA robotiques, l'originalité ici étant l'alignement explicite entre morphologie humaine et robot via PrimeU. Les auteurs valident leur chaîne de conversion à trois niveaux (récupération du mouvement, espace d'action du robot, déploiement réel), mais les résultats restent circonscrits à quelques tâches de manipulation testées en laboratoire, sans indication de volumes de déploiement industriel à ce stade.

Recherche⚡Actu

1 source

43

1759arXiv cs.RO 

Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique

Manipulation robotique non préhensile : des chercheurs de la TU Berlin combinent échantillonnage contraint et apprentissage par renforcement Une équipe de la TU Berlin, associée au laboratoire de Marc Toussaint, publie une nouvelle version de ses travaux sur l'entraînement de politiques de manipulation robotique en environnement riche en contacts (arXiv:2602.08557v2). Le problème visé est la manipulation dite non préhensile, c'est à dire pousser, faire glisser ou réorienter un objet sans le saisir, une tâche où l'apprentissage par renforcement (RL) peine souvent à explorer suffisamment l'espace des stratégies possibles. La méthode proposée combine deux idées existantes mais rarement associées : d'une part des stratégies de réinitialisation qui contrôlent la distribution des états de départ de chaque épisode d'entraînement, et d'autre part un échantillonnage basé modèle sur des variétés contraintes, une technique reconnue pour son efficacité à générer des états physiquement valides. Le nouvel échantillonneur tient explicitement compte de la structure des contacts pour couvrir un large éventail de modes de contact, le tout combiné à une interpolation projetée et à un apprentissage curriculaire progressif. Sur le plan des résultats, l'équipe affirme surpasser à la fois le RL classique sans échantillonnage contraint et les méthodes alternatives de réinitialisation, en entraînant des politiques universelles, non préhensiles et dynamiques. L'intérêt pour le secteur tient moins à un produit qu'à une brique méthodologique : la manipulation en contact riche, aujourd'hui l'un des points durs de la robotique appliquée (tri industriel, réorientation d'objets sur convoyeur, préhension d'objets déformables), reste largement dominée par des politiques apprises en simulation qui échouent à généraliser sur des configurations de contact non vues à l'entraînement. Une méthode qui améliore la couverture des modes de contact pendant l'apprentissage adresse directement ce problème de généralisation, sans dépendre d'un matériel ou d'un actionneur particulier. Il s'agit ici d'une contribution académique, pas d'une annonce produit ni d'un déploiement industriel, du matériel supplémentaire étant disponible sur le site du laboratoire. Le travail s'inscrit dans la continuité des recherches de Toussaint sur la planification géométrico logique et les approches hybrides modèle/apprentissage, un courant de recherche européen qui contraste avec les approches purement data-driven (type VLA) privilégiées par les laboratoires américains sur les plateformes humanoïdes commerciales.

Recherche❖Paper

1 source

43

1760arXiv cs.RO 

Robot humanoïde : transfert de mouvement corporel complet à grande échelle via un recalage cinéodynamique implicite

Des chercheurs présentent IKMR (Implicit Kinodynamic Motion Retargeting), un pipeline neuronal conçu pour transférer des mouvements humains complets vers des robots humanoïdes à très grande échelle. Le système repose sur un autoencodeur double à convolution de graphes basé sur le squelette, qui projette les configurations cinématiques humaines et robotiques, structurellement différentes, dans un espace latent topologique commun. Une phase de raffinement physique vient ensuite corriger les trajectoires grâce à un retour de suivi physique simulé, garantissant leur viabilité mécanique. Résultat clé : un débit de conversion de données dépassant 5000 images par seconde, un ordre de grandeur inatteignable avec les méthodes classiques d'optimisation numérique image par image. Les auteurs rapportent aussi des déploiements réels de contrôle corps entier sur robot humanoïde pour valider l'approche au-delà de la simulation. L'enjeu dépasse la prouesse technique. L'apprentissage par imitation humain-vers-humanoïde est vu comme une des voies les plus prometteuses pour contourner la pénurie de données d'entraînement en robotique, en exploitant les vastes corpus de mouvement humain déjà disponibles (vidéos, capture de mouvement, modèles génératifs). Mais ces données brutes sont bruitées, saccadées, sujettes au scintillement image par image, des défauts qui, une fois amplifiés par le retargeting classique, peuvent produire des mouvements physiquement dangereux pour le matériel. En traitant le nettoyage du bruit comme un sous-produit implicite de l'apprentissage plutôt qu'une étape séparée, et en déplaçant le coût de calcul vers l'inférence hors ligne, IKMR lève un goulot d'étranglement pratique pour quiconque veut synthétiser des jeux de données massifs de mouvements humanoïdes exploitables sans validation manuelle intensive. Ce travail, publié en version révisée sur arXiv, s'inscrit dans une dynamique de recherche plus large où plusieurs laboratoires cherchent à automatiser et industrialiser la conversion de données de mouvement humain en données d'entraînement robotique, un préalable identifié pour faire progresser les politiques de contrôle corps entier de type VLA (vision-language-action) utilisées par les plateformes humanoïdes actuelles. Les auteurs ne précisent pas de partenariat industriel ni de plateforme robotique commerciale associée à cette publication.

Recherche❖Paper

1 source

43

1761arXiv cs.RO 

RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher

Des chercheurs du Faerber Lab publient RCT (Robotic Contact Tactile), un jeu de données touch-vision-language collecté par robot pour évaluer la généralisation tactile des systèmes robotiques. Le dataset comprend 29 279 frames tactiles issues de pressions complètes effectuées par un bras robotique sur 122 matériaux de référence industriels répartis en 7 catégories, enregistrées à l'aide de trois capteurs DIGIT positionnés à plusieurs points de contact. Particularité méthodologique : RCT conserve chaque pression comme une séquence de contact continue plutôt que comme des frames isolées, ce qui permet des évaluations "held-out" rigoureuses par matériau, catégorie, capteur, position de contact ou séquence entière. Les auteurs démontrent que les frames issues d'une même pression sont fortement corrélées entre elles : un découpage aléatoire des frames (frame-random split), pratique courante dans le domaine, place des observations quasi-identiques de la même interaction physique à la fois dans les jeux d'entraînement et de test. En supprimant ce chevauchement de séquences, le score de Recall@1 en correspondance tactile-texte chute de 17,7 points de pourcentage à encodeur fixe. Lorsque les matériaux sont également exclus à l'entraînement, la performance s'effondre davantage, avec un Recall@1 de seulement 25,1 % (± 6,1 %) en moyenne sur trois tirages de matériaux non vus. Le jeu de données est open source, disponible sur faerber-lab.github.io/RCT. Cette étude expose un biais méthodologique qui gonflait artificiellement les résultats publiés sur la perception tactile robotique. En analysant le split public TVL/HCT, référence largement utilisée dans le domaine, les auteurs montrent que chaque séquence de contact du jeu de test apparaît déjà dans l'entraînement : une simple recherche du plus proche voisin en pixels bruts, sans aucun apprentissage, retrouve la bonne séquence dans 98,3 % des cas. Autrement dit, les benchmarks existants mesurent en grande partie de la mémorisation plutôt que de la généralisation réelle. Pour les équipes qui développent des systèmes de manipulation tactile destinés à des environnements ouverts (tri de déchets, logistique, inspection de pièces), cela signifie que des modèles annoncés comme performants pourraient largement sous-performer face à des matériaux jamais rencontrés. L'étude montre aussi une piste corrective concrète : échantillonner uniformément les frames au sein d'une pression, plutôt que de façon aléatoire, améliore l'entraînement contrastif, et les embeddings entraînés sur RCT améliorent les probes de catégorisation sur des matériaux inédits. Le travail s'inscrit dans la lignée des jeux de données touch-vision-language existants comme TVL (Touch-Vision-Language) et HCT, dont RCT réutilise la structure de split pour illustrer le problème de fuite de données. Le choix des capteurs DIGIT, développés initialement par Meta AI et largement adoptés en recherche tactile académique, ancre RCT dans l'écosystème matériel dominant du secteur plutôt que dans des capteurs propriétaires. Aucun acteur français ou européen n'est mentionné dans cette publication, qui reste un travail de recherche fondamentale plutôt qu'une annonce produit. Les prochaines étapes attendues pour le domaine concernent l'adoption de protocoles d'évaluation "contact-sequence-aware" par les équipes travaillant sur la manipulation tactile, ainsi que l'extension de ce type de benchmark held-out-material à d'autres modalités sensorielles combinées, à mesure que les architectures VLA (vision-language-action) intègrent de plus en plus le retour tactile comme signal de contrôle.

Recherche❖Paper

1 source

42

1762arXiv cs.RO 

OopsieVerse : un référentiel de sécurité avec simulation sensible aux dommages pour la manipulation robotique

Des chercheurs de l'Université du Texas à Austin (UT Austin Robin Lab) ont publié OopsieVerse, un banc d'essai et framework de simulation destiné à mesurer les dommages causés par les robots manipulateurs domestiques. Le système, baptisé DamageSim, convertit les forces de contact, les variations de température et les interactions avec des liquides en dommages mécaniques, thermiques ou fluides quantifiables, de manière agnostique à la tâche effectuée. Les auteurs ont implémenté ce module dans deux simulateurs aux moteurs physiques distincts, OmniGibson (basé sur Nvidia Omniverse) et RoboCasa (basé sur MuJoCo), démontrant sa portabilité. OopsieVerse inclut également une suite de tâches domestiques conçues pour distinguer la réussite d'une tâche de son exécution sans dommage collatéral, un point que les benchmarks existants ignorent largement. Le code et la documentation sont disponibles sur robin-lab.cs.utexas.edu/oopsieverse. Ce travail comble une lacune méthodologique importante pour l'industrie robotique: jusqu'ici, l'évaluation des politiques de manipulation, y compris les modèles Vision-Language-Action (VLA) récents, se concentrait presque exclusivement sur le taux de réussite des tâches, sans mesurer si le robot endommage l'objet manipulé, son environnement ou lui-même au passage. Pour des intégrateurs et décideurs qui envisagent de déployer des robots domestiques ou de service, cette distinction est cruciale: un robot qui range la vaisselle neuf fois sur dix mais casse un verre à chaque essai n'est pas viable commercialement. En proposant un signal de dommage explicite et physiquement fondé, OopsieVerse permet d'entraîner des politiques via apprentissage par imitation ou par renforcement conditionnées au dommage, et d'évaluer objectivement des VLA de référence sur ce critère, révélant potentiellement un écart entre démonstrations soignées et sécurité réelle. Le projet s'inscrit dans une tendance de fond de la recherche en robotique manipulative: après des années centrées sur la réussite pure des tâches (empilement, saisie, tri), l'attention se déplace vers la sécurité physique comme condition préalable au déploiement en environnement non contrôlé, chez des particuliers notamment. Les auteurs positionnent explicitement leur outil comme une fondation open-source pour la recherche systématique sur la manipulation sûre, et montrent des cas d'usage allant de la collecte de démonstrations plus sûres au transfert sim-to-real avec amélioration mesurable de la sécurité réelle. Les prochaines étapes attendues concernent l'adoption de ce benchmark par la communauté pour comparer les politiques VLA existantes (Pi-0, GR00T, Helix notamment) sur cet axe encore peu exploré.

Recherche❖Paper

1 source

41

1763arXiv cs.RO 

Plan bien pensé, puis plan précis : RL symbolique pour un raisonnement incarné efficace

Un article de recherche publié sur arXiv (n°2606.31260) présente une nouvelle méthode d'apprentissage par renforcement symbolique pour la planification de tâches robotiques incarnées, c'est-à-dire la conversion d'instructions en langage naturel en séquences d'actions exécutables dans un environnement physique. Le système repose sur une spécification unique au format BDDL, générée automatiquement soit à partir de vidéos capturées en conditions réelles, soit à partir de tâches curées, qui sert simultanément à construire les données d'entraînement, vérifier la validité des plans et calculer la récompense du modèle. Trois composants la mettent en œuvre : un analyseur vidéo-vers-BDDL, un vérificateur basé sur un LLM, et un moteur symbolique léger capable de fournir un retour en quelques millisecondes. Les chercheurs introduisent également GroupAdapt, un mécanisme qui ajuste dynamiquement la tolérance de longueur des réponses selon le taux de réussite du groupe de prompts, resserrant la contrainte au fur et à mesure que le modèle progresse. Résultat : un modèle de 8 milliards de paramètres atteint un score Strict-Pass de 97,3 sur le benchmark BEHAVIOR-1000, soit une amélioration relative de 25,9% par rapport à la base Qwen3-8B, et dépasse de 3,5% le meilleur modèle de grande taille testé, tout en réduisant de 79% la longueur des réponses générées (207 tokens en moyenne). L'apport principal tient à la vérification déterministe et peu coûteuse des plans, un maillon manquant chez les approches actuelles qui s'appuient soit sur du prompting produisant du texte fluide mais non vérifié, soit sur une simulation haute-fidélité trop lente pour servir de signal d'entraînement en boucle interne. Pour l'industrie de la robotique de service et d'assistance, ce travail illustre qu'un modèle relativement petit, correctement supervisé et vérifié, peut surpasser des modèles plus volumineux tout en étant nettement plus économe en tokens, donc en latence et en coût d'inférence, un critère décisif pour du déploiement embarqué. Le choix de BEHAVIOR-1000 comme banc d'essai ancre cette étude dans la lignée des benchmarks de planification domestique à grande échelle, et l'usage de Qwen3-8B comme référence de base confirme que les progrès s'appuient sur des modèles ouverts plutôt que propriétaires. L'article ne précise pas d'affiliation industrielle ni de calendrier de déploiement : il s'agit à ce stade d'une contribution méthodologique en phase de recherche, dont la prochaine étape logique serait une validation sur robots physiques plutôt qu'en simulation pure.

Recherche❖Paper

1 source

40

1764arXiv cs.RO 

MIRTH : raisonnement par information mutuelle avec pôles temporels pour agents vision-langage-action

Une équipe de recherche présente MIRTH (Mutual-Information Reasoning with Temporal Hubs), un framework qui vient se greffer sur un modèle VLA (vision-language-action) préentraîné pour améliorer le contrôle robotique. Le système ajoute trois briques techniques : des "hubs" de mémoire temporelle à double échelle qui compressent l'historique long terme de la scène et les tendances de mouvement court terme en embeddings compacts, des tokens de raisonnement latent optimisés via un objectif d'information mutuelle pour aligner le contexte multimodal avec les trajectoires d'action, et un schéma de décodage d'action parallèle qui remplace la génération autorégressive classique par une prédiction vectorielle simultanée pour accélérer le débit de contrôle. Les auteurs annoncent des résultats state-of-the-art sur le benchmark de simulation LIBERO ainsi que sur une plateforme réelle LeRobot, avec des capacités émergentes de récupération d'erreur. Code et jeux de données sont publiés sur GitHub (kiva12138/mirth). L'enjeu ciblé est bien identifié dans la littérature robotique actuelle : les architectures VLA à trame unique souffrent d'une myopie temporelle qui ignore la dynamique passée de la scène, d'un fossé de raisonnement entre instructions de haut niveau et commandes moteur de bas niveau, et d'une latence d'inférence due au décodage scalaire autorégressif. Ces limites freinent le déploiement de modèles VLA génériques face aux systèmes spécialisés dans l'industrie. À noter toutefois : la validation "monde réel" repose sur LeRobot, une plateforme robotique low-cost destinée à la recherche, loin des contraintes d'un bras industriel ou d'un humanoïde en usine ; les gains restent donc à confirmer à plus grande échelle avant toute traduction en déploiement B2B. MIRTH s'inscrit dans la lignée des travaux type RT-2, Pi-0 ou GR00T N2, qui cherchent à transférer les connaissances sémantiques du web vers le contrôle physique. La contribution ici est ciblée sur la mémoire temporelle et l'efficacité du décodage plutôt que sur l'échelle des données d'entraînement, une direction complémentaire aux approches des grands laboratoires. La publication du code sur GitHub ouvre la voie à des réplications indépendantes, étape nécessaire pour évaluer la robustesse réelle de ces gains annoncés.

Recherche❧Opinion

1 source

40

1765arXiv cs.RO 

Vers une manipulation robotique généralisable dans des environnements dynamiques

Les chercheurs du consortium H-EmbodVis publient DOMINO, un jeu de données et un benchmark dédiés à la manipulation robotique dans des environnements dynamiques, où les objets à saisir bougent plutôt que de rester immobiles. L'ensemble couvre 35 tâches organisées par niveaux de complexité, plus de 110 000 trajectoires expertes et une suite d'évaluation multidimensionnelle. Parallèlement, l'équipe présente PUMA, une architecture Vision-Language-Action (VLA) conçue spécifiquement pour la dynamique de scène : elle combine un flux optique historique centré sur la scène avec des requêtes spécialisées ("world queries") qui anticipent implicitement l'état futur des objets. Résultat mesuré : un gain absolu de 6,3 points de taux de réussite par rapport aux modèles de référence, avec du code et des données disponibles sur GitHub (H-EmbodVis/DOMINO). L'enjeu dépasse la simple performance sur un benchmark académique. La plupart des modèles VLA actuels, du type de ceux qui alimentent les bras robotiques et les humanoïdes commercialisés, sont entraînés et évalués sur des scènes statiques, alors que les usages industriels réels impliquent souvent des objets en mouvement : pièces sur convoyeur, échanges main à main, tri en environnement encombré. Le papier documente que cette dépendance à l'observation mono-image limite le raisonnement spatio-temporel des modèles, ce qui explique un écart de performance encore mal quantifié entre démonstrations en laboratoire et déploiement réel. Les auteurs montrent aussi que l'entraînement sur données dynamiques améliore les représentations spatio-temporelles au point de bénéficier aux tâches statiques, un signal utile pour les équipes qui arbitrent leurs budgets de collecte de données. Ce travail s'inscrit dans la vague de modèles fondation pour la robotique (dans la lignée de familles comme Pi-0 ou GR00T) qui cherchent à généraliser au-delà des démonstrations scriptées. En publiant dataset, benchmark et code en open source, l'équipe positionne DOMINO comme une référence commune pour comparer les futurs VLA sur la dimension dynamique, un axe jusqu'ici sous-évalué par les benchmarks existants. Aucune date de déploiement industriel n'est annoncée, il s'agit pour l'instant d'une contribution de recherche destinée à orienter les prochains cycles d'entraînement des modèles de manipulation.

IA physique⚡Actu

1 source

40

1766arXiv cs.RO 

Robots évitant les collisions en temps réel dans des environnements dynamiques

Des chercheurs publient une méthode qui convertit n'importe quel chemin géométrique, c'est-à-dire une simple séquence d'états produite par un planificateur de mouvement quelconque (échantillonné comme RRT ou PRM, ou basé sur la recherche comme ARA*), en une trajectoire réellement exécutable par un robot : cinématiquement faisable et à jerk limité. L'algorithme génère une suite de splines quintiques ou quartiques, discrétisées à une fréquence de contrôle choisie par l'utilisateur, puis diffusées directement vers le contrôleur bas niveau. Il peut être réinvoqué à tout instant pour recalculer une nouvelle trajectoire depuis l'état courant du robot vers une cible ou une séquence de cibles, avec adaptation en temps réel aux changements de l'environnement. Sous l'hypothèse que la vitesse des obstacles reste bornée, la méthode offre des garanties conditionnelles d'arrêt sécurisé sur un intervalle de temps fini, tout en tolérant une déviation géométrique limitée par rapport au chemin d'origine. Les contraintes cinématiques, jerk compris, sont traitées explicitement. En simulation comparative face à une méthode concurrente, les auteurs rapportent un meilleur lissage, un temps de calcul plus faible et de meilleures performances temps réel, en particulier lors de changements fréquents de cible, jusqu'à 1 kHz. Des expériences sur robot réel valident l'approche, y compris dans des scénarios où un humain fait office d'obstacle. Pour les intégrateurs, ce travail cible un problème très concret : la plupart des planificateurs de mouvement produisent des chemins géométriques, pas des trajectoires exécutables respectant les limites physiques du robot en vitesse, accélération et jerk. Combler ce fossé en temps réel, avec des garanties de sécurité formelles même quand des obstacles se déplacent, fait défaut à de nombreuses piles de navigation actuelles destinées aux environnements partagés avec des humains, entrepôts, usines ou bras collaboratifs. La capacité à replanifier jusqu'à 1 kHz sans dégrader la fluidité du mouvement représente un vrai gain pour les systèmes confrontés à des changements rapides de l'environnement, sans imposer le compromis habituel entre réactivité et stabilité. Le domaine de la planification de mouvement reste tiraillé entre planificateurs globaux, qui trouvent un chemin, et méthodes locales, chargées de le rendre exécutable en douceur : les chemins issus d'échantillonnage sont typiquement irréguliers et nécessitent un post-traitement. Les approches existantes de lissage gèrent souvent mal les obstacles dynamiques ou la replanification à haute fréquence, ce qui constitue la référence à laquelle ce travail se compare. La méthode s'appuie sur la génération de trajectoires par splines, technique classique en robotique pour le mouvement à jerk limité, en y ajoutant une gestion explicite des obstacles dynamiques et des garanties formelles d'arrêt sécurisé. Publiée en version révisée sur arXiv, elle ouvre la voie à des validations plus larges sur d'autres plateformes robotiques.

Recherche❖Paper

1 source

40

1767arXiv cs.RO 

Robot humanoïde à patins en ligne piloté par apprentissage par renforcement

Des chercheurs ont entraîné un policy de contrôle par apprentissage par renforcement (RL) pour piloter un robot humanoïde équipé de patins à roues alignées (rollers) grand public à la place des pieds classiques. Le système commande les patins avec 6 degrés de liberté (DoF) et exécute des stratégies de propulsion dynamiques basées sur les carres, comme le font les patineurs humains. Contrairement aux travaux antérieurs limités aux robots quadrupèdes ou aux roues motorisées activement, cette approche fonctionne avec des roues passives, sans moteur dans les roues elles-mêmes. Les comportements de patinage émergent uniquement de la structure de récompense, sans données de mouvement humain, sans apprentissage par imitation ni a priori cinématiques. Pour gérer l'instabilité des roues passives et les artefacts de contact en simulation, les auteurs ont utilisé des modèles géométriques de roues différents à l'entraînement et à la validation (sphériques et ellipsoïdaux), un curriculum de commandes basé sur le taux de succès, et une récompense spécifique au roulement. Résultat: une réduction allant jusqu'à 50% du coût de transport (Cost of Transport) par rapport à une démarche marchée classique. Le policy a été transféré zéro-shot sur le robot Booster T1 réel, avec équilibre dynamique démontré, capacité à encaisser des perturbations physiques actives, et virages agiles à vitesse. L'intérêt dépasse l'anecdote technique: c'est une nouvelle preuve que le RL pur, sans données de démonstration humaine, peut produire des comportements locomoteurs complexes et efficaces énergétiquement, transférables directement du simulateur au réel sans réentraînement. Pour les équipes qui travaillent sur la locomotion humanoïde, cela ouvre une piste alternative aux pieds ou aux roues motorisées: des accessoires passifs à faible coût combinés à un contrôleur suffisamment sophistiqué pour compenser la sous-actionnement mécanique. Le travail s'inscrit dans la lignée des recherches sur la locomotion RL pour robots à pattes, qui a déjà permis des transferts sim-to-real robustes pour la marche et la course. Ici l'équipe étend le paradigme à un mode de locomotion inhabituel et instable par nature. Le choix du Booster T1, plateforme humanoïde chinoise à bas coût plus accessible que les Unitree G1 ou Figure 03, suggère aussi une recherche pensée pour la reproductibilité académique plutôt que pour la démonstration commerciale.

Recherche❖Paper

1 source

40

1768arXiv cs.RO 

Robustesse de la manipulation robotique : fondations et perspectives

Résumé pour l'article "Robustness of Robotic Manipulation: Foundations and Frontiers" : Une équipe de chercheurs publie sur arXiv une étude systématique consacrée à la robustesse de la manipulation robotique, un chantier resté jusqu'ici fragmenté entre sous-domaines qui n'utilisaient pas les mêmes définitions. Les auteurs proposent d'abord une définition formelle : la robustesse mesure la capacité d'un système de manipulation à atteindre son objectif malgré l'incertitude et la variation des conditions. Ils en dérivent ensuite deux formulations générales, l'une probabiliste, l'autre issue de la théorie du contrôle, avant de cartographier les mécanismes concrets qui produisent de la robustesse à chaque étage de la pile robotique : perception, planification, contrôle, apprentissage de politiques (policy learning) et conception matérielle. Chaque mécanisme est illustré par des travaux de référence, des fondations historiques aux publications récentes. Le papier revient aussi sur les métriques et protocoles d'évaluation existants, souvent hétérogènes, et se conclut par une liste de problèmes ouverts vers une robustesse comparable à celle des humains. L'enjeu dépasse l'exercice académique. Depuis deux ans, une génération de modèles VLA (vision-language-action) comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia, Helix de Figure ou Optimus de Tesla revendique des capacités de manipulation généralistes, mais les annonces s'appuient sur des démonstrations et des métriques propres à chaque acteur, difficiles à comparer entre elles. Pour les intégrateurs et décideurs B2B qui doivent choisir une solution pour de la logistique ou de l'assemblage, disposer d'un cadre commun pour distinguer un modèle réellement robuste d'une démonstration soigneusement sélectionnée devient central, surtout face à l'écart bien documenté entre performance en vidéo et performance en déploiement réel. Cette synthèse s'inscrit dans une lignée qui remonte au contrôle robuste classique des années 1980-1990, avant que l'apprentissage par renforcement puis les politiques end-to-end n'ouvrent de nouvelles pistes dans les années 2010-2020, jusqu'au boom actuel des modèles fondation pour la robotique portés par des laboratoires comme Physical Intelligence, Nvidia, Google DeepMind ou Figure. En posant un vocabulaire et des critères communs, les auteurs cherchent moins à trancher un débat qu'à donner aux chercheurs et industriels un langage partagé pour comparer leurs approches, une étape jugée nécessaire avant toute standardisation sectorielle des tests de robustesse.

Recherche❖Paper

1 source

39

1769arXiv cs.RO 

TAPE : trajectoires conscientes du câble pour l'exploration autonome de cavités 3D inconnues, drone anti-enchevêtrement

Des chercheurs présentent TAPE (Tether-Aware Path Planning), la première méthode de planification de trajectoire pour l'exploration autonome de cavités inconnues en trois dimensions par un drone relié à un câble tolérant à l'enchevêtrement. Publiée sur arXiv le 30 juin 2026 (arXiv:2606.30817v1), l'approche repose sur une architecture hiérarchique à deux niveaux. Le niveau global, basé sur une détection de frontières, résout un problème du voyageur de commerce (TSP) pour minimiser la distance totale parcourue. Le niveau local ajuste en temps réel le compromis entre longueur de trajet et longueur de câble déroulée, via une fonction de décision dont les paramètres pondèrent les deux objectifs. Validée en simulation détaillée et lors de tests sur le terrain, la méthode génère en moyenne 4,1% de distance supplémentaire par rapport à une solution TSP pure sans planification locale, mais parvient à maintenir la longueur de câble sous le seuil maximal autorisé dans 100% des cas testés, contre seulement 53% sans ce module. L'enjeu dépasse la simple optimisation d'itinéraire. Les drones filaires sont privilégiés pour explorer des environnements confinés, souterrains ou dépourvus de GPS, comme les cavités naturelles, les galeries minières ou les infrastructures endommagées, car le câble assure une alimentation et une liaison de données continues sans dépendre d'un réseau sans fil. Mais ce même câble expose le robot au risque de blocage ou d'accrochage, un problème rarement traité par les planificateurs d'exploration classiques, focalisés sur la seule efficacité du trajet. En démontrant qu'un léger surcoût en distance parcourue permet quasiment d'éliminer les échecs liés au câble, TAPE apporte une preuve concrète que l'optimisation conjointe distance/contrainte physique est possible sans complexité de calcul prohibitive, une brique utile pour des missions de secours, d'inspection minière ou de cartographie de grottes. Cette approche s'inscrit dans la lignée des travaux sur l'exploration robotique autonome de milieux souterrains, popularisés notamment par le DARPA Subterranean Challenge, où la planification par frontières combinée au TSP est devenue une référence pour les robots non filaires. TAPE étend ce cadre aux systèmes tethered, jusqu'ici traités séparément dans la littérature sur la gestion d'enchevêtrement. Les auteurs annoncent vouloir poursuivre les essais terrain et explorer une extension à des scénarios multi-robots.

Recherche❖Paper

1 source

39

1770arXiv cs.RO 

IA physique appliquée à la reconstruction 3D sous occlusion manuelle grâce à la proprioception et au toucher multi-contact

Des chercheurs publient une méthode de reconstruction 3D d'objets saisis à la main, conçue pour reconstruire la forme complète d'un objet même lorsque la main du robot le masque en grande partie (arXiv:2604.09100v2, version révisée). Contrairement aux approches précédentes qui s'appuient uniquement sur la vision pour deviner les parties cachées, le système combine trois sources d'information : la caméra RGB pour les zones visibles, la proprioception du bras robotique pour connaître la géométrie exacte de la main posée sur l'objet, et le toucher multi-contact pour contraindre où se situe physiquement la surface de l'objet dans les zones occultées. L'objet est représenté comme un champ de distance signée (SDF) aligné caméra, encodé dans un espace latent compact via un Structure-VAE, sur lequel est entraîné un modèle de diffusion par flow-matching. L'entraînement se fait en deux temps : préapprentissage sur des images sans occlusion, puis affinage sur des scènes de manipulation avec occlusion, en intégrant des contraintes physiques qui réduisent l'interpénétration main-objet et alignent la reconstruction sur les points de contact tactile mesurés. En simulation, l'ajout de la proprioception et du toucher améliore nettement la complétion de forme sous occlusion par rapport aux méthodes vision seule, avec une échelle métrique correcte. Les auteurs valident aussi un transfert sur un robot humanoïde réel, avec un effecteur différent de celui utilisé à l'entraînement. Pour l'industrie robotique, ce travail s'attaque à un angle mort classique de la perception manipulative : dès qu'une main saisit un objet, la caméra en perd une bonne partie de la vue, ce qui pénalise le placement de préhension, la planification de trajectoire ou la ré-estimation de pose en cours de tâche. Ajouter proprioception et toucher comme signaux de contrainte physique, plutôt que de tout faire reposer sur la vision, est une piste concrète pour fiabiliser les piles de perception des robots à mains dextres ou multi-doigts, notamment en contexte industriel où les objets manipulés sont souvent partiellement occultés par la préhension elle-même. Il faut toutefois noter que les gains rapportés restent majoritairement démontrés en simulation, la validation sur robot réel se limitant à un test de transfert et non à un déploiement en conditions de production. Le papier s'inscrit dans la lignée des méthodes de reconstruction amodale 3D, historiquement limitées à des signaux purement visuels et donc fragiles sous occlusion sévère. En ancrant la reconstruction dans la physique du contact plutôt que dans la seule vraisemblance visuelle, l'approche se positionne comme un module de perception réutilisable en amont d'un pipeline de reconstruction en deux étages, où une étape ultérieure affine la géométrie et prédit l'apparence. Les prochaines étapes attendues concernent l'élargissement à davantage d'effecteurs et de morphologies de main, ainsi que des essais plus poussés en conditions réelles au-delà du test de transfert présenté.

Recherche❖Paper

1 source

39

1771arXiv cs.RO 

Communication d'exécution robotique consciente du réseau pour l'inférence cloud sous connectivité spatialement hétérogène

Les chercheurs proposent un nouveau cadre pour l'exécution robotique s'appuyant sur des modèles fondamentaux hébergés dans le cloud, dans des environnements où la connectivité sans fil varie fortement selon la position du robot. Le problème posé est concret : un robot exécute une primitive de mouvement générée à distance, et doit recevoir la suivante avant d'épuiser la marge de manœuvre de la primitive en cours. Or la qualité de connexion nécessaire pour envoyer une requête et récupérer la réponse dépend de l'endroit où se trouve le robot, pas seulement du temps de latence du réseau. Les auteurs introduisent la notion de "fenêtre requête-réponse", qui intègre le temps de transmission montante, l'inférence cloud, la récupération descendante et l'incertitude d'inférence. Sur cette base, et à partir d'une carte de communication de l'environnement, le système choisit dynamiquement un point d'envoi de requête pendant l'exécution de la primitive en cours, puis guide le robot vers ce point via un planificateur local avant de reprendre sa tâche. Les tests, menés dans un scénario intérieur construit à partir de mesures radio réelles, montrent que la méthode obtient le meilleur taux de réussite de tâche (ou ex æquo) parmi les approches comparées, avec moins de tentatives de requête et un taux d'échec de requête plus faible. L'enjeu dépasse la démonstration académique : il touche directement à la viabilité des architectures robotiques qui délèguent le raisonnement sémantique lourd à des modèles cloud plutôt que de tout embarquer, une tendance de fond dans la robotique VLA (vision-language-action) actuelle. Jusqu'ici, la plupart des optimisations de latence réseau traitaient la transmission comme un problème purement temporel, en ignorant que la position physique du robot détermine si une requête peut même aboutir. En traitant le point de requête comme une décision de mouvement à part entière, intégrée au planificateur local, les auteurs déplacent le problème de la couche réseau vers la couche de contrôle du robot. Pour les intégrateurs qui envisagent des flottes robotiques dépendantes du cloud dans des entrepôts, usines ou espaces publics où la connectivité Wi-Fi ou 5G est hétérogène, cela offre une piste concrète pour réduire les échecs de tâche liés aux zones mortes, sans nécessiter une couverture réseau uniforme coûteuse. Ce travail s'inscrit dans la lignée des recherches sur le déchargement de calcul (offloading) pour la robotique cloud, un axe qui a pris de l'ampleur avec la multiplication des modèles fondamentaux trop volumineux pour tourner entièrement en embarqué, à l'image des architectures VLA de type GR00T ou Helix évoquées dans l'industrie humanoïde. Contrairement aux approches qui se concentrent uniquement sur la compression de modèle ou la réduction de latence par transmission optimisée, cette étude aborde le problème sous l'angle de la planification spatiale de la communication elle-même. L'article, déposé sur arXiv (2606.31497v1), ne précise pas de partenariat industriel ni de déploiement réel au-delà du banc de test indoor basé sur des mesures de terrain ; il s'agit à ce stade d'une contribution méthodologique, dont la prochaine étape logique serait une validation sur des plateformes robotiques réelles opérant dans des environnements de connectivité variable, comme des entrepôts logistiques ou des sites industriels multi-étages.

Recherche❖Paper

1 source

39

1772arXiv cs.RO 

TactX : apprentissage de représentations tactiles partagées entre capteurs variés

Des chercheurs ont présenté TactX, un système d'apprentissage capable d'unifier les représentations tactiles issues de capteurs technologiquement incompatibles entre eux. Trois modalités de transduction radicalement différentes sont couvertes : résistive, magnétique et par vision. Concrètement, TactX projette les signaux bruts de chaque type de capteur dans un espace latent partagé grâce à des encodeurs spécifiques à chaque modalité, entraînés sur des données de contact appariées, c'est-à-dire des interactions physiques identiques capturées simultanément par plusieurs capteurs différents. Ce signal d'alignement naturel permet un entraînement conjoint qui rend l'espace latent cohérent quel que soit le matériel d'origine. Les auteurs valident l'approche sur quatre tâches de manipulation à contact riche : le pick-and-place, l'insertion de connecteurs (plug insertion), l'essuyage de surface et la réorientation d'objets. Résultat chiffré central de l'étude : une politique entraînée avec un seul type de capteur transfère en zero-shot vers des capteurs physiquement distincts via l'espace latent commun, faisant passer le taux de réussite moyen de 27,5% pour une politique vision seule à 45,9% avec TactX. L'enjeu dépassé ici est celui du couplage matériel, un frein connu à l'industrialisation de la manipulation robotique fine. Aujourd'hui, changer de capteur tactile sur une ligne de production ou un bras robotisé impose généralement de ré-entraîner intégralement la politique de contrôle, ce qui verrouille les intégrateurs sur un fournisseur unique et complique la maintenance ou l'évolution du parc matériel. Une représentation tactile transférable ouvre la voie à des politiques de manipulation réutilisables indépendamment du capteur physique installé, un argument direct pour les intégrateurs industriels qui doivent gérer des flottes hétérogènes ou remplacer des composants obsolètes sans tout refaire. Le gain observé (27,5% à 45,9%) reste toutefois modeste en valeur absolue: la démonstration prouve la faisabilité du transfert zero-shot plus qu'elle ne livre une solution mature et déployable en l'état. Ce travail s'inscrit dans une tendance de fond de la recherche en robotique tactile, où la fragmentation des technologies de capteurs (résistifs, capacitifs, magnétiques, ou à base de caméras comme GelSight) a longtemps freiné la mutualisation des données et des modèles, contrairement à la vision où des architectures génériques type ViT dominent largement. Le papier, publié en preprint sur arXiv, ne mentionne pas d'acteur industriel ni de partenariat de déploiement: il s'agit à ce stade d'une contribution académique testée en environnement contrôlé, sans indication de calendrier vers une intégration commerciale. Les prochaines étapes attendues pour ce type de recherche incluraient l'extension à davantage de familles de capteurs, des tests sur des tâches de manipulation plus complexes, et potentiellement une validation par des fabricants de capteurs tactiles ou des intégrateurs cherchant à réduire leur dépendance à un hardware spécifique.

Recherche❖Paper

1 source

39

1773arXiv cs.RO 

Compositional : apprentissage de la manipulation fonctionnelle dextérique sans démonstrations

CoDex est un nouveau framework de manipulation dextre présente par un article arXiv (2606.31909v1) issu du Robin Lab de l'université du Texas a Austin. Il s'attaque a la manipulation fonctionnelle compositionnelle d'objets, c'est a dire des taches ou il faut a la fois orienter un objet vers une cible et actionner son mécanisme interne, comme viser une plante avec un pulvérisateur ou appliquer de la colle chaude sur du bois. Le système a été teste sur un bras robotique a 7 degrés de liberté équipe d'une main multi-doigts a 16 degrés de liberté, sur six taches impliquant des objets jamais vus a l'entrainement: pulvérisateurs, pistolets a colle, soufflettes a air, lampes de poche et moulins a poivre. Sans aucune démonstration humaine, CoDex utilise des modèles vision-langage pour déduire les contraintes sémantiques de la tache et de la scene, génère ensuite une courte liste de prises fonctionnelles candidates par optimisation analytique sous contrainte, puis affine ces prises via apprentissage par renforcement pour produire des politiques complètes de saisie, déplacement et actionnement, transférables de la simulation au monde réel. L'intérêt principal tient a l'approche zero-démonstration. La plupart des systèmes de manipulation dextre récents, des modèles VLA comme Pi-0, GR00T N2 ou Helix, dépendent d'immenses jeux de démonstrations téléopérées, un goulot d'étranglement couteux quand il faut couvrir la longue traine d'outils du quotidien. En montrant qu'un pipeline combinant VLM et RL peut généraliser a des objets et mécanismes inédits sans collecte de données humaines, CoDex propose une alternative crédible pour les intégrateurs confrontes a des catalogues d'objets trop vastes pour être démontrés un par un. Le travail s'inscrit dans la lignée des recherches sur le grasping fonctionnel et la manipulation dextre, en rupture avec le paradigme dominant de l'imitation learning massive. Il reste a ce stade une démonstration académique limitée a six taches et un seul bras robotique, sans annonce de déploiement industriel; les prochaines étapes attendues concernent l'extension a un plus grand nombre de catégories d'objets et de mécanismes d'actionnement plus complexes.

Recherche❖Paper

1 source

39

1774arXiv cs.RO 

Robotique mobile en flotte : génération de feuilles de route en espace continu avec contraintes de distance et discrétisation géométrique

Une équipe de recherche propose une nouvelle méthode de génération de feuilles de route (roadmaps) en espace continu pour les flottes de robots mobiles utilisées en intralogistique, détaillée dans une version mise à jour d'un article arXiv (2511.07175v2). L'approche place les nœuds du graphe de navigation aux points d'angle convexe de l'espace libre ainsi qu'aux points d'interaction des stations, puis discrétise l'espace libre par expansion locale de grille. Elle impose des contraintes de distance minimale entre nœuds et entre nœuds et arêtes, calculées à partir des dimensions physiques des robots, et applique un élagage des chemins par K plus courts chemins piloté par la demande de transport. La méthode a été testée dans trois environnements d'intralogistique, avec deux solveurs de type MAPD (multi-agent pickup and delivery) : l'algorithme PIBT (Priority Inheritance with Backtracking) et un solveur A* spatio-temporel. Comparée à trois méthodes de référence, un échantillonnage par réaction-diffusion (GSRM), une grille à connexité 8 et un échantillonnage aléatoire, elle améliore la taille maximale de flotte gérable de 1,2 à 23,4 % par rapport à GSRM, d'au moins 9,1 % par rapport à la grille, et de plus de 10,4 % par rapport à l'échantillonnage aléatoire, avec des longueurs de chemin normalisées quasi optimales de 1,03 à 1,05. Pour les intégrateurs et opérateurs d'entrepôts déployant des flottes d'AMR (robots mobiles autonomes), ce travail cible un goulot d'étranglement connu : les méthodes en grille sacrifient la fidélité géométrique et imposent des contraintes de distance de type Manhattan, tandis que les méthodes continues existantes ignorent les contraintes de distance minimale et la demande de transport réelle. Une feuille de route plus redondante et mieux dimensionnée aux gabarits robotiques permet une exploitation sans conflit à plus grande échelle, un enjeu direct pour la densité de flotte tolérable dans un entrepôt donné et pour la planification de trajectoires en temps réel. Ce travail s'inscrit dans la lignée des recherches en planification de graphes de navigation pour la logistique automatisée, un domaine où les solveurs MAPD comme PIBT gagnent en adoption face à la複exité croissante des flottes commerciales. En comparant systématiquement contre GSRM, une méthode de référence en échantillonnage par réaction-diffusion, et des approches en grille plus classiques, les auteurs positionnent leur contribution comme une alternative directement mesurable sur des métriques de connectivité inter-stations et de complexité de graphe, ouvrant la voie à des tests en conditions réelles sur des flottes d'entrepôt.

Recherche❖Paper

1 source

39

1775arXiv cs.RO 

ViTL : navigation en langage naturel zéro-shot guidée par logique temporelle via modèles vision-langage

Des chercheurs présentent ViTL (Vision-Language Temporal Logic), un système de navigation robotique capable d'exécuter des commandes en langage naturel impliquant plusieurs cibles et des contraintes temporelles, sans entraînement spécifique à l'environnement testé. Publié sur arXiv le 30 juin 2026, le framework s'attaque à un cas concret : une instruction comme "Nettoie la chaise ou le canapé, puis allume la télé" implique un ordre logique et un choix entre deux objets, ce qu'aucun système zero-shot existant ne gérait jusqu'ici. ViTL agit à deux niveaux. Au niveau tâche, un grand modèle de langage traduit la commande en formule de logique temporelle linéaire (LTL), convertie ensuite en automate fini déterministe (DFA) qui coordonne des cartes de valeur multi-canaux et déclenche une replanification dynamique dès qu'un nouvel objet pertinent est détecté. Au niveau navigation, les auteurs introduisent un "score directionnel" : plutôt qu'une valeur unique et indifférenciée sur tout le champ de vision, chaque direction de frontière est étiquetée sur l'image d'observation et notée séparément par le modèle vision-langage. Les tests ont été menés sur le simulateur Habitat-Matterport 3D (HM3D). L'enjeu dépasse la démonstration académique. Les méthodes actuelles de navigation zero-shot vers un objet, qui s'appuient sur des VLM pour guider une exploration par frontières dans un environnement inconnu, restent cantonnées à une seule cible à la fois. En prouvant qu'un pipeline LLM-vers-logique-vers-automate peut orchestrer plusieurs sous-tâches ordonnées sans réentraînement, ViTL déplace la limite de ce qu'un robot peut comprendre d'une instruction humaine complexe, un enjeu direct pour les intégrateurs qui déploient des robots domestiques ou logistiques devant suivre des consignes composites. Le score directionnel améliore aussi, selon les auteurs, la précision et l'efficacité sur les tâches à cible unique par rapport à leur référence de base, signe que le gain ne se limite pas aux scénarios multi-cibles. Ce travail s'inscrit dans la lignée des approches récentes combinant VLM et exploration frontalière pour la navigation sémantique zero-shot, une piste active depuis l'essor des modèles vision-langage capables de raisonner sur des scènes inconnues sans carte préexistante. La contribution spécifique de ViTL, la formalisation en logique temporelle plutôt qu'en heuristique ad hoc, ouvre la voie à des commandes encore plus complexes (conditions, boucles, contraintes de sécurité) dans de futurs travaux, même si le passage du simulateur HM3D à un robot réel reste l'étape non résolue par cette publication.

Recherche❖Paper

1 source

39

1776arXiv cs.RO 

« RoboTacDex : un jeu de données visuo-tactile-action dextérique pour la manipulation humanoïde »

Une équipe de chercheurs en robot learning publie RoboTacDex, un jeu de données de manipulation dextre construit sur le robot humanoïde Unitree G1, accessible publiquement. L'ensemble comprend 6 000 trajectoires couvrant 19 tâches, 23 compétences distinctes et des interactions avec 22 objets différents. Chaque trajectoire embarque des flux RGB et de profondeur multi-vues, un retour tactile et des annotations sémantiques détaillées. Pour garantir la qualité de la collecte, les auteurs ont développé un système de synchronisation multi-caméras capable d'aligner les différentes modalités à la milliseconde près. Le jeu de données cible volontairement des tâches complexes, réalisables uniquement avec deux bras et des mains dextres, pour se rapprocher de la logique opérationnelle humaine. Trois modèles d'apprentissage par imitation ont été testés dessus, avec des résultats jugés positifs et une capacité de généralisation modérée sur l'ensemble des tâches. Le dataset sera open-source prochainement. L'enjeu dépasse la simple publication académique : l'apprentissage par imitation pour la manipulation bimanuelle dextre souffre d'un manque chronique de démonstrations diversifiées et multimodales, la plupart des jeux de données existants se limitant à la vision RGB seule. L'ajout systématique du tactile et d'une synchronisation précise entre capteurs comble un vide identifié par plusieurs laboratoires travaillant sur des modèles vision-langage-action (VLA). Pour les équipes qui entraînent ce type de modèles, disposer de données ouvertes et denses sur une plateforme humanoïde standardisée réduit la dépendance aux jeux de données propriétaires des grands acteurs américains. Le choix du Unitree G1, plateforme humanoïde relativement abordable et largement diffusée dans les laboratoires de recherche, s'inscrit dans une dynamique d'ouverture des données robotiques comparable à des initiatives comme Open X-Embodiment. Ce positionnement contraste avec les approches propriétaires de Physical Intelligence (Pi-0) ou NVIDIA (GR00T), qui restreignent l'accès à leurs corpus d'entraînement. La mise en open source, annoncée mais pas encore effective à la date de publication du prépublication arXiv, déterminera l'impact réel de RoboTacDex sur la communauté.

Recherche❖Paper

1 source

39

1777arXiv cs.RO 

Freeform Preference Learning pour la manipulation robotique

Des chercheurs présentent Freeform Preference Learning (FPL), une méthode d'apprentissage de politiques robotiques à partir de préférences humaines exprimées en langage libre, publiée sur arXiv le 30 juin 2026. Le problème ciblé est connu dans la manipulation robotique à long horizon : les signaux de succès binaires (réussite ou échec) sont trop rares pour guider l'apprentissage, et les préférences par paires classiques (« la trajectoire A est meilleure que B ») écrasent en un seul score des critères de qualité pourtant distincts, comme la vitesse, la sécurité du geste ou la précision du placement d'un objet. FPL change l'approche en laissant les annotateurs définir eux-mêmes des axes de préférence en langage naturel, par exemple « rapidité », « prudence » ou « qualité du placement », puis en collectant des comparaisons par paires spécifiques à chaque axe. Ces annotations servent à entraîner un modèle de récompense conditionné par le langage, capable d'associer une trajectoire et un axe donné à un score de récompense propre à cet axe, sur lequel est ensuite entraînée une politique unique optimisant simultanément ces multiples dimensions. Sur quatre tâches de manipulation en conditions réelles et deux tâches simulées, toutes à horizon long, FPL améliore les taux de réussite de 38 points de pourcentage par rapport aux méthodes à récompense éparse et aux méthodes à préférence binaire classique. L'enjeu dépasse le simple gain de performance chiffré. FPL produit un signal de progression dense sans nécessiter de découpage manuel en sous-tâches, ce qui allège considérablement le travail d'ingénierie de récompense, souvent le vrai goulot d'étranglement des pipelines d'apprentissage par renforcement appliqués à la robotique. Le résultat le plus notable pour les équipes qui conçoivent ces systèmes est la possibilité de piloter le comportement de la politique au moment de l'inférence, en pondérant différemment les axes appris, sans réentraînement, une flexibilité rarement démontrée à ce niveau. Les auteurs rapportent aussi une forme de compositionnalité : la politique combine des comportements qui n'apparaissaient pas ensemble dans les données d'entraînement, un indice que le modèle de récompense capture des notions de qualité généralisables plutôt que de simples heuristiques mémorisées. Ce travail s'inscrit dans la lignée des efforts récents pour dépasser les limites du reinforcement learning from human feedback (RLHF) appliqué au-delà du texte, notamment dans la manipulation robotique où des méthodes comme les préférences binaires ou le reward shaping manuel dominent encore. Il ne s'agit pas d'un système déployé commercialement mais d'une contribution méthodologique testée en laboratoire sur un nombre limité de tâches, avec du matériel de démonstration disponible en ligne (freeform-pl.github.io/fpl.website). Les prochaines étapes attendues concernent le passage à l'échelle sur des jeux de tâches plus vastes et l'intégration éventuelle à des architectures VLA (vision-language-action) génériques, où la définition de récompenses reste un obstacle central au déploiement industriel de robots généralistes.

Recherche❖Paper

1 source

39

1778arXiv cs.RO 

HABIT : jeu de données pour l'entraînement de la manipulation robotique sensible aux comportements humains

Des chercheurs publient HABIT (Human-Aware Behavior and Interaction Training), un jeu de données de démonstration pour l'apprentissage de politiques de manipulation robotique en présence humaine, décrit dans un article déposé sur arXiv (identifiant 2606.31682, juin 2026). Le corpus rassemble plus de 10 000 épisodes et 160 heures d'enregistrements couvrant 60 tâches, organisées selon trois rôles d'interaction homme-robot : « Collaborateur », où humain et robot accomplissent une tâche ensemble, « Collègue », où ils opèrent des tâches séparées dans un espace partagé, et « Superviseur », où l'humain dirige le robot par instructions. Contrairement aux jeux de données existants pour les politiques robotiques généralistes, collectés sans présence humaine dans la scène, HABIT introduit explicitement des humains dans les démonstrations. L'enjeu est la capacité des robots à adopter des comportements conscients de la présence humaine, un angle mort des grands corpus qui alimentent aujourd'hui les politiques VLA (vision-langage-action). Les expériences montrent que l'entraînement sur données incluant des humains fait émerger des comportements que les données robot seul ne produisent pas : synchronisation spatio-temporelle dans les tâches de collaboration, cession de passage dans les tâches de coexistence, et ancrage gestuel pour interpréter les instructions du superviseur. Les auteurs indiquent aussi que l'entraînement sur HABIT accélère l'adaptation à de nouvelles tâches d'interaction homme-robot. Pour les intégrateurs qui déploient des robots en usine ou en entrepôt aux côtés d'opérateurs, c'est un signal que la cohabitation sûre et fluide dépend moins du matériel que de la composition des données d'entraînement, un manque que la course aux modèles fondation robotiques a largement laissé de côté. HABIT s'inscrit dans la lignée des grands corpus type Open X-Embodiment ou DROID, qui ont permis l'essor des politiques généralistes telles que Pi-0 ou GR00T N2 mais restent tournés vers des scènes sans humains, un manque que plusieurs équipes académiques cherchent désormais à combler à mesure que les humanoïdes et bras collaboratifs sortent des lignes de démonstration pour entrer dans des ateliers occupés. À ce stade, HABIT reste une publication de recherche accompagnée d'un jeu de données, sans annonce de produit ni de partenariat industriel ; sa portée dépendra de son adoption par d'autres laboratoires pour entraîner et comparer leurs politiques sur des tâches de collaboration homme-robot.

Recherche❖Paper

1 source

38

1779arXiv cs.RO 

GaussLite : cartographie robotique en temps réel par 3D Gaussian Splatting conditionnée par tâche

Des chercheurs présentent GaussLite, un système de cartographie 3D par Gaussian Splatting (3DGS) conditionné par la tâche, décrit dans un article publié sur arXiv (arXiv:2606.30809v1). Contrairement aux systèmes 3DGS classiques qui répartissent uniformément leur capacité de représentation sur toute une scène, GaussLite concentre le calcul embarqué sur les zones pertinentes pour une tâche donnée, exprimée en langage naturel comme "se préparer à saisir l'objet sur le bureau". Le système combine un parseur LLM en une passe pour extraire les objets cibles et de référence, un détecteur en vocabulaire ouvert pour les localiser image par image, et une segmentation produisant des masques de pertinence par pixel en temps réel. La densité de semis des gaussiennes, le flux de gradient et la mise à l'échelle sont ensuite alloués selon cette pertinence. À budget de gaussiennes équivalent et en cartographie temps réel à 4 Hz sur du matériel aux ressources limitées, GaussLite surpasse les méthodes de référence de 2,72 dB en moyenne sur le PSNR de la région d'intérêt (ROI) sur le jeu de données Replica, et de 2,23 dB lors de démonstrations sur matériel réel en intérieur et extérieur. Cette approche répond à un goulot d'étranglement concret pour la robotique embarquée : les plateformes mobiles ou manipulateurs disposent d'une puissance de calcul limitée, et gaspiller des cycles à reconstruire finement des murs ou du mobilier hors sujet pénalise directement la précision là où elle compte, sur l'objet à saisir ou l'obstacle à éviter. En priorisant explicitement la scène par la tâche plutôt que par la géométrie brute, GaussLite s'attaque à un problème récurrent des pipelines de perception pour la manipulation et la navigation autonome : l'écart entre fidélité de reconstruction globale et utilité réelle pour la décision robotique. L'équipe démontre aussi qu'il est possible de fusionner en temps réel les cartes de deux agents spécialisés sur des tâches différentes, via un vote par voxel sur le nombre d'optimisations actives, avec un gain de 3,42 dB par rapport à une simple concaténation, tout en ne partageant que 7,08% de la carte en moyenne, un résultat qui intéresse directement les scénarios multi-robots ou essaims. GaussLite s'inscrit dans la lignée des travaux récents combinant 3D Gaussian Splatting et robotique, un domaine en forte expansion depuis l'adoption de cette technique de rendu comme alternative aux NeRF pour la cartographie en temps réel. La contribution se distingue des systèmes 3DGS génériques en intégrant directement un module de compréhension du langage et de détection ouverte pour piloter l'allocation de ressources, plutôt que de traiter la sémantique comme une étape séparée en aval. Les auteurs ne précisent pas de plan de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'un travail de recherche évalué sur Replica et sur un banc de test matériel propre à l'équipe, sans comparaison publiée face à des architectures commerciales de cartographie temps réel.

Recherche❖Paper

1 source

38

1780arXiv cs.RO 

Multi-apprentissage continu : adapter des politiques visuomotrices préentraînées à la force

Des chercheurs ont présenté MuSe (Multisensory Continual Learning), une méthode permettant d'adapter une politique de manipulation robotique pré-entraînée sur la seule vision à de nouvelles modalités sensorielles, sans dégrader ses performances initiales. Publiée sur arXiv (2606.30988v1) le 30 juin 2026, l'étude part d'un constat pratique : les capteurs de force, de toucher ou audio sont souvent spécifiques à un matériel ou une tâche donnée, et les jeux de données robotiques multisensoriels à grande échelle restent rares. Il est donc impossible de pré-entraîner une politique avec tous les capteurs qu'elle pourrait rencontrer en production. MuSe résout ce problème via trois mécanismes combinés : une fusion multi-étages des signaux, une prédiction future multisensorielle, et un rejeu d'expérience (expérience replay) sur les données de pré-entraînement d'origine. Les chercheurs ont testé l'approche en ajoutant un capteur de force-couple à une politique vision-seule existante, sur des tâches de manipulation réelles impliquant du contact physique. Cette méthode répond à un problème central pour l'industrie des politiques vision-langage-action (VLA) de type Pi-0, GR00T N2 ou RT-2/OpenVLA : ces modèles, entraînés quasi exclusivement sur des flux vidéo, échouent souvent sur les tâches à contact riche (insertion de pièces, assemblage, préhension d'objets déformables) où la seule vision ne suffit pas à détecter un glissement ou une collision. Pour les intégrateurs industriels, l'enjeu est d'ajouter un capteur de force sans devoir ré-entraîner un modèle depuis zéro ni perdre les compétences déjà acquises, un phénomène classique d'oubli catastrophique. Les résultats montrent que MuSe améliore les performances sur les tâches de contact tout en préservant, voire en améliorant légèrement, les performances sur les tâches de pré-entraînement d'origine, ce qui suggère qu'un jeu de données multisensoriel modeste suffit à étendre les capacités générales d'un robot au-delà de sa distribution initiale d'entraînement. Le travail s'inscrit dans la tendance actuelle du secteur à généraliser des politiques robotiques pré-entraînées à grande échelle (à l'image des fondations VLA déployées par les principaux laboratoires de robotique humanoïde), plutôt qu'à ré-entraîner des modèles spécialisés par tâche. La rareté des données tactiles et de force reste un frein reconnu du secteur, contrairement à l'abondance de données vidéo. Le site du projet (jadenvc.github.io/multisensory-continual-learning) propose des démonstrations complémentaires ; les prochaines étapes annoncées concernent l'extension à d'autres modalités, comme le tactile ou l'audio, selon la même approche de fusion incrémentale.

Recherche❖Paper

1 source

38

1781arXiv cs.RO 

ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives

Un nouvel article de recherche publié sur arXiv (identifiant 2606.31132) présente ELASTIC, un algorithme conçu pour optimiser le calcul mobilisé au moment de l'exécution par les politiques de contrôle génératives, notamment les diffusion policies et les modèles vision-langage-action (VLA) de type flow-based. Ces politiques peuvent allouer davantage de ressources selon deux axes : la mise à l'échelle séquentielle, qui augmente le nombre d'étapes de débruitage pour affiner une action, et la mise à l'échelle parallèle, qui échantillonne plusieurs actions candidates pour explorer différents modes de la distribution. ELASTIC formule ce choix comme un meta-processus de décision markovien : une meta-politique observe l'état du robot et décide, à chaque itération de débruitage, combien d'étapes séquentielles et d'échantillons parallèles allouer, entraînée par apprentissage par renforcement sans accès aux données d'entraînement de la politique de base. Sur des benchmarks de manipulation simulés avec des diffusion policies, ELASTIC domine au sens de Pareto les approches à budget fixe ou à échelle unique. En conditions réelles, avec le modèle VLA pi-0.5, la méthode égale les performances d'un "best-of-10" (dix tentatives échantillonnées) tout en réduisant la latence de 34%. L'enjeu dépasse la seule performance de laboratoire : l'allocation de calcul test-time reste aujourd'hui largement empirique, fixée à la main selon la tâche. Un mécanisme qui adapte automatiquement l'effort de calcul, par exemple en explorant davantage lors d'une phase de saisie éloignée de l'objet puis en resserrant la précision près du contact, s'attaque directement au compromis latence/fiabilité qui freine le déploiement industriel des VLA. Pour les intégrateurs, cela ouvre la voie à des politiques capables de s'exécuter plus vite sans sacrifier le taux de réussite, un point critique pour des cycles de production. Le travail s'inscrit dans la lignée des recherches sur le test-time scaling, déjà popularisé en robotique par les diffusion policies et par des modèles comme GR00T N2 ou Pi-0 de Physical Intelligence, dont pi-0.5 sert justement de base expérimentale ici. Les auteurs ne précisent pas de calendrier de déploiement industriel ; il s'agit pour l'instant d'un résultat de recherche destiné à orienter la conception des futures architectures VLA plutôt qu'un produit prêt à intégrer.

IA physique❖Paper

1 source

38

1782arXiv cs.RO 

3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D

Papier académique en robotique (VLA hiérarchique), pas de named companies commerciales ni d'acteur FR/EU à mettre en avant ici. Je rédige directement l'article. Des chercheurs du laboratoire DAVIAN Robotics présentent 3D HAMSTER, un nouveau framework pour les modèles Vision-Langage-Action (VLA) hiérarchiques utilisés en manipulation robotique, détaillé dans un preprint arXiv (2606.31329v1). Ces architectures séparent la planification de haut niveau, confiée à un modèle vision-langage (VLM), du contrôle bas niveau exécuté par une politique dédiée. Les approches récentes font produire au VLM des trajectoires 2D de l'effecteur terminal pour guider cette politique, mais les politiques de pointe travaillent en réalité dans un espace métrique 3D à partir de nuages de points. Faute de profondeur, chaque point de la trajectoire 2D doit hériter de la profondeur de la surface visible sous lui dans la scène, ce qui déforme géométriquement le chemin prédit. 3D HAMSTER corrige ce défaut en dotant le VLM d'un encodeur de profondeur dédié et d'un objectif de reconstruction dense de la profondeur, afin qu'il prédise directement des séquences de points de passage en 3D, ensuite injectées dans une politique bas niveau opérant sur nuages de points. Cette correction cible un goulot d'étranglement précis de la génération actuelle de VLA hiérarchiques: la conversion 2D vers 3D introduisait un bruit géométrique qui limitait la fiabilité des gestes de manipulation, en particulier lors de changements d'apparence de la scène ou de conditions inédites (langage, position spatiale, visuel). Sur les trois bancs d'essai testés (prédiction de trajectoire 3D, simulation, manipulation réelle), 3D HAMSTER dépasse à la fois des VLM propriétaires état de l'art et les méthodes concurrentes guidées en 2D, avec les écarts les plus marqués justement sur ces conditions de généralisation difficile. Ce résultat va dans le sens d'une hypothèse clé du secteur: une bonne partie de l'écart entre démonstrations en laboratoire et déploiement réel des robots manipulateurs tient moins à la politique de contrôle elle-même qu'à la qualité du signal de planification qui la guide. Le travail s'inscrit dans la lignée des architectures VLA hiérarchiques qui ont émergé ces deux dernières années pour améliorer la généralisation des robots manipulateurs, en s'appuyant sur des politiques bas niveau désormais matures en perception 3D par nuages de points. En comparant directement sa méthode à des VLM propriétaires non nommés publiquement dans le résumé, l'équipe positionne 3D HAMSTER comme une alternative open, avec une page projet dédiée (davian-robotics.github.io/3D_HAMSTER) où code et données devraient être publiés pour permettre une reproduction indépendante des résultats.

Recherche⚡Actu

1 source

38

1783arXiv cs.RO 

Système d'automatisation de titres modulaire pour la robotique en intérieur, basé sur un modèle vision-langage-action

Une équipe de recherche présente un système modulaire conçu pour le CMU Vision-Language-Action (VLA) Challenge, une compétition universitaire visant à faire exécuter des instructions en langage naturel par un agent robotique autonome évoluant en intérieur. L'architecture repose sur deux pipelines parallèles. Le premier, dédié à la perception, construit en temps réel une carte voxel sémantique de l'environnement à partir de flux caméra, en s'appuyant sur des embeddings issus du modèle OwlViT. Le second traite le langage : il classifie les commandes utilisateur grâce à un modèle vision-langage (VLM). La cartographie est bornée dans le temps, avec une limite d'exploration fixée à 500 secondes, au-delà de laquelle le système continue d'opérer avec une carte partielle plutôt que d'attendre une couverture complète. La requête classifiée est ensuite ancrée dans le contexte géométrique et sémantique de cette carte pour générer un prompt détaillé soumis au VLM, produisant en sortie une action exploitable par le robot. L'intérêt de ce travail dépasse le cadre du concours : il illustre concrètement comment combler l'écart entre instruction en langage naturel et action robotique physique, un défi central pour toute la famille des modèles VLA actuellement en déploiement industriel, de Pi-0 à GR00T N2 en passant par Helix. En imposant une contrainte de temps stricte sur la cartographie, les auteurs mettent en lumière un problème rarement traité frontalement dans les démonstrations commerciales : la robustesse face à une perception incomplète, plus représentative des conditions réelles que des environnements soigneusement scannés en amont. Le CMU VLA Challenge s'inscrit dans une vague de benchmarks académiques cherchant à standardiser l'évaluation des architectures VLA modulaires, en concurrence avec les approches end-to-end privilégiées par les laboratoires industriels. Les prochaines étapes attendues concernent la publication des résultats comparatifs de la compétition et l'éventuelle extension de cette architecture voxel-plus-VLM à des plateformes robotiques réelles au-delà du cadre expérimental du challenge.

Recherche❖Paper

1 source

38

1784arXiv cs.RO 

StemVLA : un modèle vision-langage-action open source avec connaissance géométrique 3D future et représentation historique 4D

StemVLA est un nouveau modèle vision-langage-action (VLA) open source destiné à la manipulation robotique, présenté dans un article arXiv (2602.23721v2, version révisée). Contrairement à la plupart des VLA existants, qui mappent directement des images 2D vers des séquences d'actions sans modéliser la structure spatiale sous-jacente, StemVLA intègre explicitement deux briques supplémentaires : une anticipation de la géométrie 3D future de la scène (pour prévoir la configuration des objets à venir) et une représentation spatiotemporelle 4D construite à partir de l'historique des images, extraite via un transformeur vidéo-géométrie pré-entraîné et agrégée dans le temps par un module d'attention temporelle baptisé VideoFormer. Sur la suite de benchmarks de simulation LIBERO, le modèle atteint une précision moyenne de 92,0 %, et 86,0 % sur le sous-ensemble LIBERO-Long, dédié aux tâches à horizon long. L'enjeu dépasse la simple performance chiffrée : les VLA actuels peinent souvent sur le raisonnement spatial fin et la planification à long terme, précisément parce qu'ils ignorent la géométrie 3D et la dynamique temporelle de la scène. En forçant le modèle à prédire explicitement l'évolution future de l'espace 3D plutôt qu'à réagir à des images plates, StemVLA cherche à combler un des angles morts identifiés dans la littérature récente sur les modèles fondation pour la robotique, celui de la cohérence temporelle et de la généralisation dans des environnements dynamiques. Les gains observés sur LIBERO-Long, sous-ensemble réputé plus exigeant, suggèrent que l'ajout de connaissances géométriques structurées améliore la robustesse sur des tâches multi-étapes, un point sensible pour les intégrateurs qui cherchent à dépasser les démonstrations de laboratoire. Ce travail s'inscrit dans une vague de recherche VLA qui, après les architectures pionnières fondées sur des mappings image-action directs, cherche à enrichir la représentation du monde interne des modèles, en écho aux approches combinant perception géométrique et politiques d'action explorées par d'autres laboratoires du secteur. Les résultats restent pour l'instant limités à la simulation LIBERO ; l'étape suivante attendue par la communauté sera la validation sur robots physiques réels, où l'écart entre performance simulée et transfert sim-to-real demeure le principal obstacle à la généralisation des VLA.

Recherche❧Opinion

1 source

38

1785arXiv cs.RO 

Transfert simulation-réel efficace de modèles monde-action à partir de données synthétiques

Le fossé sim-to-real reste un défi central pour déployer des politiques de manipulation apprises, car il permet en théorie de remplacer des démonstrations réelles coûteuses par des données synthétiques bon marché à grande échelle. Publiée le 30 juin 2026 (arXiv:2606.31101), une étude teste si un "world-action model", un modèle combinant prédiction visuelle et contrôle moteur, peut être entraîné uniquement en simulation puis déployé sans aucune démonstration réelle. L'équipe part de Cosmos Policy, un modèle de diffusion vidéo adapté au contrôle visuomoteur, et construit des environnements simulés avec une randomisation poussée des domaines. Les démonstrations d'entraînement, environ 800 par tâche, sont générées automatiquement via le pipeline de planification de mouvement AnyTask, sans donnée réelle. Trois tâches sont testées: soulever un objet, ouvrir un tiroir, et effectuer un pick-and-place. Déployé en zero-shot sur un bras robotique Franka, le modèle atteint un taux de réussite moyen de 35%. Ce résultat, même modeste, répond à une question ouverte du secteur: les world-action models peuvent-ils transférer du simulateur au monde réel sans coûteuses démonstrations humaines? Jusqu'ici, aucun travail n'avait démontré ce transfert pour la manipulation robotique. Un taux de 35% reste loin des standards attendus pour un déploiement industriel, souvent supérieurs à 80%, et confirme que le fossé sim-to-real demeure un obstacle réel, non résolu par la seule échelle des données synthétiques. Pour les intégrateurs et décideurs B2B, le signal est clair: remplacer la téléopération humaine par de la donnée simulée reste au stade de preuve de concept, pas de solution prête à l'emploi. Le travail s'inscrit dans la lignée des modèles de fondation robotiques récents comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui cherchent tous à réduire la dépendance aux démonstrations réelles. Cosmos Policy dérive des travaux de NVIDIA sur les modèles de monde Cosmos. La méthode AnyTask pour générer automatiquement des trajectoires en simulation illustre une tendance plus large: automatiser la création de données d'entraînement plutôt que multiplier les téléopérations en laboratoire, approche également explorée par Physical Intelligence ou Skild AI. Les auteurs présentent ce résultat comme une première preuve de faisabilité, sans calendrier de commercialisation ni partenariat industriel annoncé.

Recherche❖Paper

1 source

38

1786arXiv cs.RO 

FastDSAC : améliorer la plasticité des politiques par exploration contrainte pour la locomotion humanoïde évolutive

FastDSAC, un nouvel algorithme d'apprentissage par renforcement développé par des chercheurs pour l'entraînement de robots humanoïdes, vient d'être présenté sur arXiv (référence 2606.31691). Cette variante rapide de l'architecture Distributional Actor-Critic cible spécifiquement les configurations d'entraînement à haut débit, où de nombreux environnements simulés tournent en parallèle pour accélérer l'apprentissage des politiques de locomotion. Le problème identifié par les auteurs est que cette vitesse a un coût : plus le volume de données et la fréquence de mise à jour augmentent, plus les méthodes basées sur la valeur deviennent instables et plus les réseaux de politique perdent leur capacité d'adaptation, un phénomène connu sous le nom de perte de plasticité. Pour y remédier, FastDSAC introduit une distribution gaussienne tronquée qui approxime la politique apprise, écartant les actions hors distribution qui faussent l'estimation de la valeur cible tout en conservant la part d'aléa nécessaire à l'exploration. Les tests ont été menés sur les bancs d'essai MuJoCo Playground et HumanoidBench, deux environnements de référence pour la locomotion robotique simulée. Sur le plan pratique, ce travail s'attaque à un vrai goulot d'étranglement du secteur : entraîner des politiques de contrôle pour robots humanoïdes reste coûteux en temps de calcul, et les architectures d'échantillonnage massif censées accélérer ce processus introduisent en pratique de l'instabilité qui annule une partie du gain. Si les résultats annoncés (convergence plus rapide, meilleure performance asymptotique) se confirment au-delà des benchmarks simulés, cela intéresserait directement les équipes de recherche qui développent des contrôleurs pour humanoïdes, en réduisant le temps et le coût de calcul nécessaires avant tout transfert vers du matériel réel. Il faut toutefois noter que l'étude reste purement académique et simulée : aucun déploiement sur robot physique n'est mentionné, et les gains restent à valider en dehors des environnements MuJoCo. FastDSAC s'inscrit dans la lignée des méthodes actor-critic distributionnelles dérivées de SAC (Soft Actor-Critic), en se distinguant des approches rapides précédentes qui s'appuyaient sur des distributions de valeur discrètes plutôt que sur une représentation gaussienne continue à variance adaptative. Les auteurs positionnent leur méthode comme une alternative aux algorithmes de référence actuels pour l'entraînement parallèle à grande échelle, sans toutefois nommer d'acteur industriel ni de plateforme robotique spécifique. La suite logique, non abordée dans l'article, serait une validation sur du matériel humanoïde réel.

Recherche❖Paper

1 source

38

1787arXiv cs.RO 

Prompting d'équipes de robots en langage naturel

Des chercheurs présentent un framework permettant de piloter des équipes de robots multiples via des instructions en langage naturel de haut niveau, sans avoir besoin d'appeler un grand modèle de langage au moment du déploiement. La méthode exploite les capacités de raisonnement d'un LLM pour décomposer une tâche collective en sous-tâches, mais uniquement en amont : cette logique est ensuite distillée dans un réseau de neurones récurrent (RNN) minuscule, capable d'encoder un automate fini déterministe (DFA) représentant la séquence et les conditions de la tâche. Pour l'exécution décentralisée, chaque robot s'appuie sur un réseau de neurones sur graphe (GNN) conditionné par les états cachés du RNN et par les embeddings du langage, ce qui permet une prise de décision locale en temps réel sans communication centralisée. Le travail, publié sur arXiv (2509.24575v2, version révisée), a été évalué en simulation et sur des tâches multi-robots réelles nécessitant un comportement séquentiel et collaboratif, avec une démonstration disponible sur le site du projet (sites.google.com/view/prompting-teams). L'intérêt principal est de contourner un problème concret pour l'industrie robotique : les grands modèles de langage interprètent bien des consignes ambiguës, mais leur latence, leur coût de calcul et leur dépendance réseau les rendent inadaptés à l'embarqué temps réel sur des flottes de robots opérant en entrepôt, sur chantier ou en zone sans connectivité fiable. En distillant le raisonnement du LLM dans un modèle RNN léger exécutable à bord, les auteurs proposent de combiner compréhension du langage naturel et contrôle décentralisé robuste, sans le point de défaillance unique d'une architecture centralisée ni la fragilité d'un pipeline interrogeant un LLM à chaque étape. Pour les intégrateurs de flottes multi-robots, cela teste une hypothèse encore peu validée dans le secteur : transférer la sémantique d'un LLM vers un contrôle embarqué temps réel sans perte de robustesse, moyennant un travail d'ingénierie de distillation propre à chaque tâche. Ce travail s'inscrit dans une recherche en robotique multi-agents visant à exploiter les LLM pour la planification de haut niveau tout en conservant un contrôle bas niveau classique et vérifiable, une tension déjà abordée par des approches combinant LLM et machines à états ou logique temporelle. Contrairement aux architectures interrogeant un modèle de fondation à chaque décision, cette proposition mise sur une distillation en amont, proche des méthodes de compression de politiques utilisées pour déployer des agents de renforcement complexes sur du matériel contraint. Publié en tant que "replace" sur arXiv, l'article laisse ouvertes les questions de généralisation à des vocabulaires de tâches plus larges et de passage à l'échelle au-delà des équipes testées en laboratoire, étapes nécessaires avant toute adoption industrielle.

Recherche❖Paper

1 source

38

1788arXiv cs.RO 

Stabilité de la récompense par transition d'étapes pour l'apprentissage par renforcement

Une équipe de recherche présente STDR (Stage-Transition Dense Reward), un framework qui transforme des vidéos de démonstration non structurées en récompenses denses pour entraîner des agents d'apprentissage par renforcement (RL) sur des tâches de manipulation robotique à long horizon, sans design manuel de fonction de récompense. Le système infère automatiquement la structure en étapes d'une tâche à partir des démonstrations, puis fournit deux signaux complémentaires pendant l'entraînement en ligne : une récompense orientée objectif à chaque transition d'étape, et un signal de progression fine à l'intérieur de chaque étape. Un mécanisme de détection hors distribution (OOD) et un module de régulation de la préhension ont été ajoutés pour éviter le "reward hacking", ce biais classique où l'agent exploite des failles de la fonction de récompense plutôt que d'accomplir réellement la tâche. Les tests couvrent 14 tâches de manipulation réparties sur trois bancs d'essai standards du domaine, MetaWorld, ManiSkill et Franka Kitchen, avec des validations complémentaires sur robot réel. L'enjeu dépasse la seule performance académique. Concevoir des récompenses denses à la main reste l'un des goulots d'étranglement majeurs du RL appliqué à la robotique industrielle : chaque nouvelle tâche, chaque nouvelle configuration d'objets impose de retravailler manuellement le signal d'apprentissage, ce qui freine le déploiement à grande échelle chez les intégrateurs. En montrant que STDR égale voire dépasse les récompenses handcrafted sur plusieurs tâches complexes, tout en gagnant en efficacité d'échantillonnage, l'étude appuie l'hypothèse selon laquelle l'apprentissage par vidéos de démonstration peut remplacer l'ingénierie de récompense ad hoc, un argument déterminant pour accélérer l'entraînement de bras robotiques ou de mains manipulatrices en environnement réel plutôt qu'en simulation pure. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage de récompenses par vision (reward learning from video), un axe actif face aux limites du reward shaping manuel et aux coûts d'annotation. Les résultats sur robot réel, où STDR assigne des récompenses stables et bien calibrées sur les exécutions réussies tout en pénalisant correctement les échecs, suggèrent une robustesse au bruit visuel qui manquait souvent aux approches précédentes. Les prochaines étapes attendues porteront sur l'extension à des tâches encore plus longues et sur l'intégration avec des politiques de type VLA (vision-language-action) pour la généralisation multi-tâches.

Recherche❖Paper

1 source

38

1789arXiv cs.RO 

LDHP : planification hiérarchique pilotée par bibliothèque pour la manipulation dextérique non préhensile

LDHP, pour Library-Driven Hierarchical Planning, est un nouveau planificateur pour la manipulation non-préhensile, c'est-à-dire la manutention d'objets fins, larges ou difficiles à saisir avec une prise ferme classique (tissus, plaques, pièces plates). L'architecture proposée fonctionne en deux niveaux : un planificateur de haut niveau, dit "contact-state", propose des trajectoires de pose d'objet via des primitives appelées MoveObject, tandis qu'un planificateur de bas niveau génère des séquences de prise réalisables grâce à des primitives AdjustGrasp. La faisabilité de chaque mouvement est certifiée par des vérifications de collision et des calculs de mécanique quasi-statique, et les segments les plus sensibles au contact sont affinés par une méthode de dichotomie bornée. Les auteurs ont testé leur système sur robot réel, sur deux tâches : le levage d'objets sans mobilité (zero-mobility lifting) et l'insertion dans une fente (slot insertion), avec une exécution jugée cohérente et une robustesse démontrée face aux changements de forme et d'environnement. L'intérêt de ce travail tient à sa position par rapport aux deux grandes familles d'approches existantes. D'un côté, les planificateurs classiques ignorent souvent les contraintes réelles du gripper et produisent des mouvements théoriquement valides mais physiquement inexécutables sur un robot réel, un écueil fréquent derrière les démonstrations qui échouent hors labo. De l'autre, les approches par apprentissage, dont les modèles VLA à la GR00T N2, Pi-0 ou Helix, nécessitent d'immenses volumes de données et peinent à généraliser à des tâches hors distribution. En faisant de l'exécutabilité un critère de conception dès le départ, plutôt qu'une contrainte ajoutée après coup, LDHP découple le mouvement de l'objet de la faisabilité de la prise, ce qui permet à la même pipeline de transférer d'une tâche à l'autre et d'une géométrie d'objet à l'autre sans redéveloppement. Pour les intégrateurs et ingénieurs en robotique industrielle, c'est un signal que des pipelines structurées et certifiables peuvent rivaliser avec les approches data-hungry sur des tâches de manipulation fine, sans les coûts de collecte de données associés. La manipulation non-préhensile reste un problème de recherche ouvert de longue date, distinct du paradigme pick-and-place qui domine encore la robotique industrielle. Le champ s'est historiquement divisé entre méthodes de planification et de recherche formelles d'un côté, et méthodes d'apprentissage entraînées sur de larges jeux de démonstrations de l'autre. LDHP se positionne comme un pont entre les deux : une pipeline de planification structurée et vérifiable, mais conçue pour exposer des points d'accroche permettant d'y greffer, en option, des a priori appris. Publié sur arXiv en version mise à jour (v2), le travail reste à ce stade purement académique, sans produit ni déploiement industriel associé ; les suites logiques concerneraient l'extension à des tâches et des géométries d'objets plus complexes, ainsi qu'une intégration effective de composants appris dans les crochets prévus à cet effet.

Recherche❖Paper

1 source

37

1790arXiv cs.RO 

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

Recherche❖Paper

1 source

37

1791arXiv cs.RO 

CoReLIN : raisonnement basé sur des contraintes pour la navigation interactive à vie sans exemples préalables

Des chercheurs présentent CoReLIN, un système de navigation robotique capable de déplacer des objets pour se frayer un chemin lorsque l'environnement est trop encombré pour laisser un passage libre. La plupart des planificateurs de navigation actuels supposent qu'un chemin sans obstacle existe toujours entre le point de départ et l'objectif, une hypothèse qui ne tient pas dans des environnements réels chargés de mobilier ou d'objets épars. Les auteurs formalisent une nouvelle tâche baptisée Lifelong Interactive Navigation, où un robot mobile doté de capacités de manipulation doit réorganiser la scène pour accomplir des séquences de tâches de placement d'objets, sachant que chaque modification de l'environnement a des répercussions durables sur la navigabilité future. CoReLIN s'appuie sur un modèle de langage qui raisonne sur un graphe de scène structuré pour décider quels objets déplacer, où les repositionner et quelles zones explorer ensuite, tandis qu'un planificateur de mouvement classique exécute les primitives de navigation et de manipulation. Sur le simulateur ProcTHOR-10k, le système dépasse la meilleure référence de 16% selon les métriques standards, et se transfère avec succès sur du matériel réel. L'enjeu dépasse la simple prouesse académique: la plupart des robots de service et de logistique évoluent aujourd'hui dans des environnements dynamiques et encombrés, entrepôts, domiciles, hôpitaux, où l'absence de chemin dégagé est la norme plutôt que l'exception. En couplant raisonnement sémantique par LLM et perception active, CoReLIN illustre une tendance de fond du secteur: remplacer la planification purement géométrique par un raisonnement de plus haut niveau capable de décider quand agir sur l'environnement plutôt que de le contourner. Pour évaluer ce comportement à long terme, les auteurs introduisent deux métriques inédites, le Long-term Efficiency Score et le Price of Clutter, qui capturent le taux de réussite, l'efficacité d'exécution et le coût d'optimalité de l'environnement laissé par le robot. Cette approche s'inscrit dans la lignée des travaux récents combinant graphes de scène et modèles de langage pour la planification robotique zero-shot, et ouvre la voie à des tests sur des tâches plus longues et des scènes réelles plus variées.

Recherche❖Paper

1 source

37

1792arXiv cs.RO 

Robot mobile autonome basé sur l'apprentissage par renforcement multi-objectif coordonné et guidé par échantillonnage

Des chercheurs présentent CIMORL (Coordination-Informed Multi-Objective Reinforcement Learning), un nouveau cadre d'apprentissage par renforcement multi-agents destiné aux systèmes multi-robots devant optimiser plusieurs objectifs simultanément tout en gardant un comportement coordonné. Décrit dans un article arXiv (2606.30893v1), le framework combine un mécanisme de prédiction de poids distribué, une stratégie d'entraînement par "expert privilégié" (l'agent accède à des informations globales pendant l'entraînement mais est déployé de façon totalement décentralisée) et des garanties théoriques de convergence vers des solutions Pareto-optimales. Les auteurs proposent aussi deux variantes basées sur l'échantillonnage : CIMORL-TS, qui s'appuie sur une recherche arborescente (tree search), et CIMORL-MPPI, basée sur du Model Predictive Path Integral. Les tests, menés dans des scénarios coopératifs et adversariaux, montrent une amélioration de 21,2% de l'hypervolume (une métrique standard d'évaluation multi-objectifs) et une meilleure stabilité des politiques que les méthodes de référence de l'état de l'art. Le framework a également été validé sur des drones Crazyflie réels, dans des tâches d'allocation de ressources et des scénarios multi-attaquants/multi-défenseurs en observabilité partielle. L'intérêt principal ici est méthodologique plus qu'industriel immédiat : la plupart des approches multi-agents actuelles reposent sur une coordination fixe ou centralisée, ce qui limite leur adaptabilité et viole les contraintes de déploiement distribué réel. En démontrant qu'un entraînement avec information privilégiée peut se traduire par une exécution purement décentralisée et robuste, CIMORL s'attaque à un problème central pour les flottes de robots autonomes (essaims de drones, robots logistiques en entrepôt, systèmes de défense coordonnés) où la communication entre agents est limitée ou coûteuse. Les chiffres de gain restent toutefois mesurés sur les propres baselines des auteurs, un biais classique en recherche RL qu'il convient de garder en tête avant d'extrapoler à des déploiements industriels. Le travail s'inscrit dans la lignée des recherches sur le RL multi-agents multi-objectifs, un champ qui cherche depuis plusieurs années à concilier optimisation de Pareto et contraintes de décentralisation, notamment pour la robotique en essaim. La validation sur drones Crazyflie, plateforme standard en laboratoire pour ce type d'expérimentation, reste à échelle réduite ; les prochaines étapes attendues seraient des essais sur des flottes plus nombreuses et des environnements moins contrôlés, condition nécessaire avant tout transfert vers des applications commerciales de coordination multi-robots.

Recherche❖Paper

1 source

37

1793arXiv cs.RO 

Labimus : simulation et référentiel pour la manipulation dextérique humanoïde en laboratoire de chimie

Des chercheurs ont présenté Labimus, premier benchmark évaluant la manipulation dextre de robots humanoïdes dans un laboratoire de chimie organique, selon un article publié sur arXiv (2606.31037v1). Le système reconstruit plus de 30 éléments fidèles fonctionnellement à partir de postes de travail réels de chimie organique, via une modélisation dite "real-to-sim", couvrant les opérations centrales des expériences de routine en laboratoire. Labimus intègre des instruments articulés, une physique de poudre basée sur des particules, et des mesures en boucle fermée reliant manipulation et lecture d'instruments. Le benchmark définit six opérations atomiques et un protocole en sept étapes pour la pesée de solides, directement dérivé de procédures opératoires standard utilisées en laboratoire réel. Les auteurs y associent un protocole d'évaluation "precision-aware", mesurant conjointement la réussite de la tâche, la précision expérimentale et l'exécution sur des horizons longs. Trois politiques de contrôle représentatives ont été testées sous des dispositions procédurales variables et des perturbations environnementales. Le résultat central est ce que les auteurs nomment un "gap de précision" : des politiques capables de mener une tâche à terme échouent malgré tout à respecter les tolérances quantitatives exigées par les protocoles expérimentaux réels. C'est un signal important pour l'écosystème robotique humanoïde, où la plupart des démonstrations publiques (Figure 03, Optimus, GR00T N2, Helix) se concentrent sur la réussite visible d'une tâche plutôt que sur sa validité métrologique. Labimus démontre que "terminer la tâche" et "produire un résultat scientifiquement exploitable" sont deux critères distincts, ce qui questionne la pertinence des benchmarks actuels pour des applications à forte exigence de précision comme l'automatisation de laboratoire. Le travail s'inscrit dans la dynamique plus large d'automatisation scientifique par IA, où les plateformes robotiques et le raisonnement scientifique assisté par IA ont progressé rapidement, mais où des opérations comme le transfert solide-solide restent difficiles à standardiser en raison de leur caractère dynamique. Contrairement aux benchmarks de manipulation généralistes existants, Labimus cible spécifiquement ce contexte de précision critique, ouvrant la voie à des travaux futurs de développement de robots humanoïdes fiables pour les laboratoires scientifiques, un segment encore largement inexploré par les acteurs commerciaux du secteur.

Recherche❖Paper

1 source

37

1794arXiv cs.RO 

MVP-Nav : navigateur planificateur avec carte de valeur multicouche

Une équipe de recherche présente MVP-Nav, un système de navigation qui permet à un robot de trouver un objet cible dans un environnement inconnu en utilisant uniquement une caméra RGB, sans capteur de profondeur dédié (lidar ou caméra stéréo). Le problème visé est le "Zero-shot Object Goal Navigation" : un agent doit localiser un objet qu'il n'a jamais rencontré, dans un lieu qu'il découvre en temps réel. Sans mesure directe de la profondeur, les méthodes existantes souffrent soit d'un raisonnement sémantique de haut niveau déconnecté de la géométrie réelle, soit de politiques de bout en bout sans contrainte physique explicite, ce qui produit des trajectoires plausibles sur le papier mais dangereuses en pratique (collisions, chemins irréalisables). MVP-Nav répond à ce problème en reconstruisant une occupation physique explicite à partir d'images monoculaires : des modèles de fondation 3D projettent les instances sémantiques détectées en 2D vers des boîtes englobantes orientées en 3D, formant une carte spatiale globale. Une "Multi-layer Value Map" combine ensuite ces priorités sémantiques avec la géométrie reconstruite dans un espace de coût unique, permettant une planification à la fois sémantiquement pertinente et physiquement viable. L'intérêt pour le secteur de la robotique mobile et des agents embarqués (embodied AI) est direct : la dépendance à des capteurs de profondeur coûteux (lidar, stéréo, temps de vol) reste un frein majeur au déploiement à grande échelle de robots autonomes, notamment mobiles ou humanoïdes évoluant dans des environnements non cartographiés. Un système capable d'atteindre l'état de l'art sur les benchmarks de navigation zero-shot avec une simple caméra RGB représenterait une réduction significative du coût matériel et de la complexité d'intégration, tout en comblant l'écart classique entre "démo qui a l'air de marcher" et comportement réellement sûr sur le terrain, un problème récurrent dans les approches purement sémantiques ou apprises de bout en bout. Ces travaux s'inscrivent dans la lignée des approches combinant modèles de fondation visuels et planification robotique, où l'essor des modèles 3D pré-entraînés (reconstruction monoculaire, détection d'objets orientés) ouvre la voie à des architectures hybrides entre perception sémantique et contraintes physiques classiques. Il est important de noter que ce travail, publié sur arXiv, reste à ce stade une contribution de recherche validée sur des benchmarks de simulation standards pour la navigation d'objectif, sans mention de déploiement sur robot physique réel ni de partenaire industriel. Les prochaines étapes attendues pour ce type d'approche seraient sa validation en conditions réelles, hors simulateur, et son intégration éventuelle dans des piles de navigation de robots mobiles commerciaux.

Recherche❖Paper

1 source

37

1795arXiv cs.RO 

UniTac : modèle multimodal unifié pour la compréhension et la génération tactiles multi-capteurs

Une équipe de recherche présente UniTac, décrit comme le premier modèle multimodal unifié (UMM) conçu spécifiquement pour la compréhension et la génération de données tactiles, dans un article publié sur arXiv (2606.31451v1). Le système modélise le processus tactile comme une transition entre l'absence de contact et le contact, via une représentation à deux niveaux qui encode à la fois les attributs du capteur utilisé et ceux de l'objet touché. Pour la compréhension, UniTac introduit deux tâches inédites : la description des propriétés physiques d'un objet et l'identification du capteur à l'origine du signal. Pour la génération, les auteurs proposent un entraînement en deux étapes, reconstruction puis alignement, complété par une stratégie d'échantillonnage basée sur les caractéristiques propres à chaque capteur afin de simuler des contacts réalistes. Entraîné sur des jeux de données tactiles multi-capteurs à grande échelle, le modèle revendique des performances état de l'art en compréhension tactile et une capacité à générer des signaux tactiles crédibles quel que soit le capteur d'origine. L'enjeu principal touche à la fragmentation du capteur tactile en robotique : les technologies existantes (capteurs optiques type GelSight ou DIGIT, capteurs magnétiques comme ReSkin, etc.) produisent des signaux de formats incompatibles, ce qui oblige généralement à ré-entraîner un modèle par type de capteur. Un modèle unifié capable à la fois d'interpréter et de générer du signal tactile à travers différents capteurs ouvrirait la voie à un transfert d'apprentissage sans recollecte massive de données, et à une augmentation synthétique des jeux de données tactiles pour l'entraînement de politiques de manipulation. C'est un pas potentiel vers l'intégration du toucher dans les modèles vision-langage-action (VLA) qui structurent aujourd'hui la robotique humanoïde, où la perception reste très majoritairement centrée sur la vision. Ce travail s'inscrit dans la continuité des modèles multimodaux unifiés développés pour l'image et le texte, ici transposés au domaine tactile encore largement sous-exploré selon les auteurs. Il ne s'agit à ce stade que d'une publication de recherche, sans capteur commercial ni intégration robotique annoncée : l'article ne précise ni partenariat industriel, ni calendrier de déploiement, ce qui en fait une contribution méthodologique plutôt qu'un produit prêt à l'emploi.

Recherche❖Paper

1 source

37

1796arXiv cs.RO 

IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique

Le laboratoire à l'origine de ces travaux (non précisé dans le résumé, arXiv:2506.32028) présente DVG-WM (Disentangled Video Generation World Model), un modèle du monde vidéo destiné à la manipulation robotique. Le problème ciblé est un compromis connu dans les "world models" embodied: modéliser précisément la dynamique physique nécessite un raisonnement temporel fin image par image, alors que produire des vidéos haute résolution exige une synthèse visuelle coûteuse pilotée par la sémantique globale. Jusqu'ici, les deux étaient entremêlés dans un seul réseau, forçant un choix entre inférence rapide et prédictions grossières, ou rendu détaillé mais trop lent pour de la planification itérative. DVG-WM sépare explicitement les deux tâches: à partir d'une observation initiale et d'une instruction en langage naturel, le modèle génère d'abord une séquence d'états visuels intermédiaires prévisualisant l'interaction physique, puis les raffine en vidéos haute fidélité. Le mécanisme clé est un cascading efficace où le flow matching relie directement la dynamique aux latents vidéo, complété par un mécanisme de dégradation latente qui régénère les détails riches en contacts (préhension, collisions). Testé sur le benchmark LIBERO et sur plateformes réelles, DVG-WM améliore la qualité vidéo tout en accélérant l'inférence jusqu'à 3,97 fois. Pour l'industrie robotique, ce résultat s'attaque directement à un goulot d'étranglement connu des architectures VLA (vision-langage-action) basées sur la prédiction vidéo: la latence d'inférence, rédhibitoire pour du contrôle en boucle fermée temps réel. Un gain de facteur 4 sur la vitesse, sans sacrifier la précision des interactions de contact, rapproche ces world models vidéo d'un usage réellement embarqué plutôt que d'une simple démonstration hors ligne, un point sensible pour les intégrateurs qui évaluent la viabilité de ces approches face aux politiques d'action plus directes. Ce travail s'inscrit dans la lignée des world models vidéo pour la robotique (dans la continuité d'approches type UniPi, iVideoGPT ou GR00T-Dreams), dont la promesse est d'apprendre la physique à partir de vidéo brute plutôt que de simulateurs coûteux à construire. La contribution spécifique de DVG-WM, la désentanglement dynamique/synthèse, ouvre la voie à des variantes combinant d'autres backbones de génération vidéo ou à une extension vers des tâches multi-étapes plus longues, une direction que les auteurs identifient comme suite naturelle de ces travaux.

Recherche❖Paper

1 source

37

1797arXiv cs.RO 

ChronoFlow-Policy : unifier le flux d'interaction passé-présent-futur dans l'apprentissage de politiques visuomotrices

Une équipe de recherche présente ChronoFlow-Policy, une nouvelle politique visuomotrice pour la manipulation robotique, décrite dans un article publié sur arXiv (2606.31493). Le système repose sur une représentation baptisée ChronoFlow, qui capture simultanément les dynamiques d'interaction passées, présentes et futures entre un objet et la pince du robot, sous forme de points-clés 3D épars. Contrairement aux approches existantes qui modélisent séparément soit le contexte historique, soit les prédictions futures, ChronoFlow unifie ces deux dimensions temporelles dans une seule représentation. Cette dernière est apprise conjointement avec les séquences d'actions via une politique basée sur la diffusion, entraînée selon un objectif de co-apprentissage. Les auteurs ont testé leur méthode sur 14 tâches simulées et 5 tâches de manipulation en conditions réelles, montrant des performances systématiquement supérieures à celles de politiques de diffusion de référence considérées comme robustes dans le domaine. L'intérêt de ce travail pour l'industrie de la robotique tient à un problème récurrent dans l'apprentissage par imitation appliqué à la manipulation : les politiques actuelles peinent souvent sur les tâches à long horizon ou non-markoviennes, c'est-à-dire celles où l'action optimale dépend d'un historique d'interactions et pas seulement de l'état instantané. En améliorant la robustesse sur ce type de scénarios, ChronoFlow-Policy s'attaque directement à l'un des points faibles des architectures de type VLA (vision-langage-action) et des politiques de diffusion utilisées pour le contrôle de bras manipulateurs et de mains robotiques. Pour les intégrateurs, cela pourrait se traduire par des politiques moins fragiles face aux séquences d'actions complexes, un enjeu central pour le déploiement en usine ou en logistique. Ce travail s'inscrit dans la lignée des politiques de diffusion pour la manipulation robotique, un courant de recherche actif depuis plusieurs années et largement adopté par les laboratoires travaillant sur les VLA génériques. L'article ne précise pas d'affiliation industrielle ni de partenaire de déploiement identifié ; il s'agit à ce stade d'une contribution académique, validée en simulation et sur un nombre limité de tâches réelles, sans indication de mise à l'échelle industrielle ou de licence commerciale annoncée.

Recherche❖Paper

1 source

37

1798arXiv cs.RO 

LARA : alignement des représentations d'actions latentes pour les modèles vision-langage-action

Une équipe de recherche propose LARA (Latent Action Representation Alignment), un framework qui entraîne conjointement deux composants jusqu'ici séparés dans les modèles vision-langage-action (VLA) : le modèle d'action latente (LAM), qui apprend des représentations d'actions à partir de vidéos non annotées, et le modèle VLA lui-même. Jusqu'à présent, ces deux briques étaient optimisées indépendamment, ce qui limitait leurs bénéfices mutuels : le LAM restait déconnecté du contexte robotique réel, et le VLA était contraint par des représentations figées, sans possibilité d'ajustement. LARA aligne les deux via un mécanisme de représentation partagée, permettant au LAM d'apprendre à partir de trajectoires d'actions réelles pour éviter de capter de simples changements visuels sans pertinence (comme un déplacement de caméra), tandis que le VLA est régularisé par la dynamique prédictive du LAM pour réduire les hallucinations de trajectoires inefficaces. Les auteurs rapportent des gains moyens d'environ 10% en pré-entraînement, 5% en amélioration post-entraînement de modèles VLA déjà entraînés, et 15% en affinage du LAM seul, mesurés sur trois benchmarks de manipulation en simulation et un benchmark réel conçu spécifiquement pour l'évaluation. L'enjeu pour le secteur est la dépendance chronique des VLA à des jeux de données robotiques réels, coûteux et rares à grande échelle. Exploiter des vidéos humaines non étiquetées comme source de supervision, sans perdre en fiabilité, est une piste suivie par plusieurs laboratoires travaillant sur des modèles comme GR00T N2 ou Pi-0. Ce que suggère LARA, c'est que le goulot d'étranglement n'est pas seulement la quantité de données vidéo disponibles, mais la façon dont les représentations d'action apprises restent ou non ancrées dans la réalité physique du robot pendant l'entraînement conjoint. L'approche s'inscrit dans la lignée des travaux sur les Latent Action Models, qui cherchent depuis plusieurs années à combler l'écart entre l'abondance de vidéos web et la rareté des démonstrations robotiques annotées. Contrairement à une annonce produit, il s'agit ici d'un travail académique (version 2 d'un article déposé sur arXiv), sans déploiement industriel annoncé ni calendrier de commercialisation ; sa portée dépendra de sa reproductibilité et de son adoption par les équipes développant des VLA en conditions réelles.

Recherche❖Paper

1 source

37

1799arXiv cs.RO 

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent

Des chercheurs présentent LaMP, un framework de manipulation robotique combinant deux modules experts. Le premier, le "Motion Expert", génère en une seule étape un flux de scene 3D partiellement debruite via une méthode de flow-matching; ses états caches conditionnent ensuite un second module, l'"Action Expert", charge de prédire les actions du robot, via une attention croisée filtrée. Contrairement aux VLA classiques qui déduisent les actions directement de features visuelles 2D, LaMP intègre ainsi un a priori de mouvement 3D explicite sans reconstruction complète multi-étapes. Le système a été évalué sur les bancs d'essai de simulation LIBERO, LIBERO-Plus et SimplerEnv-WidowX, ainsi que sur des expériences réelles. Selon les auteurs, LaMP dépasse systématiquement les références VLA testées, avec les meilleurs taux de réussite moyens a budget d'entrainement égal, et un gain moyen de 9,7% de robustesse sur les perturbations hors distribution de LIBERO-Plus par rapport a la meilleure référence existante. Ce travail cible un point faible connu des politiques VLA: leur difficulté a généraliser a des dynamiques spatiales non vues pendant l'entrainement, un écart souvent qualifie de "sim-to-real" ou de "demo vs reality gap". En forçant les modèles a apprendre implicitement la physique 3D a partir de simples features 2D, les architectures actuelles, dans la lignée de RT-2, Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, restent fragiles des que l'environnement s'écarté du jeu d'entrainement. Pour les intégrateurs et décideurs B2B, la robustesse hors distribution sépare une démonstration convaincante d'un déploiement industriel fiable: c'est souvent le vrai goulot d'étranglement, plus que la réussite brute sur des taches déjà vues. Le papier, publie sur arXiv en version 2, s'inscrit dans un débat plus large sur la meilleure façon d'injecter des priors physiques 3D dans des backbones visuels pré-entraines en 2D, face a des alternatives comme les nuages de points ou les politiques de diffusion conditionnées par la profondeur. Il s'agit d'une contribution académique, sans affiliation industrielle affichée ni indication de déploiement au-delà des benchmarks; les prochaines étapes attendues concernent le passage a l'échelle en conditions réelles et une comparaison directe avec des politiques VLA déjà commercialisées comme Pi-0 ou GR00T N2.

Recherche⚡Actu

1 source

37

1800arXiv cs.RO 

Coordination multirobot pour la planification sous incertitude contextuelle

Un article de recherche publié sur arXiv (2603.13748v3, version révisée) s'attaque à un problème central pour les flottes de robots mobiles : comment agir efficacement quand la priorité des objectifs dépend d'un contexte opérationnel inconnu au départ. Les auteurs formalisent ce problème sous le nom de MR-CUSSP (Multi-Robot Context-Uncertain Stochastic Shortest Path), un cadre qui modélise la collecte d'informations contextuelles via des observations conjointes prises à des états repères ("landmark states"). Leur solution se décompose en deux étages : CIMOP (Coordinated Inference for Multi-Objective Planning), qui calcule des plans guidant les robots vers ces points informatifs pour inférer rapidement le contexte réel, puis LCBS (Lexicographic Conflict-Based Search), un planificateur multi-robot sans collision qui hiérarchise les objectifs selon l'ordre de préférence induit par ce contexte. L'équipe valide son approche sur trois domaines simulés, puis sur un déploiement physique impliquant cinq robots mobiles dans un scénario appelé "salp domain". L'enjeu pratique est réel pour tout opérateur de flottes robotiques évoluant dans des environnements où les règles du jeu changent selon la situation : un robot logistique en entrepôt, un AMR en usine ou un essaim d'exploration peut avoir des priorités radicalement différentes selon un contexte non observable directement (urgence, présence humaine, type de charge). Agir sur la base d'une hypothèse de contexte erronée peut produire un comportement mal aligné, voire dangereux. Ce travail illustre une tendance de fond en planification multi-robot : coupler explicitement l'inférence active (où aller pour lever l'incertitude) et l'optimisation lexicographique des tâches, plutôt que de traiter ces deux problèmes séparément. C'est un signal utile pour les équipes de recherche en coordination multi-agents, même si la validation physique reste limitée à cinq unités et un scénario contrôlé, loin d'un déploiement industriel à grande échelle. Ce travail s'inscrit dans la lignée des recherches sur la planification de chemins multi-robot sous contrainte (le "Conflict-Based Search" est une famille d'algorithmes bien établie dans ce domaine) et sur la prise de décision séquentielle dans l'incertitude (les Stochastic Shortest Path problems). La contribution spécifique ici est l'ajout d'une dimension de préférences lexicographiques dépendantes du contexte, une brique qui pourrait intéresser des acteurs académiques et industriels travaillant sur des flottes hétérogènes en environnement partiellement observable. Le fait qu'il s'agisse d'une version "replace" sur arXiv suggère un article déjà en révision, potentiellement en vue d'une soumission à une conférence de robotique majeure, sans qu'aucune date de publication définitive ne soit précisée.

Recherche❖Paper

1 source