Aller au contenu principal

Actualités robotique — page 69

7 309 articles au fil, du plus récent au plus ancien.

Object SLAM sémantique semi-incrémental sans association de données
3401arXiv cs.RO 

Object SLAM sémantique semi-incrémental sans association de données

Une équipe de recherche publie sur arXiv (identifiant 2607.23384) un nouveau framework de SLAM baptisé "Semantic Semi-Incremental Data-Association-Free Object SLAM", conçu pour résoudre conjointement quatre problèmes habituellement traités séparément : l'association des mesures aux bons landmarks, l'estimation de la trajectoire du robot, la position des objets repérés dans l'environnement, et leur sémantique. Le système exploite à la fois des mesures de position classiques et des informations sémantiques issues de réseaux de détection d'objets (labels de classe) ou de modèles de fondation visuels (vecteurs de features), qu'il combine avec les données odométriques du robot. La méthode adopte un schéma d'estimation semi-incrémental, un compromis entre les approches purement incrémentales et par lots, pensé pour améliorer la précision tout en maîtrisant le coût de calcul. Les auteurs fournissent également des heuristiques et une justification théorique pour estimer automatiquement le nombre de landmarks présents dans une scène, un paramètre souvent fixé arbitrairement dans les systèmes existants. Le framework est validé sur des jeux de données synthétiques et réels, avec deux types d'information sémantique testés, et affiche des performances supérieures à des baselines jugées solides par les auteurs. L'enjeu dépasse la seule prouesse académique. L'association de données reste l'un des goulots d'étranglement historiques du SLAM : une erreur d'appariement entre une mesure et un landmark peut faire diverger toute la carte construite par un robot mobile ou un AMR en environnement encombré. En intégrant la sémantique directement dans le calcul d'association plutôt qu'en l'utilisant comme simple filtre a posteriori, cette approche s'inscrit dans une tendance de fond où les systèmes de perception cessent de traiter géométrie et sémantique comme deux couches indépendantes. Pour les intégrateurs travaillant sur la navigation autonome en entrepôt ou en environnement industriel, cela laisse entrevoir des cartes plus robustes aux occlusions et aux environnements dynamiques, où les repères géométriques seuls sont souvent ambigus. Ce travail s'inscrit dans la lignée des systèmes "SLAM sémantique" et "SLAM sans association explicite" qui se sont multipliés depuis l'essor des détecteurs d'objets profonds et des modèles de fondation visuels type CLIP ou DINO. Contrairement aux approches qui traitent l'association de données comme un problème résolu en amont par un simple seuillage de similarité, les auteurs la formulent comme une variable à estimer conjointement avec le reste du système, ce qui la rapproche des travaux récents en SLAM bayésien multi-hypothèses. La publication ne mentionne pas de déploiement sur robot réel en conditions industrielles ; il s'agit à ce stade d'une contribution méthodologique évaluée en benchmark, dont l'adoption pratique dépendra de sa capacité à tourner en temps réel embarqué.

RecherchePaper
1 source
Mémoire pour attention : re-perception conditionnée par le langage avec une carte vision-langage-mouvement
3402arXiv cs.RO 

Mémoire pour attention : re-perception conditionnée par le langage avec une carte vision-langage-mouvement

Des chercheurs testent une carte persistante annotée par comportements, la Vision-Language-Motion Map (VLMM), sur deux questions de planification robotique. Sur 28 scènes du simulateur AI2-THOR, un planificateur exploitant les coûts comportementaux de la VLMM réduit l'objectif de planification d'environ 35% par rapport à une approche classique. Mais en exécution réelle en boucle fermée, ce gain fond à environ 4%, et un modèle vision-langage (VLM) interrogé à la demande fait quasiment aussi bien. Sur la seconde question, celle de savoir quoi ré-observer en priorité quand le budget de perception est limité, la mémoire de la carte, historique des changements ou simple date de dernière observation, produit le meilleur calendrier de re-perception, équivalent à un oracle, là où un VLM sans mémoire se révèle médiocre. Le bénéfice se concentre sur les objets importants (facteur d'environ 1,6 fois la moyenne), et une tâche de récupération d'objet confirme moins de trajets inutiles. Le gain croît avec l'hétérogénéité des scènes selon une borne de Cauchy-Schwarz, égale à la variance de la racine de la volatilité. Avec un vrai prior CLIP sur des objets rendus, l'avantage atteint +21 à 26%. Quand la tâche est conditionnée par le langage, la VLMM identifie les objets pertinents en vocabulaire ouvert et suit leurs changements, dépassant une base récence-pertinence de +2,5% et un VLM à la demande de +8,9%. Ce résultat nuance l'idée répandue qu'une carte sémantique persistante améliore mécaniquement la navigation: pour "comment contourner une pièce", la mémoire est un luxe dont l'intérêt s'évapore à l'exécution, un VLM interrogé au vol suffisant. En revanche, pour décider quoi re-observer sans tout rescanner, cruciale pour un robot mobile ou humanoïde à budget de calcul et de caméra limité, la mémoire change la donne. Pour les intégrateurs, la leçon est concrète: pas besoin de carte comportementale complexe pour le déplacement, mais un vrai gain à prioriser les re-vérifications sur les objets qui comptent, avec économie de calcul et de temps de cycle. Ni le langage seul ni la dynamique seule ne suffisent, seule leur combinaison produit l'avantage. Les cartes sémantiques enrichies par VLM se sont multipliées avec la montée des modèles vision-langage-action, généralement validés en simulation avant tout déploiement réel. Ce travail se positionne en creux face à cette tendance en exposant l'écart entre gains de planification hors ligne et performance réelle en boucle fermée, un avertissement utile pendant que le secteur multiplie les annonces de cartes cognitives pour robots humanoïdes et logistiques. Les auteurs comparent leur approche aux VLM à la demande, sans mémoire mais coûteux en calcul, et aux baselines de récence pondérée. Travail de recherche publié sur arXiv, sans partenaire industriel annoncé, ses suites naturelles porteraient sur une validation hors simulateur et sur des plateformes robotiques réelles, où l'arbitrage calcul-mémoire-perception est plus contraint.

RecherchePaper
1 source
PAC-DP : apprentissage de politiques de diffusion par une approche PAC-bayésienne
3403arXiv cs.RO 

PAC-DP : apprentissage de politiques de diffusion par une approche PAC-bayésienne

L'article scientifique publié sur arXiv le 28 juillet 2026 présente PAC-DP (PAC-Bayesian Diffusion Policy), une méthode d'entraînement pour les politiques de diffusion utilisées en manipulation robotique. Les auteurs modélisent la politique de diffusion comme un réseau de neurones bayésien et définissent une borne de généralisation PAC-Bayes, ce qui leur permet de dériver un nouvel objectif d'entraînement. Concrètement, cet objectif ajoute à la fonction de perte de débruitage standard un terme de régularisation basé sur la divergence de Kullback-Leibler entre la distribution postérieure et la distribution a priori des paramètres du réseau. Les résultats expérimentaux, obtenus sur plusieurs benchmarks de manipulation robotique, montrent une amélioration des performances de débruitage, une log-vraisemblance négative variationnelle plus faible, et des taux de réussite supérieurs par rapport aux politiques de diffusion classiques. Cette contribution s'adresse à un problème concret et récurrent en robotique : l'entraînement des politiques de diffusion repose généralement sur un objectif de débruitage qui offre peu de garanties de généralisation, en particulier dans les régimes à données limitées typiques des applications robotiques réelles, où collecter des démonstrations expertes reste coûteux. Les auteurs montrent que les gains de performance sont les plus marqués justement dans ces régimes à faibles données et sur les tâches complexes, ce qui suggère que PAC-DP pourrait être particulièrement utile pour les intégrateurs et laboratoires de recherche disposant de jeux de démonstrations restreints plutôt que de flottes massives de collecte de données comme celles utilisées par les grands acteurs des politiques vision-langage-action (VLA). Les politiques de diffusion se sont imposées ces dernières années comme une approche dominante pour l'apprentissage de comportements de manipulation complexes à partir de démonstrations, notamment dans des frameworks comme Diffusion Policy ou dans des composants de modèles VLA plus larges. Mais leur dépendance à un entraînement purement génératif, sans mécanisme explicite de contrôle de la généralisation, reste une limite reconnue par la communauté. PAC-DP s'inscrit dans une lignée de travaux cherchant à apporter des garanties théoriques plus rigoureuses à l'apprentissage de politiques robotiques, en s'appuyant sur le cadre PAC-Bayes déjà utilisé en apprentissage automatique classique. L'article, disponible en prépublication, ne précise pas encore de calendrier de publication en conférence ni de code source associé.

RecherchePaper
1 source
IA physique et gouvernance : de la théorie à la pratique sur tout le cycle de vie
3404arXiv cs.RO 

IA physique et gouvernance : de la théorie à la pratique sur tout le cycle de vie

Voici l'article traduit et résumé, en trois paragraphes autonomes, sans titres ni tirets cadratins. Une équipe de chercheurs publie une synthèse complète sur la gouvernance de l'IA physique, ces systèmes d'intelligence artificielle qui, contrairement aux IA purement logicielles, perçoivent leur environnement, interagissent physiquement avec lui et coexistent directement avec des humains, comme les robots humanoïdes, les bras manipulateurs ou les véhicules autonomes. Le papier propose un cadre de gouvernance unifié organisé autour d'un cycle de vie en cinq étapes : recherche, conception, données, développement du modèle et déploiement. Pour chacune de ces étapes, les auteurs détaillent des pratiques concrètes de mise en œuvre, allant des contraintes de sécurité en temps réel à la gestion des interactions avec des environnements dynamiques et imprévisibles, en passant par les enjeux propres à la collecte et à l'usage des données issues de capteurs physiques. Cette contribution répond à un vide réel dans les cadres existants de gouvernance de l'IA, largement pensés pour des systèmes basés écran (chatbots, modèles de recommandation, génération de texte) et mal adaptés aux exigences des robots qui agissent physiquement sur le monde. Pour les intégrateurs, les fabricants de robots humanoïdes et les décideurs B2B qui déploient des systèmes comme des bras collaboratifs ou des plateformes mobiles autonomes en usine, l'absence de référentiel de gouvernance clair complique la certification, la conformité réglementaire et la gestion des risques liés à la sécurité humaine. Ce travail fournit un langage commun et une grille de lecture opérationnelle qui pourrait servir de base à de futures normes ou exigences réglementaires spécifiques à la robotique, distinctes de celles qui s'appliquent aux IA génératives. L'émergence de ce que les auteurs appellent la Physical AI s'inscrit dans une dynamique plus large où les modèles vision-langage-action (VLA) comme Pi-0, GR00T N2 ou Helix, ainsi que les plateformes humanoïdes de nouvelle génération, passent progressivement du stade de la démonstration à celui du déploiement réel en environnement industriel ou domestique. Alors que les questions de sécurité, de responsabilité juridique et d'acceptabilité sociale deviennent centrales à mesure que ces robots quittent les laboratoires pour les usines et les espaces partagés avec le public, ce cadre de gouvernance vise à orienter chercheurs, développeurs et régulateurs vers une conception plus rigoureuse et traçable. Les auteurs positionnent leur travail comme une référence structurante, invitant à des développements ultérieurs qui viendraient préciser des exigences sectorielles concrètes, secteur par secteur ou cas d'usage par cas d'usage.

RegulationReglementation
1 source
DeReCo : découpler l'apprentissage de la représentation et de la coordination pour le transport coopératif décentralisé multi-robots adaptatif à l'objet
3405arXiv cs.RO 

DeReCo : découpler l'apprentissage de la représentation et de la coordination pour le transport coopératif décentralisé multi-robots adaptatif à l'objet

Une revue académique (pas d'annonce produit ni de déploiement commercial), donc j'adapte le cadre en conséquence. Des chercheurs présentent DeReCo (Decoupling Representation and Coordination learning), un nouveau framework d'apprentissage par renforcement multi-agent (MARL) pour le transport coopératif décentralisé d'objets par plusieurs robots. Le problème ciblé : généraliser cette coopération à des objets de formes et de propriétés physiques très variées, sous exécution décentralisée, où chaque robot ne dispose que d'observations partielles. L'approche classique optimise conjointement, de bout en bout, la représentation de l'objet et la politique de coordination en randomisant formes et propriétés durant l'entraînement, une méthode coûteuse en échantillons car les erreurs de représentation, dues à l'observabilité partielle, déstabilisent l'apprentissage de la coordination, tandis que la non-stationnarité propre au MARL dégrade en retour la qualité des représentations. DeReCo découple les deux tâches via un entraînement en trois étapes : apprentissage centralisé de la coordination avec accès à des informations privilégiées sur l'objet, reconstruction des représentations dépendantes de l'objet à partir des observations locales seules, puis retrait progressif de ces informations privilégiées pour aboutir à une exécution totalement décentralisée. En simulation, DeReCo dépasse les méthodes de référence sur trois objets d'entraînement, se généralise à six objets inédits présentant des masses et coefficients de friction différents, et obtient de meilleurs résultats que les baselines sur deux objets inédits testés en conditions réelles avec de vrais robots. Pour l'industrie robotique, ce travail s'attaque à un verrou concret : la manipulation coopérative multi-robots reste aujourd'hui largement cantonnée à des objets connus à l'avance ou à des scénarios d'entraînement peu variés, ce qui limite son déploiement en logistique, en entrepôt ou sur chantier, où les charges à déplacer diffèrent sans cesse en poids, en forme et en friction. En démontrant qu'un découplage architectural, plutôt qu'un entraînement bout en bout monolithique, améliore à la fois l'efficacité d'apprentissage et la généralisation à des objets jamais vus, DeReCo apporte une piste méthodologique réutilisable au-delà du transport d'objets, pour tout système multi-agent décentralisé confronté à des tâches non stationnaires. Le test sur robots réels, même limité à deux objets inédits, est le point le plus significatif : il confirme que les gains obtenus en simulation ne s'évaporent pas au passage au monde réel, un écart (sim-to-real gap) qui reste l'un des principaux points de friction du secteur. Ce papier, disponible sur arXiv sous une version révisée (2603.08111v2), s'inscrit dans un courant de recherche plus large sur l'apprentissage par renforcement multi-agent appliqué à la robotique coopérative, où la difficulté majeure reste de faire coexister observabilité partielle, communication limitée entre agents et diversité des tâches. La stratégie en trois étapes de DeReCo, avec informations privilégiées en phase d'entraînement puis retrait progressif, rappelle les techniques de type teacher-student déjà utilisées en locomotion de robots quadrupèdes et humanoïdes pour combler l'écart entre simulation et déploiement réel. Les auteurs limitent pour l'instant leurs validations réelles à un nombre restreint d'objets et ne précisent pas le nombre de robots impliqués ni le matériel utilisé, ce qui laisse ouverte la question du passage à l'échelle vers des flottes plus larges ou des objets de très grande taille, typiques des usages industriels visés à terme.

RecherchePaper
1 source
Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)
3406arXiv cs.RO 

Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)

Une équipe de recherche a publié sur arXiv (référence 2607.23969v1) LeapBot-WA, un nouveau modèle de type World Action Model (WAM) pour le contrôle robotique. Contrairement aux WAM classiques qui génèrent des vidéos pixel par pixel pour prédire l'évolution d'une scène, ce qui gaspille de la capacité de calcul sur des détails visuels sans intérêt pour la tâche et rend les politiques vulnérables aux distracteurs visuels, LeapBot-WA adopte une architecture "Predictive-Latent" en s'appuyant sur le Joint-Embedding Predictive Architecture (JEPA), utilisé comme "ancre du monde" (World-Anchor). Le système prédit la dynamique physique directement dans un espace latent abstrait plutôt que de reconstruire des images. Pour relier cet espace latent aux modèles de diffusion, les auteurs introduisent un Isotropic Semantic Autoencoder (ISAE), qui remodèle l'espace latent pour éviter les dérives hors variété. L'architecture repose aussi sur un Mixture-of-Transformers asymétrique : un Anchor Diffusion Transformer guide l'entraînement d'un Action Diffusion Transformer, puis est retiré à l'inférence pour ne conserver aucun surcoût de calcul. Sur les benchmarks LIBERO et RoboTwin 2.0, LeapBot-WA atteint l'état de l'art parmi les modèles prédictifs et rivalise avec les meilleurs WAM génératifs, sans pré-entraînement massif sur trajectoires. Le code est disponible sur GitHub (LeapWM/leapbot-wa). Pour l'industrie robotique, ce résultat questionne un présupposé répandu : que la génération vidéo pixel par pixel est nécessaire pour qu'un modèle de monde capture une dynamique physique exploitable. En montrant qu'un espace latent compact suffit à égaler des générateurs vidéo lourds, tout en gagnant en robustesse zero-shot face à des environnements inédits et en démontrant un transfert réel sur robot physique, LeapBot-WA plaide pour des architectures VLA plus légères et déployables, un enjeu concret pour les intégrateurs cherchant à réduire la latence d'inférence en production plutôt qu'en démonstration. Le travail s'inscrit dans la filiation du JEPA popularisé par les travaux de Yann LeCun sur l'apprentissage auto-supervisé non génératif, appliqué ici pour la première fois comme socle central d'un WAM plutôt que comme simple module auxiliaire. Il se positionne face aux générateurs vidéo dominants du secteur (type Pi-0, GR00T N2 ou Helix) qui misent sur la synthèse pixel. Les auteurs annoncent la publication du code mais ne mentionnent pas encore de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu
1 source
Structured Observation Language pour la navigation vision-langage efficace et généralisable
3407arXiv cs.RO 

Structured Observation Language pour la navigation vision-langage efficace et généralisable

Une équipe de recherche propose SOL-Nav (Structured Observation Language for Navigation), une nouvelle méthode de navigation par instructions en langage naturel pour agents embarqués, décrite dans un article déposé sur arXiv (2603.27577v2). Plutôt que de convertir les images en tokens visuels ou en représentations implicites comme le font la plupart des systèmes de Vision-Language Navigation (VLN) actuels, SOL-Nav découpe chaque image RGB-D captée par l'agent en une grille de N par N cellules, puis extrait pour chaque cellule des informations sémantiques, de couleur et de profondeur. Ces données sont transformées en texte structuré, concaténé directement avec l'instruction en langage naturel, avant d'être transmises telles quelles à un modèle de langage pré-entraîné (PLM). L'ensemble du pipeline évite ainsi tout module de vision dédié. Les auteurs rapportent des résultats sur les benchmarks standards R2R et RxR ainsi que des tests en conditions réelles, avec une réduction significative de la taille du modèle et de la dépendance aux données d'entraînement visuel. L'intérêt principal de cette approche réside dans la généralisation : les méthodes VLN classiques, qui s'appuient sur un pré-entraînement visuel massif, tendent à mal résister aux variations d'environnement comme les changements d'éclairage ou de texture. En reformulant l'observation visuelle en langage structuré, SOL-Nav exploite directement les capacités de raisonnement des PLM sans repasser par un espace latent visuel fragile. Pour les équipes travaillant sur la navigation robotique autonome, cela suggère une voie alternative aux architectures VLA lourdes, potentiellement plus légère à déployer et moins gourmande en données d'entraînement spécifiques à un environnement. Ce travail s'inscrit dans la lignée des recherches en VLN qui cherchent depuis plusieurs années à combler l'écart entre performance en simulation et robustesse réelle, un problème récurrent pointé par le secteur pour les agents de navigation entraînés sur des jeux de données comme R2R ou RxR. La validation en conditions réelles annoncée par les auteurs, au-delà des seuls benchmarks académiques, laisse présager des travaux de suivi visant à tester la méthode sur des plateformes robotiques variées et des instructions plus complexes.

RecherchePaper
1 source
Apprentissage de priors moteurs hybrides réutilisables pour la locomotion humanoïde par imitation de mouvement
3408arXiv cs.RO 

Apprentissage de priors moteurs hybrides réutilisables pour la locomotion humanoïde par imitation de mouvement

Une équipe de recherche propose un pipeline en trois étapes pour transformer l'imitation de mouvement humain en un "hybrid motion prior" (HMP) réutilisable pour la locomotion humanoïde. D'abord, une politique experte est entraînée par apprentissage par renforcement à imiter des séquences de motion capture humaine retargetées sur un squelette robotique. Cette expertise est ensuite distillée dans une architecture figée composée d'un encodeur proprioceptif, d'un codebook RVQ (residual vector-quantized) et d'un décodeur d'actions. Enfin, des politiques spécifiques à chaque tâche sont entraînées à sélectionner des entrées discrètes de ce codebook, sans jamais réentraîner le HMP sous-jacent. La méthode est évaluée en simulation sur trois tâches : suivi de vitesse, navigation vers un point cible, et récupération de chute avec suivi de vitesse. La politique de suivi de vitesse a ensuite été déployée sur un robot réel, un Unitree G1. Les chercheurs montrent aussi qu'entraîner le codebook avec un "rotation trick" plutôt qu'un estimateur straight-through classique améliore l'organisation de l'espace latent et réduit le nombre de chutes en aval. L'intérêt principal tient à la réutilisabilité : au lieu d'entraîner une politique RL distincte par tâche avec sa propre fonction de récompense, un seul module d'action reste figé et sert d'interface commune à plusieurs politiques de haut niveau. Cela répond à une limite connue de l'imitation de mouvement, dont les contrôleurs restent généralement de simples "suiveurs" de référence, inutilisables tels quels pour résoudre une tâche. Le codebook obtenu s'avère aussi interprétable : le nombre d'étages RVQ actifs module directement les types de démarche disponibles, un signal utile pour du contrôle hiérarchique. Pour les équipes qui construisent des piles logicielles humanoïdes, cette approche s'inscrit dans la même logique que les bibliothèques de compétences motrices low-level découplées des politiques de tâche, un principe partagé par des modèles VLA comme Pi-0, GR00T N2 ou Helix, même si ceux-ci ciblent surtout la manipulation. Ce travail s'inscrit dans la lignée des méthodes d'imitation de mouvement pour humanoïdes (type DeepMimic, ASE) qui cherchent depuis plusieurs années à extraire des priors moteurs génériques à partir de données de capture humaine. Le déploiement reste toutefois limité à un seul robot et une seule tâche testée en réel, la navigation et la récupération de chute n'ayant été validées qu'en simulation. Les auteurs présentent cela comme une brique réutilisable, ouvrant la voie à d'autres politiques de tâche construites sur le même HMP sans nouveau cycle d'entraînement complet.

RecherchePaper
1 source
NEO : NeRF Une Fois, Éditer Plusieurs Fois pour la Manipulation Continue d'Objets
3409arXiv cs.RO 

NEO : NeRF Une Fois, Éditer Plusieurs Fois pour la Manipulation Continue d'Objets

Des chercheurs présentent NEO (NeRF It Once, Edit It Many Times), un framework unifié qui permet d'éditer des champs de radiance neuronaux (NeRF) guidés par le langage pour la manipulation robotique. Le système repose sur trois apports techniques : une méthode de suppression d'objets guidée par texte combinant un rééchantillonnage du champ neuronal avec un inpainting progressif cohérent sur plusieurs vues, une technique d'édition directe des poids du NeRF par distillation de connaissances qui compose le champ original et le champ édité via un modèle enseignant-élève, permettant de modéliser à l'avance l'état futur d'une scène avant qu'un robot n'exécute une action, et NEO-Dataset, présenté comme le premier benchmark dédié à l'évaluation quantitative des méthodes d'édition de scènes NeRF appliquées à la manipulation robotique. Selon les auteurs, l'approche surpasse les méthodes de référence de l'état de l'art sur des tâches d'édition de scène, incluant la suppression d'objets et des expériences robotiques de type pick-and-place, avec des résultats visuellement cohérents et géométriquement consistants, réduisant les artefacts habituellement générés par les approches concurrentes. Pour les équipes qui travaillent sur la perception et la planification robotique, l'intérêt de NEO tient à sa capacité à anticiper l'état d'une scène après une action, sans reconstruire un NeRF complet à chaque itération : c'est un gain potentiel en temps de calcul et en robustesse pour les pipelines de saisie et de manipulation basés sur des représentations 3D implicites. La réduction des artefacts est un point concret pour les intégrateurs, car les distorsions géométriques issues d'un NeRF édité de façon incohérente peuvent fausser la planification de préhension ou la détection de collision. L'existence d'un benchmark dédié, NEO-Dataset, comble aussi un manque : jusqu'ici, l'évaluation des méthodes d'édition de scène NeRF pour la robotique manquait de protocole standardisé, ce qui rendait les comparaisons entre approches peu fiables. Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter les NeRF, initialement conçus pour le rendu de vues nouvelles, comme représentations exploitables pour la planification robotique et la simulation de scènes futures. Les méthodes antérieures d'édition de NeRF souffraient soit d'un coût de réentraînement prohibitif, soit d'artefacts visuels limitant leur usage en boucle fermée avec un robot. En proposant une édition directe des poids par distillation plutôt qu'un réentraînement complet, NEO se positionne comme une alternative plus légère aux approches existantes. Le papier, publié sur arXiv, ne précise pas encore de déploiement matériel à grande échelle ; il s'agit à ce stade d'une contribution méthodologique et d'un benchmark, dont l'adoption par d'autres équipes de recherche en manipulation robotique reste à confirmer.

RecherchePaper
1 source
UAV-ON : un référentiel pour la navigation aérienne autonome vers des objets en monde ouvert
3410arXiv cs.RO 

UAV-ON : un référentiel pour la navigation aérienne autonome vers des objets en monde ouvert

Un nouveau benchmark baptisé UAV-ON vise à évaluer la capacité de drones autonomes à localiser des objets dans de vastes environnements ouverts, sans dépendre d'instructions linguistiques détaillées. Publié sur arXiv (2508.00288v5), le jeu de données couvre 14 environnements haute fidélité construits sous Unreal Engine, mêlant zones urbaines, milieux naturels et espaces mixtes, avec des agencements spatiaux complexes. Il définit 1270 objets cibles annotés individuellement, chacun décrit par une instruction de niveau instance précisant la catégorie, l'emprise physique et des descripteurs visuels, permettant un raisonnement ancré dans la scène. Les chercheurs ont aussi implémenté plusieurs méthodes de référence, dont Aerial ObjectNav Agent (AOA), une politique modulaire combinant sémantique de l'instruction et observations égocentriques pour une exploration orientée objectif sur de longs horizons. Résultat: tous les modèles testés peinent à accomplir la tâche, ce qui souligne la difficulté cumulée de la navigation aérienne et de l'ancrage sémantique des objectifs. Ce benchmark marque une rupture avec le paradigme dominant de la navigation vision-langage (VLN), qui repose sur des séquences d'instructions pas à pas et limite de fait l'autonomie et le passage à l'échelle des agents. En proposant une tâche d'Object Goal Navigation où l'agent ne reçoit qu'un objectif sémantique de haut niveau, UAV-ON teste une compétence plus proche des besoins réels d'inspection, de surveillance ou de cartographie par drone. L'échec généralisé des baselines confirme que le passage d'instructions détaillées à des objectifs sémantiques abstraits reste un verrou majeur, loin d'être résolu malgré les progrès des modèles vision-langage-action sur d'autres plateformes robotiques. La navigation aérienne embarquée demeure sous-explorée comparée à la navigation terrestre, où les benchmarks VLN se sont multipliés ces dernières années. UAV-ON s'inscrit dans cette lignée en l'adaptant aux contraintes spécifiques du vol: grande échelle, environnements non structurés, absence de repères au sol. Les auteurs positionnent ce travail comme une fondation pour de futures recherches sur l'autonomie UAV pilotée par des descriptions sémantiques, ouvrant la voie à des méthodes capables de généraliser au-delà des scénarios scriptés actuels.

RecherchePaper
1 source
CReF : fusion croisée et récurrente pour la locomotion humanoïde conditionnée par la profondeur
3411arXiv cs.RO 

CReF : fusion croisée et récurrente pour la locomotion humanoïde conditionnée par la profondeur

Cette avancée en recherche fournit une méthode de bout en bout pour permettre à un robot humanoïde de marcher sur des terrains complexes en utilisant seulement une caméra de profondeur, sans passer par une carte 3D intermédiaire du terrain. Baptisée CReF (Cross-modal and Recurrent Fusion), l'approche fusionne directement les données de profondeur brutes captées à l'avant du robot avec les signaux de proprioception (l'état interne des articulations et du corps), via un mécanisme d'attention croisée piloté par la proprioception. Cette fusion passe ensuite par un bloc résiduel à porte, puis par une unité récurrente GRU dotée d'une porte de sortie de type "highway", qui pondère dynamiquement la contribution des informations récurrentes et instantanées selon le contexte. Les chercheurs ajoutent une récompense d'appui au sol qui identifie, à partir de nuages de points sous les pieds, les zones porteuses les plus proches et incite le robot à y poser le pied. Testée en simulation puis sur un humanoïde physique, la méthode montre un transfert zero-shot réussi vers des environnements réels variés : mains courantes, palettes ajourées, surfaces fortement réfléchissantes et terrains extérieurs encombrés visuellement. L'intérêt pour l'industrie tient à la simplification radicale du pipeline perception-vers-contrôle. Les méthodes précédentes s'appuyaient souvent sur des représentations de terrain 2.5D centrées sur le robot ou sur des objectifs géométriques auxiliaires pendant l'apprentissage, ce qui imposait des étapes de construction de carte ou des transferts de compétences en plusieurs stades. En évitant ces intermédiaires géométriques explicites, CReF réduit la latence et la complexité d'intégration, un enjeu direct pour les intégrateurs qui cherchent à déployer des humanoïdes en environnement logistique ou industriel réel plutôt qu'en démonstration contrôlée. Le succès du transfert zero-shot sur des surfaces réfléchissantes et des structures ajourées, deux cas connus pour perturber les capteurs de profondeur, est une preuve empirique concrète que l'apprentissage bout-en-bout depth-vers-contrôle peut tenir la route hors laboratoire, un point encore débattu dans le secteur. Ce travail s'inscrit dans la lignée des recherches sur la locomotion perceptive des humanoïdes, où la tension entre robustesse et simplicité d'architecture reste un problème ouvert, à côté des approches concurrentes utilisant des cartes d'élévation ou des skills pré-entraînés séparément. L'article, disponible sur arXiv, en est à sa troisième version révisée, signe d'itérations après retours de relecture. Les auteurs ne précisent pas de plateforme commerciale ni de partenaire industriel associé à ces travaux, qui relèvent pour l'instant de la recherche académique plutôt que d'un produit déployé ; la prochaine étape naturelle serait une validation sur davantage de plateformes humanoïdes et en conditions de production prolongées.

RecherchePaper
1 source
Stress-tester des agents LLM dans un laboratoire de chimie robotisé
3412arXiv cs.RO 

Stress-tester des agents LLM dans un laboratoire de chimie robotisé

Une équipe de recherche a testé des agents basés sur des grands modèles de langage (LLM) dans un laboratoire de chimie entièrement robotisé, utilisé comme banc d'essai physique plutôt que simulé. Le laboratoire compte 45 postes de travail modulaires exposés sous forme de compétences ("skills") lisibles par machine, ce qui a permis de lancer 4 608 essais au total. Résultat brut : seulement 3,3% des essais ont produit des workflows exécutables jugés valides par des experts humains selon les contraintes réelles du laboratoire. Même le système le plus performant testé n'a atteint que 28,1% de réussite. Sur le plan de la planification à long horizon, à peine trois workflows exécutables ont dépassé 30 opérations enchaînées, le plus long comptant 44 étapes. Sur cinq rounds successifs intégrant du feedback expérimental, les agents ont procédé à des ajustements ponctuels et locaux, mais aucun n'a jamais replanifié un workflow dans son ensemble ni redessiné une méthode analytique complète. Ce résultat vient tempérer le discours ambiant sur des agents IA capables de piloter seuls une découverte scientifique de bout en bout. Il montre que la génération de plans en langage naturel, aussi convaincante soit-elle sur le papier, ne garantit pas l'exécutabilité physique réelle en environnement contraint, et que l'écart entre démonstration et déploiement reste très large. Pour les acteurs de l'automatisation de laboratoire et les décideurs qui envisagent des pipelines de R&D pilotés par IA, le signal est clair : les agents actuels excellent à produire des plans plausibles, mais échouent majoritairement à les adapter face à des preuves expérimentales contradictoires, une capacité pourtant centrale à toute démarche scientifique itérative. Le champ de l'"IA agentique pour la science" s'est développé rapidement ces deux dernières années, porté par des promesses de laboratoires autonomes capables de concevoir et exécuter des expériences sans intervention humaine. La plupart des évaluations existantes reposent toutefois sur des simulations ou des tâches purement textuelles, ce qui limite leur valeur prédictive. En s'appuyant sur un vrai laboratoire robotisé avec ses contraintes physiques, cette étude propose un cadre diagnostique reproductible pour mesurer la maturité réelle de déploiement de ces agents, et appelle à des travaux futurs axés sur des boucles fermées permettant une véritable replanification et une redéfinition des méthodes analytiques en cours d'expérience.

RecherchePaper
1 source
Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact
3413arXiv cs.RO 

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

FeelWorld est un nouveau modèle du monde visuo-tactile hiérarchique présenté dans un article arXiv (2607.24267v1) qui prédit conjointement les futurs visuels latents et trois états tactiles : l'état de contact, un latent tactile 3D encodant les informations de force, et l'état de glissement. Ces trois signaux sont produits par un modèle de dynamique latente partagé, entraîné avec une supervision explicite et un mécanisme d'attention asymétrique à porte de contact, qui maintient un chemin de prédiction purement visuel avant tout contact puis active la prédiction conjointe visuo-tactile une fois le contact établi. L'entraînement s'appuie sur des rollouts autorégressifs et une injection de bruit contextuel pour limiter l'accumulation d'erreurs. Sur trois tâches de manipulation, saisie de puces électroniques, saisie de fruits et insertion de connecteurs USB, FeelWorld réduit le LPIPS à 10 pas de 0,084 à 0,058 et reste 61% inférieur au LPIPS d'un modèle purement visuel après un rollout autorégressif de 80 pas. Couplé à un planificateur CEM sensible au contact, il atteint un taux de réussite moyen de 81,7% en planification zero-shot. L'apport principal tient au constat que les modèles du monde utilisés en robotique se limitent en général à la dynamique visuelle, ce qui peut générer des futurs imaginés plausibles à l'œil mais physiquement incohérents dès qu'il y a contact réel avec l'objet. Pour des tâches d'assemblage précis, de préhension d'objets fragiles ou d'insertion, cette lacune pèse directement sur la fiabilité du planning robotique. En intégrant le retour tactile directement dans la boucle de prédiction plutôt qu'en aval, FeelWorld cible un des points faibles connus des architectures VLA et des pipelines de planification par imagination, où l'écart entre démonstration visuelle et physique réelle reste un obstacle à la mise à l'échelle. Le travail s'inscrit dans la lignée des modèles du monde issus du RL basé sur modèle et des architectures récentes de prédiction visuelle, jusqu'ici quasi exclusivement centrées sur l'image. La détection tactile constituait jusque-là un axe de recherche largement séparé. Il s'agit ici d'une contribution académique, sans déploiement industriel annoncé ni acteur commercial identifié ; les suites naturelles concernent des tests sur du matériel physique équipé de capteurs tactiles et une intégration dans des piles de planification robotique plus larges.

RecherchePaper
1 source
Modèle de cognition du monde pour l'interaction humain-robot généralisable
3414arXiv cs.RO 

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper
1 source
SHARE : vers une réalité augmentée montée sur casque avec SLAM centré utilisateur en espace de travail humain-robot partagé
3415arXiv cs.RO 

SHARE : vers une réalité augmentée montée sur casque avec SLAM centré utilisateur en espace de travail humain-robot partagé

Une équipe de recherche présente SHARE, un système de cartographie et localisation simultanées (SLAM) conçu pour la collaboration homme-robot en espace partagé via des interfaces de réalité augmentée (RA) portées sur la tête. Publié sur arXiv fin juillet 2026, le système s'attaque à un problème concret des architectures SLAM multi-agents actuelles : les serveurs en périphérie de réseau (edge) traitent tous les agents de façon uniforme, sans distinguer les besoins de latence très différents entre un robot et un humain équipé d'un casque RA. SHARE introduit un modèle de priorisation adaptatif qui ajuste dynamiquement les priorités de transmission selon le profil de chaque agent, et réduit le temps de calcul côté edge en exploitant la redondance des données visuelles captées par plusieurs agents dans un même espace. Déployé en conditions réelles avec des casques RA commerciaux et un robot terrestre, le système atteint une latence moyenne de 13,22 millisecondes pour les utilisateurs RA, soit une réduction de 43,3% par rapport à une architecture de référence, tout en conservant une précision de suivi inférieure à 2 centimètres. Des études utilisateurs rapportent une amélioration statistiquement significative de la perception du système par les porteurs de casque. L'enjeu dépasse la prouesse technique : la latence est le facteur limitant historique des interfaces RA en environnement industriel partagé avec des robots, un décalage de quelques dizaines de millisecondes suffisant à provoquer inconfort, désynchronisation visuelle ou erreurs de manipulation. En démontrant qu'une priorisation intelligente au niveau du serveur edge, plutôt qu'un simple ajout de puissance de calcul, peut diviser la latence par deux tout en maintenant la précision de localisation des robots, SHARE offre une piste concrète pour les intégrateurs qui cherchent à déployer des postes de travail mixtes humains-robots assistés par RA, un cas d'usage encore largement expérimental. Il s'agit toutefois d'un travail de recherche académique et non d'un produit commercialisé : l'abstract ne cite aucun partenaire industriel ni feuille de route de déploiement. SHARE s'inscrit dans la lignée des systèmes SLAM multi-agents à architecture edge existants, dont il corrige une limite structurelle identifiée par les auteurs, sans mention explicite de solutions concurrentes ni de calendrier de suite pour ce travail.

RecherchePaper
1 source
IA sans pilotage : DeVA, un modèle vidéo-action découplé guidé par la physique
3416arXiv cs.RO 

IA sans pilotage : DeVA, un modèle vidéo-action découplé guidé par la physique

Des chercheurs présentent DeVA (Decoupled Video-Action model), une nouvelle architecture pour l'apprentissage de politiques robotiques combinant génération vidéo et prédiction d'actions, détaillée dans un article publié sur arXiv le 28 juillet 2026. Contrairement aux modèles Vision-Language-Action (VLA) classiques, qui reposent sur un pré-entraînement essentiellement statique offrant peu de supervision sur la dynamique physique et la causalité temporelle, DeVA s'appuie sur des modèles génératifs vidéo capables d'anticiper l'évolution d'une scène pendant l'exécution d'une instruction en langage naturel. L'architecture sépare un expert vidéo et un expert action, reliés par un transfert de caractéristiques multi-niveaux, et ajoute une supervision par guidage physique explicite fondé sur l'affordance et la profondeur. Les auteurs rapportent des résultats sur des benchmarks de simulation et lors de déploiements réels, avec de bonnes performances malgré peu de données d'entraînement. L'enjeu principal est l'efficacité des données et la vitesse de convergence: les modèles Video-Action existants couplent souvent vidéo et action dans un même réseau, ce qui rend l'adaptation de la politique difficile à optimiser, ou n'exploitent que partiellement l'information vidéo pour guider l'action. En découplant les deux experts tout en maintenant un transfert d'information riche, DeVA affiche une convergence plus rapide qu'une architecture unifiée équivalente, selon les auteurs. Pour les équipes qui développent des politiques de manipulation robotique généralisables, l'apport potentiel est de réduire le volume de démonstrations réelles nécessaires, un goulot d'étranglement connu du secteur, tout en améliorant la robustesse face aux variations de scène. Le travail s'inscrit dans la lignée des VLA de nouvelle génération qui cherchent à exploiter les a priori spatio-temporels des modèles génératifs vidéo plutôt que le seul pré-entraînement image-texte statique. Il se positionne comme une alternative aux architectures où vidéo et action partagent un même tronc, jugées plus difficiles à entraîner de bout en bout pour la tâche de contrôle. Les auteurs soulignent en particulier le gain apporté par le guidage physique salient sur les couches intermédiaires, un signal distinct des simples pertes de reconstruction vidéo. Il s'agit à ce stade d'un travail de recherche publié en preprint, sans indication de déploiement industriel ou de partenariat avec un fabricant de robots.

IA physiqueActu
1 source
Manipulation prensile et non prensile simultanées : une approche pratique des tâches dextres multi-étapes
3417arXiv cs.RO 

Manipulation prensile et non prensile simultanées : une approche pratique des tâches dextres multi-étapes

Des chercheurs présentent DexMulti, une méthode d'apprentissage pour mains robotiques dextres capables de manipulation concurrente préhensile et non préhensile, c'est-à-dire tenir un objet tout en agissant sur un second. L'article, publié sur arXiv (2603.11655, version révisée), a été testé sur trois tâches multi-étapes représentatives de gestes du quotidien : saisir et tirer, saisir et ouvrir, saisir et saisir. Les essais ont été menés sur deux mains robotiques différentes, Allegro et LEAP, pour un total de plus de 1 000 essais en conditions réelles. Avec seulement 3 à 4 démonstrations par objet, DexMulti atteint un taux de réussite moyen de 66 % sur les objets d'entraînement, soit 2 à 3 fois mieux que les politiques de diffusion utilisées comme référence, tout en nécessitant nettement moins de données. La méthode généralise aussi à des objets jamais vus et à des variations spatiales allant jusqu'à 25 centimètres. L'intérêt de ces résultats tient moins à la performance brute qu'à l'efficacité d'apprentissage : la manipulation dextre multi-objets et riche en contacts est réputée gourmande en données pour les politiques de bout en bout, ce qui freine leur déploiement réel. En démontrant qu'une poignée de démonstrations par objet suffit à obtenir un comportement robuste et généralisable, ces travaux répondent directement à l'un des goulots d'étranglement identifiés dans l'apprentissage par imitation pour la robotique dextre, un enjeu qui concerne aussi bien les laboratoires de recherche que les intégrateurs cherchant à déployer des mains robotiques dans des tâches industrielles ou domestiques variées sans réentraînement massif à chaque nouvel objet. Plutôt que d'entraîner une politique monolithique, DexMulti décompose les démonstrations en compétences centrées sur l'objet, dotées de frontières temporelles claires, puis les récupère et les aligne sur l'état observé de l'objet via un estimateur qui suit son centre et son orientation, avant de les exécuter selon un paradigme de récupération-alignement-exécution. Cette architecture s'inscrit dans une tendance plus large de la recherche en manipulation dextre, qui cherche des alternatives aux politiques de diffusion et aux modèles vision-langage-action entraînés de bout en bout, jugés trop coûteux en données pour certaines tâches contraintes. Les auteurs annoncent vouloir étendre l'approche à un plus grand nombre de tâches et de configurations d'objets dans de futurs travaux.

RecherchePaper
1 source
Vol anticipé guidé par les risques : un apprentissage par renforcement pour voler en sécurité dans un environnement dynamique encombré
3418arXiv cs.RO 

Vol anticipé guidé par les risques : un apprentissage par renforcement pour voler en sécurité dans un environnement dynamique encombré

Une équipe de recherche présente un nouveau cadre d'apprentissage par renforcement pour la navigation sécurisée de quadrirotors dans des environnements encombrés et dynamiques, publié sur arXiv fin juillet 2026. La méthode, baptisée "anticipatory risk-guided reinforcement learning", s'appuie sur des états privilégiés du simulateur pour construire une carte de risque de collision future, orientée directionnellement et calculée via le point d'approche le plus proche (Closest Point of Approach, CPA). Une architecture actor-critic asymétrique entraîne le réseau à auto-prédire ce risque structuré, qui guide ensuite la politique visuelle au moment du déploiement réel. Un encodeur spatio-temporel léger extrait les indices de mouvement directement depuis les séquences de profondeur embarquées, sans recourir au tracking d'objets ni à l'estimation de flux optique explicite. Les auteurs rapportent des gains en marge de sécurité et en efficacité de vol par rapport aux méthodes de référence, en simulation comme en conditions réelles, avec un transfert sim-to-real zero-shot validé sur un drone physique. Pour l'industrie des drones et des systèmes autonomes, ce travail s'attaque à un point de friction connu: les pipelines modulaires classiques souffrent de latence de perception, tandis que les approches end-to-end à récompense scalaire peinent à extraire des features spatio-temporelles fiables sans supervision physique explicite. En ancrant l'apprentissage dans une notion de risque géométrique anticipé plutôt que dans un signal de récompense implicite, la méthode illustre une piste pour fiabiliser le comportement des politiques visuelles face à des obstacles mobiles, un scénario encore mal couvert par la plupart des solutions commerciales d'évitement d'obstacles pour drones et robots mobiles autonomes (AMR). Ce résultat s'inscrit dans la lignée des travaux récents combinant perception par profondeur et RL pour le vol autonome en environnement dynamique, un axe de recherche actif face aux limites persistantes des méthodes géométriques classiques. Il s'agit à ce stade d'une publication de recherche avec validation expérimentale limitée, non d'un produit ou d'un déploiement industriel; les prochaines étapes attendues porteraient sur l'extension à des essaims de drones, des obstacles multiples plus denses, et une validation à plus grande échelle hors simulation.

RecherchePaper
1 source
Interface KAI : une approche tenant compte de la cinématique pour la manipulation efficace d'objets articulés
3419arXiv cs.RO 

Interface KAI : une approche tenant compte de la cinématique pour la manipulation efficace d'objets articulés

Des chercheurs présentent KAI (Kinematic-Aware Articulation Interface), une nouvelle représentation intermédiaire structurée conçue pour l'apprentissage de politiques de manipulation d'objets articulés par des robots, comme des tiroirs, des portes ou des charnières. Contrairement aux approches qui tentent d'apprendre la structure cinématique uniquement à partir de démonstrations robotiques, KAI intègre directement des a priori géométriques et cinématiques interprétables dans le processus d'apprentissage. Testée sur six tâches de simulation, la méthode atteint un taux de réussite moyen de 82,9%, égalant voire dépassant les performances des méthodes de référence tout en n'utilisant que la moitié des données de démonstration nécessaires. Le système, entraîné dans un environnement unique et non encombré, démontre également une capacité de généralisation vers des arrière-plans inédits et des scènes réelles encombrées de distracteurs visuels. En combinant l'entraînement avec des vidéos d'interactions humaines, grâce à sa conception indépendante de l'action ("action-agnostic"), le taux de réussite moyen dépasse 70% même face à des perturbations visuelles diverses. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement bien identifié: l'apprentissage par démonstration coûte cher en temps d'annotation et de téléopération, en particulier pour les objets articulés dont la cinématique varie fortement d'un instance à l'autre. Diviser par deux le volume de démonstrations nécessaires, si le résultat se confirme au-delà de la simulation, représenterait un gain d'efficacité concret pour les intégrateurs travaillant sur la manipulation domestique ou industrielle (portes d'armoires, électroménager, machines-outils). La possibilité de co-entraîner avec des vidéos humaines, sans capture de données robotiques dédiées, ouvre aussi une piste pour réduire davantage le coût de collecte, un enjeu central alors que les approches VLA (vision-language-action) peinent encore à passer l'échelle sans volumes massifs de données. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans nom d'institution ni de laboratoire précisé dans le résumé, et les résultats restent principalement validés en simulation, avec un transfert vers le réel limité à des scènes encombrées plutôt qu'à un déploiement en conditions industrielles. Le travail s'inscrit dans un courant de recherche plus large visant à injecter des priors structurels explicites dans les politiques d'apprentissage, en contraste avec les approches purement end-to-end de type GR00T N2 ou Pi-0, et pourrait alimenter les futures générations de modèles de manipulation généralistes si sa robustesse se confirme sur du matériel physique.

RecherchePaper
1 source
Sling2Sim2Real : identification élastique en un seul essai pour l'apprentissage de politiques de fronde non destructif
3420arXiv cs.RO 

Sling2Sim2Real : identification élastique en un seul essai pour l'apprentissage de politiques de fronde non destructif

Des chercheurs proposent Sling2Sim2Real, un cadre de manipulation robotique capable d'apprendre à tirer un lance-pierre élastique à partir d'une seule interaction réelle non destructive. Publié sur arXiv fin juillet 2026, le système a été testé sur un bras Franka Emika Panda avec des bandes élastiques aux propriétés physiques variées, pour atteindre des distances de tir différentes. La méthode fonctionne en deux temps : d'abord une identification "Real2Sim" multi-démarrage qui exploite la covariance des paramètres pour estimer les caractéristiques élastiques de la bande à partir d'un seul essai réel, sans avoir à la faire claquer ou casser ; ensuite un apprentissage de politique entièrement en simulation, suivi d'un transfert "zero-shot" vers le robot réel une fois le simulateur calibré. Les auteurs rapportent une réduction significative du nombre d'essais physiques nécessaires, sans toutefois donner de chiffres précis sur les taux de réussite ou le nombre d'itérations économisées. L'enjeu dépasse le simple exercice de lance-pierre : la manipulation d'objets élastiques (bandes, câbles, tissus) reste un point aveugle de la robotique, car leurs propriétés de déformation ne se déduisent pas de l'observation visuelle seule et varient énormément d'un objet à l'autre. Les méthodes classiques de calibration nécessitent souvent des dizaines d'essais destructifs coûteux en temps robot. En réduisant cette calibration à une seule interaction sûre, Sling2Sim2Real s'attaque directement au goulot d'étranglement du sim-to-real pour les objets déformables, un problème plus difficile que celui, déjà largement traité, des objets rigides ou articulés. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par renforcement en simulation pour la manipulation robotique, où le fossé entre simulateur et monde réel reste l'obstacle principal au déploiement. Contrairement aux approches qui multiplient les essais réels pour affiner un modèle physique, ou qui exigent des capteurs spécialisés pour mesurer l'élasticité, Sling2Sim2Real mise sur l'inférence statistique à partir d'un minimum de données. Il s'agit pour l'instant d'un résultat de laboratoire limité à une tâche de démonstration, sans indication de généralisation à d'autres familles d'objets élastiques ni de calendrier vers une application industrielle.

RecherchePaper
1 source
WARL : apprentissage par renforcement augmenté par la clé pour l'apprentissage indépendant de la tâche chez les robots à pattes
3421arXiv cs.RO 

WARL : apprentissage par renforcement augmenté par la clé pour l'apprentissage indépendant de la tâche chez les robots à pattes

Il s'agit d'un article de recherche (arXiv), sans annonce commerciale ni acteur industriel identifié. Voici le résumé en trois paragraphes autonomes : Une équipe de recherche présente WARL (Wrench-Augmented Reinforcement Learning), une méthode d'apprentissage par renforcement pour robots à pattes qui ajoute un wrench, c'est-à-dire une force et un couple, à l'espace d'action habituellement limité aux seules commandes articulaires. L'idée centrale consiste à combiner une exploration guidée par ce wrench avec un mécanisme de curriculum basé sur le taux de réussite, afin d'élargir les capacités d'exploration en début d'entraînement, tout en visant à terme des comportements pilotés uniquement par le contrôle articulaire classique. Les expériences ont été menées sur un robot quadrupède, testé sur des terrains variés et plusieurs tâches motrices, sans ajustement de récompense spécifique à chaque terrain ni conception de curriculum complexe. Une étude d'ablation a confirmé l'efficacité du "Switching Curriculum", le mécanisme qui élimine progressivement le wrench au fil de l'apprentissage. Pour le secteur de la robotique à pattes, ce travail s'attaque à un goulot d'étranglement connu de l'apprentissage par renforcement : la difficulté d'explorer efficacement quand l'espace d'action se limite aux articulations, ce qui oblige souvent les équipes à multiplier les réglages de récompense terrain par terrain. En démontrant qu'un espace d'action augmenté par un wrench permet un apprentissage robuste sans cette ingénierie manuelle, WARL propose une piste pour réduire le temps de développement des politiques de locomotion. Mais l'étude apporte aussi un bémol important pour les praticiens : l'introduction du wrench peut favoriser des comportements qui n'exploitent pas pleinement les capacités physiques réelles du robot, un compromis entre facilité d'entraînement et fidélité à l'embodiment mécanique. Ce travail s'inscrit dans la lignée des recherches en RL pour la locomotion des quadrupèdes, où le compromis entre efficacité de l'exploration et réalisme physique reste un défi ouvert. Les auteurs positionnent explicitement leur contribution comme une amélioration de l'efficacité d'apprentissage plutôt qu'une solution définitive, et identifient comme prochaine étape critique la conception d'un espace d'action augmenté qui reste cohérent avec la structure physique du robot. Aucune date de publication de code, aucun partenaire industriel ni déploiement réel n'est mentionné à ce stade : il s'agit d'une contribution méthodologique en amont, destinée à la communauté recherche en robotique et apprentissage par renforcement.

RecherchePaper
1 source
Manipulateurs souples à câbles : estimation à horizon glissant et commande prédictive non linéaire
3422arXiv cs.RO 

Manipulateurs souples à câbles : estimation à horizon glissant et commande prédictive non linéaire

Une équipe de chercheurs présente un nouveau cadre de commande pour les manipulateurs souples actionnés par câbles, combinant estimation à horizon glissant (MHE) et commande prédictive non linéaire (NMPC), fondé sur des modèles de Cosserat réduits qui décrivent la dynamique du robot souple de façon physique plutôt que par apprentissage pur. Les auteurs développent une formulation lissée de la commande par longueur de câble, qui approxime la relation de complémentarité entre tension et relâchement du câble, permettant de piloter le robot uniquement via la longueur des câbles, sans capteur de tension dédié. L'estimateur MHE reconstruit l'état réduit et la configuration complète du bras à partir des mesures de pose de l'effecteur et des longueurs de câble, tandis que le NMPC assure le suivi de trajectoire dans l'espace tâche sous contraintes de longueur et de vitesse de câble. Le système a été validé en simulation sur un manipulateur multi-câbles, puis expérimentalement sur un prototype à quatre câbles, où le schéma MHE-NMPC tourne en temps réel et suit la position de l'effecteur avec précision. L'intérêt de ces travaux tient au problème central de la robotique souple: les modèles suffisamment précis pour capturer la déformation continue d'un bras flexible sont en général trop coûteux à calculer pour une commande temps réel, ce qui pousse beaucoup d'équipes vers des approches purement data-driven, moins interprétables et moins robustes hors distribution. En montrant qu'un modèle physique réduit peut suffire à estimer et contrôler un bras souple en temps réel, sans capteur de tension supplémentaire, ce travail va dans le sens d'une commande moins instrumentée et donc moins coûteuse à déployer, un enjeu pour toute application où les manipulateurs souples visent des tâches de préhension délicate ou d'inspection en espace confiné. Il s'agit ici d'une publication de recherche académique (arXiv, prépublication non encore relue par les pairs), sans lien avec un produit commercial ou une entreprise identifiée. Elle s'inscrit dans une lignée de travaux utilisant la théorie des poutres de Cosserat pour modéliser les robots continuum, et répond spécifiquement à la difficulté classique du relâchement des câbles dans les mécanismes tendon-driven. Les prochaines étapes attendues concernent l'extension à des manipulateurs plus complexes et l'intégration dans des tâches robotiques réelles au-delà du banc d'essai à quatre câbles.

RecherchePaper
1 source
Unitree déclenche une guerre des prix qui pousse les fournisseurs de réducteurs harmoniques hors de leur zone de confort : Leaderdrive et ses concurrents diversifient leur offre
3423Pandaily 

Unitree déclenche une guerre des prix qui pousse les fournisseurs de réducteurs harmoniques hors de leur zone de confort : Leaderdrive et ses concurrents diversifient leur offre

Le marché chinois des robots humanoïdes traverse une guerre des prix qui remonte désormais toute la chaîne d'approvisionnement. Unitree Robotics a fait chuter le prix de son robot R1 de près de 40 000 yuans à moins de 30 000 yuans, Songyan a ramené son Xiaobu Mi à environ 9 000 yuans après subventions, et Xingchen a lancé son robot industriel à câbles T1 à partir de 89 900 yuans. Morgan Stanley a relevé sa prévision d'expéditions de robots humanoïdes en Chine pour 2026 de 28 000 à 50 000 unités, tandis que le ministère de l'Industrie et des Technologies de l'information table sur une production dépassant 100 000 unités sur l'année. Sous cette pression, les fournisseurs de composants sortent de leur territoire habituel. Leaderdrive, seul fabricant chinois de réducteurs harmoniques rentable en production de masse pour humanoïdes, a signé une coentreprise avec le Suédois SKF pour développer des roulements de haute précision. Shuanghuan Drivetrain, leader chinois des réducteurs RV avec plus de 25 % de part de marché domestique, a pénétré le territoire de Leaderdrive via sa filiale Huandong Technology. Zhaowei Electromechanical a annoncé un investissement de 800 millions de yuans dans un parc industriel dédié aux mains robotiques à Shenzhen, pour commercialiser son produit B20. Zhongda Lide aurait signé avec Unitree une commande de long terme de 3,2 milliards de yuans, couvrant une capacité d'environ 110 000 robots humanoïdes d'ici 2027. Cette recomposition illustre le basculement vers une intégration verticale poussée par les fabricants de robots eux-mêmes. Unitree revendique plus de 90 % de ses moteurs, réducteurs et contrôleurs développés en interne, une stratégie qui a fait grimper sa marge brute de 44,75 % en 2023 à 60,44 % en 2025 selon son prospectus d'introduction en Bourse. L'entreprise reconnaît que l'augmentation de ses volumes de production a renforcé son pouvoir de négociation auprès des fournisseurs. Pour les acteurs fondés après 2022, dépourvus des huit à dix ans d'expérience matérielle accumulée par Unitree sur les robots quadrupèdes, dépendre de fournisseurs externes reste la seule option viable, mais la pression sur les coûts se répercute inévitablement en amont. À cela s'ajoute l'arrivée des constructeurs automobiles comme BYD, Changan, XPeng et Xiaomi, qui apportent une capacité de fabrication mature et un pouvoir de négociation massif, un scénario qui rappelle les guerres de prix ayant fragilisé les équipementiers automobiles depuis 2023. Pour les fournisseurs de composants, la survie passe par l'élargissement de leur périmètre d'activité : des réducteurs RV vers les réducteurs harmoniques, puis vers les coentreprises et les mains dextres. Les gagnants seront ceux qui détiennent des technologies propriétaires difficiles à répliquer pour les fabricants de robots. Cette guerre des prix, initialement un jeu de volumes, se transforme ainsi en repositionnement stratégique de toute la chaîne d'approvisionnement des robots humanoïdes, avec des répercussions qui dépassent le seul marché chinois.

Chine/AsieOpinion
1 source
2 000 robots humanoïdes déployés dans des usines textiles pour une production plus rapide et efficace
3424Interesting Engineering 

2 000 robots humanoïdes déployés dans des usines textiles pour une production plus rapide et efficace

Jack Technology, fabricant chinois de machines à coudre industrielles, s'associe à Siemens pour intégrer intelligence artificielle, ingénierie numérique et robotique humanoïde dans la production textile. L'entreprise vise un gain d'efficacité d'au moins 30 % face à des délais de production plus courts, une demande consommateur de plus en plus personnalisée et une pression accrue sur les coûts. Dans ce cadre, Jack Technology a commandé 2 000 robots humanoïdes conçus pour la confection, ce qui en ferait l'un des tout premiers déploiements massifs de ce type dans le secteur textile. En parallèle, un essai a été mené sur le site Siemens d'Erlangen, en Allemagne, avec le robot humanoïde à roues HMND 01 de la startup allemande Neura Robotics, propulsé par la pile logicielle d'IA physique de NVIDIA. Pendant deux semaines, le robot a manipulé des caisses de deux formats différents, les plaçant sur un convoyeur avant de les acheminer vers un poste de reprise humaine, à raison de 60 caisses par heure, plus de huit heures par jour, avec un taux de réussite en préhension et positionnement supérieur à 90 %. Siemens associe aussi à cette offensive le robot quadrupède ANYmal d'ANYbotics, utilisé pour l'inspection de sites chimiques et énergétiques dangereux, capable de cartographier des installations en 3D et de détecter fuites de gaz ou surchauffes via capteurs acoustiques et caméras infrarouges, en s'appuyant sur la plateforme de Roboverse Reply. Cette annonce illustre un test grandeur nature de l'écart habituel entre démonstration marketing et réalité opérationnelle: un cycle de deux semaines avec un taux de succès mesuré au dessus de 90 % pèse davantage qu'une vidéo de présentation isolée, même si l'ampleur exacte de la commande de 2 000 unités reste à confirmer dans son calendrier de livraison réel. Pour les intégrateurs et décideurs industriels, l'intérêt des humanoïdes tient surtout à leur capacité à s'insérer dans des ateliers existants sans réaménagement lourd, contrairement aux robots industriels fixes classiques. Cela renforce l'hypothèse que la manutention répétitive de charges, plutôt que les tâches fines de couture elles-mêmes, sera le premier terrain d'adoption rentable des humanoïdes dans le textile. Le volet quadrupède, lui, consolide le glissement du secteur vers une maintenance prédictive plutôt que réactive sur les sites à risque. Cette initiative s'inscrit dans la stratégie plus large de Siemens, qui cherche à fournir l'infrastructure numérique (jumeaux numériques, interfaces robots-automates, gestion de flotte, réseaux industriels) permettant de transformer des robots isolés en composants coordonnés d'une usine connectée. Sur le marché des humanoïdes industriels, Jack Technology et Neura Robotics viennent ainsi se positionner face à des acteurs comme Figure ou Agility Robotics, davantage focalisés sur la logistique et l'entrepôt, tandis qu'ANYbotics affronte la concurrence de Boston Dynamics sur l'inspection quadrupède. Les prochaines étapes attendues concernent le calendrier réel de déploiement des 2 000 unités commandées par Jack Technology et l'extension des pilotes Siemens à d'autres usines du groupe.

FR/EU ecosystemeOpinion
1 source
CiDi vise une expansion à l'international pour ses équipements miniers autonomes
3425TechNode 

CiDi vise une expansion à l'international pour ses équipements miniers autonomes

CiDi, entreprise chinoise cotée à Hong Kong spécialisée dans les engins miniers autonomes, prévoit d'accélérer son expansion hors de Chine. L'entreprise prépare un déploiement plus large d'excavatrices partiellement automatisées en Australie cette année, et cherche à décrocher des contrats au Moyen-Orient, en Amérique du Sud et en Europe. CiDi anticipe que les marchés internationaux représenteront une part à deux chiffres de son chiffre d'affaires l'an prochain, contre un niveau à un chiffre bas aujourd'hui. En 2025, le chiffre d'affaires du groupe a plus que doublé, atteignant 884,8 millions de yuans. Sa flotte mondiale a elle aussi progressé, dépassant désormais 1 700 véhicules déployés sur 30 mines et carrières. Cette progression illustre l'accélération de l'automatisation dans le secteur minier, où les coûts d'exploitation, la sécurité des opérateurs et la pénurie de main-d'œuvre poussent les exploitants à adopter des engins autonomes ou semi-autonomes. Le doublement du chiffre d'affaires en un an et l'ancrage sur 30 sites suggèrent que la technologie dépasse le stade du pilote isolé pour entrer dans une phase de déploiement à l'échelle sur des flottes réelles, un signal important pour les intégrateurs et opérateurs miniers qui évaluent encore la maturité de ces solutions. La stratégie d'internationalisation vise aussi à réduire la dépendance de CiDi au marché chinois, dans un contexte de concurrence locale accrue. CiDi s'inscrit dans un mouvement plus large d'acteurs chinois de la robotique industrielle cherchant à se positionner sur les marchés occidentaux et émergents, face à des géants historiques comme Caterpillar ou Komatsu, qui développent eux aussi leurs propres flottes autonomes. Le choix de l'Australie comme premier marché d'ampleur n'est pas anodin : le pays concentre une part importante de l'activité minière mondiale et sert souvent de terrain d'essai avant une extension vers d'autres régions. Les prochaines étapes attendues sont la signature de contrats au Moyen-Orient, en Amérique du Sud et en Europe, qui détermineront si CiDi atteint l'objectif de revenus internationaux à deux chiffres fixé pour l'année prochaine.

Chine/AsieActu
1 source
IA humanoïde AgiBot lance sa procédure d'introduction en bourse à Hong Kong
3426TechNode 

IA humanoïde AgiBot lance sa procédure d'introduction en bourse à Hong Kong

AgiBot, fabricant chinois de robots humanoïdes basé à Shanghai, a officiellement lancé le processus d'introduction en bourse à Hong Kong. Cette démarche confirme des informations antérieures selon lesquelles l'entreprise avait déjà sélectionné les banques chargées de piloter l'opération. Fondée en 2023, AgiBot conçoit des robots humanoïdes et des systèmes d'IA incarnée destinés aux applications industrielles et commerciales. La société a également publié AgiBot World, un jeu de données à grande échelle conçu pour soutenir l'entraînement de modèles d'IA incarnée, une contribution notable à la recherche ouverte dans ce domaine. Reuters, qui rapporte l'information, ne précise pas encore le montant visé ni la valorisation attendue. Cette cotation, si elle aboutit, marquerait une étape significative dans la maturation du secteur robotique humanoïde chinois, où plusieurs acteurs cherchent désormais des capitaux publics pour financer l'industrialisation à grande échelle plutôt que de rester dépendants du capital-risque. Elle s'inscrit dans une dynamique où la Chine pousse activement ses champions de la robotique incarnée face aux acteurs américains comme Figure ou Tesla avec Optimus. Il faut toutefois distinguer le lancement du processus, encore à un stade préparatoire, d'une cotation effective avec calendrier et prix fixés. AgiBot s'est imposé rapidement dans l'écosystème chinois de la robotique humanoïde depuis sa création, aux côtés de concurrents comme Unitree ou UBTech, cette dernière déjà cotée à Hong Kong. La publication du jeu de données AgiBot World visait à asseoir sa position de référence technique. Les prochaines étapes attendues concernent le dépôt des documents réglementaires et la fixation d'un calendrier précis de cotation.

Chine/AsieActu
1 source
Teachy Mini : développement et évaluation préliminaire d'un robot social génératif basé sur les connaissances pour l'enseignement supérieur
3427arXiv cs.RO 

Teachy Mini : développement et évaluation préliminaire d'un robot social génératif basé sur les connaissances pour l'enseignement supérieur

Une équipe de recherche a développé Teachy Mini, un système de tutorat robotique construit sur la plateforme Reachy Mini, conçu selon des principes de "knowledge-based design" (KBD) censés encadrer le comportement des robots sociaux génératifs (GSR) alimentés par des grands modèles de langage. Concrètement, les chercheurs ont implémenté ces exigences KBD via trois mécanismes techniques : du system prompting, de la génération augmentée par récupération (RAG) et une orchestration de prompts avec état (stateful). Le système a été testé lors d'une étude préliminaire impliquant 24 participants, répartis entre une session de tutorat sur les méthodologies de recherche guidée par Teachy Mini et une session équivalente avec une version témoin ne suivant pas les principes KBD. Résultat mesuré par vérification de manipulation : Teachy Mini a utilisé de façon nettement plus systématique la personnalisation, des explications ancrées sur les supports de cours, le questionnement socratique, le soutien affectif et un feedback adapté à l'apprenant. Ce travail répond à un problème central pour le déploiement de robots sociaux en éducation supérieure : le risque que des LLM embarqués diffusent de la désinformation, manquent de transparence ou renforcent par erreur des réponses incorrectes d'étudiants. L'étude montre qu'un cadrage explicite par conception peut modifier objectivement le comportement du robot perçu comme responsable, sans pour autant se traduire, à ce stade, par un gain significatif d'acceptation, de motivation intrinsèque ou d'efficacité d'apprentissage mesurée directement. Des analyses exploratoires suggèrent toutefois un effet positif sur les gains d'apprentissage objectifs une fois les préférences des apprenants prises en compte, un signal encourageant mais à confirmer sur un échantillon plus large. Le choix de la plateforme Reachy Mini n'est pas anodin : elle est développée par Pollen Robotics, société française rachetée par Hugging Face en 2025, positionnée sur la robotique sociale open source à bas coût plutôt que sur l'humanoïde industriel. Ce travail s'inscrit dans la continuité d'exigences KBD définies dans des travaux antérieurs des mêmes auteurs, et ouvre la voie à des études de plus grande ampleur pour valider si un tutorat robotique responsable peut réellement améliorer l'apprentissage à l'échelle, au delà du seul comportement perçu.

FR/EU ecosystemePaper
1 source
Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique
3428arXiv cs.RO 

Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique

Un article de recherche publié sur arXiv (2607.21725v1) présente Pigey, un orchestrateur d'agence physique conçu pour piloter des robots généralistes sans données supplémentaires ni post-entraînement. Plutôt que d'entasser perception, planification, détection de succès, récupération d'erreurs et contrôle bas niveau dans une seule politique apprise par pré-entraînement massif, comme le font les modèles vision-langage-action (VLA) actuels, les auteurs séparent le problème en deux couches : un agent de contrôle langage-conditionné classique, et un gestionnaire de haut niveau qui décompose les objectifs en sous-tâches, envoie des commandes moteur, vérifie les résultats à partir des observations bas niveau et déclenche des routines de récupération en cas d'échec. Pigey peut commander aussi bien des politiques VLA existantes que des compétences paramétrées préexistantes. Sur le benchmark de simulation LIBERO-PRO, le taux de réussite passe de 12,8% à 53,3%, soit plus du quadruple, sans aucun réglage spécifique à la tâche. Sur un robot réel, les tâches nécessitant du raisonnement voient leur taux de succès grimper de quasi zéro à plus de 90% une fois la politique figée intégrée dans la boucle agentique de Pigey. Ce résultat vient alimenter un débat déjà vif dans la robotique humanoïde et manipulatrice : les modèles VLA de bout en bout, aussi impressionnants soient-ils en démonstration, échouent souvent dès que la tâche exige un raisonnement séquentiel ou une récupération après erreur, un écart que les auteurs baptisent "orchestration gap". En montrant qu'une simple couche d'orchestration explicite, sans ré-entraînement, suffit à multiplier par quatre les performances, l'étude suggère que l'échelle des données de pré-entraînement n'est pas le seul levier disponible pour combler ce fossé entre démonstration et fiabilité réelle, un enjeu direct pour les intégrateurs qui doivent déployer ces systèmes en environnement industriel non contrôlé. Cette approche s'inscrit dans une tendance plus large de la recherche en robotique généraliste, où des laboratoires développent des modèles comme Pi-0, GR00T N2 ou Helix pour unifier perception et action. Pigey se positionne comme une alternative complémentaire plutôt qu'un concurrent direct : il ne remplace pas ces politiques mais les pilote depuis l'extérieur, ce qui laisse ouverte la question de son adoption par les fournisseurs de VLA propriétaires et de son passage à l'échelle sur des tâches de manipulation encore plus complexes.

RecherchePaper
1 source
Un bras observe l'autre : coopération multi-agents dynamique pour une manipulation bimanuelle efficiente en environnement dynamique
3429arXiv cs.RO 

Un bras observe l'autre : coopération multi-agents dynamique pour une manipulation bimanuelle efficiente en environnement dynamique

Des chercheurs ont présenté DynaMAC (Dynamic Multi-Agent Cooperation), un framework léger et agnostique aux politiques d'apprentissage, conçu pour la manipulation robotique bimanuelle et les environnements dynamiques. Contrairement aux politiques multi-flux classiques, qui modélisent les actions par rapport à des repères environnementaux supposés fixes, DynaMAC traite le bras opposé comme un paramètre de tâche dynamique, ce qui unifie la manipulation d'objets en mouvement et la coordination à deux bras sans imposer de relation explicite leader-suiveur. Pour évaluer l'approche, l'équipe a aussi introduit DynaBench, un nouveau benchmark dédié à la manipulation en environnement dynamique. Sur l'ensemble des tâches testées, dynamiques et bimanuelles, DynaMAC dépasse les meilleures méthodes probabilistes et génératives de plus de 35 points de pourcentage tout en nécessitant 20 fois moins d'exemples d'entraînement. Le système généralise aussi en zero-shot: entraîné uniquement sur des démonstrations statiques, il fonctionne directement dans des environnements dynamiques sans données supplémentaires. Ce résultat s'attaque à un angle mort connu des politiques VLA (vision-language-action) et des architectures multi-flux: leur efficacité d'échantillonnage repose sur l'hypothèse que le référentiel de la tâche est exogène, une hypothèse qui s'effondre dès qu'un bras manipule un objet mobile ou que deux bras interagissent, chacun devenant alors partie de l'environnement dynamique de l'autre. En résolvant cette limite causale sans sacrifier la vitesse de calcul ni la flexibilité, DynaMAC répond à un problème concret pour les intégrateurs qui cherchent à déployer des robots bimanuels en usine ou en logistique, où la collecte de données réelles en environnement mobile reste coûteuse et lente. Le travail s'inscrit dans la lignée des recherches récentes sur les politiques de manipulation type Pi-0 ou GR00T N2, qui cherchent à réduire la dépendance aux volumes massifs de démonstrations téléopérées. En simplifiant la collecte de données, via une généralisation depuis des démonstrations statiques, DynaMAC ouvre une piste vers une collaboration homme-robot plus directe, où le bras humain ou un second bras robotique serait traité nativement comme partie du contexte dynamique de la tâche plutôt que comme une perturbation à corriger.

RecherchePaper
1 source
ACME : jeu de données multiculturel et multi-incarnation pour la navigation sociale
3430arXiv cs.RO 

ACME : jeu de données multiculturel et multi-incarnation pour la navigation sociale

Wandercraft, Pollen Robotics ou tout autre acteur français ne figurent pas dans cette étude, qui reste une publication de recherche pure sur arXiv. Voici la synthèse. Une équipe de chercheurs publie ACME (Cross-cultural, Multi-Embodiment dataset), un jeu de données destiné à la navigation sociale des robots, collecté sur 8 sites répartis dans 5 pays et utilisant 7 embodiments robotiques différents. Le corpus totalise 29,35 heures de données embarquées capturées directement par les robots et 43,5 heures de suivi piéton en vue aérienne. Contrairement aux jeux de données existants, ACME cible spécifiquement des scénarios de navigation orientée objectif en environnement social complexe, avec des interactions explicites robot-foule incluant la parole du robot comme signal d'interaction. Le dataset fournit des features de scène en 2D et 3D, des données d'odométrie, des informations d'interaction et des trajectoires piétonnes annotées manuellement, disponibles à la fois en format brut binaire et en version lisible par sensor modality. L'enjeu pour l'industrie robotique est celui de la généralisation. Les politiques de navigation sociale entraînées aujourd'hui reposent souvent sur des corpus captés dans un seul pays, avec un seul type de robot, ce qui expose les systèmes déployés à un risque de mauvaise généralisation face à des normes culturelles de proxémie ou de comportement piéton différentes. En couvrant plusieurs cultures et embodiments simultanément, ACME répond directement à cette limite documentée dans la littérature. Les auteurs affirment que leur dataset capture des scénarios plus complexes et une distribution de comportements piétons plus large que les jeux de données précédents, une évaluation qualitative et quantitative qui reste toutefois auto-rapportée par l'équipe elle-même et mériterait une validation indépendante avant d'être prise comme référence de facto. Ce travail s'inscrit dans une dynamique plus large de la recherche en robotique mobile, où la multiplication des robots de service et de livraison en espace partagé avec des humains a rendu criante l'absence de données d'entraînement culturellement diverses. La publication ouverte du dataset, avec formats bruts et annotés, vise à en faire un benchmark communautaire pour entraîner des politiques de navigation et des modèles de prédiction de trajectoires piétonnes, sans qu'aucune date de disponibilité publique ou dépôt associé ne soit précisé dans l'abstract.

RecherchePaper
1 source
Robot conforme : cadre modulaire pour l'impédance variable en ligne avec axes de compliance orientés arbitrairement
3431arXiv cs.RO 

Robot conforme : cadre modulaire pour l'impédance variable en ligne avec axes de compliance orientés arbitrairement

Un article publié sur arXiv (2607.22483v1) présente un framework de contrôle en compliance robot-agnostique qui étend l'écosystème ROS control avec des interfaces de commande standardisées, en espace articulaire et cartésien. Le problème ciblé est concret : il n'existe pas aujourd'hui d'infrastructure logicielle réutilisable pour implémenter des algorithmes de contrôle compliant sur différents bras manipulateurs tout en conservant une interface commune vers les applications de plus haut niveau. La solution proposée repose sur une architecture à plugins qui sépare l'infrastructure du contrôleur de l'implémentation de la loi de commande : des wrappers génériques exploitent les abstractions matérielles existantes pour piloter différents robots, tandis que des plugins chargés au runtime n'implémentent que la loi de contrôle elle-même. Les interfaces gèrent des références en espace articulaire ou cartésien, des gains de raideur et d'amortissement, des cibles en nullspace et des termes feedforward, permettant de l'impédance variable et diverses formulations de compliance. La cinématique et la dynamique sont calculées à partir de modèles URDF via la bibliothèque Pinocchio. Le contrôleur d'impédance cartésienne de référence permet en particulier de faire tourner en ligne les axes principaux de raideur et d'amortissement (translation et rotation) selon la géométrie locale de la tâche, plutôt que de les figer dans le repère du robot ou de l'outil. Pour l'industrie robotique, l'intérêt est la portabilité : la même implémentation de contrôleur peut être déployée sans modification sur des manipulateurs aux caractéristiques cinématiques et dynamiques très différentes, ce qui réduit le travail de ré-ingénierie habituellement nécessaire à chaque changement de plateforme. La possibilité de réorienter dynamiquement les directions de compliance répond directement à un besoin identifié en manipulation en contact riche, où les directions de mouvement, de contrainte et de compliance évoluent en cours de tâche plutôt que de rester fixes. Le framework complet, comprenant les contrôleurs de référence, les interfaces de tâche de haut niveau et des configurations d'exemple pour plusieurs manipulateurs, est publié en open source. Les auteurs valident l'approche par des expériences sur robot réel démontrant la compliance dépendante de la tâche en manipulation en contact riche, complétées par des simulations montrant la portabilité du framework sur des manipulateurs aux propriétés distinctes.

RecherchePaper
1 source
StARS : recommandation d'actions robotiques socialement appropriées via un système de recommandation
3432arXiv cs.RO 

StARS : recommandation d'actions robotiques socialement appropriées via un système de recommandation

Des chercheurs de l'Université de Cambridge (groupe Cambridge-AFAR) publient StARS, un nouveau cadre pour générer des actions robotiques socialement appropriées en tenant compte de la variabilité des jugements humains. Le constat de départ est simple : deux personnes peuvent juger différemment la même action d'un robot dans une situation identique, ce qui rend obsolète l'idée d'un score d'appropriation universel. Plutôt que d'entraîner un modèle unique censé plaire à tout le monde, l'équipe reformule le problème comme un système de recommandation, en traitant les annotateurs comme des utilisateurs, les scènes ou contextes comme des items, et les scores d'appropriation attribués à un ensemble d'actions candidates comme les cibles à prédire. StARS combine du filtrage collaboratif avec des représentations de scène apprenables, et reste agnostique au modèle sous-jacent : il peut s'intégrer à différents encodeurs de scène et backbones sans redesign complet. Les auteurs l'ont testé sur deux jeux de données de référence en robotique sociale, MannersDB+ et SocNav1, avec une analyse de robustesse en cas de retours de préférence peu nombreux. Le code est disponible publiquement sur GitHub. Pour l'industrie de l'interaction humain-robot, cette approche s'attaque à un angle mort classique des systèmes actuels : la plupart des modèles d'appropriation sociale produisent un score moyen, sans distinguer les préférences individuelles des utilisateurs, ce qui limite leur usage réel en contexte domestique, hospitalier ou en espace public partagé. En montrant des gains constants d'accord avec les annotateurs sur plusieurs jeux de données et plusieurs architectures, StARS suggère qu'une personnalisation légère, sans réentraîner le modèle de base, est possible pour affiner le comportement social des robots selon l'utilisateur. Ce travail s'inscrit dans la lignée des travaux sur l'évaluation de l'appropriation sociale en HRI (notamment les jeux de données MannersDB et SocNav utilisés ici) et dans la tradition plus large des systèmes de recommandation appliqués hors du e-commerce. Il reste à ce stade une contribution académique, publiée en préprint sur arXiv sans annonce de déploiement industriel ni de partenariat commercial ; la suite logique serait une validation sur des interactions robot-humain en conditions réelles, au-delà des jeux de données existants.

RecherchePaper
1 source
Robot à peau artificielle : évaluation humaine des réflexes tactiles de retrait
3433arXiv cs.RO 

Robot à peau artificielle : évaluation humaine des réflexes tactiles de retrait

Une équipe de recherche a testé trois stratégies de réflexe de retrait pour un bras robotique entièrement recouvert d'une peau tactile sensible à la pression, s'inspirant du mécanisme biologique de nociception qui relie une stimulation nocive à une réaction de protection. Le système convertit la pression détectée sur la peau du robot en un "gain de douleur" scalaire via un modèle continu non linéaire, puis déclenche l'un des trois comportements : un réflexe uniforme qui rétracte quatre articulations vers la base du bras quel que soit le point de contact, un réflexe bio-inspiré dérivé des caractéristiques du réflexe de retrait humain et dépendant de la localisation du contact, et un réflexe en espace cartésien qui retire le bras le long de la normale à la surface touchée. Un contrôleur de réflexe interrompt la tâche en cours, exécute le retrait, puis ramène le bras à sa position initiale. Quinze participants ont évalué ces comportements via le questionnaire Godspeed, des échelles maison de naturel perçu et de sécurité, et des comparaisons en choix forcé. Résultat contre-intuitif : le réflexe uniforme, le plus simple et le moins biomimétique, a été jugé le plus sûr, le plus naturel et le plus humain par les participants, devançant les deux alternatives plus sophistiquées sur les sous-échelles d'anthropomorphisme, d'animacité et de sympathie. Le réflexe cartésien a été perçu comme la réaction la plus appropriée au toucher, tandis que le réflexe bio-inspiré n'a dominé sur aucun critère. Pour les concepteurs de cobots et de bras à peau tactile, ce résultat suggère que la prévisibilité du mouvement compte davantage que la fidélité biologique dans l'acceptation utilisateur, un enseignement à contre-courant de l'hypothèse répandue selon laquelle imiter le vivant améliore automatiquement l'interaction homme-robot. Les auteurs attribuent la contre-performance du réflexe bio-inspiré à l'écart d'incarnation entre un bras robotique et un bras humain, les attentes des utilisateurs envers un manipulateur industriel différant de celles envers un membre biologique. Ce travail s'inscrit dans la recherche croissante sur les peaux robotiques tactiles pleine surface et la sécurité physique homme-robot, et ouvre la voie à des études complémentaires sur la personnalisation des réflexes selon le contexte d'usage ou le type de robot.

RecherchePaper
1 source
Mag4D-SLAM : un jeu de données géomagnétique 4D multimodal à traversées répétées pour la localisation et la cartographie
3434arXiv cs.RO 

Mag4D-SLAM : un jeu de données géomagnétique 4D multimodal à traversées répétées pour la localisation et la cartographie

Des chercheurs ont publié Mag4D-SLAM, premier jeu de données de grande échelle dédié à la localisation et cartographie simultanées (SLAM) par détection géomagnétique en extérieur, décrit dans un article déposé sur arXiv en juillet 2026 (arXiv:2607.21986). Le dataset comprend 14 séquences totalisant plus de 18 kilomètres de trajectoires, enregistrées sur des parcours structurés de campus universitaire, en conditions diurnes et nocturnes appariées, et dans les deux sens de parcours. Chaque séquence synchronise cinq modalités de capteurs : LiDAR, caméra, centrale inertielle (IMU), magnétomètre tri-axial et GNSS, avec des poses de vérité terrain en six degrés de liberté (SE(3)) à haute précision. Grâce à des passages répétés sur les mêmes trajets, les auteurs étudient trois propriétés clés : la répétabilité du champ magnétique entre sessions d'enregistrement différentes (jour/nuit), l'estimation d'un cap global sans dérive, et la capacité des signatures magnétiques à discriminer des lieux pour la reconnaissance de lieu inter-session. Ce dataset comble un vide identifié par les auteurs : les jeux de données magnétiques existants se limitent à des environnements intérieurs de petite échelle et manquent de la structure multimodale synchronisée, du protocole de passages répétés et de la vérité terrain 6-DoF nécessaires pour étudier sérieusement le SLAM géomagnétique. Pour la robotique mobile et les systèmes de navigation autonome, la détection géomagnétique présente un intérêt concret : c'est une référence d'orientation absolue, sans infrastructure dédiée, robuste au brouillage ou à la perte du signal GNSS et aux dégradations visuelles comme la faible luminosité ou la répétitivité structurelle des environnements. Un jeu de données ouvert de cette ampleur pourrait accélérer les recherches sur la fermeture de boucle magnétique, la correction de dérive de cap, et la fusion de cette modalité avec les approches visuelles et LiDAR classiques, notamment comme solution de repli en cas de dégradation d'autres capteurs sur des missions longue durée. Le papier positionne explicitement Mag4D-SLAM comme une contribution de recherche ouverte plutôt qu'un produit commercial : les auteurs le présentent comme un point de départ pour de nouvelles questions de recherche, sans annoncer de déploiement industriel ni de partenariat. Il s'inscrit dans une littérature encore naissante sur le SLAM multimodal pour la robotique en environnements où le GNSS est indisponible ou peu fiable, un axe suivi de près par les équipes travaillant sur la navigation longue durée en extérieur, aussi bien en robotique terrestre qu'en drones.

RecherchePaper
1 source
GRACE : génération d'actions robotiques sans gradient par estimation de la moyenne a posteriori combinant diffusion et MPPI
3435arXiv cs.RO 

GRACE : génération d'actions robotiques sans gradient par estimation de la moyenne a posteriori combinant diffusion et MPPI

Des chercheurs universitaires anonymes (soumission en double aveugle, code et vidéos disponibles sur un dépôt anonyme) publient sur arXiv la méthode GRACE, pour Gradient-free Robot Action generation via Combined diffusion-MPPI posterior mean Estimation. Le principe : piloter une politique de diffusion déjà entraînée sur des démonstrations, en la guidant au moment du déploiement grâce au contrôle MPPI (Model Predictive Path Integral), sans jamais calculer de gradient. À chaque étape de débruitage, GRACE construit une distribution de guidage conditionnée par un coût, puis en estime la moyenne via une seule mise à jour MPPI centrée sur la moyenne de diffusion inverse. Sur un bras manipulateur réel à 7 degrés de liberté (7-DoF), le système évite systématiquement un obstacle placé au moment du déploiement, un obstacle que la politique non guidée percute à chaque essai. En simulation, GRACE dépasse aussi bien les méthodes de diffusion classiques que les approches par échantillonnage pur en taux de réussite. L'apport pratique tient à un verrou technique précis : la plupart des méthodes de guidage de politiques de diffusion exigent des coûts différentiables, ce qui exclut de fait des contraintes de sécurité pourtant basiques en robotique industrielle, comme les vérifications de collision binaires, les limites articulaires ou les coûts de simulation en boîte noire, non différentiables par nature. En rendant le guidage possible avec de simples évaluations de coût "forward", sans rétropropagation, GRACE élargit le champ des contraintes imposables à une politique déjà entraînée, sans réentraînement. Pour les intégrateurs et les équipes robotique confrontées à l'écart classique entre démonstration en labo et déploiement réel, c'est un argument concret contre l'idée que les politiques de type VLA ou diffusion resteraient fragiles dès qu'un imprévu géométrique apparaît sur le terrain. Le travail s'inscrit dans la lignée des politiques de diffusion pour la manipulation robotique, où le guidage par gradient s'est imposé comme standard mais butait sur les contraintes non différentiables, et du contrôle prédictif MPPI, technique de contrôle par échantillonnage éprouvée en robotique mobile et manipulation depuis plusieurs années. GRACE relie formellement les deux cadres : sous une approximation au premier ordre à covariance appariée, la méthode retrouve le guidage par gradient classique comme cas particulier. À ce stade, il s'agit d'un résultat de recherche académique validé sur un seul bras manipulateur en conditions contrôlées, sans indication de partenariat industriel ni de feuille de route vers un produit commercial.

RecherchePaper
1 source
Impédance de manipulateurs embarqués sur navire via dynamique inverse dans l'espace des tâches basée sur l'optimisation
3436arXiv cs.RO 

Impédance de manipulateurs embarqués sur navire via dynamique inverse dans l'espace des tâches basée sur l'optimisation

Des chercheurs proposent un nouveau système de contrôle pour bras robotiques embarqués sur des navires, confrontés aux mouvements erratiques de la houle. Le framework combine une commande au niveau couple, basée sur la dynamique inverse en espace tâche (task-space inverse dynamics, TSID), résolue par programmation quadratique, avec un contrôle d'impédance permettant de gérer à la fois le suivi précis de trajectoire et les tâches de manipulation en contact. Pour compenser dynamiquement les perturbations liées au mouvement de la base, un filtre de Kalman à état d'erreur (ESKF) estime en temps réel la position de la base en fusionnant les données inertielles avec le retour de pose de l'effecteur terminal. Testée en simulation puis en conditions réelles sur un bras manipulateur à 7 degrés de liberté (DOF) monté sur une plateforme Stewart à 6 DOF simulant le tangage et le roulis d'un navire, la méthode réduit l'erreur de suivi de position de l'effecteur de plus de 25,7% par rapport à la meilleure référence testée. Elle permet aussi une insertion dynamique de type peg-in-hole avec seulement 1 mm de jeu, tout en réduisant de 45% les forces de contact moyennes. Cette avancée s'attaque à un verrou technique concret pour la robotique maritime et offshore: la manipulation fine à bord de plateformes mobiles reste un défi majeur pour l'entretien d'infrastructures en mer, le transfert de charges entre navires ou les opérations de maintenance sur éoliennes offshore, où le couplage dynamique entre base instable et bras articulé dégrade habituellement la précision et complique tout contact contrôlé. Une réduction significative des forces de contact tout en maintenant un succès élevé sur une tâche de précision millimétrique constitue une preuve tangible que des opérations délicates, jusqu'ici réservées à des environnements statiques, deviennent envisageables en mer. Ce travail s'inscrit dans la lignée des recherches en contrôle robuste pour bases mobiles non stationnaires, où les approches précédentes peinaient à combiner compensation dynamique et compliance en environnement de contact. En couplant estimation d'état par capteurs inertiels et retour visuel ou de pose, les auteurs ouvrent la voie à des validations sur navires réels et à l'extension de la méthode à d'autres configurations de bras et de plateformes mobiles instables.

RecherchePaper
1 source
IA incarnée et prédictive : le contrôle par apprentissage sûr pour les systèmes robotiques ego-monde
3437arXiv cs.RO 

IA incarnée et prédictive : le contrôle par apprentissage sûr pour les systèmes robotiques ego-monde

Des chercheurs proposent SOWL-MPC, une méthode de contrôle prédictif sûr conçue pour un nouveau scénario baptisé "ego-world robotic framework": un robot ego doit naviguer aux côtés d'un autre robot ("world robot") dont la politique de contrôle est totalement inconnue. Plutôt que de supposer un comportement prévisible chez l'autre agent, comme le font la plupart des méthodes existantes, l'approche combine un mécanisme d'apprentissage en ligne basé sur des processus gaussiens variationnels épars (SVGP) avec un schéma de contrôle à horizon glissant. À partir de simples mesures d'état bruitées, le système infère une distribution postérieure sur la politique latente du robot tiers, mise à jour en continu via un conditionnement variationnel en ligne (OVC), puis propagée dans la dynamique non linéaire du système via un schéma approché de propagation des moments, avant d'alimenter un contrôleur prédictif (MPC) sensible à l'incertitude. La méthode a été testée lors de campagnes Monte Carlo en simulation sous ROS 2, puis validée sur du matériel robotique réel dans une arène intérieure. Il s'agit d'un article de recherche déposé sur arXiv (2607.22225v1), pas d'un produit commercialisé. L'enjeu dépasse l'exercice académique: dans les entrepôts, les usines ou les espaces partagés où circulent plusieurs robots mobiles (AMR) ou humanoïdes issus de flottes ou de fabricants différents, un robot ne connaît généralement pas la politique de contrôle exacte des autres agents évoluant autour de lui. Les méthodes de navigation sûre reposent le plus souvent sur des hypothèses simplificatrices, modèles cinématiques fixes, comportements connus à l'avance, qui s'effondrent dès que l'environnement devient hétérogène. Une approche capable d'apprendre en ligne le comportement d'un agent inconnu tout en garantissant des marges de sécurité formelles répond directement à ce point de friction, potentiellement utile pour l'intégration de flottes multi-fournisseurs. Le travail s'inscrit dans la lignée des recherches combinant processus gaussiens et contrôle prédictif pour la navigation sûre, un axe actif depuis plusieurs années en robotique mobile et en interaction homme-robot. La validation reste toutefois limitée à une arène intérieure contrôlée: le passage à des environnements réels plus complexes, avec davantage d'agents ou des dynamiques plus rapides, constitue la prochaine étape logique avant tout usage industriel.

RecherchePaper
1 source
Aviation autonome : évaluation zéro-shot des agents MLLM au niveau mission
3438arXiv cs.RO 

Aviation autonome : évaluation zéro-shot des agents MLLM au niveau mission

Des chercheurs ont présenté MissionBench, un benchmark évaluant des agents pilotés par des modèles multimodaux de grande taille (MLLM) sur des missions aériennes complètes, à partir d'une seule instruction de haut niveau. Le corpus comprend 120 missions réparties sur cinq environnements 3D simulés et quatre familles de tâches. Les agents doivent planifier, naviguer et rendre compte du résultat en s'appuyant uniquement sur des observations égocentriques et leur historique d'actions, sans aucun fine-tuning spécifique au domaine aérien. Sur 22 MLLM testés, open source et propriétaires, le meilleur modèle ne réussit que moins de 35% des missions, contre 84,4% pour des opérateurs humains. Les auteurs notent des écarts de performance importants entre familles de modèles, mais aussi un effet d'échelle: les modèles plus grands montrent de meilleures capacités zéro-shot en environnement incarné. Ce résultat vient objectiver un doute déjà répandu chez les intégrateurs de systèmes autonomes: la capacité d'un modèle de langage à raisonner sur du texte ou des images isolées ne garantit pas sa compétence sur une tâche longue et multi-étapes en conditions réelles. L'écart de près de 50 points entre humains et meilleur modèle rappelle que la promesse d'un agent "donnez-lui une consigne, il se débrouille" reste largement prématurée pour les missions de drones ou de robots mobiles nécessitant planification adaptative, mémoire d'actions et correction d'erreurs en cours de route. Pour les décideurs évaluant des offres d'autonomie embarquée, c'est un signal à ne pas confondre démonstration isolée et fiabilité en conditions de mission complète. Le travail s'inscrit dans la tendance à utiliser des MLLM généralistes comme module de raisonnement central d'agents incarnés, plutôt que des modèles vision-langage-action spécialisés type Pi-0 ou GR00T N2. Les benchmarks existants évaluaient surtout la perception ou des sous-tâches isolées; MissionBench vise l'évaluation de bout en bout, en boucle fermée. Les auteurs appellent explicitement à davantage d'évaluations en boucle fermée pour mesurer si les gains obtenus par simple mise à l'échelle des modèles se traduisent réellement en fiabilité opérationnelle, plutôt qu'en performance de façade sur des benchmarks statiques.

RecherchePaper
1 source
ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts
3439arXiv cs.RO 

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

RecherchePaper
1 source
Navigation Vision-Langage hors ligne avec localisation géométrique d'objectif pour environnements extérieurs
3440arXiv cs.RO 

Navigation Vision-Langage hors ligne avec localisation géométrique d'objectif pour environnements extérieurs

Une équipe de chercheurs présente Edge-BehAV, un système de navigation robotique piloté par instructions en langage naturel capable de fonctionner entièrement en embarqué, sans aucune connexion au cloud. Décrit dans un article arXiv (2607.22226v1), le travail apporte trois contributions concrètes. D'abord, un benchmark systématique comparant 17 modèles de langage compacts (SLM) déployables en embarqué à 4 API en ligne, évalués sur la précision et la latence de décomposition d'instructions de navigation, sur trois plateformes de calcul différentes. Ensuite, un cadre hybride de localisation d'objectif combinant détection d'objets en vocabulaire ouvert, segmentation guidée par prompt et géométrie LiDAR pour estimer des positions métriques précises. Enfin, l'intégration de ces briques dans Edge-BehAV, une extension entièrement embarquée de l'architecture BehAV. Résultats chiffrés : le meilleur SLM égale la performance de la meilleure API cloud pour la décomposition d'instructions, tout en tournant environ 9 fois plus vite et sans réseau. Le module de localisation géométrique réduit l'erreur moyenne de distance à l'objectif de 2,05 mètres à 0,20 mètre, pour un coût de calcul moindre. Le système complet réussit 31 essais sur 32 lors de tests en boucle fermée en extérieur. L'intérêt principal tient à l'indépendance vis-à-vis du cloud, un verrou concret pour tout déploiement en zone sans connectivité fiable (agriculture, défense, inspection d'infrastructures isolées). Le résultat contredit l'idée reçue selon laquelle seuls les gros modèles cloud garantiraient une compréhension sémantique fiable pour la navigation : ici, un petit modèle embarqué atteint une parité de performance sur une tâche ciblée. Le taux de réussite de 31/32 en conditions réelles suggère un rétrécissement de l'écart simulation-réel typique des systèmes VLN, même si l'échantillon reste modeste et mériterait confirmation sur davantage d'essais et d'environnements. Ce travail prolonge l'architecture existante BehAV plutôt que de repartir de zéro, en y ajoutant la brique d'autonomie complète. Il se positionne à côté des modèles vision-langage-action orientés manipulation (Pi-0, GR00T N2, Helix), mais sur un terrain différent, celui de la navigation extérieure pour robots mobiles. Il s'agit à ce stade d'une recherche académique validée en essais contrôlés, pas d'un produit commercial ; les suites attendues portent sur l'élargissement des tests à d'autres plateformes et environnements.

IA physiquePaper
1 source
DB-VIO : odométrie visuelle-inertielle à double branche avec représentation visuelle-inertielle améliorée
3441arXiv cs.RO 

DB-VIO : odométrie visuelle-inertielle à double branche avec représentation visuelle-inertielle améliorée

Résumé rédigé, sans travail d'outil nécessaire. DB-VIO est un nouveau système d'odométrie visuo-inertielle développé pour estimer précisément la pose à six degrés de liberté (6-DoF) des robots mobiles, présenté dans un preprint publié sur arXiv (arXiv:2607.22123v1). Contrairement aux approches d'apprentissage existantes qui fusionnent vision et inertie dans une représentation unique traitée par un seul modèle temporel, DB-VIO sépare le problème en deux branches dédiées, une pour la rotation, une pour la translation. Le système enrichit la perception visuelle monoculaire avec des indices de profondeur et injecte un a priori d'attitude intégré pour renforcer les signaux rotationnels souvent implicites dans les données brutes de la centrale inertielle (IMU). Testé sur les benchmarks KITTI (conduite autonome) et EuRoC (robot aérien), DB-VIO améliore les méthodes de référence de 20% sur KITTI et de 33% sur EuRoC, avec un gain de 65,7% sur la métrique rotationnelle dans les scénarios de mouvement agile d'EuRoC. Ces résultats, à ce stade limités à des benchmarks académiques standardisés et non à un déploiement réel, illustrent une tendance de fond dans la navigation robotique: la décomposition explicite des tâches de perception plutôt que des architectures monolithiques tend à mieux capturer des dynamiques physiques hétérogènes. Pour les intégrateurs travaillant sur des drones, des véhicules autonomes ou des robots mobiles, ce type d'avancée conditionne directement la fiabilité du suivi de trajectoire en environnement GPS-dégradé, un enjeu critique pour la navigation en intérieur ou en essaim. L'odométrie visuo-inertielle reste un champ actif depuis les approches classiques comme VINS-Mono jusqu'aux méthodes apprises plus récentes, ces dernières cherchant à dépasser les limites des pipelines géométriques traditionnels face au bruit capteur et aux mouvements rapides. DB-VIO s'inscrit dans cette lignée en ciblant spécifiquement la faiblesse connue des features monoculaires, l'absence de structure géométrique explicite. Aucune date d'intégration industrielle ni partenariat n'est mentionné à ce stade, le travail restant une contribution de recherche.

RecherchePaper
1 source
Robot-Factored World Models via le rendu de robots
3442arXiv cs.RO 

Robot-Factored World Models via le rendu de robots

Un article de recherche publié sur arXiv (2607.22535) propose une nouvelle architecture pour les "world models" en robotique, ces systèmes qui prédisent les observations futures d'une scène à partir d'une image initiale et d'un signal d'action. L'équipe identifie un problème structurel dans les approches existantes : conditionner le modèle directement sur les commandes d'action l'oblige à apprendre lui-même comment le corps du robot et son contrôleur traduisent ces commandes en mouvement réel, tandis que le conditionner sur les états futurs enregistrés revient à lui donner d'avance le résultat qu'il est censé prédire. La solution proposée, baptisée "robot-factored world model", sépare deux facteurs propres au robot en amont du modèle. D'abord, la trajectoire nominale : chaque commande est passée par le contrôleur et la cinématique du robot pour produire un signal intermédiaire disponible au déploiement. Ensuite, le rendu robotique : cette trajectoire est rendue via le fichier URDF du robot, extrayant sa géométrie et son apparence du modèle d'apprentissage. Pour lever l'ambiguïté de profondeur, les chercheurs associent la profondeur de l'effecteur terminal à celle de la scène. Cette approche cible un angle mort connu des modèles vidéo conditionnés par l'action utilisés en planification et simulation robotique, à savoir leur difficulté à généraliser au-delà du robot sur lequel ils ont été entraînés. Les résultats montrent que l'interface de rendu surpasse les méthodes de référence conditionnées par vecteurs d'action et généralise à des embodiments robotiques inédits au moment de l'inférence, un point sensible pour l'industrie alors que les modèles vision-langage-action (VLA) cherchent à s'affranchir de la dépendance à une plateforme matérielle unique. Le modèle parvient aussi à générer des vidéos de manipulation robotique à partir de démonstrations humaines, en retargetant le mouvement de la main vers une géométrie de robot. Ces travaux s'inscrivent dans une compétition plus large autour des world models et des politiques VLA à grande échelle, un terrain où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) investissent massivement pour rendre leurs systèmes transférables d'un robot à l'autre. La piste du rendu explicite de la géométrie robotique, plutôt que son encodage implicite dans des vecteurs d'action, pourrait devenir un standard méthodologique si elle se confirme sur des déploiements réels au-delà des benchmarks académiques.

RecherchePaper
1 source
Main humanoïde monolithique à pliage origami asymétrique et actionneurs à double chambre
3443arXiv cs.RO 

Main humanoïde monolithique à pliage origami asymétrique et actionneurs à double chambre

Une équipe de chercheurs présente une nouvelle main robotique souple entièrement monolithique, baptisée OSOR (Origami-inspired SOft Robotic hand), imprimée en une seule pièce par frittage laser sélectif (SLS) dans un seul matériau, le polyuréthane thermoplastique (TPU). L'innovation repose sur deux structures géométriques inédites : le motif de flexion origami asymétrique (AOB), décliné en versions à chambre simple (AOB-S) pour les doigts et à double chambre asymétrique (AOB-D, ou ADC) pour la paume, qui reproduit un mouvement combiné doigts-paume inspiré de la main humaine. Les essais expérimentaux, validés par des modèles analytiques et une analyse par éléments finis, montrent une amplitude de flexion maximale de 203 degrés pour les doigts et 40 degrés pour la paume, avec des forces de sortie respectives de 6,3 N et 16 N. La main démontre plusieurs types de préhension : pincement délicat d'un morceau de tissu, saisie stable d'une bouteille d'eau à deux doigts, prise paume seule, et l'ensemble des prises de puissance recensées dans la taxonomie standard des préhensions manufacturières. L'apport principal ne tient pas tant à la performance brute qu'à la simplification radicale de la fabrication. Les mains souples existantes offrent une bonne adaptabilité passive mais restent souvent limitées par des architectures multi-matériaux ou multi-pièces, coûteuses à produire et fragiles à assembler. En démontrant qu'une géométrie asymétrique unique permet à la fois la flexion des doigts et le mouvement de paume dans une structure imprimable en un seul bloc, les auteurs répondent directement au compromis habituel entre performance et facilité de production, un frein connu à l'adoption industrielle des préhenseurs souples pour la manutention, la logistique ou la robotique collaborative. Ce travail s'inscrit dans la lignée des actionneurs souples inspirés de l'origami, un axe de recherche actif visant à remplacer les architectures pneumatiques complexes par des géométries pliables imprimables directement. Contrairement aux préhenseurs à jamming granulaire ou aux mains tendineuses multi-articulées développées par d'autres laboratoires, l'approche ici mise sur la simplicité structurelle plutôt que sur la richesse des degrés de liberté. Les auteurs évoquent la poursuite des travaux vers une caractérisation plus fine du ratio d'asymétrie et une intégration potentielle sur des bras robotiques complets.

RecherchePaper
1 source
Modèles de génération de graphes de scènes 2D géométriques
3444arXiv cs.RO 

Modèles de génération de graphes de scènes 2D géométriques

Une équipe de recherche propose une nouvelle méthode pour générer automatiquement des graphes de scène représentant les relations d'assemblage entre composants, sans recourir à des données sémantiques annotées et en fonctionnant avec un jeu de données très restreint. Le pipeline s'appuie d'abord sur un modèle Faster R-CNN pour détecter les composants et produire des représentations géométriques de leur position et de leur forme. Ces représentations passent ensuite par une architecture transformer chargée de générer une matrice d'adjacence, qui sert à son tour d'entrée à un réseau siamois. Ce dernier utilise un mécanisme de passage de messages fondé sur un réseau convolutionnel de graphe attentionnel (aGCN) pour caractériser précisément la nature des connexions entre pièces. La méthode a été validée sur un jeu de données d'étude composé de pièces de modèles réduits assemblables en véhicules de transport (type maquettes jouets). Pour la robotique d'assemblage, ce travail répond à un problème très concret : un bras robotique ne peut planifier ni exécuter un montage sans comprendre comment les pièces s'articulent entre elles, et les approches classiques de génération de graphes de scène reposent généralement sur de lourdes bases sémantiques annotées, coûteuses à constituer pour chaque nouveau produit industriel. En s'appuyant uniquement sur la géométrie détectée visuellement et en tolérant de petits volumes de données d'entraînement, cette approche vise à réduire le travail d'annotation nécessaire pour déployer un système de compréhension d'assemblage sur une nouvelle chaîne de production ou un nouveau produit, ce qui intéresse directement les intégrateurs et les équipes R&D en robotique industrielle. Ce travail s'inscrit dans la lignée des recherches sur la génération de graphes de scène (scene graph generation), initialement développée pour la compréhension d'images en vision par ordinateur, mais ici réorientée vers un cas d'usage industriel précis : la planification d'assemblage robotique. La combinaison Faster R-CNN plus transformer plus réseau siamois à base de aGCN constitue une architecture hybride originale, distincte des approches purement sémantiques dominantes dans ce domaine. Publiée sur arXiv, cette contribution reste à ce stade une preuve de concept testée sur un jeu de données jouet ; sa généralisation à des composants industriels réels, à des géométries plus complexes ou à des scènes encombrées reste une étape à valider.

RecherchePaper
1 source
Ordered Action Tokens pour l'apprentissage de politiques visuomotrices
3445arXiv cs.RO 

Ordered Action Tokens pour l'apprentissage de politiques visuomotrices

Des chercheurs publient sur arXiv (arXiv:2607.21670v1) une nouvelle méthode de tokenisation d'actions pour les politiques visuomotrices de robots, baptisée OAT (Ordered Action Tokenization). Le problème visé est concret : pour piloter un bras ou un robot humanoïde via un modèle vision-langage-action (VLA), il faut convertir des séquences d'actions continues en tokens discrets, une étape clé de l'architecture. Les méthodes existantes échouent sur deux fronts, soit elles produisent des séquences de tokens beaucoup trop longues, soit elles génèrent des tokens latents appris mais sans structure interne, ce qui les rend peu compatibles avec les politiques de contrôle en aval. OAT combine un transformer à registres, une quantification scalaire finie et des mécanismes d'entraînement qui imposent un ordre aux tokens produits. Concrètement, chaque préfixe de la séquence de tokens est entraîné à pouvoir, à lui seul, se décoder en une action valide, les premiers tokens portant l'information de contrôle grossière et les suivants affinant les détails résiduels. Les auteurs ont testé la méthode sur trois architectures de politiques différentes et plus de 60 tâches, couvrant cinq bancs d'essai en simulation ainsi que des scénarios réels. Cette structure ordonnée change la donne opérationnelle : elle permet un compromis "anytime" entre coût de calcul à l'inférence et précision du geste, un point critique pour le déploiement embarqué où la latence contraint directement la cadence de contrôle. Pour les intégrateurs travaillant avec des politiques autorégressives ou des architectures hybrides combinant tokens et experts de type flow, cela ouvre la possibilité d'ajuster dynamiquement le compromis vitesse-précision sans changer de modèle, un besoin réel face aux VLA actuels souvent jugés trop lents pour du contrôle temps réel industriel. Le travail s'inscrit dans la lignée des tokenizers d'actions développés pour les politiques VLA type Pi-0 ou GR00T N2, où l'encodage des actions reste un goulot d'étranglement identifié par la recherche depuis l'essor de ces modèles. En comparant explicitement autorégression pure et co-entraînement par tokens dans un cadre flow-based, les auteurs positionnent OAT comme une brique d'interface générique, potentiellement réutilisable au-delà des architectures testées dans l'étude.

RechercheActu
1 source
Modèle Vision-Langage-Action pour la manipulation multi-mains via recherche dans les espaces d'assignation et nuls
3446arXiv cs.RO 

Modèle Vision-Langage-Action pour la manipulation multi-mains via recherche dans les espaces d'assignation et nuls

Des chercheurs publient sur arXiv (arXiv:2607.22020, nouvelle soumission) une méthode pour résoudre un problème d'exécution resté largement irrésolu dans la robotique par apprentissage : les politiques de manipulation entraînées produisent aujourd'hui des trajectoires pour des « mains » abstraites, indépendantes de toute plateforme physique, ce qui facilite la collecte de démonstrations et le transfert d'un robot à l'autre. Mais transposer ces sorties sur un robot réel à plusieurs bras pose trois contraintes simultanées : assigner chaque trajectoire de main à un bras physique, faire en sorte que chaque bras suive dans l'espace des configurations la trajectoire prescrite de son effecteur, et respecter les limites cinématiques tout en évitant les collisions entre bras. En l'absence d'algorithme dédié, les équipes bricolent aujourd'hui des pipelines de cinématique inverse (IK) mono-bras étendus ad hoc, sans garantie de faisabilité ni de sécurité. Les auteurs proposent un planificateur fondé sur le Conflict-Based Search (CBS), qui recherche conjointement dans l'espace discret d'assignation des trajectoires aux bras et dans l'espace continu des espaces nuls jacobiens des bras redondants, exploitant cette redondance pour éviter les collisions inter-bras tout en suivant les mouvements prescrits. Le projet est documenté sur omcbsa.github.io. Ce travail s'attaque directement au maillon faible entre les politiques génératives type VLA (Pi-0, GR00T N2, Helix) et leur déploiement effectif sur des plateformes multi-bras ou humanoïdes bi-manuelles. Il illustre un écart typique du secteur : une politique peut être excellente en simulation ou sur une seule paire de bras, sans qu'il existe de méthode garantissant sa transposition sûre et complète à un robot physique concret. Pour les intégrateurs, disposer d'un cadre théoriquement complet, plutôt que d'heuristiques IK non garanties, réduit le risque d'échecs d'exécution ou de collisions lors du passage du laboratoire au déploiement industriel. CBS est historiquement un algorithme de planification multi-agents pour la recherche de chemins sans collision entre plusieurs robots mobiles ; son adaptation ici à l'espace nul des manipulateurs redondants est la contribution centrale. Il s'agit pour l'instant d'un travail de recherche publié en preprint, sans annonce de pilote industriel ni de partenaire ; la suite naturelle serait une validation sur des plateformes multi-bras réelles au-delà des démonstrations du site du projet.

RecherchePaper
1 source
Modélisation de récompense de progression pour l'apprentissage robotique : une étude complète
3447arXiv cs.RO 

Modélisation de récompense de progression pour l'apprentissage robotique : une étude complète

Une étude publiée sur arXiv (arXiv:2607.21655v1) propose la première synthèse structurée de la littérature sur le "progress reward modeling" en apprentissage robotique, soit les signaux de récompense qui mesurent l'avancement d'une tâche pendant son exécution, et non plus seulement à son terme. Le constat de départ est simple: un signal de succès terminal indique si la tâche est accomplie, mais ne dit rien sur le fait qu'un robot progresse, stagne ou régresse dans son comportement en cours de route. Face à la profusion de méthodes récentes exploitant ce type de retour intermédiaire, les auteurs organisent le champ en trois axes reliés: l'interface du modèle (quelles observations et spécifications d'objectif il reçoit, quel signal de progression il produit), les mécanismes internes de construction de ce signal, puis les données et protocoles d'évaluation qui servent à le valider. L'étude recense aussi les limites actuelles des approches existantes et esquisse des pistes de recherche futures. L'enjeu dépasse la seule taxonomie académique. En apprentissage par renforcement ou par imitation, la récompense terminale rare reste un goulot d'étranglement majeur pour les tâches longues de manipulation ou de locomotion: sans retour intermédiaire, l'agent ne sait pas s'il se rapproche de l'objectif. Des signaux de progression denses, exploitables par des politiques vision-langage-action comme GR00T ou Pi-0, promettent un apprentissage plus efficace en échantillons. Mais les auteurs pointent surtout l'absence de cadre commun: espaces d'observation, formats de signal, sources de supervision et protocoles d'évaluation diffèrent d'un papier à l'autre, rendant les comparaisons de résultats entre laboratoires largement invalides en l'état. Ce travail s'inscrit dans la lignée des modèles de récompense apparus avec le RLHF pour les grands modèles de langage, transposés ici au monde incarné, après des années de récompenses denses conçues à la main ou de signaux terminaux trop pauvres pour guider l'apprentissage. Les approches récentes s'appuient sur des fonctions de valeur apprises à partir de vidéos, des modèles vision-langage utilisés comme juges, ou de l'apprentissage contrastif contre des démonstrations. Sans annoncer de nouveaux résultats expérimentaux, cette synthèse vise avant tout à poser les bases de benchmarks standardisés pour ce sous-domaine en pleine expansion.

RecherchePaper
1 source
Robot Serpent : Locomotion Ondulatoire Adaptative en Milieu Visqueux Dynamique via Apprentissage par Renforcement Profond
3448arXiv cs.RO 

Robot Serpent : Locomotion Ondulatoire Adaptative en Milieu Visqueux Dynamique via Apprentissage par Renforcement Profond

Des chercheurs démontrent qu'un robot serpent piloté par apprentissage par renforcement profond (DRL) peut adapter sa locomotion en temps réel dans des environnements visqueux dont les propriétés changent dynamiquement, là où les méthodes de contrôle classiques à trajectoire prédéfinie échouent. Le problème est formulé comme un processus de décision markovien partiellement observable, puisque le robot ne dispose d'aucun capteur embarqué mesurant directement la viscosité du fluide environnant. La solution repose sur un cadre acteur-critique asymétrique : une politique "professeur" est d'abord entraînée en simulation physique avec accès à des informations privilégiées (la viscosité réelle), puis distillée dans une politique "étudiante" qui ne s'appuie plus que sur des capteurs proprioceptifs, exploitables sur un robot réel. Testé sur une plage de viscosités dynamiques allant de 10⁻⁷ à 10⁻² m²/s, l'agent apprend spontanément des allures ondulatoires non sinusoïdales, en rupture avec les gaits classiques, qui améliorent à la fois la vitesse de propulsion et l'efficacité de transport. L'intérêt dépasse le simple exercice académique : les robots serpents sont pressentis pour l'inspection de pipelines, l'exploration de milieux confinés ou sous-marins, et les opérations de recherche et sauvetage, autant de contextes où la viscosité du milieu (eau, boue, hydrocarbures) varie sans prévenir. Démontrer qu'un contrôleur peut inférer implicitement les propriétés physiques de l'environnement sans capteur dédié, uniquement via la distillation de connaissances privilégiées, ouvre une voie pour s'affranchir des modèles hydrodynamiques classiques, souvent trop rigides face à l'imprévisibilité réelle des fluides. Ce travail s'inscrit dans la lignée des recherches sur la locomotion bio-inspirée, où le contrôle par générateurs de patterns centraux (CPG) et les gaits sinusoïdaux dominent depuis des décennies faute d'alternative robuste. Il rejoint aussi la tendance plus large du DRL en robotique locomotrice, illustrée par les transferts sim-to-réel sur quadrupèdes ou bipèdes. Les résultats présentés restent toutefois cantonnés à la simulation ; la validation sur un robot serpent physique, confronté à de vrais fluides et à leurs bruits de mesure, constitue l'étape suivante logique avant tout déploiement industriel.

RecherchePaper
1 source
Robot apprend à communiquer via des abstractions visuelles projetées
3449arXiv cs.RO 

Robot apprend à communiquer via des abstractions visuelles projetées

Des chercheurs présentent un système robotique capable d'exprimer des formes via des ombres projetées, construit autour d'une main dexterisee a 21 degrés de liberté recouverte d'une peau souple compliante qui limite les fuites de lumière et produit des silhouettes continues. Le coeur du système est un "self-model" différentiable, appris par exploration autonome sans tache prédéfinie, qui associe chaque configuration de la main a l'ombre qu'elle projette. A partir d'une image ou d'une vidéo cible, le robot optimise sa configuration par descente de gradient sur ce modèle appris, puis affine la solution via une simulation tenant compte des collisions pour garantir des mouvements physiquement réalisables. Pour les ombres en mouvement, les chercheurs ajoutent des objectifs de région expressive, une régularisation de lissage temporel et une optimisation par images-clés. Les démonstrations couvrent la langue des signes, les ombres chinoises artisanales et l'imitation de mouvements animaux, testées en simulation et sur robot physique. L'intérêt dépasse le gadget: peu de travaux en robotique expressive abordent la communication via une abstraction visuelle du corps plutôt que par la morphologie elle-même. Pour la recherche en interaction homme-robot, cela ouvre un canal alternatif aux gestes directs ou aux écrans expressifs, en exploitant un phénomène physique universellement lisible. La démonstration valide aussi, a petite échelle, la faisabilité d'un self-model différentiable appris par auto-exploration plutôt que programme manuellement, une approche qui rejoint la tendance des modèles de monde appris pour la manipulation dexterisee. Reste que ce travail est une preuve de concept en laboratoire, sans données sur la robustesse en conditions réelles ni sur le temps de calcul requis. Cette recherche s'inscrit dans la lignée des mains robotiques a haut nombre de degrés de liberté, un axe distinct des mains de préhension des humanoïdes généralistes comme Figure ou Tesla Optimus, davantage orientées manipulation qu'expression. La question des abstractions corporelles projetées prolonge les travaux sur les visages expressifs des robots sociaux, ici sous un angle purement optique. Publie sur arXiv, l'article ne mentionne ni calendrier de suite ni application commerciale visée: il s'agit d'une démonstration de faisabilité scientifique posant un cadre réutilisable par d'autres équipes travaillant sur l'expressivité robotique, non d'un produit ou d'un pilote industriel.

RecherchePaper
1 source
Apprentissage de tâches humanoïdes variées via des scénarios vidéo synthétiques, sans données du monde réel
3450arXiv cs.RO 

Apprentissage de tâches humanoïdes variées via des scénarios vidéo synthétiques, sans données du monde réel

Une équipe de recherche propose une nouvelle méthode pour entraîner des robots humanoïdes sans passer par la collecte de données réelles, coûteuse et chronophage. Décrite dans un article publié sur arXiv (2607.21648), l'approche utilise l'IA générative pour transformer de simples prompts textuels en séquences vidéo synthétiques et réalistes de mouvements humains. Plutôt que de filmer des opérateurs humains exécutant une tâche, encore et encore, pour capturer différentes variantes de mouvement, le système génère lui-même de multiples façons d'accomplir une même action. Ces démonstrations synthétiques servent ensuite de matériel d'apprentissage pour le robot, selon un principe proche du Learning-from-Demonstration mais sans intervention humaine directe. Les chercheurs ont testé leur méthode sur quatre scénarios de simulation, avec des résultats montrant que le robot exécute les tâches avec succès et s'adapte à des variations complexes de mouvement. L'intérêt de cette approche tient au goulot d'étranglement bien identifié de l'apprentissage par démonstration pour les humanoïdes : la morphologie proche de l'humain ouvre des possibilités motrices riches, mais capturer suffisamment de données réelles diversifiées, couvrant les multiples façons dont différentes personnes réalisent une même tâche, reste onéreux et limité en échelle. Si la génération synthétique de mouvements humains via IA générative tient ses promesses en conditions réelles, elle pourrait réduire la dépendance aux tournages de motion capture et accélérer l'entraînement de modèles de type VLA, un enjeu central pour des acteurs comme Figure, Physical Intelligence ou NVIDIA avec GR00T. Ce travail s'inscrit dans une tendance de recherche plus large qui explore les données synthétiques et la simulation pour combler l'écart entre démonstration et déploiement réel, le fameux problème du sim-to-real. Il reste toutefois à ce stade un résultat de simulation publié en preprint, sans validation sur robot physique ni comparaison chiffrée avec des méthodes concurrentes de génération de données d'entraînement, ce qui invite à la prudence avant toute extrapolation vers une application industrielle.

RecherchePaper
1 source