Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EgoMoD : prédire des cartes globales de dynamiques à partir d'observations égocentrées locales
RecherchearXiv cs.RO 

EgoMoD : prédire des cartes globales de dynamiques à partir d'observations égocentrées locales

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

EgoMoD (arXiv:2603.00167v2) est une méthode de navigation robotique qui prédit des cartes globales de dynamique de mouvement, appelées Maps of Dynamics (MoDs), depuis de courtes séquences vidéo égocentrées collectées par le robot lui-même. Les MoDs représentent de façon structurée les tendances de mouvement dans un espace donné, offrant un support pour la planification à long terme. L'architecture, conditionnée par la vidéo et la pose du robot, est entraînée par supervision privilégiée : des MoDs calculées depuis des capteurs externes servent de signal d'apprentissage, mais à l'inférence, seuls les capteurs embarqués standards sont requis. Les expériences couvrent de grands environnements simulés, et une validation sur images réelles démontre un transfert zéro-shot sans fine-tuning.

L'enjeu pour les robots mobiles autonomes (AMR) déployés dans des environnements peuplés est concret : la navigation réactive, limitée au champ de vision immédiat, contraint la fluidité des déplacements dans des espaces denses comme les entrepôts ou les hôpitaux. Les MoDs permettent une planification préemptive en anticipant la position probable des personnes avant qu'elles n'entrent dans le périmètre de détection. Jusqu'ici, ce type de carte dynamique exigeait une infrastructure fixe (caméras de surveillance, systèmes de suivi centralisés), incompatible avec des déploiements agiles. EgoMoD supprime cette contrainte : la carte prédictive se construit depuis les données d'opération courante, ce qui ouvre la voie à des déploiements sans modifier l'infrastructure existante.

Les MoDs s'inscrivent dans un champ de recherche actif sur les représentations dynamiques, au-delà des cartes d'occupation statiques ; les approches antérieures nécessitaient des capteurs fixes sur de longues périodes, ce qui ralentissait le déploiement opérationnel. EgoMoD rejoint une tendance à exploiter des architectures vidéo pour inférer des priors dynamiques, terrain partagé avec des modèles comme Trajectron++ ou Social-LSTM. À noter : les résultats quantitatifs principaux sont issus de simulations ; la validation sur images réelles démontre le transfert zéro-shot mais sans évaluation end-to-end de navigation complète. Aucun partenaire industriel ni calendrier de production n'est mentionné dans la publication, et la disponibilité du code source reste à confirmer.

Dans nos dossiers

arXiv cs.RO

À lire aussi

EgoTac : prédiction tactile en conditions réelles à partir d'une vision égocentrique
1arXiv cs.RO 

EgoTac : prédiction tactile en conditions réelles à partir d'une vision égocentrique

Des chercheurs présentent EgoTac, un modèle capable de prédire des signaux tactiles directement à partir de vidéos égocentriques humaines, sans capteur physique de toucher. Publié sur arXiv (2608.15060v1) en août 2026, le modèle est entraîné sur un corpus unifié de plus de 5,7 millions de paires image-tactile, combinant mesures de force continues et contacts binaires. En prédiction intra-domaine, EgoTac atteint une erreur de force moyenne inférieure à 0,06 newton. Sur des benchmarks de prédiction de contact hors domaine, il dépasse l'estimateur de contact considéré jusqu'ici comme référence de l'état de l'art. Le modèle reproduit aussi les courbes de montée et de descente des signaux tactiles réels, et parvient à des prédictions en zero-shot sur des vidéos du monde réel non contraintes, c'est-à-dire filmées hors laboratoire. Cette approche répond à un goulot d'étranglement bien identifié dans l'apprentissage robotique : les données vidéo égocentriques humaines, de plus en plus utilisées pour entraîner des modèles vision-langage-action, sont abondantes et riches en contacts, mais dépourvues d'information tactile, faute de capteurs adaptés à une collecte à grande échelle. En démontrant qu'un signal tactile plausible peut être inféré par la seule vision, EgoTac ouvre une voie pour injecter des a priori tactiles dans l'apprentissage de la manipulation dextre sans multiplier les déploiements de capteurs physiques coûteux et fragiles. Pour les intégrateurs et laboratoires travaillant sur la manipulation fine, cela pourrait réduire la dépendance aux gants ou capteurs tactiles embarqués lors de la collecte de données, tout en conservant un signal exploitable pour entraîner des politiques robotiques. Le travail s'inscrit dans la lignée des efforts de collecte de données égocentriques massives pour la robotique, où la vision domine largement le toucher faute de standardisation des capteurs tactiles. Les auteurs comparent EgoTac à un estimateur de contact jugé état de l'art, qu'il surpasse sur les benchmarks hors domaine testés. Leurs analyses de passage à l'échelle montrent que la diversité des interactions et le volume de données améliorent tous deux la performance de façon régulière, suggérant une marge de progression via l'extension future du corpus d'entraînement et une possible intégration dans des pipelines d'apprentissage robotique tactile plus larges.

RecherchePaper
1 source
Estimation des états dynamiques d'un robot à continuum souple à partir de ses limites
2arXiv cs.RO 

Estimation des états dynamiques d'un robot à continuum souple à partir de ses limites

Des chercheurs en robotique publient une nouvelle méthode d'estimation d'état pour les robots à corps continu souples, dans une version révisée (v3) d'un article déposé sur arXiv. Le problème traité : ces robots ont des états (poses, déformations, efforts internes, vitesses) intrinsèquement de dimension infinie du fait de leur déformabilité continue, alors que les capteurs ne fournissent que des mesures discrètes. Une méthode récente, l'observateur de frontière (boundary observer), utilise la théorie des tiges de Cosserat pour reconstruire l'ensemble de ces états à partir de la vitesse mesurée en bout de robot, captée en général par un système de capture de mouvement externe. L'équipe propose ici une conception duale : plutôt que la vitesse en bout, elle mesure l'effort interne (wrench) à la base du robot, avec un simple capteur de force/couple. Les deux familles d'observateurs, fondées sur des principes de dissipation d'énergie, peuvent être combinées. Une analyse basée sur la théorie de Lyapunov montre que la vitesse de convergence s'améliore puis se dégrade quand les gains de l'observateur augmentent, une tendance convexe qui permet un réglage efficace des paramètres. Les auteurs identifient aussi des cas où états linéaires et angulaires se déterminent mutuellement, réduisant encore le besoin de capteurs. Les essais, en simulation et sur un robot continu actionné par tendons, valident la convergence en mouvements dynamiques rapides, l'existence de gains optimaux, la robustesse au bruit de mesure, aux forces externes et aux incertitudes de modèle, ainsi que des performances de calcul temps réel. Pour l'industrie de la robotique souple, l'apport pratique est concret : remplacer un système de capture de mouvement externe, coûteux, encombrant et limité à un espace calibré, par un simple capteur de force/couple embarqué à la base réduit le coût et la complexité d'installation, et ouvre la voie à des déploiements hors laboratoire, en environnement industriel confiné, en chirurgie mini-invasive ou en inspection. C'est aussi une réponse à un doute récurrent du secteur : peut-on estimer en continu et en temps réel l'état complet d'un robot souple sans instrumentation lourde. Les résultats, avec règle de réglage de gain systématique et calcul temps réel démontré, suggèrent que oui, au moins pour cette classe de robots à tendons, même si l'étude reste validée en simulation et sur un seul prototype expérimental, loin d'un système intégré prêt à l'emploi. Ces travaux prolongent directement l'observateur de frontière initial, qui s'appuyait déjà sur la théorie des tiges de Cosserat mais imposait une mesure de vitesse en bout de robot, donc un dispositif de capture de mouvement externe. En proposant une version duale reposant sur un capteur de force/couple à la base, les auteurs suppriment cette contrainte et élargissent le champ d'application aux configurations où un mocap est impraticable. L'article ne mentionne aucun partenariat industriel ni calendrier de transfert vers un produit commercial ; pour ce type de travaux académiques, les suites attendues sont l'extension à des robots multi-segments ou à actionnement pneumatique, et des essais en conditions réelles au-delà du banc de laboratoire.

RecherchePaper
1 source
PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines
3arXiv cs.RO 

PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines

PokeNet, un nouveau framework de recherche présenté dans un article arXiv (2602.02741v2, version révisée), apprend le modèle cinématique complet d'un objet articulé à partir d'une seule démonstration humaine, sans connaissance préalable du nombre ou du type d'articulations. Le système reçoit une séquence d'observations en nuages de points capturant une personne en train de manipuler un objet inconnu (porte, tiroir, appareil à plusieurs axes), et en déduit trois choses simultanément : les paramètres des articulations (position et orientation des axes), l'ordre dans lequel les liaisons doivent être actionnées, et l'évolution de l'état de chaque articulation au fil du temps. Sur un ensemble d'objets variés, y compris des catégories jamais vues à l'entraînement, PokeNet améliore la précision d'estimation des axes et des états articulaires de plus de 27% en moyenne par rapport aux meilleures méthodes existantes, avec des résultats validés à la fois en simulation et en conditions réelles. L'enjeu dépasse la simple prouesse technique : la modélisation d'articulations est une brique de base pour toute manipulation robotique d'objets du quotidien, en amont de l'apprentissage de compétences ou de la planification de mouvements. Les approches précédentes butaient sur plusieurs limites pratiques, à commencer par la dépendance à des priors sur l'objet, l'incapacité à récupérer des articulations occultées qui ne se révèlent que pendant l'interaction, ou le besoin de dizaines d'images multi-vues par objet, difficilement compatible avec un déploiement réel. PokeNet s'attaque aussi à un point souvent négligé : l'ordre des manipulations, crucial pour des objets à plusieurs degrés de liberté comme un lave-vaisselle, où il faut ouvrir la porte avant de pouvoir sortir le panier. Un robot capable d'apprendre ce modèle à partir d'une simple démonstration humaine, sans instrumentation lourde, se rapproche d'un déploiement générique en environnement domestique ou industriel non structuré. Le travail s'inscrit dans la lignée des méthodes de "articulation modeling" qui cherchent à généraliser au-delà des catégories d'objets prédéfinies, un axe de recherche actif en robotique de manipulation ces dernières années. En s'appuyant uniquement sur une observation humaine plutôt que sur une exploration robotique coûteuse en essais, PokeNet ouvre la voie à des pipelines où un robot apprend par observation avant d'agir. Les auteurs ne précisent pas de calendrier d'intégration dans un système robotique complet, mais les résultats en environnement réel suggèrent une maturité suffisante pour des tests d'intégration à court terme sur des plateformes de manipulation existantes.

RecherchePaper
1 source
Vision-TL-Action : génération neuro-symbolique de trajectoires à partir d'observations visuelles et de logique temporelle
4arXiv cs.RO 

Vision-TL-Action : génération neuro-symbolique de trajectoires à partir d'observations visuelles et de logique temporelle

Des chercheurs présentent Vision-TL-Action, une architecture neuro-symbolique qui génère des trajectoires robotiques directement à partir d'images multi-vues, d'un graphe de logique temporelle (TL) sans coordonnées explicites, et de l'état initial du robot, sans avoir besoin de la géométrie exacte des objets au moment de l'inférence. Les tokens représentant les nœuds de logique temporelle et les tokens visuels spatiaux sont fusionnés par attention croisée bidirectionnelle, et cette représentation conditionne un générateur de trajectoires par flow matching. Les tokens visuels ne sont enrichis que de coordonnées normalisées dans le plan image et d'identifiants de caméra, tandis qu'un objectif d'ancrage prédicat-région, utilisé seulement à l'entraînement, aide le modèle à relier les prédicats logiques aux objets référencés. Évalué avec la métrique Success@K (proportion de tâches réussies par au moins une trajectoire parmi K échantillonnées), le modèle atteint 67,45% de Success@1024 sur une tâche de manipulation avec bras Panda, contre 59,11% pour une référence "oracle" disposant de l'état géométrique exact. Sur une tâche de navigation AntMaze, il obtient 96,35% de Success@256, proche des 96,88% de l'oracle. Le code est publié sur GitHub (AricLau07/vision-tl-action). L'intérêt tient au problème que ce travail contourne: les générateurs de trajectoires conditionnés par logique temporelle encodent généralement la géométrie exacte des objets dans le graphe de tâche, ce qui suppose une reconstruction 3D précise en amont, coûteuse et fragile en conditions réelles. Ici, un ancrage purement 2D dans le plan image suffit à égaler, voire dépasser, une référence disposant d'un accès privilégié à l'état du monde. Pour les intégrateurs qui conçoivent des systèmes de manipulation à partir de spécifications de tâches formelles, cela suggère qu'un pipeline vision-langage-action peut se passer d'une chaîne de perception 3D complète. À noter: ces résultats restent obtenus en simulation, sur des bancs d'essai standards (Panda, AntMaze), sans validation sur robot physique où le bruit de perception, les occlusions et les erreurs de calibration compliquent généralement ce type d'approche. Ce travail s'inscrit dans le rapprochement croissant entre logique temporelle, utilisée de longue date en planification et vérification formelle, et les générateurs de trajectoires par flow matching ou diffusion qui sous-tendent des modèles vision-langage-action comme Pi-0, GR00T ou Helix. Les auteurs situent explicitement leur contribution par rapport aux méthodes existantes qui esquivent le problème de liaison perception-symbole en s'appuyant sur une géométrie exacte. Leurs études de résolution et d'intervention montrent que la finesse de l'ancrage spatial dépend du contenu sémantique et que l'identité du prédicat influence à la fois l'attention et la performance, ouvrant la voie à des travaux futurs sur des scènes multi-objets plus complexes et une validation sur robot réel.

RecherchePaper
1 source