Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable
RecherchearXiv cs.RO 

Voir ce qui compte : la planification vidéo guidée par indices visuels pour une navigation robotique généralisable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint arXiv (2609.16737, mis en ligne mi-septembre 2026) présente CueNav, un système de navigation robotique combinant planification vidéo guidée par indices visuels et modèle inverse-dynamique (IDM) propre a chaque plateforme. Le planificateur vidéo s'appuie sur deux indices : une carte vue-du-dessus (Bird's-Eye View) donnant le contexte global de la tache, et le maintien d'une partie du corps du robot dans le champ égocentrique pour exposer le contexte d'embodiment. L'IDM traduit ensuite les champs de flux optique extraits de la vidéo en commandes d'actuation. Sur un test de labyrinthe, CueNav quasiment double le taux de réussite par rapport a une planification sans indice global, et atteint 70% de réussite dans un couloir étroit la ou les méthodes comparées échouent majoritairement. Les auteurs démontrent aussi une navigation conditionnée sémantiquement en zero-shot et le déploiement d'un même planificateur vidéo sur plusieurs plateformes robotiques, avec code et résultats sur cuenav.github.io.

Le travail cible un angle mort des approches actuelles de navigation par modèle vidéo, qui conditionnent généralement la planification sur un horizon court et récupèrent des points de passage géométriques via reconstruction de scene, au détriment du long horizon et d'une traduction vidéo-vers-action précise. En couplant contexte global et ancrage d'action spécifique a l'embodiment, CueNav esquisse une piste pour transformer les modèles vidéo génératifs en véritable backbone de politique de navigation généralisable, plutôt qu'en simple outil de visualisation a court terme. Pour les intégrateurs qui explorent les architectures vision-langage-action (VLA) au-delà de la manipulation, cela suggère qu'une même logique de planification vidéo peut se transférer entre plateformes, un enjeu pour les flottes hétérogènes d'AMR et de robots humanoïdes.

Ce travail s'inscrit dans une tendance ou des modèles vidéo génératifs sont testes comme backbone de politiques robotiques, en parallèle d'architectures VLA comme Pi-0 ou GR00T N2 employées en manipulation, et se positionne explicitement contre les méthodes limitant la planification a un horizon court avec reconstruction géométrique. Il s'agit d'un preprint non encore revu par les pairs, dont les taux de réussite annonces (quasi-doublement en labyrinthe, 70% en couloir étroit) proviennent de bancs d'essai contrôles propres a l'étude, sans précision sur le nombre d'essais ni déploiement en environnement industriel réel. Aucune entreprise ni feuille de route commerciale n'est associée a l'annonce : il s'agit d'une contribution académique, sans calendrier de pilote a ce jour.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

VIP : planification itérative par variation pour la navigation robotique
1arXiv cs.RO 

VIP : planification itérative par variation pour la navigation robotique

Une équipe de recherche présente VIP (Variation-based Iterative-learning Planning), un nouveau cadre de planification de trajectoires pour robots mobiles individuels et essaims robotiques, publie sur arXiv le 26 aout 2026 sous l'identifiant 2608.24618. Contrairement aux méthodes classiques qui paramètrent la trajectoire par un nombre fini de variables discrètes ou qui allongent l'horizon de prédiction au prix d'un cout de calcul croissant, VIP met a jour directement la commande de planification comme une fonction continue dans un espace de fonctions de dimension infinie. Cette mise a jour par variation peut s'exécuter soit hors ligne, en boucle avec un modèle, soit en ligne, en boucle avec l'exécution physique du robot. Le résultat clé est une complexité de calcul par itération en O(n), n etant le nombre de points de discrétisation spatiale, indépendamment de l'allongement de l'horizon ou de la dimension de la trajectoire. Les auteurs rapportent des simulations étendues et des expériences réelles validant la capacité du cadre a générer et améliorer itérativement des plans de mouvement pour différents objectifs, plateformes robotiques et configurations d'essaims. Le problème cible n'est pas anecdotique: la planification de mouvement en environnement large, complexe et encombre d'obstacles, avec des ressources de calcul embarquées limitées, est un goulot d'étranglement connu pour les applications de relève topographique, de recherche et sauvetage et de livraison du dernier kilomètre. La croissance rapide des couts de calcul des méthodes conventionnelles devient particulièrement problématique en scenario multi-robots, ou chaque agent supplémentaire alourdit la charge globale. En maintenant une complexité linéaire en n independamment du nombre de robots ou de l'horizon de prédiction, VIP s'attaque directement a un frein a l'échelle qui limite aujourd'hui le déploiement d'essaims robotiques en conditions réelles. Pour les intégrateurs et décideurs du secteur, l'intérêt tient moins a une démonstration ponctuelle qu'a la promesse de scalabilité: un cadre générique, applicable a plusieurs plateformes et objectifs sans redesign complet, réduirait le cout d'ingénierie pour déployer des flottes plus grandes. Les résultats publies restent toutefois issus d'expériences contrôlées en simulation et de tests réels limites, non d'un déploiement opérationnel a grande échelle. VIP s'inscrit dans une lignée de recherche en optimisation de trajectoires qui cherche depuis plusieurs années a dépasser les limites des approches par discrétisation finie, historiquement dominantes en planification robotique mais couteuses des que l'horizon temporel ou le nombre d'agents augmente. En traitant la commande de planification comme une fonction continue plutôt qu'un vecteur de variables discrètes, les auteurs se rapprochent des méthodes de calcul des variations appliquées au contrôle optimal, transposées ici a un cadre itératif compatible avec l'apprentissage en boucle physique. L'article, classe comme nouvelle soumission arXiv en robotique, ne précise ni partenaire industriel ni calendrier de transfert vers un produit commercial: il s'agit a ce stade d'une contribution méthodologique destinée a la communauté de recherche en planification et contrôle, dont l'adoption dépendra de sa reprise par des laboratoires ou entreprises spécialisées en navigation autonome et systèmes multi-robots.

RecherchePaper
1 source
HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative
2arXiv cs.RO 

HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative

HorizonNav, un framework décrit dans un preprint arXiv (2610.13849v1), propose de transformer une seule image RGB et un prompt textuel en représentation 3D géométriquement alignée de l'espace environnant, pour permettre une navigation « anticipatrice » sans lidar. Un modèle vision-langage interprète la scène et construit des prompts structurés pour un modèle de diffusion vidéo, qui génère une séquence d'observations futures plausibles. Cette vidéo est ensuite traitée par ORB-SLAM3 en mode monoculaire pour estimer les poses de caméra, et par Video Depth Anything pour prédire une profondeur dense. L'apport central est une étape d'alignement de la profondeur guidée par la géométrie, qui combine les poses estimées et des points de repère visuels triangulés pour contraindre les cartes de profondeur sur plusieurs vues. Les auteurs soulignent que la seule cohérence temporelle de la vidéo générée ne suffit pas à garantir une géométrie cohérente. Les résultats chiffrés restent modestes, mais ils sont présentés avec une franchise rare. Sur une étude de 19 scènes, le nombre de scènes permettant une planification passe de 13/19 à 15/19 entre les configurations P20 et P81, et les essais RRT réussis de 62/90 à 75/90. Dans une étude de couloirs, 6 trajectoires de caméra générées sur 25 évaluables violent les contraintes de collision reconstruites, et le planificateur RRT trouve une alternative faisable dans 5 de ces 6 cas. Sur une archive plus large, 58 reconstructions exploitables sur 67 tentatives ont été obtenues, mais seules 36 débouchent sur un plan, contre 22 sans plan possible. L'erreur moyenne de reconstruction atteint environ 0,30 m sur 15 couloirs, mesurée à des repères structurels appariés. Pour un intégrateur, 0,30 m est loin d'une précision suffisante pour de la manipulation, et même pour de la navigation en espace étroit la marge est faible. Aucun test sur robot réel n'est mentionné dans le résumé, et l'évaluation se fait dans des environnements « imaginés ». L'intérêt tient à la publication des échecs : près d'un tiers des reconstructions exploitables ne supporte aucun plan, ce qui chiffre l'écart entre une vidéo visuellement plausible et un espace libre réellement fiable. Cela tempère l'idée que les modèles de monde génératifs peuvent remplacer directement la cartographie par capteurs actifs. Dans ce cadre, la vidéo générée reste une hypothèse sur ce qui est hors champ, pas une mesure. Le travail s'inscrit dans la tendance à utiliser la diffusion vidéo comme modèle de monde pour la robotique, en concurrence avec les approches de navigation fondées sur la cartographie classique, le SLAM visuel-inertiel ou les VLA de navigation. Il s'agit d'une preuve de concept académique : ni produit, ni déploiement, ni calendrier annoncé. Les prochaines étapes naturelles seraient des essais sur plateforme mobile réelle et une réduction de l'erreur métrique.

RecherchePaper
1 source
VLBiMan : une démonstration unique guidée par vision-langage permet la manipulation robotique bimanuelle généralisable
3arXiv cs.RO 

VLBiMan : une démonstration unique guidée par vision-langage permet la manipulation robotique bimanuelle généralisable

Des chercheurs ont publié sur arXiv (ref. 2509.21723, quatrième révision) VLBiMan, un framework d'apprentissage pour la manipulation bimanuels robotique qui vise à réduire drastiquement le nombre de démonstrations humaines nécessaires à l'entraînement d'un robot à deux bras. Le principe central : à partir d'un seul exemple humain, le système décompose la tâche en primitives réutilisables dites "invariantes" (les composantes stables d'un geste, comme saisir un outil dans un axe donné) et en composantes "ajustables" (position exacte, orientation selon le contexte). Ces ajustements sont pilotés en temps réel par un ancrage vision-langage (VLA) qui parse sémantiquement la scène et applique des contraintes de faisabilité géométrique, sans nécessiter de réentraînement lorsque le fond change, qu'un objet est déplacé ou que du désordre visuel perturbe la scène. Le système prend également en charge un contrôle hybride des deux bras, autorisant une utilisation synchrone ou asynchrone selon la sous-tâche. L'intérêt industriel porte sur deux points. D'abord, la réduction du coût d'acquisition de données : les approches par imitation classiques exigent des dizaines à centaines de démonstrations pour couvrir les variations d'une tâche, VLBiMan en revendique une seule -- sans que le papier ne quantifie précisément ce ratio dans des conditions industrielles représentatives, ce qui mérite prudence. Ensuite, le transfert cross-embodiment : les primitives apprises à partir de démonstrations humaines se réinstancient sur différentes plateformes robotiques sans réentraînement, ce qui ouvrirait la voie à une bibliothèque de compétences portables. Les expériences couvrent des tâches d'utilisation d'outils et de manipulation multi-objets, et montrent une robustesse aux objets sémantiquement similaires mais visuellement inédits, ainsi qu'aux perturbations externes. Ce travail s'inscrit dans la vague des architectures VLA (Vision-Language-Action) qui cherchent à remplacer la collecte massive de données par une généralisation sémantique. Il se positionne face aux approches par imitation pure (comme ACT ou Diffusion Policy) qui saturent rapidement en capacité de généralisation, et aux méthodes modulaires classiques, moins flexibles dans les scènes dynamiques. Les concurrents directs incluent des frameworks comme RoboFlamingo, OpenVLA ou UniManipulate. VLBiMan reste à ce stade un travail académique sans déploiement industriel annoncé ni partenaire industriel cité, avec des validations conduites en environnement de laboratoire contrôlé.

RechercheOpinion
1 source
UniDomain : préentraînement d'un domaine PDDL unifié à partir de démonstrations réelles pour la planification robotique généralisable
4arXiv cs.RO 

UniDomain : préentraînement d'un domaine PDDL unifié à partir de démonstrations réelles pour la planification robotique généralisable

Une équipe de chercheurs a publié UniDomain, un cadre de pré-entraînement qui construit automatiquement un domaine PDDL (Planning Domain Definition Language) unifié à partir de démonstrations robotiques réelles, pour être ensuite appliqué à la planification de tâches en ligne. Le système ingère 12 393 vidéos de manipulation robotique, en extrait des domaines atomiques, et les fusionne en un domaine unifié comprenant 3 137 opérateurs, 2 875 prédicats et 16 481 arêtes causales. Face à une nouvelle classe de tâches, UniDomain récupère les atomes pertinents et les assemble dynamiquement en méta-domaines adaptés. Les expériences sur des tâches réelles inédites montrent des gains allant jusqu'à 58 % sur le taux de succès et 160 % sur l'optimalité des plans, comparé aux meilleures bases LLM seuls et LLM couplés à PDDL manuel, le tout en mode zéro-shot. Ce résultat s'attaque à l'un des verrous centraux de la robotique manipulatrice : la capacité à raisonner sur des séquences longues d'actions avec des contraintes implicites issues du langage et de la vision. Les LLM et VLM actuels fournissent de bons priors sémantiques, mais peinent à maintenir une cohérence causale sur des horizons temporels étendus et à ancrer les symboles dans le réel. UniDomain propose une voie médiane : extraire la structure symbolique directement depuis des démonstrations, évitant ainsi la fragilité des domaines PDDL codés à la main, souvent trop étroits pour généraliser. La généralisation compositionnelle zéro-shot, validée sur des tâches jamais vues, est ici une affirmation forte, bien que la sélection des vidéos sources et des scénarios de test mériterait une vérification indépendante pour écarter un biais de distribution. La planification symbolique robotique via PDDL est un paradigme ancien, remontant aux travaux STRIPS des années 1970, mais qui a souffert du coût élevé de l'ingénierie des domaines. Des approches récentes comme SayCan (Google), Code-as-Policies (Google Brain) ou les travaux de planification LLM de MetaAI ont tenté de contourner ce problème par la génération de code ou de plans en langage naturel, avec des résultats limités en environnements ouverts. UniDomain repositionne PDDL non plus comme une contrainte d'ingénierie mais comme un artefact appris, ce qui le rapproche conceptuellement des travaux sur l'apprentissage de modèles du monde. Les prochaines étapes naturelles incluent l'extension à la manipulation déformable, l'intégration avec des architectures VLA comme pi-0 ou GR00T N2, et une validation en environnement industriel réel, aujourd'hui absente de l'article.

RecherchePaper
1 source