Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Apprendre la navigation sociale à partir de vidéos Internet dans l'espace d'états de la politique
RecherchearXiv cs.RO 

Apprendre la navigation sociale à partir de vidéos Internet dans l'espace d'états de la politique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent, dans un preprint arXiv (v1), un pipeline qui transforme de simples vidéos monoculaires de personnes en train de marcher en environnements d'entraînement en boucle fermée pour la navigation sociale de robots. Le système ne reconstruit ni ne rend d'observations photoréalistes. Il représente la scène statique par une carte de traversabilité métrique, qui subit une transformation rigide lorsque le robot se déplace de façon contrefactuelle. Les trajectoires des piétons extraites de la vidéo sont rejouées telles quelles dans le temps. La dynamique directe est donc définie dans l'espace d'état de la politique elle-même. La politique entraînée atteint 81,2 % de réussite sur le benchmark indépendant Arena, contre 75,0 % pour la meilleure base de comparaison, et réussit 19 essais réels sur 20 sans fine-tuning. Le résumé ne précise ni la plateforme robotique, ni les sites d'essai, ni le nombre de vidéos utilisées.

L'intérêt tient au coût des données. Entraîner une politique robuste de navigation sociale exige des simulateurs variés, avec des agencements de scènes, des terrains et des mouvements humains divers. Construire ces mondes et scripter le comportement des piétons reste long et cher. En s'appuyant sur des vidéos disponibles sur Internet, cette approche déplace le goulot d'étranglement de la modélisation manuelle vers la collecte de vidéos. Elle contourne aussi une partie du problème sim-to-real : comme la politique n'apprend pas sur des images synthétiques, l'écart visuel entre simulation et réel se réduit. L'hypothèse défendue est que la navigation locale dépend surtout de deux informations, la zone traversable et le mouvement des piétons proches. Le résultat de 19/20 la soutient, mais avec des réserves. Le gain de 6,2 points sur Arena est réel sans être spectaculaire. Vingt essais réels donnent un intervalle de confiance large. Le rejeu de trajectoires enregistrées suppose aussi que les piétons ne réagissent pas au robot, ce qui limite la fidélité des interactions.

Le travail s'inscrit dans une lignée de recherches sur la navigation sociale : simulateurs à foules scriptées, apprentissage par renforcement dans des scènes synthétiques, puis apprentissage à partir de vidéos humaines. Il rejoint la tendance plus large qui consiste à exploiter des données vidéo à grande échelle pour l'entraînement de politiques robotiques. Les prochaines étapes probables sont des tests sur plusieurs morphologies (quadrupèdes, humanoïdes), dans des foules plus denses et avec des piétons réactifs. La question de la transposition aux plateformes commerciales, notamment aux robots mobiles opérant dans des espaces partagés, restera ouverte tant que le code, les données et les conditions d'essai ne seront pas publiés et reproduits indépendamment.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

IntentNav : apprendre la navigation spatiale vers des objets à partir de démonstrations humaines
1arXiv cs.RO 

IntentNav : apprendre la navigation spatiale vers des objets à partir de démonstrations humaines

Une équipe de recherche anonyme a soumis le 9 juin 2026 un préprint arXiv (2606.08029) présentant IntentNav, un framework d'imitation spatiale et visuelle pour la navigation autonome par objets (ObjectNav). La tâche consiste à envoyer un robot chercher un objet non observé dans un environnement inconnu, sans carte préalable, en décidant en temps réel où explorer sous observabilité partielle. L'architecture repose sur deux briques complémentaires : une mémoire BEV (Bird's Eye View) qui encode les régions explorées, les frontières inexplorées et l'historique de trajectoire, et une mémoire visuelle égocentrique qui associe des indices sémantiques à chaque frontière candidate. Un modèle de langage et de vision (VLM) est entraîné sur des démonstrations humaines pour sélectionner la prochaine frontière à explorer, guidé par un "Frontier-based Human-Intent Labeling" qui inspecte en avant les trajectoires humaines pour identifier quelle frontière explique le mieux la direction de recherche du démonstrateur. Les auteurs annoncent des performances état de l'art sur les benchmarks MP3D, HM3D-v1 et HM3D-v2. Le point le plus saillant pour les intégrateurs est le transfert zéro-shot : la même politique VLM, sans fine-tuning supplémentaire, est transférée à trois morphologies distinctes, robot à roues, quadrupède et humanoïde. Cela suppose que l'interface candidate-level fonctionne comme une couche d'abstraction suffisamment générique pour s'affranchir des particularités cinématiques propres à chaque plateforme. Pour un COO industriel, cela ouvre la perspective d'un seul modèle de navigation entraîné sur des démonstrations humaines capable de piloter des flottes hétérogènes sans retraining par morphologie. Réserve importante : la démonstration sim-to-real reste confinée aux benchmarks de simulation Matterport3D et HM3D ; aucun résultat sur hardware physique réel n'est rapporté dans le préprint, ce qui laisse entier le gap entre benchmark et déploiement terrain. IntentNav s'inscrit dans un champ actif où des approches concurrentes comme SemExp (Chaplot et al., 2020), ZSON (Majumdar et al., 2022) ou les méthodes VLM zéro-shot telles qu'EmbodiedGPT et OpenFMNav se disputent la tête des benchmarks HM3D. La contribution distinctive est l'extraction d'intention de haut niveau à partir d'actions humaines de bas niveau via le labeling de frontières, une alternative à l'apprentissage par renforcement pur qui souffre de la rareté des récompenses dans les grands espaces d'exploration. La soumission étant anonyme, affiliations et financements ne sont pas divulgués ; une page projet est référencée sans contenu pleinement accessible à ce stade.

RechercheOpinion
1 source
WALA : apprendre des actions latentes exécutables à partir de démonstrations étiquetées et de vidéos sans action
2arXiv cs.RO 

WALA : apprendre des actions latentes exécutables à partir de démonstrations étiquetées et de vidéos sans action

Des chercheurs présentent WALA (arXiv:2607.11397), un framework qui apprend des actions latentes exécutables à partir de deux types de données distincts : des démonstrations robotiques annotées d'actions et de simples vidéos sans annotation d'action. Le problème visé est bien connu du secteur : les démonstrations robotiques étiquetées coûtent cher à collecter et passent mal à l'échelle, alors que les vidéos humaines et robotiques disponibles en masse restent inexploitables faute d'étiquettes d'action exécutables. WALA fonctionne en deux temps. D'abord, un pré-entraînement d'un modèle d'action latente sémantique-géométrique sur des vidéos, en modélisant l'évolution entre l'observation courante et des observations futures échantillonnées de façon éparse. Plutôt que de reconstruire les pixels bruts, le système prédit les deltas futurs dans l'espace de features DINOv3 et dans l'espace de profondeur dense, ce qui conserve la structure sémantique et géométrique utile à la tâche tout en réduisant la sensibilité aux détails d'apparence. Lors de l'entraînement de la politique, l'encodeur pré-entraîné fournit des cibles d'action latente stables, et le décodeur sert de modèle du monde latent entraînable, avec une supervision conjointe par prédiction d'action robotique, correspondance de cible d'action latente et prédiction de dynamique future. Résultat annoncé : un nouveau record sur RoboCasa avec 75,2% de taux de réussite moyen, ainsi que de bonnes performances sur RoboTwin et en manipulation réelle. L'enjeu pour l'industrie robotique tient moins à la performance brute qu'à la promesse de découplage entre données d'entraînement et coût d'annotation. Si une politique VLA peut effectivement tirer une supervision de dynamique utile de vidéos non annotées, cela ouvre la voie à des jeux de données d'entraînement bien plus vastes sans multiplier les campagnes de téléopération robotique, un goulot d'étranglement connu pour tout intégrateur ou labo qui cherche à généraliser au-delà d'un jeu de tâches restreint. Cela dit, il s'agit d'un résultat de recherche publié sur arXiv, pas d'un produit déployé : les métriques de succès sur RoboCasa et RoboTwin sont des benchmarks de simulation ou semi-contrôlés, et la mention de "manipulation réelle" reste peu détaillée dans l'abstract, sans précision sur le nombre de tâches, le taux de réussite exact en conditions réelles ni le hardware utilisé. Le travail s'inscrit dans la lignée des architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, langage et contrôle moteur dans un même backbone, et dans la tendance plus large des "world models" latents pour la robotique, où l'usage de features pré-entraînées (ici DINOv3) remplace la reconstruction pixel pour la supervision. Aucun acteur français ou européen n'est mentionné dans cet abstract. Les suites logiques incluraient une publication complète avec code et poids, ainsi que des tests de généralisation croisée entre familles de robots, un point sur lequel l'abstract reste volontairement vague.

RechercheActu
1 source
Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage
3arXiv cs.RO 

Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage

Des chercheurs proposent, dans un preprint arXiv (2610.12172), le « Spatial Language Modeling », une approche qui fait apprendre à un seul Transformer autorégressif à la fois la génération d'actions et la prédiction des états futurs d'une scène. Le principe consiste à représenter les contours de la scène, les objectifs, les cibles d'action et les états futurs avec un vocabulaire commun de coordonnées discrètes et de tokens sémantiques. Une grammaire propre à chaque tâche organise ces éléments en séquences spatiales, de sorte qu'un même objectif de prédiction du token suivant couvre le contrôle et la modélisation de l'état. Le modèle est entraîné de zéro en deux temps : un pré-entraînement sur des transitions issues de jeu aléatoire, puis un entraînement conjoint actions et états sur des démonstrations expertes. Pendant le pré-entraînement, les coordonnées d'action enregistrées servent de condition aux prédictions d'état suivantes, mais sont exclues de la perte. En phase de contrôle, le modèle ne décode que les cibles d'action exécutables et met à jour son historique avec les états réellement observés. L'évaluation porte sur la tâche Push-T, en simulation et sur un robot réel. Les auteurs annoncent des performances compétitives en simulation, et un taux de réussite ainsi qu'une couverture de la cible supérieurs à ceux des politiques de référence testées sur robot réel. Pour les équipes qui travaillent sur les politiques de manipulation, l'intérêt tient à la supervision complémentaire apportée par l'apprentissage des effets géométriques des actions. Les ablations indiquent que l'entraînement sur des séquences conjointes action-état améliore le contrôle, et que le pré-entraînement sur du jeu aléatoire apporte un gain supplémentaire. Ce dernier point est pertinent en pratique : ces données sont bon marché à collecter, sans téléopérateur expert. Le même modèle, alimenté avec des trajectoires d'actions fournies, prédit aussi les états successifs de la scène et reproduit les effets du poussage. Il joue donc à la fois le rôle de politique et de modèle du monde léger. Il faut toutefois rester prudent sur la portée de ces résultats. Push-T est un benchmark de poussage planaire d'un objet en forme de T, relativement simple, et le texte ne chiffre pas, dans son résumé, l'écart avec les baselines ni la taille de l'échantillon d'essais réels. La généralisation à des tâches à contacts riches, à de la 3D ou à des préhenseurs multi-doigts reste à démontrer, de même que le passage à l'échelle d'un vocabulaire de coordonnées discrètes. Ce travail s'inscrit dans un mouvement plus large visant à unifier perception, action et prédiction dans des architectures de type langage. Il se distingue des approches VLA (vision-langage-action) dominantes, qui reposent sur de grands modèles pré-entraînés, par un entraînement de zéro, sans pré-entraînement web, et par une représentation entièrement spatiale. Parmi les références habituelles de Push-T figurent les politiques de diffusion, qui servent souvent de base de comparaison, ainsi que les modèles du monde appris pour la planification. Le résumé ne précise ni l'équipe, ni le code, ni d'éventuelles extensions annoncées. Il s'agit à ce stade d'un preprint non évalué par des pairs, sans déploiement industriel associé. La suite logique sera de tester la méthode sur des tâches plus longues, sur des scènes 3D et sur des manipulations avec contacts complexes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines
4arXiv cs.RO 

DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines

DexCast est un framework de recherche, publié sur arXiv (identifiant 2610.14691, version 2 révisée), qui apprend le contrôle de mains robotiques dextres directement à partir de vidéos monoculaires RGB-D d'humains, sans aucune téléopération. Le système s'appuie sur des reconstructions conjointes main-objet (HOI, pour hand-object interaction) en 3D, dont il extrait les trajectoires à reproduire. Pour traiter la difficulté de modéliser un mouvement de main à très haut nombre de degrés de liberté et d'en exploiter le contexte temporel, les auteurs proposent un module de perception du mouvement de la main, le DexHand Motion Perception Module (DMPM). Celui-ci encode la coordination entre articulations et les dépendances temporelles dans des représentations latentes compactes, qui conditionnent ensuite une politique de diffusion générant les actions futures. Les auteurs affirment des performances « exceptionnelles » sur diverses tâches de manipulation dextre testées en conditions réelles. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni modèle de main, ni comparaison chiffrée avec des méthodes existantes. L'enjeu est le coût de la donnée. Les approches d'imitation dextre dominantes reposent sur des démonstrations téléopérées, lentes à collecter, coûteuses en main-d'œuvre et peu transférables d'un robot à l'autre. Si l'on peut obtenir une politique exploitable à partir de simples vidéos humaines, le goulot d'étranglement se déplace de la collecte robotique vers la perception 3D, un terrain où les progrès sont rapides. Pour un intégrateur ou un industriel, l'attrait est évident : filmer un opérateur qualifié avec une caméra RGB-D serait bien moins cher que d'immobiliser un robot et un téléopérateur. Il faut toutefois rester prudent. Il s'agit d'un travail académique, sans déploiement ni produit, et le résumé ne dit rien de la robustesse hors du cadre de l'expérience, de la généralisation à de nouveaux objets, ni de l'écart entre morphologie humaine et main robotique. La qualité de la politique dépend aussi directement de la précision de la reconstruction HOI, notamment en cas d'occultation. DexCast s'inscrit dans un mouvement plus large qui cherche à apprendre la manipulation à partir de vidéos humaines pour réduire la dépendance à la téléopération. Parmi les approches voisines figurent les gants et dispositifs de capture portés, ainsi que les grands modèles vision-langage-action (VLA) entraînés sur des corpus mixtes, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. La politique de diffusion, devenue un standard de l'apprentissage par imitation, est ici combinée à un encodeur spécialisé de la main. La suite logique serait la publication de benchmarks chiffrés, de code et de comparaisons avec les méthodes téléopérées, éléments indispensables pour juger de la portée réelle de l'approche. Aucun calendrier de pilote ou de commercialisation n'est annoncé.

RecherchePaper
1 source