Aller au contenu principal
Apprentissage du parkour pour quadrupèdes : mélange d'experts parcimonieux avec entrée visuelle
RecherchearXiv cs.RO 

Apprentissage du parkour pour quadrupèdes : mélange d'experts parcimonieux avec entrée visuelle

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2604.19344) une étude comparant deux architectures de réseaux de neurones pour le contrôle d'un robot quadrupède Unitree Go2 face à des obstacles de parkour, notamment des marches et discontinuités élevées. L'architecture testée repose sur un mécanisme dit de "mixture d'experts à portes creuses" (sparsely gated MoE) : au lieu d'activer tous les paramètres du réseau à chaque inférence, seul un sous-ensemble d'experts spécialisés est sollicité selon le contexte. Les résultats sur robot réel sont nets : la politique MoE atteint le double de taux de succès dans la traversée de grands obstacles par rapport à une baseline MLP classique, à budget computationnel identique (même nombre de paramètres actifs à l'inférence). Pour obtenir des performances équivalentes avec un MLP dense, il faut augmenter sa taille totale au niveau du MoE complet, ce qui entraîne une hausse de 14,3 % du temps de calcul.

L'intérêt de ce résultat tient moins aux performances brutes qu'à ce qu'il démontre structurellement : les gains architecturaux qui ont propulsé les grands modèles de langage (Mixtral, GPT-4 et consorts utilisent des variantes MoE) sont transférables aux politiques de contrôle robotique bas niveau. Cela valide une intuition croissante dans la communauté : la scalabilité des politiques de locomotion n'est pas uniquement une question de données ou de sim-to-real, mais aussi d'architecture. Pour les équipes travaillant sur des robots embarqués avec contraintes computationnelles, l'activation creuse offre un levier concret pour améliorer les performances sans alourdir les exigences matérielles.

Le parkour quadrupède s'est imposé ces deux dernières années comme un benchmark exigeant pour la locomotion, avec des travaux notables issus de Berkeley, ETH Zurich et CMU sur des plateformes similaires (ANYmal, Spot, Go1/Go2). L'approche dominante jusqu'ici reposait sur des MLP séquentiels entraînés par reinforcement learning en simulation puis transférés sur le robot physique. Cette étude, dont le code est accessible en version anonymisée, ouvre une piste d'amélioration architecturale orthogonale aux efforts habituels sur les données ou les environnements de simulation. Les prochaines étapes naturelles concerneraient l'extension à des environnements plus complexes et l'évaluation du comportement des experts spécialisés pour mieux comprendre la décomposition fonctionnelle apprise.

Dans nos dossiers

À lire aussi

Apprentissage continu de la traversabilité du terrain par l'expérience pour robots quadrupèdes
1arXiv cs.RO 

Apprentissage continu de la traversabilité du terrain par l'expérience pour robots quadrupèdes

Des chercheurs publient sur arXiv (2609.39755v1) un pipeline d'apprentissage continu qui permet à un robot quadrupède d'estimer, avant tout contact, la manière dont un terrain va se comporter sous ses pattes. Le système part d'images prises avant le contact, encodées par un modèle DINOv3 dont les poids restent figés pendant l'entraînement. Ces descripteurs visuels sont convertis en cinq indicateurs proprioceptifs, pondérés selon la fiabilité de leur mesure : glissement plan du pied, force de réaction normale moyenne, indice de traction, coût de transport et taux de charge à l'impact. Un régresseur évidentiel compact fournit ces prédictions avec leurs incertitudes aléatoire et épistémique. Les prédictions et l'incertitude épistémique sont projetées dans une carte locale multicouche, puis fusionnées en un score de traversabilité prudent dont les pondérations se règlent sans réentraînement. L'implémentation ROS2 a été évaluée sur un Unitree Go2, en simulation et sur matériel réel, avec des modèles entraînés séparément dans chaque domaine. Sur un flux séquentiel de trois terrains inédits, le replay avec validation réduit de 23,1 % la dégradation de la log-vraisemblance négative (NLL) sur les données d'ancrage, par rapport à un replay sans validation, pour une adaptation comparable aux nouveaux terrains. L'intérêt tient à ce que la traversabilité est apprise à partir de l'expérience de locomotion. La géométrie et l'apparence visuelle ne disent pas si le robot va glisser, comment ses pieds seront chargés ou combien d'énergie il dépensera. Le mécanisme de validation s'attaque à l'oubli catastrophique : un modèle candidat ne remplace le prédicteur déployé que s'il progresse sur les données récentes sans perdre au-delà d'une tolérance fixée sur les données historiques. Pour un exploitant de robots d'inspection sur site industriel, minier ou extérieur, cela rend envisageable une mise à jour en cours de mission, sans cycle de réentraînement hors ligne. Les limites sont nettes : le gain de 23,1 % est relatif à une variante de la même méthode et non à une référence externe, l'évaluation hardware ne porte que sur trois terrains, et le Go2 est une plateforme de recherche légère. Rien n'indique non plus une validation à grande échelle ou en conditions industrielles. Il s'agit d'un résultat académique, pas d'un produit. Ce travail s'inscrit dans la lignée des approches de navigation par traversabilité auto-supervisée, qui utilisent les signaux proprioceptifs comme étiquettes pour des prédictions visuelles, et de l'essor des modèles de fondation visuels comme DINO utilisés comme encodeurs figés. Le Go2 d'Unitree reste la plateforme de référence des laboratoires, ce qui facilite la reproduction. Il reste à voir si le code sera publié, si la méthode tient sur de plus longues séquences de terrains et sur des robots plus lourds comme ceux d'ANYbotics ou de Boston Dynamics, ou si elle sera intégrée à des politiques de locomotion apprises de bout en bout.

RecherchePaper
1 source
ReMoBot : apprentissage par imitation en quelques exemples pour la manipulation mobile avec des modèles fondation visuels
2arXiv cs.RO 

ReMoBot : apprentissage par imitation en quelques exemples pour la manipulation mobile avec des modèles fondation visuels

Des chercheurs ont publié ReMoBot (arXiv:2408.15919v4), un framework d'apprentissage par imitation à peu d'exemples conçu pour la manipulation mobile sur robots à vision égocentrique. Évalué sur un Boston Dynamics Spot, le système atteint des taux de succès de 70 % sur la tâche "Table Uncover" et 80 % sur "Gap Cover" en environnement réel, avec seulement 20 démonstrations par tâche. Plutôt que de distiller les démonstrations dans une politique paramétrique classique, ReMoBot adopte une stratégie de récupération : à l'inférence, il identifie dans une base de démonstrations d'experts les séquences les plus pertinentes via une combinaison de similarité d'état, d'alignement temporel des trajectoires et de cohérence des séquences d'actions, puis sélectionne directement les commandes motrices sans aucun entraînement supplémentaire. L'ensemble s'appuie sur des vision foundation models pour extraire des représentations robustes depuis la caméra embarquée du robot, en fonctionnement totalement training-free à l'exécution. L'approche retrieval-based présente deux avantages concrets pour les intégrateurs industriels. D'abord, le coût de collecte de données est drastiquement réduit : 20 démonstrations contre plusieurs centaines requises par les méthodes IL standard (ACT, Diffusion Policy), ce qui accélère le déploiement sur de nouvelles tâches ou variantes. Ensuite, l'absence d'entraînement à l'inférence supprime le risque de surapprentissage sur données insuffisantes, problème récurrent avec les objets déformables où la variabilité des états est élevée. ReMoBot surpasse deux baselines entraînées directement sur données réelles sans transfert sim-to-réel sur deux tâches sur trois. La tâche "Curtain Open" reste problématique, signalant que la manipulation d'objets hautement déformables sous occultations partielles constitue encore un verrou non résolu, y compris pour les approches retrieval. ReMoBot s'inscrit dans la tendance à exploiter les vision foundation models (de la famille DINOv2, CLIP, SAM) pour réduire la dépendance aux données propriétaires et améliorer la généralisation. Sur le Spot de Boston Dynamics, plateforme quadrupède commerciale, la manipulation mobile reste un défi structurel : le robot se déplace en même temps qu'il manipule, rendant l'observation égocentrique partielle et bruitée. Face aux VLA de grande taille comme pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind), qui exigent des volumes de données considérables et une infrastructure d'entraînement lourde, ReMoBot se positionne dans le segment "data-efficient, training-free" particulièrement pertinent pour les intégrateurs ou PME industrielles sans capacité de collecte à grande échelle. La prochaine étape logique serait d'enrichir dynamiquement la base de démonstrations et de valider l'approche dans des environnements industriels hors laboratoire contrôlé.

UELes PME et intégrateurs robotiques européens sans capacité de collecte de données à grande échelle pourraient bénéficier directement de cette approche data-efficient (20 démos vs plusieurs centaines), réduisant la barrière d'entrée au déploiement de manipulation mobile intelligente.

RecherchePaper
1 source
Navigation agile pour robots quadrupèdes dans des environnements encombrés par apprentissage
3arXiv cs.RO 

Navigation agile pour robots quadrupèdes dans des environnements encombrés par apprentissage

Des chercheurs présentent VOP-Nav, un système de navigation pour robots quadrupèdes conçu pour évoluer dans des environnements denses et dynamiques, où l'occlusion des capteurs et l'imprévisibilité des déplacements humains posent des défis majeurs. Le cœur du système est un réseau baptisé VOP-Net, qui traite des données LiDAR multi-frames captées en local pour encoder implicitement les contraintes dynamiques de l'environnement et prédire une zone de vitesse sûre, dérivée de la théorie des Velocity Obstacles (VO). Fait notable, cette prédiction VO sert un double rôle : elle alimente la politique de navigation en inférence, et sert de signal de récompense pendant l'entraînement pour favoriser des trajectoires sûres. Le système a été évalué dans le simulateur Isaac Gym, puis déployé en conditions réelles sur un robot quadrupède Unitree Go2, en intérieur comme en extérieur, sans pipeline explicite de détection et de suivi d'obstacles. L'enjeu dépassé ici est un compromis classique en robotique mobile : les méthodes à base de modèle comme les Velocity Obstacles garantissent la sécurité en théorie, mais s'effondrent en environnement dense car elles dépendent d'estimations précises du mouvement des obstacles, difficiles à obtenir dans une foule. À l'inverse, les approches d'apprentissage de bout en bout sont plus robustes mais manquent de capacité de prédiction, ce qui produit soit des collisions, soit des comportements trop prudents. En hybridant les deux, VOP-Nav vise directement le goulot d'étranglement qui freine le déploiement de quadrupèdes et, plus largement, de plateformes mobiles autonomes dans des espaces partagés avec des humains, entrepôts, hôpitaux, bureaux, un enjeu suivi de près par les intégrateurs travaillant avec des plateformes comme Go2 ou Spot. Le papier s'inscrit dans la lignée des travaux sur la navigation sociale et l'évitement d'obstacles dynamiques, où les méthodes géométriques classiques (VO, ORCA) et l'apprentissage par renforcement coexistent sans avoir jusqu'ici bien fusionné. Publié comme preprint arXiv (2607.15036), le travail n'a pas encore fait l'objet de revue par les pairs ; les auteurs revendiquent des taux de réussite supérieurs à leurs bases de comparaison en simulation, sans toutefois préciser de chiffres exacts ni le protocole complet d'évaluation, un point à surveiller avant toute extrapolation vers un déploiement industriel à grande échelle.

RecherchePaper
1 source
MM-Nav : un modèle VLA multi-vues pour la navigation visuelle robuste par apprentissage multi-expert
4arXiv cs.RO 

MM-Nav : un modèle VLA multi-vues pour la navigation visuelle robuste par apprentissage multi-expert

Des chercheurs ont publié MM-Nav (arXiv:2510.03142v2), un modèle de navigation visuelle de type Vision-Language-Action (VLA) capable d'exploiter des observations omnidirectionnelles à 360 degrés pour piloter un robot mobile sans recours à des capteurs de profondeur explicites comme le LiDAR. L'architecture repose sur des modèles de langage et des fondations visuelles pré-entraînés, auxquels s'ajoutent trois experts par renforcement (RL) entraînés séparément avec accès privilégié à l'information de profondeur dans des environnements synthétiques conçus pour trois compétences distinctes : l'atteinte de cible, le passage dans des espaces contraints (squeezing), et l'évitement d'obstacles. Les données générées par ces experts alimentent itérativement le modèle élève selon un ratio d'entraînement ajusté dynamiquement en fonction des performances par compétence. Des expériences en environnement réel viennent compléter la validation en simulation. L'intérêt principal de MM-Nav réside dans ce que les auteurs appellent un "effet synergique" : le modèle élève dépasse les performances de chacun de ses enseignants RL pris individuellement, ce qui suggère que la fusion multi-capacités via un VLA n'est pas simplement additive mais crée une généralisation émergente. Pour les intégrateurs robotiques, cela ouvre la voie à des politiques de navigation robustes sans nécessiter de capteurs LiDAR ou de cartes de profondeur explicites, en s'appuyant uniquement sur des caméras RGB omnidirectionnelles. La capacité à transférer une politique apprise en simulation vers le monde réel (sim-to-real) constitue le vrai enjeu ici, et les auteurs affirment l'avoir validé expérimentalement, bien que les détails sur les environnements réels testés restent limités dans le résumé disponible. MM-Nav s'inscrit dans une dynamique de recherche qui voit les VLA (Vision-Language-Action), popularisés par des travaux comme RT-2 de Google DeepMind ou Pi-0 de Physical Intelligence, s'étendre au-delà de la manipulation pour couvrir la navigation autonome. La différenciation de MM-Nav tient à son approche multi-expert à apprentissage itératif, par opposition aux approches à expert unique ou aux méthodes de distillation statique. Les acteurs concurrents dans ce segment incluent notamment des groupes académiques travaillant sur NavVLP ou ViNT, ainsi que des startups comme Skild AI qui ciblent des politiques de locomotion généralisées. Ce travail en est au stade de preprint arXiv (version 2, mise à jour d'un article d'octobre 2025) : il n'y a pas de déploiement industriel annoncé, et les résultats doivent être interprétés comme une validation académique en attente de revue par les pairs.

RechercheOpinion
1 source