RecherchearXiv cs.RO 30 juillet 2026

SymmGrid : passer à l'échelle l'apprentissage embarqué grâce aux symétries parallélisées et à la perception visuelle égocentrique-exocentrique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SymmGrid, présenté dans un article déposé sur arXiv (2607.26985v1), s'attaque à la lenteur de l'apprentissage par renforcement directement sur robot physique, dit « on-robot learning ». La méthode exploite des symétries parallélisées : des transformations de groupe appliquées au niveau de la trajectoire entière, qui peuplent le buffer de rejeu avec de multiples variantes cohérentes de chaque expérience vécue par le robot. Le système fonctionne aussi bien en vision égocentrique (caméra embarquée) qu'exocentrique (caméra externe) ; dans ce second cas, des homographies déforment la scène visuelle pour qu'elle reste cohérente avec chaque transformation spatiale appliquée à l'état et à l'action. Les auteurs ont testé SymmGrid sur robot réel, sur trois tâches de manipulation avec contact : insertion de pièces (peg-insertion), routage de câbles et repositionnement d'objets. Comparé aux méthodes de référence, l'apprentissage converge 1,37 à 2,17 fois plus vite, avec un taux de réussite amélioré de 1,09 à 1,27 fois. Les temps de convergence les plus rapides obtenus sont de 16,6, 10,9 et 79,3 minutes pour ces trois tâches respectivement, et le gain sur l'aire sous la courbe normalisée atteint 2,59 fois.

L'enjeu dépasse la simple optimisation académique : entraîner un robot en conditions réelles reste bloqué par le temps machine, chaque essai se déroulant en temps réel sans parallélisation possible, ce qui pousse l'essentiel de la recherche vers le sim-to-real. SymmGrid propose une voie alternative, moins gourmande en données et en simulateurs haute fidélité, directement exploitable sur le matériel. Si les gains se confirment à plus grande échelle, l'objectif affiché de descendre sous les dix minutes d'entraînement pour des tâches de manipulation avec contact intéresserait directement les intégrateurs devant reconfigurer rapidement des bras ou des humanoïdes pour de nouvelles tâches, sans dépendre de politiques génératives entraînées sur des volumes massifs de données. Les résultats restent toutefois limités à trois tâches définies en laboratoire, sans validation sur une politique généraliste multi-tâches ni sur des plateformes humanoïdes complexes.

L'approche s'inscrit dans la lignée des méthodes d'apprentissage par renforcement exploitant des symétries connues du problème pour augmenter artificiellement les données d'entraînement, une piste étudiée depuis plusieurs années en robotique et en RL équivariant. L'ambition affichée par les auteurs, du sub-10-minute training pour la manipulation de précision, tranche avec les cycles d'entraînement de plusieurs heures voire jours habituels en apprentissage réel. La page du projet est accessible sur symmgrid-robot.github.io ; l'article ne précise pas encore de calendrier de transfert vers des plateformes commerciales.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Acte, ressent, agit : l'apprentissage de la perception active à partir de données égocentriques humaines à grande échelle

Un article de robotique/IA en français, prêt à publier : CoMe-VLA (Cognitive and Memory-aware Vision-Language-Action) est un nouveau framework de recherche présenté dans un article arXiv (version révisée, réf. 2602.04600v2) qui s'attaque à la perception active en robotique manipulatrice, c'est-à-dire la capacité d'un robot à chercher activement de l'information plutôt que d'agir sur des données figées. Le système combine une tête cognitive auxiliaire chargée de gérer les transitions entre sous-tâches de façon autonome, et une mémoire à double piste qui fusionne les signaux proprioceptifs (position, effort) et visuels dans le temps pour maintenir une conscience cohérente de soi et de l'environnement. L'entraînement se déroule en trois étapes progressives et s'appuie sur de larges volumes de données égocentriques humaines (vidéos captées à la première personne), alignées avec l'espace d'action du robot pour transférer la coordination main-œil humaine vers la machine. Les tests ont été menés sur un humanoïde à roues, sur des tâches longues et variées impliquant plusieurs scénarios de perception active. L'enjeu dépasse la démonstration technique isolée. La plupart des modèles VLA actuellement médiatisés, qu'il s'agisse de Pi-0, GR00T N2 ou Helix, fonctionnent principalement en supposant une observabilité quasi complète de la scène, ce qui limite leur robustesse dès que l'environnement devient incertain ou partiellement caché, un cas fréquent en usine ou en entrepôt réel. En formalisant la perception active comme une boucle perception-action dépendante de l'historique, cet article propose une catégorisation structurée utile à toute l'industrie pour comparer les approches, et illustre une piste concrète pour réduire l'écart entre démonstrations en laboratoire et déploiement en environnement non contrôlé, un point sensible que les intégrateurs surveillent de près. Ce travail s'inscrit dans une tendance de fond de la recherche en robotique généraliste : exploiter les vidéos humaines à grande échelle, bien plus abondantes que les données de téléopération robotique, pour apprendre des priors d'exploration et de manipulation. Il ne s'agit ici que d'un article de recherche à un stade préliminaire, sans partenaire industriel ni déploiement annoncé, à distinguer clairement des annonces produits de type Figure ou Tesla Optimus. Les prochaines étapes attendues concernent l'extension à des plateformes bipèdes et la validation sur des tâches manipulatrices plus complexes en conditions réelles.

RechercheOpinion

1 source

2arXiv cs.RO

Passage à l'échelle de l'apprentissage de récompense vision-langage pour la manipulation robotique en simulation parallèle

Des chercheurs publient RAPID (Reward learning with Adaptive Parallel Image Diversity) sur arXiv (2609.21767, fin septembre 2026), un système qui accélère l'apprentissage de récompense par préférences où des modèles vision-langage remplacent les annotateurs humains. Il combine rollouts parallélisés sur GPU, mises à jour de politique adaptatives, étiquetage de préférences en une seule requête API, stabilisation automatique de la récompense et échantillonnage d'images représentatives. Testé sur cinq tâches de manipulation avec un bras Franka Panda dans le simulateur IsaacLab, il réduit d'abord le temps d'entraînement moyen de 9,18 à 3,13 heures via la seule parallélisation. Tous composants activés, l'entraînement complet tombe à 1,15 heure, avec 896 appels API au lieu de 19 840 par run (-95,5%), et le taux de réussite agrégé grimpe de 86,3% à 98,7%, pour un gain global de 8 fois. Une évaluation hors ligne avec Gemma 3 12B et GPT-4.1 mini confirme les gains de latence et de coût. Le code est publié sur GitHub (rapid-vlm/rapid-vlm-rl). Ce travail cible un goulot d'étranglement identifié dans le secteur: utiliser un VLM comme juge de préférences pour entraîner des politiques de manipulation multiplie les appels API et le temps de simulation, rendant cet apprentissage par renforcement trop coûteux pour un usage industriel à grande échelle. En montrant qu'une refonte architecturale (parallélisation, réduction des requêtes, sélection d'images pertinentes) divise le coût en API par vingt et le temps d'entraînement par huit tout en améliorant le taux de succès, RAPID ouvre une voie vers un entraînement guidé par VLM viable hors des laboratoires aux budgets de calcul massifs, un enjeu pour les intégrateurs cherchant à adapter rapidement des politiques à de nouvelles tâches. L'apprentissage par préférences existe depuis plusieurs années en robotique, mais reposait historiquement sur des annotateurs humains, lents et coûteux à mobiliser. Le recours à des VLM comme GPT-4.1 mini ou Gemma 3 12B pour juger des paires de trajectoires s'inscrit dans la tendance du "LLM-as-judge" appliquée à la robotique. RAPID se positionne comme une optimisation système plutôt qu'un nouvel algorithme de récompense, en s'attaquant à la latence des requêtes séquentielles et à la collecte de données limitée à un seul environnement, deux freins pratiques à l'adoption. Le code publié par les auteurs permettra à d'autres équipes de reproduire les résultats sur IsaacLab et d'étendre l'évaluation au-delà du bras Franka Panda utilisé ici.

RecherchePaper

1 source

3arXiv cs.RO

Ancrage auto-supervisé de la perception tactile à la proprioception et aux actions proactives pour l'apprentissage par imitation robotique

Publiée sur arXiv le 25 septembre 2026 sous la référence 2609.29822, une étude propose PROPRA, une méthode de pré-entraînement pour l'apprentissage par imitation en robotique de manipulation à partir de capteurs placés au bout des doigts. Le constat de départ : les caméras externes peinent à capter la proximité d'un objet, l'instant du contact ou l'état de la préhension, souvent occultés par la main du robot. L'équipe combine un capteur tactile sensible à la pression, informatif après contact, et un capteur de proximité réfléchissant, informatif avant contact, chacun couplé à un encodeur pré-entraîné. Ajouter naïvement ces signaux à une politique de contrôle dégrade parfois les performances par rapport à une politique vision seule. PROPRA aligne indépendamment l'historique de chaque capteur avec la proprioception et les actions du robot, offrant une référence sensorimotrice disponible en continu. Sur des tâches de manipulation réelles, la méthode améliore le taux de succès moyen face aux baselines vision seule et pré-entraînement ancré sur l'image, en préservant mieux les informations sur les états pré-contact. Le résultat clé pour un intégrateur n'est pas le gain de performance en soi, mais le constat qui l'accompagne : multiplier les capteurs sur une main robotique ne suffit pas, et peut même dégrader une politique apprise par imitation si le signal est mal intégré. Cela contredit l'hypothèse selon laquelle empiler vision, tactile et proximité améliore mécaniquement la manipulation, alors que l'industrie mise sur des modèles vision-langage-action multimodaux entraînés à grande échelle. Pour les concepteurs de mains équipées de capteurs tactiles piézorésistifs, capacitifs ou optiques, l'alignement entre modalités sensorielles et proprioception devient nécessaire pour rentabiliser l'investissement matériel, notamment pour l'assemblage de petites pièces ou la manipulation d'objets fragiles. Le transfert en manipulation fine ne se résume donc pas au seul écart simulation-réel : même avec des données réelles, fusionner des signaux épars et asynchrones reste difficile quand les démonstrations disponibles pour une tâche restent rares. L'étude s'inscrit dans un champ de recherche actif sur l'intégration tactile dans l'apprentissage par imitation, où le pré-entraînement ancré sur l'image, utilisé ici comme référence de comparaison, reste l'approche dominante. Menés par le chercheur Tomohiro Motoda, les travaux positionnent PROPRA comme une alternative en misant sur la proprioception, continue, comme point d'ancrage pour des signaux tactiles et de proximité discontinus par nature. Le code et les détails méthodologiques sont annoncés sur une page de projet dédiée, sans calendrier de diffusion ni partenariat industriel évoqué. Il s'agit pour l'instant d'un résultat de recherche validé sur des tâches de manipulation réelles en laboratoire, non d'un produit commercialisé ni d'un déploiement chez un intégrateur.

RecherchePaper

1 source

4arXiv cs.RO

Manipulation aérienne en conditions réelles : perception embarquée, apprentissage de politiques et contrôle du corps entier

Des chercheurs présentent, dans un article publié sur arXiv (référence 2609.30521, mis en ligne le 28 septembre 2026), un système de manipulation aérienne en extérieur combinant apprentissage par imitation, estimation d'état embarquée et commande prédictive corps entier. Une Diffusion Policy, entraînée à partir de démonstrations, génère les trajectoires souhaitées de l'effecteur terminal à partir des seules observations embarquées, que traduit ensuite un contrôleur MPC "whole-body" coordonnant conjointement la plateforme volante et le bras manipulateur. Pour s'affranchir des systèmes de capture de mouvement externes habituellement requis en intérieur, la localisation repose uniquement sur une odométrie LiDAR-inertielle embarquée. Le framework a été validé sur un manipulateur aérien physique, avec exécution réussie de tâches de manipulation en extérieur, en conditions non contrôlées. Cette démonstration s'attaque à un verrou classique: la plupart des systèmes de manipulation par drone publiés jusqu'ici dépendent de salles équipées de capture de mouvement (type Vicon ou OptiTrack), ce qui cantonne les résultats au laboratoire et limite leur pertinence pour l'inspection d'infrastructures, la maintenance en hauteur ou la préhension en extérieur. En couplant une politique apprise par imitation, dans l'esprit des approches VLA qui gagnent du terrain côté robots terrestres et humanoïdes, à une commande MPC robuste aux perturbations externes comme le vent, les auteurs apportent un indice supplémentaire que l'apprentissage par démonstration peut sortir du cadre contrôlé sans sacrifier la stabilité de vol. Pour les intégrateurs qui envisagent des drones manipulateurs industriels, le travail reste toutefois un prototype de recherche validé sur un nombre limité de tâches, pas un produit commercial. La manipulation aérienne est un champ de recherche actif depuis plusieurs années, mais la quasi-totalité des démonstrations publiées restait jusqu'ici confinée à des environnements intérieurs instrumentés. L'article s'inscrit dans une tendance plus large de transfert des politiques apprises par imitation, popularisées sur des bras fixes et des humanoïdes terrestres, vers des plateformes aériennes mobiles, où l'absence d'infrastructure de localisation et les perturbations externes compliquent fortement le problème. Aucune date de déploiement industriel ni partenariat commercial n'est mentionné: il s'agit d'un travail académique dont les auteurs indiquent vouloir étendre, à l'avenir, le nombre et la diversité des tâches testées en conditions réelles extérieures.

RecherchePaper

1 source