Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale
RecherchearXiv cs.RO 

Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du Soltani Lara Lab publient GIAVA (Gaze Integrated Active-Vision ALOHA), un système de vision robotique qui reproduit les mouvements de tête et de cou humains ainsi que l'ajustement du regard pour un traitement visuel "fovéalisé", c'est-à-dire concentré sur les zones pertinentes de la scène plutôt que sur l'image entière. Le système étend la plateforme robotique AV-ALOHA et s'appuie sur un nouveau cadre de collecte de données permettant d'enregistrer simultanément le suivi oculaire, le contrôle de la perspective et les démonstrations de manipulation d'un opérateur humain. L'équipe publie en open source un benchmark de simulation et un jeu de données associé. Techniquement, l'innovation centrale consiste à intégrer l'information de regard dans les Vision Transformers (ViT), très utilisés en apprentissage robotique, via un schéma de tokenisation par patchs fovéalisée : au lieu de découper l'image en patchs uniformes, le système alloue davantage de "tokens" aux zones fixées par le regard et moins au reste, réduisant fortement leur nombre total et donc le coût de calcul.

Cette approche s'attaque à un angle mort classique de la vision robotique actuelle, qui traite généralement l'image caméra de façon passive et uniforme, contrairement à la vision humaine, structurée par l'attention active. Pour les équipes qui entraînent des politiques robotiques par imitation ou VLA (Vision-Language-Action), le résultat est double : une baisse significative de la charge de calcul, un enjeu concret pour l'embarqué et le temps réel, et une robustesse accrue face aux distracteurs visuels en arrière-plan, un problème récurrent dans le passage simulation-réel. Les auteurs rapportent même des gains de taux de réussite sur certaines tâches de haute précision, suggérant que la fovéalisation n'est pas qu'une optimisation de coût mais peut aussi améliorer la performance brute.

Ce travail s'inscrit dans la lignée des recherches sur la segmentation d'image fovéalisée et prolonge la plateforme AV-ALOHA, déjà utilisée pour la téléopération à vision active. En ouvrant le code, le simulateur et le jeu de données, les auteurs positionnent le regard humain comme un biais inductif encore sous-exploité pour les futures architectures de perception robotique, avec des développements attendus sur des tâches de manipulation plus complexes et des déploiements matériels réels.

À lire aussi

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage
1arXiv cs.RO 

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper
1 source
Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique
2arXiv cs.RO 

Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique

Des chercheurs proposent LifelongVLA, un nouveau framework d'apprentissage continu pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique, décrit dans un article publié sur arXiv (2607.14852). Le système s'attaque à un problème classique de l'apprentissage séquentiel chez les robots : le compromis plasticité-stabilité, c'est-à-dire la capacité d'apprendre une nouvelle tâche sans effacer les compétences acquises précédemment. Concrètement, LifelongVLA introduit un module de gating LoRA à double échelle temporelle, séparant l'adaptation en deux voies légères : un adaptateur court terme pour la plasticité (apprentissage rapide de nouvelles tâches) et un adaptateur long terme pour la consolidation stable des compétences déjà maîtrisées. Une passerelle "task-aware" arbitre entre les deux. Le framework ajoute aussi une stratégie de rejeu ("replay") stochastique et économe en mémoire cache, qui préserve des signaux de rétention équilibrés sans avoir à stocker les trajectoires complètes des tâches passées. Les auteurs rapportent des résultats supérieurs aux méthodes existantes sur un bras robotique xArm en conditions réelles, avec une expansion efficace des compétences et une meilleure rétention des comportements de manipulation déjà appris. Cette avancée cible un angle mort réel des modèles VLA actuels (type Pi-0, GR00T N2 ou Helix) : la plupart sont entraînés une fois puis figés, ou doivent être ré-entraînés intégralement pour intégrer une nouvelle tâche, ce qui est coûteux et impraticable pour un déploiement industriel évolutif. Si un robot déployé en usine ou en entrepôt doit apprendre continuellement de nouvelles manipulations sans tout ré-apprendre à chaque fois ni oublier les précédentes, une méthode d'adaptation légère et peu gourmande en mémoire comme celle-ci intéresse directement les intégrateurs et décideurs qui cherchent à réduire les coûts de ré-entraînement et les temps d'arrêt liés à la mise à jour des compétences robotiques. C'est un pas vers des flottes de robots capables de monter en compétences sur site plutôt que de dépendre d'un redéploiement complet du modèle depuis un data center. Le travail s'inscrit dans la lignée de la recherche en "continual learning" appliquée à la robotique, un domaine longtemps dominé par les architectures de vision classique avant l'essor des VLA génératifs à grande échelle. Contrairement aux approches de fine-tuning complet ou à certaines méthodes de rejeu qui nécessitent de stocker l'intégralité des trajectoires passées (coûteux en stockage et en calcul), LifelongVLA mise sur des adaptateurs LoRA légers, une technique déjà largement utilisée pour le fine-tuning efficace des grands modèles de langage, ici transposée au contrôle robotique. L'article ne mentionne pas de partenaire industriel ni de déploiement commercial ; il s'agit d'un travail de recherche académique testé sur un seul bras xArm, avec des perspectives de validation à plus grande échelle et sur des plateformes robotiques plus variées à confirmer.

RechercheActu
1 source
Apprentissage par transfert efficace des modèles dynamiques de robots grâce à la similarité morphologique
3arXiv cs.RO 

Apprentissage par transfert efficace des modèles dynamiques de robots grâce à la similarité morphologique

Une équipe de recherche présente une méthode de transfert d'apprentissage pour modéliser la dynamique de robots sous-marins souples à propulsion par nageoires, selon un article publié sur arXiv le 5 juillet 2026 (arXiv:2607.05665v1). Le problème visé : un modèle de dynamique entraîné sur un robot de grande taille (domaine source) doit être adapté à un robot plus petit (domaine cible) partageant la même morphologie mais des propriétés hydrodynamiques différentes, avec très peu de données labellisées disponibles sur ce second robot. Les chercheurs développent pour cela une approche d'adaptation de domaine fondée sur un autoencodeur, qui apprend une représentation latente partagée alignant les dynamiques des deux plateformes. Testée sur deux robots sous-marins réels, la méthode permet d'estimer avec précision les vitesses dans le référentiel du corps sur la plateforme cible, sans qu'aucune donnée labellisée ne soit nécessaire pour celle-ci. L'enjeu pratique dépasse le cas d'école : collecter des données de vérité terrain sous l'eau (via systèmes de capture de mouvement, capteurs externes) est coûteux, lent et souvent impraticable en conditions réelles de déploiement. Pouvoir réutiliser un modèle de dynamique d'un robot vers un autre, dès lors qu'ils partagent une morphologie proche, réduit drastiquement le besoin de re-calibration à chaque nouvelle plateforme ou variante d'échelle. Pour les opérateurs de flottes de robots sous-marins souples (inspection, surveillance environnementale, biomimétisme), cela ouvre la voie à un déploiement plus rapide de nouveaux engins sans campagne de collecte de données dédiée, et valide l'idée que des architectures de type autoencodeur peuvent capter des invariants dynamiques transférables entre robots morphologiquement similaires. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par transfert et l'adaptation de domaine, déjà explorées pour le sim-to-real en robotique terrestre et aérienne, mais encore peu appliquées à la robotique sous-marine souple, un domaine où la modélisation hydrodynamique reste particulièrement complexe. Les robots à nageoires bio-inspirés font l'objet d'un intérêt croissant en laboratoire pour leur efficacité énergétique et leur discrétion comparés aux propulseurs classiques à hélice. Les auteurs ne précisent pas de calendrier de validation en conditions opérationnelles, l'étude relevant pour l'instant de la preuve de concept en environnement contrôlé.

RecherchePaper
1 source
HARP-VLA : apprentissage de représentations alignées humain-robot pour modèle vision-langage-action
4arXiv cs.RO 

HARP-VLA : apprentissage de représentations alignées humain-robot pour modèle vision-langage-action

Des chercheurs ont publié le 31 mai 2026 HARP-VLA (Human-Robot Aligned Representation Learning for Vision-Language-Action), un framework de pré-entraînement conçu pour exploiter les vastes corpus de vidéos humaines dans l'apprentissage de politiques de manipulation robotique. Le coeur de l'approche repose sur deux composants entraînés conjointement : un encodeur visuel adapté aux robots et un modèle d'action latente. L'entraînement combine un petit nombre de démonstrations appariées humain-robot utilisées comme ponts inter-embodiment, et une quantité bien plus importante de vidéos non appariées des deux types comme supervision de dynamique. Sur le benchmark CALVIN ABC-D, HARP-VLA atteint un score moyen de 4,481 tâches consécutives réussies, et enregistre un gain de 7,1 points de pourcentage de taux de succès en conditions réelles par rapport à la meilleure baseline testée. Le problème que résout HARP est structurel pour tout le champ des VLA (Vision-Language-Action models) : les vidéos humaines sont abondantes et bon marché, mais les représentations visuelles qu'on en extrait sont mal alignées avec celles d'un robot, ce qui rend le co-entraînement inefficace voire contre-productif. Les modèles d'action latente existants, comme ceux utilisés dans les travaux sur UniPi ou Genie, réduisaient déjà le gap d'exécution en apprenant des abstractions d'action, mais restaient dépendants de features visuelles non alignées induisant des actions latentes domain-dépendantes. HARP introduit une perte d'alignement par discrimination relative de paires (source-relative pair-discriminative alignment loss) qui adapte les représentations robot vers la sémantique humaine sans effacer la discrimination inter-paires. Pour les intégrateurs et les équipes de recherche en manipulation, c'est un signal concret que le sim-to-real gap peut être partiellement adressé au niveau de la représentation, pas seulement du domaine de simulation. Ce travail s'inscrit dans une lignée de recherches sur l'apprentissage inter-embodiment qui a pris de l'ampleur depuis RT-2 (Google DeepMind, 2023) et OpenVLA (2024), lesquels montraient qu'un pré-entraînement sur données humaines ou web pouvait transférer vers des politiques robotiques. Les approches concurrentes directes incluent Octo, pi-0 de Physical Intelligence, et GR00T N2 de NVIDIA, tous confrontés à la même tension entre généralisation cross-embodiment et performance sur tâches précises. HARP se distingue en n'exigeant que peu de démonstrations appariées, ce qui réduit le coût de collecte de données. L'article reste pour l'instant une publication arXiv sans déploiement industriel annoncé, et les résultats en conditions réelles, bien que positifs, portent sur un nombre limité de configurations de manipulation.

RechercheOpinion
1 source