Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale
RecherchearXiv cs.RO 

Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du Soltani Lara Lab publient GIAVA (Gaze Integrated Active-Vision ALOHA), un système de vision robotique qui reproduit les mouvements de tête et de cou humains ainsi que l'ajustement du regard pour un traitement visuel "fovéalisé", c'est-à-dire concentré sur les zones pertinentes de la scène plutôt que sur l'image entière. Le système étend la plateforme robotique AV-ALOHA et s'appuie sur un nouveau cadre de collecte de données permettant d'enregistrer simultanément le suivi oculaire, le contrôle de la perspective et les démonstrations de manipulation d'un opérateur humain. L'équipe publie en open source un benchmark de simulation et un jeu de données associé. Techniquement, l'innovation centrale consiste à intégrer l'information de regard dans les Vision Transformers (ViT), très utilisés en apprentissage robotique, via un schéma de tokenisation par patchs fovéalisée : au lieu de découper l'image en patchs uniformes, le système alloue davantage de "tokens" aux zones fixées par le regard et moins au reste, réduisant fortement leur nombre total et donc le coût de calcul.

Cette approche s'attaque à un angle mort classique de la vision robotique actuelle, qui traite généralement l'image caméra de façon passive et uniforme, contrairement à la vision humaine, structurée par l'attention active. Pour les équipes qui entraînent des politiques robotiques par imitation ou VLA (Vision-Language-Action), le résultat est double : une baisse significative de la charge de calcul, un enjeu concret pour l'embarqué et le temps réel, et une robustesse accrue face aux distracteurs visuels en arrière-plan, un problème récurrent dans le passage simulation-réel. Les auteurs rapportent même des gains de taux de réussite sur certaines tâches de haute précision, suggérant que la fovéalisation n'est pas qu'une optimisation de coût mais peut aussi améliorer la performance brute.

Ce travail s'inscrit dans la lignée des recherches sur la segmentation d'image fovéalisée et prolonge la plateforme AV-ALOHA, déjà utilisée pour la téléopération à vision active. En ouvrant le code, le simulateur et le jeu de données, les auteurs positionnent le regard humain comme un biais inductif encore sous-exploité pour les futures architectures de perception robotique, avec des développements attendus sur des tâches de manipulation plus complexes et des déploiements matériels réels.

À lire aussi

Retissage de la sémantique, de la dynamique et du contrôle : un transformeur à trois flux centré sur l'action, simple mais efficace
1arXiv cs.RO 

Retissage de la sémantique, de la dynamique et du contrôle : un transformeur à trois flux centré sur l'action, simple mais efficace

Une équipe de chercheurs publie sur arXiv (2610.11416v1) ACT³, pour Action-Centric Tri-Stream Transformer, une architecture de politique robotique qui combine trois flux de calcul. Un modèle vision-langage (VLM) apporte la compréhension sémantique. Un modèle du monde (WM) génératif de vidéo apporte la prédiction de dynamique. Un « expert d'action » produit les commandes. Cet expert accède aux représentations des deux backbones par attention couche par couche, et chaque backbone n'attend qu'à l'intérieur de son propre flux. Les flux se propagent donc indépendamment, mais les deux backbones restent mis à jour par la supervision de contrôle. Les auteurs affirment des résultats supérieurs aux approches comparables sur des benchmarks de manipulation en simulation et en conditions réelles. Le résumé ne donne ni taux de réussite, ni noms de benchmarks, ni plateforme matérielle, ni coût de calcul : il s'agit d'un preprint de recherche, sans produit ni déploiement. L'intérêt tient au problème que cible ce travail. Les VLA (Vision-Language-Action) héritent de VLM pré-entraînés riches en sémantique mais pauvres en connaissances de physique, ce qui limite la généralisation des politiques. Greffer un modèle du monde corrige ce manque, mais la manière de fusionner sémantique et dynamique reste ouverte. ACT³ défend une solution volontairement simple, sans mélange des représentations, qui préserve les rôles distincts de chaque source. Si le gain se confirme, c'est un schéma réutilisable pour les équipes qui assemblent des politiques à partir de briques pré-entraînées. Deux réserves s'imposent. Faire tourner un générateur de vidéo à l'inférence pèse sur la latence et le budget GPU, et rien n'est chiffré ici. Les résultats annoncés sans valeurs ne permettent pas non plus d'évaluer l'écart entre démonstration et fiabilité industrielle. Ce travail s'inscrit dans la lignée des VLA bâtis sur des VLM, comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, dont l'expert d'action dédié est le modèle évident. Il suit aussi la vague récente de politiques qui injectent des modèles du monde vidéo pour anticiper les conséquences physiques des actions. La suite dépendra d'éléments que le résumé ne fournit pas : publication du code et des poids, comparaisons indépendantes avec des baselines établies, et mesures de fréquence de contrôle sur robot réel.

RecherchePaper
1 source
RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage
2arXiv cs.RO 

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper
1 source
Eye, Robot : apprentissage de la dynamique expressive du regard par un Transformer-VAE guidé par un VLM
3arXiv cs.RO 

Eye, Robot : apprentissage de la dynamique expressive du regard par un Transformer-VAE guidé par un VLM

Des chercheurs proposent un système de contrôle du regard pour robot humanoïde, publié sur arXiv (2610.19635v1), qui sépare le choix de la cible du calcul du mouvement. Un modèle vision-langage (VLM) fonctionnant de manière asynchrone sélectionne un élément de la scène à regarder, un module de perception réactif maintient la fixation, et un « Realistic Gaze Transformer » (RGT) génère le mouvement conditionné par cette cible. Le RGT est un Transformer-VAE entraîné sur des enregistrements humains sans marqueurs, retargetés vers l'espace articulaire à 11 degrés de liberté (DOF) de la tête du robot. Le préentraînement auto-supervisé encode l'historique récent de la tête entière, puis un affinage autorégressif expose le modèle à ses propres prédictions pendant le déroulement. À l'inférence, une trajectoire binoculaire à quatre dimensions pilote de façon coordonnée le cou et les yeux, tandis qu'un prédicteur de clignements déclenche des gabarits de mouvement des paupières. Sur un banc d'essai de deux secondes où tous les contrôleurs reçoivent la même cible de référence, la variante RGT-Base obtient l'erreur quadratique moyenne la plus basse sur sept articulations. Des démonstrations physiques illustrent la chaîne complète de ciblage et de contrôle. Pour les intégrateurs et les équipes qui développent des robots d'accueil, d'assistance ou de service, le regard est un canal de communication non verbal qui conditionne l'acceptation du robot. Les règles de suivi fixes, courantes aujourd'hui, produisent des mouvements mécaniques et ignorent la structure temporelle du regard humain (saccades, coordination œil-tête, clignements). L'architecture proposée est modulaire : le VLM, lent, décide où regarder, tandis qu'un générateur léger tourne en temps réel. Cette séparation est un schéma réaliste pour les robots qui embarquent un grand modèle sans pouvoir l'exécuter à haute fréquence. Les limites sont toutefois claires et reconnues par les auteurs. Les résultats établissent la fidélité cinématique dans l'espace du robot et la faisabilité de l'inférence en temps réel, mais pas le caractère naturel perçu par des humains, ni la précision de sélection de cibles en vocabulaire ouvert. Le meilleur score MSE est mesuré dans un cadre où la cible est donnée, donc il ne dit rien de la qualité du choix fait par le VLM. Il s'agit d'un travail de recherche, sans produit ni déploiement commercial. Ce travail s'inscrit dans une lignée de recherches sur les têtes de robots expressives et la génération de gestes à partir de données humaines. Il adopte les mêmes briques que la robotique actuelle : modèles génératifs entraînés sur de la capture humaine, retargeting vers le robot, et VLM pour l'ancrage sémantique. Le résumé ne nomme ni plateforme matérielle, ni laboratoire, ni modèles concurrents comparés, ce qui limite la possibilité de situer précisément le résultat. La suite logique est une évaluation contrôlée avec des utilisateurs humains pour mesurer le naturel perçu, ainsi qu'un test systématique de la sélection de cibles en vocabulaire ouvert. Faute de ces éléments, l'avancée reste un résultat de laboratoire sur la qualité du mouvement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique
4arXiv cs.RO 

TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique

TACROSS, un système présenté sur arXiv (2610.11945) par une équipe académique, vise à réduire le coût de collecte de démonstrations tactiles pour l'apprentissage de la manipulation dextre. Son matériel central est un gant piézorésistif à cinq couches, facturé 10,86 dollars et doté de 285 points de détection. Côté logiciel, des « canonicalizers » et des adaptateurs résiduels projettent les signaux du gant humain et ceux des capteurs tactiles robotiques dans un espace latent commun de 256 dimensions. Un Transformer temporel, avec attention entre les doigts, produit cet espace. Les auteurs l'ont évalué sur quatre tâches de manipulation riches en contacts. Face à la téléopération classique, ils annoncent un gain d'efficacité de 3,5 fois et une réduction de 95,7 % du coût de l'équipement d'acquisition. Le matériel, le code et un jeu de données tactiles de plus de 150 heures doivent être publiés en open source. Aucune date de publication n'est précisée. L'intérêt principal tient à la méthode d'alignement. Les gants humains, capacitifs ou piézorésistifs, et les capteurs de robot diffèrent par leur principe de transduction, leur disposition, leur résolution spatiale et leur réponse dynamique. Aligner les canaux bruts est donc mal posé. TACROSS aligne plutôt les flux au niveau des événements de contact, c'est-à-dire de la sémantique du toucher et non des valeurs brutes. La supervision des actions reste réservée aux démonstrations robot. Les démonstrations humaines servent à apprendre la représentation tactile et fournissent une supervision auxiliaire pondérée par un score de confiance, via des cibles de main retargetées valides. Pour un intégrateur, l'enjeu est le coût marginal de la donnée tactile, aujourd'hui un frein face à la vision seule dans les politiques VLA et d'imitation. Un gant à une dizaine de dollars changerait l'échelle de collecte, à condition que le transfert tienne hors du banc d'essai. Les chiffres viennent des auteurs eux-mêmes. Quatre tâches ne couvrent pas la variété d'un atelier, et le calcul du gain de 3,5 fois dépend du protocole de téléopération retenu comme référence. Le résumé ne donne ni taux de réussite par tâche ni détail sur les capteurs robotiques testés. Ce travail s'inscrit dans la montée en puissance de la donnée tactile pour les mains dextres, après des années où la collecte par téléopération (gants à capture de mouvement, exosquelettes, interfaces VR) a limité le volume de démonstrations. Les gants tactiles humains existaient déjà, mais sans réponse claire au fossé entre capteurs humains et robotiques. TACROSS propose cette réponse sous forme de système complet, matériel et logiciel. La suite dépendra de la publication effective du code, des plans du gant et des 150 heures de données. Une reproduction indépendante, sur d'autres mains robotiques et d'autres capteurs, sera le vrai test de la généralité de l'alignement par événements de contact. Il s'agit pour l'instant d'une préimpression sans pair-review ni déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source