Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Choisir quoi observer : représentations sémantico-géométriques adaptées à la tâche pour le contrôle visuomoteur
RecherchearXiv cs.RO 

Choisir quoi observer : représentations sémantico-géométriques adaptées à la tâche pour le contrôle visuomoteur

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche propose une nouvelle interface d'observation pour les politiques visuomotrices en robotique, baptisée dans l'article « Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy » (arXiv:2603.07875v2). Le problème identifié est connu du secteur : les politiques apprises par démonstration à partir d'images RGB brutes surapprennent des détails visuels parasites (couleur des objets, fond de la scène) et deviennent fragiles dès que l'environnement change. La méthode proposée utilise SAM3 pour segmenter l'objet cible et le bras/pince du robot dans l'image, puis repeint ces éléments avec des couleurs sémantiques prédéfinies sur un fond constant, ce qui donne une observation dite L0. Pour les tâches nécessitant des indices géométriques plus fins, une couche supplémentaire injecte une carte de profondeur monoculaire générée par Depth Anything 3 dans les zones segmentées, produisant une observation combinée sémantique-géométrique appelée L1, qui reste une image standard à trois canaux. Les tests ont porté sur RoboMimic (tâche Lift), ManiSkill pour de la préhension d'objets YCB en environnement encombré, quatre tâches RLBench avec changements d'apparence contrôlés, et deux tâches réelles sur bras Franka (ReachX et CloseCabinet), avec deux architectures de politique : Flow Matching Policy et SmolVLA.

L'intérêt principal tient à ce que la méthode ne nécessite ni modification ni réentraînement de la politique existante : elle agit uniquement en amont, sur l'observation fournie au modèle. Pour les intégrateurs et équipes de recherche confrontés au fossé classique entre démonstrations en simulation et déploiement réel, c'est une piste low-cost pour améliorer la robustesse face aux changements de fond ou de couleur d'objets, sans repasser par un cycle d'entraînement coûteux.

Ce travail s'inscrit dans la lignée des recherches sur les politiques VLA (vision-langage-action) et leur généralisation hors distribution, un point faible régulièrement pointé dans les démonstrations de robots humanoïdes et bras manipulateurs. Il s'appuie sur des modèles de segmentation et de profondeur récents (SAM3, Depth Anything 3) plutôt que sur une architecture propriétaire, ce qui facilite potentiellement sa reproduction par d'autres laboratoires.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique
1arXiv cs.RO 

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper
1 source
Anticipation sémantique pour les représentations d'actions robotiques
2arXiv cs.RO 

Anticipation sémantique pour les représentations d'actions robotiques

Traduction et synthèse en cours. Une équipe de recherche vient de publier sur arXiv (2607.13597, soumission de juillet 2026) une étude sur la dégradation des représentations sémantiques dans les modèles Vision-Language-Action (VLA), ces architectures qui pilotent aujourd'hui la plupart des robots humanoïdes commerciaux comme Figure 03, Optimus Gen 3 ou les modèles Pi-0 et GR00T N2. Le constat de départ est simple : ces modèles héritent d'une structure sémantique riche de leurs encodeurs vision-langage préentraînés, mais le finetuning sur un nombre limité de démonstrations robotiques érode cette structure, un phénomène que les chercheurs ont confirmé par un sondage systématique des représentations internes. Ils montrent aussi que la qualité de cette structure sémantique conditionne directement le taux de réussite des tâches et la capacité de généralisation hors distribution (out-of-distribution, OOD). Leur solution, baptisée ancrage sémantique, consiste à contraindre les représentations d'action à rester proches d'une variété sémantique de référence tout en séparant un canal partagé et un canal privé, les deux étant supprimés à l'inférence, sans changer le modèle déployé. Testée sur plusieurs backbones VLA en simulation et en conditions réelles, la méthode apporte jusqu'à +18,7% de réussite sur des tâches en distribution et +21,5% en généralisation OOD. L'enjeu dépasse la seule performance sur benchmark : la dérive sémantique pendant le finetuning est un problème connu mais peu quantifié dans l'industrie humanoïde, où les intégrateurs adaptent en permanence des modèles préentraînés à des tâches spécifiques d'usine ou d'entrepôt avec très peu de données. Une méthode plug-and-play, sans coût à l'inférence, qui améliore la robustesse hors distribution touche directement au fameux écart entre démonstration scénarisée et déploiement réel, un des points faibles récurrents des annonces du secteur ces deux dernières années. L'approche s'inspire de la théorie des neurones miroirs, selon laquelle observation et exécution d'une action partagent un même encodage au niveau de l'intention, et s'inscrit dans la lignée des travaux sur les VLA préentraînés type RT-2 ou OpenVLA, où la question du transfert des capacités du modèle vision-langage vers l'action reste un chantier ouvert. Les auteurs positionnent leur contribution comme complémentaire aux architectures existantes plutôt que comme un nouveau backbone, ce qui laisse présager une adoption potentielle par différents laboratoires sans remise en cause de leurs modèles de base.

RecherchePaper
1 source
OptiSight : relier le raisonnement sémantique au contrôle géométrique pour la navigation incarnée
3arXiv cs.RO 

OptiSight : relier le raisonnement sémantique au contrôle géométrique pour la navigation incarnée

Une prépublication arXiv (2608.23354v1, signée par le développeur avanalperen) présente OptiSight, un framework hybride de navigation autonome en intérieur qui associe raisonnement par modèle vision-langage (VLM) et asservissement visuel déterministe, via une architecture en chaîne de pensée organisée comme un automate à états finis. Grounded-SAM se charge de localiser des cibles en vocabulaire ouvert, tandis que la géométrie de projection caméra traduit directement les observations visuelles en commandes de navigation, sans nécessiter de cartographie dense de l'environnement. Le VLM n'est interrogé qu'aux points de décision clés du parcours, le contrôle géométrique prenant le relais en continu entre deux requêtes pour limiter la charge de calcul. Testé dans le simulateur AI Habitat, le système assure une navigation en zero-shot fiable face à l'évitement d'obstacles et à l'ambiguïté sémantique, dans un budget de seulement 8 Go de VRAM, avec un code source publié en open source sur GitHub. Cette architecture tranche avec la tendance dominante des modèles vision-langage-action (VLA) entraînés de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, gourmands en données et en puissance de calcul. En limitant les appels au VLM aux seuls moments de décision et en confiant la navigation continue à un contrôle géométrique classique, OptiSight vise une solution plus légère et plus interprétable, potentiellement adaptée à des plateformes mobiles disposant de ressources embarquées modestes. Pour les intégrateurs d'AMR et de robots de service en intérieur, cela illustre une piste alternative pour relier compréhension sémantique de haut niveau et contrôle géométrique bas niveau sans dépendre d'un unique modèle massif ni d'un SLAM dense. Les résultats restent toutefois cantonnés à la simulation, sans validation rapportée sur robot physique, laissant ouverte la question du transfert vers le monde réel. OptiSight s'inscrit dans une lignée de travaux combinant segmentation en vocabulaire ouvert, héritée de Grounding DINO et Segment Anything via Grounded-SAM, et raisonnement multimodal appliqué à la navigation robotique, plutôt que dans la vague des modèles VLA propriétaires développés par les grands acteurs de la robotique humanoïde et de manipulation. Publié comme simple prépublication académique, sans affiliation industrielle mise en avant, le projet se distingue par la mise à disposition immédiate de son code sur GitHub, une pratique courante en recherche mais plus rare chez les acteurs commerciaux. Les suites habituelles pour ce type de travaux, tests sur plateformes physiques et comparaison chiffrée avec les architectures VLA de référence, restent pour l'instant absentes de cette première publication.

RecherchePaper
1 source
LEAP : rendre efficace la supervision géométrique privilégiée pour l'apprentissage visuomoteur
4arXiv cs.RO 

LEAP : rendre efficace la supervision géométrique privilégiée pour l'apprentissage visuomoteur

Des chercheurs publient sur arXiv (2610.07015) LEAP, pour Latent Encoding with Aligned Privileged Geometry, un cadre d'entraînement qui exploite la géométrie 3D pendant l'apprentissage de politiques visuomotrices, sans l'exiger au déploiement. Le principe : un décodeur auxiliaire reconstruit des nuages de points de l'espace de travail à partir des seules caractéristiques visuelles, tandis que la proprioception reste réservée à la prédiction d'actions. Deux ajouts complètent la reconstruction complète : un « wrist-view dropout », qui masque aléatoirement la caméra poignet, et des cibles de reconstruction partielles alignées sur la vue poignet conservée, pour pousser l'encodeur à capter une géométrie locale complémentaire. Le décodeur est retiré à l'inférence : la politique ne reçoit que des images RGB et l'état du robot. Les tests couvrent les benchmarks RoboTwin et ManiSkill ainsi que des tâches réelles, face à Diffusion Policy et ACT. Les auteurs annoncent des gains « consistants et substantiels », avec un faible surcoût en paramètres et sans perte de vitesse d'inférence. L'extrait disponible ne chiffre ni les taux de succès, ni les tâches réelles, ni le matériel utilisé. L'intérêt pratique tient à la nature du problème visé. Ajouter une supervision 3D à l'entraînement évite d'équiper chaque robot de capteurs de profondeur ou de nuages de points en production, ce qui préserve coût, calibration et latence. Mais l'étude conteste une hypothèse implicite : une faible erreur de reconstruction ne garantit pas que les représentations visuelles encodent la géométrie utile au contrôle. Les auteurs identifient trois défaillances : des raccourcis proprioceptifs (le réseau s'appuie sur l'état du robot plutôt que sur la vision), une dépendance à la vue dominante, et des objectifs de reconstruction dominés par une géométrie sans rapport avec la tâche. Pour un intégrateur, le message est que la qualité de la supervision auxiliaire compte autant que sa présence, et qu'un gain « gratuit » à l'inférence rend l'approche facilement transférable à des politiques existantes. Reste à vérifier la robustesse hors benchmarks simulés. Ce travail s'inscrit dans la course aux politiques d'imitation par diffusion, popularisées par Diffusion Policy, et aux architectures à découpage d'actions comme ACT, devenues des références de base pour la manipulation bimanuelle. Les approches 3D, qui consomment directement des nuages de points, gagnent en précision mais alourdissent le matériel ; LEAP vise un compromis en gardant l'entrée RGB. Les comparaisons se limitent ici à ces deux bases, sans VLA de grande échelle comme Pi-0 ou GR00T, et il s'agit d'un preprint non évalué par les pairs. La suite logique serait un test sur des modèles généralistes et des déploiements industriels plus larges.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source