Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Préhension vision-langage adaptative via des a priori de modèles fondation combinables et une synthèse de préhension généralisable
RecherchearXiv cs.RO 

Préhension vision-langage adaptative via des a priori de modèles fondation combinables et une synthèse de préhension généralisable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié le 4 septembre 2026 sur arXiv (arXiv:2609.04096) présente AdaRoboVLG, un framework de préhension vision-langage (Vision-Language-Grasp, VLG) capable de généraliser la synthèse de prises entre différentes mains robotiques sans réentraînement. Contrairement aux méthodes VLG existantes, qui couplent étroitement modèles de fondation et politique de préhension entraînée de bout en bout, AdaRoboVLG sépare les deux couches : une politique de base génère et évalue des prises physiquement réalisables via mappage cinématique et estimation de stabilité par fermeture de force, tandis que des modules de fondation spécialisés injectent des a priori spatiaux, cognitifs et temporels selon la tâche. En simulation comme sur robot réel, les auteurs rapportent une généralisation efficace entre mains et une robustesse maintenue sur trois défis de préhension représentatifs en environnements encombrés et dynamiques, sans préciser de plateforme commerciale ni de chiffres de charge utile, de degrés de liberté (DOF) ou de temps de cycle. Des vidéos supplémentaires sont disponibles sur adarobovlg.github.io.

L'intérêt pour les intégrateurs tient au découplage proposé : faire évoluer les modules de compréhension sémantique sans réentraîner toute la politique de préhension à chaque nouvelle tâche, la couche physique restant stable et déjà validée. C'est une réponse à deux limites récurrentes des approches Vision-Language-Action actuelles, le coût du réentraînement complet et l'écart persistant entre démonstrations simulées et robustesse en conditions réelles encombrées. Si ces résultats se confirment sur du matériel tiers, cette séparation entre raisonnement sémantique et physique de la préhension pourrait devenir une alternative aux modèles monolithiques entraînés de bout en bout.

Ce travail s'inscrit dans la lignée des recherches VLG combinant perception, langage et contrôle moteur pour la préhension, un courant jugé par les auteurs trop dépendant de politiques entraînées de bout en bout et coûteuses à porter d'une main robotique à une autre. AdaRoboVLG se positionne explicitement contre cette tendance avec une architecture modulaire censée rester compatible avec les futures générations de modèles de fondation, sans redesign de la couche de préhension. Classé comme nouvelle soumission arXiv non encore évaluée par les pairs, l'article n'annonce ni partenariat industriel ni calendrier de déploiement, sa portée pratique restant à valider sur des plateformes commerciales.

Dans nos dossiers

arXiv cs.RO

À lire aussi

VGGT-DP : contrôle robotique généralisable via des modèles de vision fondation
1arXiv cs.RO 

VGGT-DP : contrôle robotique généralisable via des modèles de vision fondation

Les chercheurs à l'origine de VGGT-DP ont publié une version révisée de leur article sur arXiv (arXiv:2509.18778v2) présentant un nouveau cadre d'apprentissage par imitation visuelle pour le contrôle de robots manipulateurs. Le système utilise comme encodeur visuel le Visual Geometry Grounded Transformer (VGGT), un modèle de perception 3D pré-entraîné, combiné à un retour proprioceptif pour aligner la perception visuelle avec l'état interne du robot. Pour limiter la latence d'inférence, les auteurs introduisent un mécanisme de réutilisation de jetons image par image (frame-wise token reuse, FTR), qui met en cache les jetons de l'agrégateur VGGT issus des images qui se chevauchent et ne recalcule les caractéristiques que pour la dernière image reçue. Un élagage aléatoire de jetons est aussi appliqué pour réduire le surapprentissage. Sur les tâches de manipulation du banc d'essai simulé MetaWorld, VGGT-DP dépasse les références Diffusion Policy (DP) et DP3, en particulier sur les scénarios exigeant de la précision et sur les tâches à long horizon temporel. L'apport principal tient au fait que la majorité des travaux en apprentissage par imitation se concentrent sur l'architecture de la politique de contrôle, souvent des modèles de diffusion, en négligeant la qualité de l'encodeur visuel et sa capacité de compréhension spatiale. En ancrant la perception dans des a priori géométriques 3D et en la couplant à la proprioception, VGGT-DP cherche à réduire l'écart entre ce que le robot perçoit et ce qu'il ressent physiquement, un facteur d'échec fréquent des politiques visuomotrices en boucle fermée. La réduction de la latence via la réutilisation de jetons est pertinente pour un déploiement temps réel sur du matériel embarqué à ressources de calcul limitées. Toutefois, les résultats reposent uniquement sur MetaWorld, un environnement simulé, sans validation sur robot réel ni chiffres de transfert sim-to-real. Ce travail s'inscrit dans la course plus large aux modèles fondation pour la robotique, aux côtés d'approches vision-langage-action comme Pi-0, GR00T N2 ou Helix, mais s'en distingue en misant sur la fusion vision 3D-proprioception plutôt que sur le conditionnement par le langage. Le statut "replace" sur arXiv indique une révision d'une soumission antérieure. Aucune information n'est donnée sur une publication du code, un partenaire industriel ou un déploiement sur robot physique: le travail reste à un stade académique, la prochaine étape logique étant une validation en conditions réelles et une éventuelle intégration avec des modèles VLA conditionnés par le langage.

RecherchePaper
1 source
Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage
2arXiv cs.RO 

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle. Partant d'une politique apprise par imitation (IL), les auteurs utilisent ces signaux pour guider un affinage par PPO sur des tâches de manipulation à long horizon non vues pendant l'entraînement. La récompense de progression s'impose comme le meilleur signal en ligne sans information privilégiée : elle améliore la politique IL de référence et réduit l'écart avec les récompenses « privilégiées » issues de l'état interne de l'environnement. Côté matériel réel, elle sert à pondérer un clonage comportemental (behavioral cloning) selon la progression, sur quatre tâches de manipulation et deux plateformes robotiques, avec un gain sur le fine-tuning supervisé (SFT) classique dans les quatre cas. Le résumé ne donne ni modèle de VLM, ni taux de réussite chiffrés, ni noms de robots. L'enjeu est celui d'un goulot d'étranglement bien connu : l'apprentissage par renforcement (RL) peut améliorer les politiques de manipulation, mais écrire une fonction de récompense à la fois sémantiquement pertinente et réutilisable d'une tâche à l'autre reste coûteux, et se fait aujourd'hui surtout à la main, tâche par tâche. Si ces résultats se confirment, un VLM spécialisé pourrait servir de récompense générique, ce qui réduirait l'ingénierie de récompense pour les intégrateurs et ouvrirait la voie à une auto-amélioration des robots en déploiement, sans instrumentation de la scène. Des réserves s'imposent : l'écart avec les récompenses privilégiées est réduit, pas comblé ; la validation réelle ne porte que sur quatre tâches, et sur du clonage comportemental pondéré plutôt que sur du RL en ligne sur robot physique. Le travail relève de la recherche (preprint arXiv, version 3), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la montée des modèles de fondation pour la robotique, des VLA (vision-langage-action) comme Pi-0 ou GR00T aux VLM utilisés comme juges ou générateurs de récompense. Les approches précédentes de récompense par modèle de langage ou de vision restaient souvent limitées à une évaluation après coup, ce que les LRM cherchent à dépasser avec un signal exploitable en ligne. La suite logique serait de tester ces récompenses en RL directement sur robot réel, sur un plus grand nombre de tâches, et de mesurer leur robustesse face aux erreurs d'estimation de progression, qui peuvent être exploitées par la politique. Le résumé ne cite aucun acteur européen ni partenaire industriel.

RecherchePaper
1 source
MixVLA : mélange adaptatif des informations non invariantes pour des modèles vision-langage-action (VLA) généralisables
3arXiv cs.RO 

MixVLA : mélange adaptatif des informations non invariantes pour des modèles vision-langage-action (VLA) généralisables

Des chercheurs publient sur arXiv (2610.02898) MixVLA, un cadre d'entraînement pour modèles Vision-Language-Action (VLA) qui vise à améliorer la généralisation zéro-shot en conditions hors distribution (OOD). Le principe repose sur un module baptisé Adaptive Mixing of Non-Invariant Information (AMI). Celui-ci mélange de façon stochastique les représentations « non invariantes », c'est-à-dire les facteurs propres à un environnement comme l'apparence, l'éclairage ou la texture. Les représentations mélangées sont ensuite fusionnées avec les représentations invariantes, liées à la structure de la tâche, pour prédire l'action finale. La méthode est dite agnostique au modèle : elle ne demande ni donnée OOD supplémentaire ni modification d'architecture. Les auteurs l'évaluent sur LIBERO, LIBERO-Plus, la suite de perturbations de RoboTwin et des tâches réelles, et affirment une meilleure robustesse zéro-shot sans perte de performance en domaine. Le résumé ne donne aucun chiffre, ni gain, ni nom de modèle de base, ni nombre d'essais réels. L'enjeu touche l'un des points faibles les mieux identifiés des VLA : leur fragilité dès que la scène s'écarte des données d'entraînement. Ces politiques tendent à s'appuyer sur des indices visuels parasites (fond, couleur, position de caméra) plutôt que sur la structure de la tâche, ce qui explique une part de l'écart entre démonstration et déploiement. Pour un intégrateur ou un responsable industriel, un gain obtenu par simple recette d'entraînement, sans nouvelle collecte de données ni changement d'architecture, serait précieux, car la collecte de téléopération reste l'un des postes de coût les plus lourds. Il faut toutefois rester prudent : sans résultats chiffrés, il est impossible de juger l'ampleur du gain, et les benchmarks de simulation, même perturbés, ne garantissent pas la robustesse en atelier. Le volet réel, dont l'ampleur n'est pas précisée, devra être examiné dans l'article complet. Ce travail s'inscrit dans une série de recherches sur la robustesse des VLA. LIBERO-Plus et la suite de perturbations de RoboTwin ont été conçus pour exposer la sensibilité de ces modèles aux variations de caméra, d'éclairage, d'objets ou de langage, après que les scores quasi saturés sur LIBERO standard ont montré leurs limites. MixVLA se rapproche des techniques de régularisation et d'augmentation de représentations issues de la généralisation de domaine, ici transposées aux VLA. Il reste à voir s'il se montre complémentaire des grands modèles généralistes comme Pi-0 ou GR00T, et si le code et les poids sont publiés pour permettre une reproduction indépendante. Il s'agit d'une prépublication v1, non évaluée par des pairs, qui relève de la recherche et non d'un produit livré ou d'un déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
FAN : normalisation d'action anticipative pour l'adaptation continue des modèles vision-langage-action
4arXiv cs.RO 

FAN : normalisation d'action anticipative pour l'adaptation continue des modèles vision-langage-action

Un article de recherche publié sur arXiv en septembre 2026 (arXiv:2609.21358, un preprint non encore relu par les pairs) s'attaque à un aspect négligé de l'adaptation continue des modèles Vision-Language-Action (VLA) : la normalisation des actions, c'est à dire le système de coordonnées dans lequel une politique perçoit et exécute ses mouvements. Les auteurs testent cinq stratégies de normalisation sur quatre flux de tâches robotiques réelles, en manipulation à bras unique et bimanuelle, et montrent que les protocoles existants provoquent des échecs récurrents : dérive des coordonnées d'une tâche à l'autre, couverture de mouvement insuffisante, ou décalage entre coordonnées d'entraînement et de test. Ils en tirent trois principes de conception, cohérence, couverture et causalité (3C), qui donnent naissance à FAN (Foresight Action Normalization), une méthode qui calcule une seule fois des statistiques de normalisation sur un petit jeu de calibration indépendant des tâches, puis les fige pour toute la durée de l'apprentissage continu qui suit. FAN obtient les meilleurs résultats sur l'ensemble des flux testés. Cette découverte concerne directement les acteurs qui déploient des politiques VLA généralistes, du type Pi-0, GR00T N2 ou Helix, sur des flottes de robots censées apprendre de nouvelles compétences sans oublier les précédentes. La plupart des travaux sur l'apprentissage continu en robotique misent sur le rejeu d'expérience ou le fine-tuning par renforcement, en traitant la normalisation des actions comme un simple détail d'ingénierie ; cet article montre qu'un choix mal calibré à ce niveau suffit à faire échouer l'adaptation continue, quel que soit l'algorithme d'apprentissage retenu. Pour les intégrateurs, le message est clair : avant d'empiler des techniques d'apprentissage sophistiquées, la représentation d'action sous-jacente doit rester stable d'une tâche à l'autre. Ce travail s'inscrit dans la vague des modèles VLA pré-entraînés sur de vastes jeux de données fermés puis adaptés à des robots et tâches spécifiques, une tendance portée par des laboratoires comme Physical Intelligence, NVIDIA ou Figure AI avec leurs politiques généralistes respectives. Contrairement à une annonce produit, il s'agit ici d'une contribution académique testée en laboratoire sur quatre flux de tâches, sans précision sur la plateforme robotique utilisée, la disponibilité du code ou un calendrier de reprise industrielle. FAN se présente comme une brique de base destinée à de futurs pipelines d'apprentissage continu, plutôt que comme un système prêt à déployer sur le terrain.

RecherchePaper
1 source