Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Cloak : manipulation inter-incarnations sans apprentissage en masquant l'effecteur final au VLA
IA physiquearXiv cs.RO 

Cloak : manipulation inter-incarnations sans apprentissage en masquant l'effecteur final au VLA

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a publié sur arXiv (référence 2606.22836v2, version révisée) une méthode baptisée Cloak, conçue pour permettre à un modèle Vision-Language-Action (VLA) de transférer ses compétences de manipulation vers de nouveaux robots sans aucune donnée d'entraînement supplémentaire, un transfert dit "zero-shot cross-embodiment". Le principe consiste à masquer l'effecteur terminal (la pince ou la main) dans le flux vidéo de la caméra poignet du robot, puisque cette partie occupe une portion large et systématique du champ visuel et diffère d'un robot à l'autre. Le masque est généré en simulation à partir de la géométrie connue du robot, en temps réel, sans recourir à des modèles de segmentation ou des modèles génératifs. Les chercheurs ont entraîné un modèle nommé Cloak-VLA en utilisant uniquement un jeu de données collecté sur une pince parallèle simple, puis ont vérifié que ce modèle exécute des tâches de manipulation sur des morphologies jamais vues à l'entraînement : une autre pince, un autre bras robotique, et une main à cinq doigts, sans avoir collecté la moindre donnée sur ces nouvelles configurations.

Cette approche s'attaque à l'un des goulots d'étranglement les plus coûteux de la robotique apprenante : la nécessité de recollecter des données de démonstration pour chaque nouveau matériel, ce qui freine le déploiement rapide de modèles fondation type VLA (dans la lignée de Pi-0 ou GR00T) sur des flottes hétérogènes de robots. Si la méthode tient à plus grande échelle, elle laisse entrevoir la possibilité de découpler les jeux de données de manipulation du matériel sur lequel ils ont été enregistrés, un argument direct pour les intégrateurs qui gèrent plusieurs types de bras ou de pinces et veulent réutiliser un même corpus d'entraînement plutôt que de le dupliquer par robot. Cela nourrit aussi le débat sur la généralisation réelle des VLA, souvent démontrée sur des cas choisis plutôt que validée en conditions de production.

Ce travail s'inscrit dans le courant de recherche actif autour des modèles VLA génériques pour la manipulation robotique, où plusieurs laboratoires cherchent à réduire la dépendance aux données spécifiques à chaque robot par des techniques d'augmentation ou d'abstraction visuelle. L'article, classé comme une soumission de type "replace" sur arXiv, ne précise pas d'partenaire industriel ni de calendrier de déploiement commercial ; il s'agit à ce stade d'une contribution de recherche évaluée en simulation et sur un nombre limité de plateformes robotiques, sans validation annoncée à grande échelle en environnement industriel.

Dans nos dossiers

NVIDIA GR00TManipulation robotiquearXiv cs.RO

À lire aussi

SimVLA : apprentissage VLA sim-vers-réel sans exemple pour la manipulation mobile
1arXiv cs.RO 

SimVLA : apprentissage VLA sim-vers-réel sans exemple pour la manipulation mobile

SimVLA est un cadre d'entraînement de modèles vision-langage-action (VLA) pour la manipulation mobile, publié en preprint sur arXiv (2610.11248), qui n'utilise que des données de simulation et aucune téléopération. Le modèle est d'abord pré-entraîné sur deux jeux de données issus du simulateur. SimAction est un corpus d'actions robot couvrant 35 tâches de manipulation mobile, produit en composant des compétences atomiques. SimVQA exploite l'état privilégié du simulateur (positions, géométrie, avancement des sous-tâches) pour fournir une supervision visuo-linguistique spatiale et géométrique. Le post-entraînement combine SimAction et SimDeploy, un jeu collecté à partir de rollouts de la politique dans des environnements simulés variés. Les auteurs testent le réassortiment de produits, le versement et le nettoyage, avec un transfert zéro-shot vers le monde réel, y compris dans des domiciles réels. Ils affirment que SimVLA dépasse des politiques entraînées sur 50 démonstrations réelles dans le domaine cible. Si le résultat tient à plus grande échelle, il touche au principal goulot du secteur, le coût de la collecte de démonstrations par téléopération. Comparer une politique 100 % simulée à une référence entraînée sur 50 démonstrations réelles est un test parlant pour un intégrateur, car il chiffre ce que la simulation peut remplacer. Le travail suggère aussi que l'écart sim-to-real se réduit moins par un meilleur rendu que par une supervision multiple : actions, questions visuelles et rollouts de déploiement se complètent, et les auteurs disent le démontrer. Il faut toutefois rester prudent, car le résumé ne donne ni taux de réussite, ni plateforme robotique, ni nombre d'essais réels. Les tâches sont des benchmarks de recherche, pas des déploiements, et la référence à 50 démonstrations est un seuil bas. Ce travail s'inscrit dans la course aux VLA généralistes. Pi-0 de Physical Intelligence, Helix de Figure ou GR00T de NVIDIA reposent largement sur des données réelles, téléopérées ou issues de vidéos, éventuellement complétées par de la donnée synthétique. SimVLA pousse la logique à l'extrême en supprimant la téléopération pour la manipulation mobile, plus difficile que la manipulation sur table fixe. La suite dépendra de la publication du code et des jeux de données, de réplications indépendantes et d'une évaluation sur d'autres morphologies de robots et d'autres foyers. Le preprint n'a pas encore été relu par des pairs, et aucun pilote commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

IA physiqueOpinion
1 source
DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations
2arXiv cs.RO 

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles. Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier. DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

IA physiqueOpinion
1 source
ROVE : l'apprentissage par renforcement pour débloquer les interventions humaines dans la manipulation par humanoïdes
3arXiv cs.RO 

ROVE : l'apprentissage par renforcement pour débloquer les interventions humaines dans la manipulation par humanoïdes

Une équipe de chercheurs a publié fin juin 2026 ROVE (Reinforcement learning for humanoid VLA post-training with imperfect human interventions), un framework de renforcement dédié à l'amélioration des modèles Vision-Language-Action (VLA) sur robots humanoïdes à partir d'interventions humaines imparfaites. Le principe : un opérateur prend la main sur le robot lors des phases d'échec, générant des trajectoires correctives qui servent ensuite à affiner le modèle. Le problème bien identifié par les auteurs est que ces interventions humaines sont souvent hésitantes, sous-optimales, voire erronées, ce qui rend l'imitation naïve contre-productive. ROVE introduit deux mécanismes centraux : un pipeline human-in-the-loop capable de collecter simultanément des données de déploiement autonome et d'intervention, et une méthode d'estimation de valeur dite "optimiste" (Optimistic Value Estimation, OVE) qui filtre les comportements à haute valeur depuis des trajectoires de qualité mixte. Le framework intègre également des vidéos d'expériences humaines cross-embodiment pour enrichir la supervision sur les modes de défaillance et de récupération rares. Sur des tâches réelles de manipulation à contact-riche et fine-grained, ROVE surpasse les baselines par apprentissage par expérience et s'améliore de manière consistante à chaque itération rollout-intervention. L'enjeu central ici est la scalabilité du déploiement humanoïde en conditions réelles. Les modèles VLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA -- ont démontré des capacités de généralisation remarquables, mais leur post-training sur hardware humanoïde reste un goulot d'étranglement : la cinématique whole-body et le contrôle de mains dextères compliquent radicalement la collecte de données téléopérées de qualité. ROVE invalide l'hypothèse selon laquelle l'intervention humaine doit être experte pour être utile : OVE permet d'extraire un signal d'avantage informatif même depuis des démonstrations imparfaites, ce qui signifie qu'on peut utiliser des opérateurs non-spécialistes pour améliorer continûment le modèle en production. C'est un changement de paradigme potentiellement significatif pour les intégrateurs : la qualité du déploiement n'est plus bornée par la disponibilité d'experts en téléopération. Ce travail s'inscrit dans une vague de recherches sur le RLHF appliqué à la robotique physique, après les travaux pionniers sur l'imitation par intervention (HATO, HITL-TAMER) et les approches par feedback correctif. Les humanoïdes ciblés restent non précisés dans l'abstract (preprint arXiv, les détails hardware seront à vérifier dans le papier complet), mais les résultats sur tâches contact-rich suggèrent une applicabilité aux plateformes type Figure 03, Unitree H1/G1 ou Agility Digit. Le positionnement concurrentiel est clair : là où Physical Intelligence mise sur la qualité des données téléopérées en amont, ROVE parie sur la rectification en boucle fermée en aval. Les prochaines étapes probables incluent des tests à plus grande échelle et une évaluation sur plusieurs architectures VLA, mais en l'état de preprint, aucun déploiement commercial n'est annoncé.

IA physiqueOpinion
1 source
TORL-VLA : apprentissage par renforcement en ligne à guidage tactile pour la manipulation à contacts intensifs
4arXiv cs.RO 

TORL-VLA : apprentissage par renforcement en ligne à guidage tactile pour la manipulation à contacts intensifs

Des chercheurs ont publié le 10 juin 2026 sur arXiv (arXiv:2606.09337) un framework baptisé TORL-VLA (Tactile-guided Online Reinforcement Learning for Vision-Language-Action), conçu pour résoudre un point de blocage précis des VLA en robotique de manipulation : l'inadaptation en temps réel aux conditions de contact. TORL-VLA couple un module VLA enrichi de retour tactile, capable de prédire à la fois une action de référence et une séquence de forces futures (wrench sequences), avec un module d'apprentissage par renforcement en ligne, léger, qui raffine ces actions au fil des tentatives. Le système a été validé sur des tâches longues et en contact soutenu avec l'environnement : manipulation d'une serrure (latch manipulation), placement précis d'une tasse à café, et manipulation d'un œuf cru. Sur l'ensemble de ces scénarios, TORL-VLA améliore les taux de succès à l'échelle des sous-tâches et des tâches complètes, ainsi que l'efficacité temporelle d'exécution par rapport aux baselines comparées. L'enjeu technique est bien réel : les VLA actuels sont déployés comme des politiques hors ligne (offline policies), c'est-à-dire figées après entraînement. Dès que les conditions de contact s'écartent de la distribution d'entraînement, friction différente, compliance d'objet inattendue, positionnement imprécis, la politique échoue sans mécanisme de correction. Le résultat concret est une accumulation de forces de contact inappropriées et des boucles de retry inefficaces, problème critique pour tout déploiement industriel où la reproductibilité du geste est exigée. TORL-VLA introduit également un "intervention-censored critic", un mécanisme qui évite d'attribuer à tort un succès post-intervention humaine aux actions de la politique générées avant cette intervention, ce qui stabilise l'apprentissage sur des données mixtes (exploration autonome + corrections opérateur). Cette approche est méthodologiquement significative : elle rend l'apprentissage en ligne viable dans un contexte d'apprentissage par démonstration avec supervision humaine intermittente, ce qui correspond précisément aux conditions réelles de mise en service. Les VLA comme Pi-0 (Physical Intelligence), OpenVLA, ou les architectures dérivées de RT-2 (Google DeepMind) ont démontré une généralisation impressionnante en manipulation, mais leur rigidité post-entraînement constitue un frein reconnu au déploiement en production. Des travaux comme DexVLA ou des approches avec force feedback (ForceSight, TacVLA) ont commencé à intégrer la modalité tactile, mais sans adaptation en ligne. TORL-VLA se positionne à l'intersection de ces deux axes : adaptation dynamique et perception haptique. Aucun chiffre de performance absolu (taux de succès brut, temps de cycle) n'est communiqué dans l'abstract, ce qui limite la comparaison directe avec d'autres systèmes, les résultats complets sont dans le papier complet. Du côté européen, des acteurs comme Enchanted Tools (France, robot Mirokaï) ou Wandercraft travaillent sur la compliance et l'interaction physique, mais sur des architectures différentes. Les prochaines étapes naturelles pour TORL-VLA concernent la généralisation à d'autres objets déformables, la réduction de la latence du module RL en ligne, et une validation à plus grande échelle avant tout positionnement comme solution industrielle.

UELes équipes françaises comme Enchanted Tools ou Wandercraft, actives sur la compliance et l'interaction physique, pourraient s'appuyer sur cette méthodologie d'adaptation tactile en ligne pour améliorer la robustesse au contact de leurs robots, bien qu'aucun transfert direct ne soit documenté.

IA physiqueOpinion
1 source