Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Mieux entraîner les VLA : les leçons du défi REAL-I à l'ICRA 2026
RecherchearXiv cs.RO 

Mieux entraîner les VLA : les leçons du défi REAL-I à l'ICRA 2026

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

La première édition du REAL-I Challenge (Real-world Embodied AI Learning) s'est déroulée lors de la conférence ICRA 2026, en trois étapes : évaluation en simulation, tests sur robot réel, puis une finale sur site disputée sur une même plateforme humanoïde bimanuelle. L'objectif était précis : entraîner des politiques robotiques le plus efficacement possible à partir d'un budget de démonstrations fixe, et non d'un jeu de données illimité. L'article, publié sur arXiv (2609.13679v1), compare les approches de trois équipes finalistes, NUS-CLEAR, RCL-Lab et Deeptouch.ai, qui ont toutes combiné un modèle vision-langage-action (VLA) pré-entraîné à des politiques d'imitation spécifiques à la tâche, en variant la curation des données, l'adaptation par étapes, la sélection des points de contrôle et la conception de l'espace d'action.

Les enseignements dépassent le cadre du concours et s'adressent directement aux intégrateurs et aux chercheurs appliqués. Les auteurs identifient trois facteurs opérationnels : la capacité à s'adapter à l'environnement de déploiement sans effacer les compétences acquises en amont, la prise en compte de la qualité des démonstrations à la bonne échelle temporelle, et la correction des erreurs sur les composants du robot momentanément inactifs. Un bras qui dérive alors qu'il n'est pas sollicité peut suffire à faire échouer une tâche entière. Point le plus significatif pour la communauté VLA : les métriques hors ligne de prédiction d'action, standard pour évaluer ces modèles, se révèlent peu fiables pour anticiper le succès réel en boucle fermée sur robot physique, ce qui nuance l'idée qu'un pré-entraînement à grande échelle suffirait à résoudre le transfert vers le monde réel.

Ce travail s'inscrit dans un paysage où des modèles généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI servent de socles censés généraliser à de nouvelles tâches avec peu de données ; REAL-I offre un banc d'essai indépendant, sur une plateforme partagée, plutôt que des métriques auto-rapportées par les fabricants. Les auteurs appellent à traiter curation des données, adaptation, évaluation et déploiement comme un seul pipeline plutôt que comme des problèmes séparés, une orientation qui devrait structurer les prochaines éditions du challenge et les benchmarks à venir dans la communauté ICRA.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Sortir et revenir : ancrage du monde et du comportement dans le co-entraînement Real2Sim2Real
1arXiv cs.RO 

Sortir et revenir : ancrage du monde et du comportement dans le co-entraînement Real2Sim2Real

Une équipe de chercheurs publie sur arXiv (2610.00821) une étude sur l'usage de la simulation pour enrichir des démonstrations réelles rares dans le co-entraînement de politiques robotiques. Les auteurs distinguent deux axes qu'ils font varier indépendamment dans un pipeline « real2sim2real ». Le premier, le « world grounding », aligne la simulation sur le système réel. Le second, le « behavior grounding », aligne les trajectoires simulées sur le mouvement humain. Le test porte sur une tâche dynamique de tri et de saisie dextre. Avec un co-entraînement entièrement ancré sur les deux axes, le taux de réussite passe de 52 % à 86 %. En moyenne sur toutes les configurations, le world grounding apporte 18 points de pourcentage et le behavior grounding 10 points. Les politiques déployées se comportent comme un mélange de deux politiques : l'une dérivée du réel, l'autre dérivée de la simulation. Elles imitent les démonstrations réelles dans les états couverts par celles-ci et s'appuient sur le comportement simulé ailleurs, ce que les auteurs examinent par une analyse de l'espace latent. Pour les équipes qui doivent arbitrer leur budget de données, le résultat est utile parce qu'il chiffre des effets que le secteur traite souvent de façon intuitive. Le world grounding apparaît comme l'investissement prioritaire : il permet à la politique d'exploiter l'expérience simulée au-delà de la zone couverte par les données réelles, donc d'étendre la robustesse sans multiplier les téléopérations coûteuses. Le behavior grounding compte surtout lorsque l'alignement du monde est imparfait, ce qui est le cas de la plupart des simulateurs de contact et de dextérité. L'étude nuance l'idée d'un sim-to-real « résolu » : un gain de 34 points reste conditionné à un travail de calibration explicite. Les auteurs indiquent aussi que la simulation ancrée reste bénéfique lors du co-entraînement de modèles de fondation. Les résultats se limitent toutefois à une tâche unique, et l'abstract ne précise ni le robot, ni le nombre de démonstrations, ni le nombre d'essais. La marge statistique de ces pourcentages n'est donc pas évaluable à ce stade. Ces travaux s'inscrivent dans le débat sur la manière de combler la pénurie de données robotiques. Les approches se partagent entre téléopération à grande échelle, vidéos humaines et génération synthétique en simulation, chacune avec ses limites de coût et d'écart de réalité. Des acteurs comme Nvidia, avec son écosystème Isaac et GR00T, Physical Intelligence avec Pi-0, ou Figure avec Helix, misent sur des mélanges de ces sources. Cet article, une prépublication non encore relue par des pairs, apporte une grille de lecture expérimentale sur ce que la simulation doit reproduire pour être utile. Reste à voir si ces proportions se confirment sur d'autres tâches, d'autres plateformes et à plus grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
IMPACT : l'attention comme carte des interactions pour entraîner à grande échelle des modèles du monde qui les intègrent
2arXiv cs.RO 

IMPACT : l'attention comme carte des interactions pour entraîner à grande échelle des modèles du monde qui les intègrent

Des chercheurs présentent IMPACT, une méthode d'entraînement pour les world models utilisés par les agents robotiques, détaillée dans un article publié le 2 septembre 2026 sur arXiv (2609.00161v1). Ces modèles prédisent l'évolution future d'une scène à partir d'une action donnée, mais peinent à générer des interactions physiquement plausibles entre un bras ou une main et les objets manipulés. Les approches existantes corrigent ce défaut en injectant des représentations externes de mouvement, géométrie ou sémantique, obtenues via des estimateurs auxiliaires ou des annotations manuelles, ce qui limite le passage à l'échelle. Les auteurs identifient plutôt un défaut structurel dans l'objectif d'entraînement standard, l'erreur quadratique moyenne globale, qui privilégie le contenu statique dominant de la scène au détriment des rares régions dynamiques où se joue l'interaction. IMPACT exploite les cartes d'attention croisée déjà associées aux tokens de l'objet manipulé comme indice spatiotemporel interne, échantillonne les régions candidates, les recalibre avec les erreurs de prédiction locales, puis reprend cette carte d'interaction pour repondérer la supervision du débruitage, sans représentation externe ni modification au moment de l'inférence. Testée sur des tâches de manipulation par bras robotique et par main humaine, avec plusieurs modalités de contrôle et backbones DiT, la méthode surpasse systématiquement les bases entraînées en MSE classique sur la fidélité des interactions, la plausibilité physique et la qualité visuelle. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement bien identifié dans l'entraînement des world models et des politiques VLA à grande échelle: la difficulté à faire tenir la promesse du "sim-to-real" ou de la génération vidéo conditionnée par action lorsque les moments qui comptent, le contact, la préhension, le déplacement d'un objet, ne représentent qu'une fraction des pixels d'une séquence. En évitant de dépendre d'annotateurs externes ou de pipelines de labellisation coûteux, IMPACT propose une voie de passage à l'échelle compatible avec les volumes de données nécessaires à l'entraînement de modèles génératifs pour la robotique, un enjeu direct pour les laboratoires qui alimentent des architectures de type GR00T N2, Pi-0 ou Helix en données synthétiques ou en simulateurs de monde. Ce travail s'inscrit dans la lignée des recherches récentes sur les world models conditionnés par action, où plusieurs équipes ont cherché à contraindre la génération avec des représentations de mouvement ou de géométrie pour éviter les artefacts physiquement incohérents, une limite régulièrement pointée dans les démonstrations vidéo de modèles de manipulation. IMPACT se positionne comme une alternative purement algorithmique à ces approches basées sur des représentations externes, testée sur plusieurs backbones DiT et modalités de contrôle, sans toutefois préciser de déploiement industriel ni de partenaire robotique à ce stade: il s'agit d'une contribution de recherche publiée sur arXiv, dont l'adoption par des acteurs commerciaux de la robotique reste à confirmer dans les prochains mois.

RecherchePaper
1 source
Apprendre à bouger avant d'agir : pré-entraînement générique pour les VLA
3arXiv cs.RO 

Apprendre à bouger avant d'agir : pré-entraînement générique pour les VLA

Une équipe de recherche publie sur arXiv (2607.02466v1) un nouveau framework baptisé TAP (Task-Agnostic Pretraining), conçu pour entraîner des modèles Vision-Language-Action (VLA) avec beaucoup moins de démonstrations expertes que les approches classiques. Le constat de départ : la rareté des données étiquetées (observations, instructions et actions) freine le développement des VLA, car les méthodes actuelles mélangent deux apprentissages distincts, la compétence physique (comment bouger) et l'alignement sémantique (quoi faire), alors que seul le second nécessite une supervision par le langage. TAP sépare les deux en deux étapes : une première phase apprend des a priori moteurs transférables à partir de données d'interaction non étiquetées et bon marché, y compris des trajectoires hors tâche généralement écartées et du jeu autonome de robots, via un objectif auto-supervisé de dynamique inverse. Une seconde phase, légère, ancre ensuite ces a priori dans le langage à l'aide d'un minimum de données expertes. Sur le benchmark SIMPLER, TAP égale des modèles entraînés sur plus d'un million de trajectoires expertes tout en utilisant des ordres de grandeur de données étiquetées en moins, avec un gain absolu de 10% sur le behavior cloning standard. Sur une plateforme réelle WidowX, TAP conserve un taux de réussite de 25% face à des perturbations de caméra, là où les baselines entraînées à l'échelle internet chutent à 0%. Ce résultat s'attaque directement à l'un des goulots d'étranglement les plus cités du secteur robotique : le coût de collecte de démonstrations expertes à grande échelle, souvent invoqué pour justifier des besoins massifs en téléopération ou en données simulées coûteuses. En montrant qu'un pré-entraînement task-agnostic sur des données bon marché (trajectoires ratées, jeu robotique non supervisé) peut produire des représentations physiques robustes et transférables, TAP suggère une voie de scalabilité alternative à l'empilement pur de données expertes, un enjeu direct pour les intégrateurs et laboratoires qui cherchent à réduire le coût par déploiement de politiques VLA. Le travail s'inscrit dans la lignée des architectures VLA récentes comme Pi-0 ou GR00T N2, qui cherchent toutes à généraliser au-delà des tâches vues à l'entraînement. La robustesse démontrée face aux perturbations caméra, un scénario classique de dégradation en conditions réelles, en fait un signal notable pour la suite : reste à voir si l'approche se généralise à des plateformes bras-mobiles ou humanoïdes plus complexes que le bras WidowX utilisé ici pour la validation.

RechercheActu
1 source
Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)
4arXiv cs.RO 

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion
1 source