Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Connaître son corps : une méthode pour un contrôle robotique direct et auto-améliorant avec des VLM
RecherchearXiv cs.RO 

Connaître son corps : une méthode pour un contrôle robotique direct et auto-améliorant avec des VLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente KnowBody, un harnais logiciel qui vient se greffer sur un modèle vision-langage (VLM) déjà entraîné, sans toucher à ses poids, pour lui apprendre concrètement comment le corps d'un robot donné produit un effet. Le système part d'une seule trajectoire hors tâche pour construire un modèle partiel du corps du robot, qui guide ensuite le choix des actions et l'interprétation des interactions passées ; ce modèle est révisé au fil des nouvelles observations, et toute connaissance qui en dépendait est revérifiée avant d'être réutilisée. Sur 32 essais à budget fixe répartis sur quatre tâches confiées à un robot réel, la version initialisée de KnowBody atteint 75% de complétion contre 25% pour le harnais natif du même VLM, avec moins de cycles de planification nécessaires sur les tâches réussies par les deux approches. Lorsque les mises à jour persistantes du modèle de corps sont activées, le nombre de cycles de planification chute de 29 à 53% entre le premier et le cinquième succès enregistré.

Le résultat touche un point de friction central pour l'industrie des modèles vision-langage-action (VLA) : un VLM générique comprend sémantiquement l'objectif d'une tâche, mais ignore par défaut comment les degrés de liberté et les organes effecteurs spécifiques d'un robot donné traduisent cette intention en mouvement. Les approches dominantes comme Pi-0, GR00T N2 ou Helix misent sur l'apprentissage de bout en bout, souvent au prix d'un réentraînement ou d'un fine-tuning par plateforme. KnowBody propose l'inverse : garder le modèle figé et ajouter une couche intermédiaire explicite, interrogeable et corrigible, qui capitalise l'expérience physique du robot. Pour les intégrateurs, l'intérêt est la promesse d'un déploiement d'un même VLM générique sur des corps robotiques différents sans coût de réentraînement, si l'approche tient sur des flottes plus larges.

Ces résultats restent toutefois un travail de recherche préliminaire, publié en preprint sur arXiv (arXiv:2609.28530v1), validé sur seulement quatre tâches et 32 essais en environnement contrôlé, loin d'un déploiement industriel. Aucun nom d'entreprise, de robot commercial ni de site de production n'est associé à ces expériences. La démonstration se positionne néanmoins explicitement en alternative aux stratégies VLA propriétaires actuelles, et la suite logique attendue serait une extension à davantage de tâches, de plateformes robotiques et de conditions réelles pour confirmer la généralisation du mécanisme.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

RoboHarn-Evo : évolution de connaissances physiques hiérarchiques pour une manipulation robotique qui s'auto-améliore
1arXiv cs.RO 

RoboHarn-Evo : évolution de connaissances physiques hiérarchiques pour une manipulation robotique qui s'auto-améliore

Des chercheurs publient sur arXiv RoboHarn-Evo, un « harnais » à double boucle qui fait évoluer une base de connaissances physiques hiérarchiques (HPK, Hierarchical Physical Knowledge) à partir de l'expérience d'interaction, sans jamais mettre à jour les poids du modèle de base. La HPK comporte deux niveaux. La connaissance de tâche indique quelle sous-tâche exécuter et quand elle est achevée. La connaissance d'action décrit des stratégies géométriques relatives à l'objet et leurs effets physiques. À l'exécution, l'agent récupère l'entrée pertinente au niveau de décision concerné, puis l'adapte à la scène courante et à l'objectif. D'un épisode à l'autre, le retour physique sert à réviser les entrées anciennes, à ajuster leur domaine d'applicabilité et à réorganiser la base pour les récupérations suivantes. Sur le benchmark RMBench, le gain moyen de succès atteint 24,2 points selon les modèles d'agent. Avec 80 déroulés d'interaction, le succès sur tâches hors entraînement passe de 48,3 % à 75,0 % pour GPT-5.5 et de 70,0 % à 88,3 % pour GPT-6. Le système corrige plus de 83 % des erreurs de connaissance historiques tout en conservant 95,8 % des connaissances valides. En transfert zéro-shot de RMBench vers RoboDojo, il gagne 35,0 et 25,0 points selon les configurations. L'intérêt tient à la place de l'amélioration. Les modèles vision-langage pilotent bien la planification longue durée, mais la réussite dépend de l'effet réel des interactions locales : saisie, insertion, alignement. Ici, le progrès vient d'une mémoire externe, lisible et révisable, et non d'un réentraînement ou d'un fine-tuning. Pour un intégrateur, cela suggère une piste d'adaptation sur site moins coûteuse, avec des connaissances auditables, corrigeables et potentiellement transférables d'une cellule à l'autre. Le taux de conservation de 95,8 % répond au risque classique des mémoires d'agents, qui accumulent des règles erronées ou obsolètes. Deux réserves s'imposent toutefois. Les résultats portent sur des benchmarks, très probablement simulés, avec des échantillons de test réduits : les pas de 1,7 point suggèrent une soixantaine de tâches ou d'épisodes hors entraînement, donc des marges d'incertitude notables. Rien n'est dit non plus des temps de cycle, du coût d'inférence ni de la robustesse sur du matériel réel. Le transfert zéro-shot reste par ailleurs un test entre deux environnements de simulation, pas une preuve de généralisation au monde physique. Ce travail s'inscrit dans la tendance des agents « auto-améliorants » par mémoire et bibliothèques de compétences, transposée à la manipulation. Il se place face aux approches qui passent par l'apprentissage des poids, comme les modèles VLA (vision-langage-action) de type Pi-0, GR00T ou Helix, qui exigent des données de téléopération et du calcul d'entraînement. Il s'appuie sur des modèles de fondation généralistes pour la planification et laisse l'expérience physique enrichir la connaissance externe. La suite logique serait une validation sur robots réels, avec bruit de perception et contacts non modélisés, puis une comparaison directe avec des VLA affinés à budget d'interaction équivalent. Aucun pilote industriel ni calendrier n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ARC : une méthode de raisonnement pour les modèles fondation en robotique
2arXiv cs.RO 

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
CoCoNav : un contrôle conforme pour une navigation robotique sûre en milieu de foule
3arXiv cs.RO 

CoCoNav : un contrôle conforme pour une navigation robotique sûre en milieu de foule

Un article déposé sur arXiv en août 2026 (arXiv:2608.07751) présente CoCoNav, un framework de navigation pour robots évoluant en foule, conçu pour anticiper les mouvements imprévisibles des piétons. Le système combine une calibration conforme en ligne et une planification certifiée en temps réel. Son composant central, un contrôleur conforme proportionnel-intégral spécifique à l'horizon temporel, ajuste dynamiquement les marges d'erreur de trajectoire pour maintenir un taux de couverture empirique stable face à des erreurs de prédiction qui évoluent au fil du temps. Un second module, baptisé "relax-then-verify" (détendre puis vérifier), génère d'abord des trajectoires nominales via un contrôle prédictif par modèle (MPC) à contraintes souples, avant de certifier séparément ces trajectoires, ainsi que des manœuvres de secours, par rapport aux bornes calibrées, juste avant leur exécution. Les auteurs ont validé l'approche à la fois en simulation et lors d'expériences avec un robot quadrupède, mesurant l'évitement de collision, le taux de réussite de tâche et l'efficacité de navigation par rapport à plusieurs méthodes de référence. Ce travail s'attaque à un point de friction connu dans le déploiement de robots mobiles en environnement humain: les méthodes réactives classiques produisent des comportements oscillants dès que la densité de piétons augmente, tandis que les planificateurs prédictifs supposent souvent des trajectoires piétonnes exactes ou s'appuient sur des modèles d'erreur trop rigides pour rester fiables en conditions réelles. Imposer des marges d'incertitude conservatrices comme contraintes strictes rend par ailleurs le MPC souvent infaisable en pratique, un problème qui limite l'usage de ces techniques dans des AMR (robots mobiles autonomes) commerciaux, des robots de livraison ou des plateformes de service. En séparant génération de trajectoire et certification, et en calibrant les marges d'erreur en continu plutôt qu'a priori, CoCoNav propose une piste concrète pour rendre les garanties de sécurité compatibles avec la réactivité nécessaire en environnement dense, un compromis que peu d'approches publiées atteignent simultanément selon les auteurs. La navigation sociale en robotique reste un domaine actif de recherche depuis plusieurs années, tiraillé entre approches purement réactives, rapides mais instables, et planificateurs prédictifs, plus robustes mais coûteux en calcul ou trop optimistes sur la qualité des prévisions de mouvement humain. La prédiction conforme, technique statistique permettant de quantifier l'incertitude d'un modèle sans hypothèse forte sur sa distribution d'erreur, gagne du terrain dans la robotique de perception et de planification comme alternative aux bornes d'erreur fixes. CoCoNav s'inscrit dans cette tendance en l'appliquant spécifiquement à l'horizon de prédiction du MPC. À ce stade, les résultats se limitent à des simulations et à des essais sur un robot quadrupède en conditions contrôlées, sans déploiement en foule réelle ni partenariat industriel annoncé; les auteurs ne précisent pas de calendrier pour un transfert vers des plateformes commerciales de type AMR ou robots de service.

RecherchePaper
1 source
REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA
4arXiv cs.RO 

REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA

Des chercheurs publient sur arXiv (2610.12007) REACT, un cadre de « rolling denoising » destiné aux modèles vision-langage-action (VLA) à base de flow matching, ces modèles qui génèrent des séquences d'actions (« action chunks ») pour produire des mouvements de robot cohérents dans le temps. Au lieu de régénérer un chunk complet à chaque cycle, REACT maintient un tampon d'actions persistant dont les blocs sont à des pas de débruitage échelonnés. À chaque pas de contrôle, tout l'horizon est débruité avec l'observation la plus récente, le bloc le plus « propre » est exécuté, les blocs partiellement raffinés sont décalés vers l'avant et du bruit frais est ajouté en queue. Chaque action est ainsi affinée sur plusieurs observations successives avant d'être envoyée au robot. Un second volet, le « dual decoupling », sépare la perception, l'encodage par le VLM, le débruitage par le DiT (diffusion transformer) et l'exécution des actions, ce qui permet des mises à jour d'observation à haute fréquence et un flux d'actions continu sous des contraintes de calcul réalistes. L'évaluation couvre le benchmark de simulation RoboTwin 2.0 et des tâches réelles de manipulation bimanuelle et de contrôle dynamique sur plusieurs plateformes robotiques. Les auteurs revendiquent un meilleur taux de réussite, une latence de réaction réduite et des trajectoires plus lisses que les méthodes de replanification fréquente et les approches asynchrones. Le résumé ne donne aucun chiffre précis, ni fréquence de contrôle, ni gain en points de succès. L'enjeu est un compromis structurel des VLA actuels. Des chunks longs donnent des mouvements fluides mais un robot lent à réagir à une perturbation, tandis qu'une replanification fréquente améliore la réactivité au prix de discontinuités qui abîment la qualité du geste, voire le matériel. Pour un intégrateur, cela touche directement les tâches dynamiques (objets mobiles, convoyeurs, interaction avec des humains) où les démonstrations de VLA restent souvent cantonnées à des scènes quasi statiques. Si les gains se confirment, REACT montrerait qu'on peut gagner en réactivité par l'architecture d'inférence, sans réentraîner de modèle plus gros. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, et la comparaison porte sur des baselines choisies par les auteurs. L'absence de chiffres de latence dans le résumé empêche pour l'instant de juger si le gain est marginal ou décisif. Cette approche s'inscrit dans une série de travaux sur le temps réel des VLA. Les chunks d'actions issus de la diffusion ou du flow matching, popularisés par des modèles comme Pi-0, ont imposé ce dilemme, et des méthodes asynchrones ou de « real-time chunking » ont tenté de le contourner en exécutant l'inférence en parallèle du mouvement. REACT s'en distingue en transposant au contrôle robotique l'idée du débruitage glissant (rolling diffusion), déjà utilisée en génération vidéo, et en y ajoutant la séparation des composants pour tenir les contraintes de calcul embarquées. La suite dépendra de la publication du code, de mesures sur des cycles de contrôle réels et de tests sur d'autres familles de VLA, en particulier celles qui visent le déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source