Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ORCESTRA : programmation visuelle de robots pilotée par VLM en réalité mixte
RecherchearXiv cs.RO 

ORCESTRA : programmation visuelle de robots pilotée par VLM en réalité mixte

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un système de recherche baptisé ORCESTRA, présenté dans un article déposé sur arXiv (2608.00775, catégorie « new »), permet de programmer des robots en réalité mixte sans écrire une ligne de code. L'utilisateur porte un casque à vision traversante (passthrough), place un jumeau numérique du robot sur une surface réelle, puis lui enseigne des trajectoires par démonstration de points de passage, sauvegardées sous forme d'épisodes relatifs au repère du robot. Alternative : il donne une commande vocale ou tapée, qu'un modèle vision-langage (VLM) traduit en plan structuré exécutable par le jumeau numérique. Les deux modes passent par un même backend qui assure l'ancrage métrique, la validation adaptée à la morphologie du robot, la prévisualisation et la confirmation avant exécution. Le système a été testé sur des embodiments hétérogènes : bras manipulateurs à base fixe, base mobile et robot humanoïde.

L'intérêt principal tient à la couche de validation en réalité mixte, qui agit comme filet de sécurité entre une instruction en langage naturel et son exécution physique, un enjeu central alors que les approches VLA (vision-language-action) peinent souvent à passer de la démonstration à un déploiement fiable. Pour les intégrateurs industriels, cela ouvre la voie à une reprogrammation de robots sans compétence en codage, avec vérification visuelle avant tout mouvement réel, réduisant le risque d'erreurs coûteuses sur ligne de production.

ORCESTRA s'inscrit dans une tendance de recherche croissante mêlant réalité augmentée/mixte et VLM pour le contrôle robotique, en alternative aux interfaces de téléopération classiques. L'article ne précise ni affiliation ni calendrier de déploiement commercial ; il s'agit à ce stade d'un prototype académique, dont les suites attendues incluent des études utilisateurs et l'extension à d'autres types de robots.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE
1arXiv cs.RO 

Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE

Une équipe de recherche présente APPROVE (AI-Powered Programming for Robots with Visual End-user Feedback), un framework de programmation robotique détaillé dans une prépublication arXiv référencée 2608.19281v1, mise en ligne en août 2026. Le système combine des instructions en langage naturel, une interface par blocs Blockly et une étape explicite de confirmation par l'utilisateur. Un grand modèle de langage (LLM) traduit la demande formulée en langage naturel en un programme robotique, affiché sous forme de blocs modifiables avant toute exécution. L'utilisateur peut alors valider, corriger ou rejeter le code généré plutôt que de le laisser s'exécuter directement. Les fonctions validées sont ensuite stockées dans une bibliothèque réutilisable, permettant de constituer progressivement un ensemble de briques logicielles fiables pour de futures tâches. Cette approche cible des limites documentées des générateurs de code robotique basés sur des LLM: absence de transparence sur ce que le programme fait réellement, absence de mécanisme garantissant l'alignement avec l'intention de l'utilisateur, et faible réutilisabilité des programmes produits. Pour les intégrateurs et les décideurs industriels, l'enjeu dépasse la simple commodité: exécuter directement sur un robot physique du code généré par une IA, sans vérification humaine intermédiaire, pose un risque de sécurité et de confiance qui freine l'adoption. En imposant une confirmation visuelle avant exécution, APPROVE illustre une tendance plus large du secteur à vouloir concilier la flexibilité du langage naturel avec un contrôle humain explicite, plutôt que de traiter le LLM comme une boîte noire de bout en bout. La démarche s'inscrit dans la lignée des interfaces de programmation par blocs, historiquement utilisées pour rendre la robotique accessible aux non-experts mais critiquées pour leur manque de flexibilité face à des tâches complexes. Elle prolonge aussi des travaux récents ayant exploré les LLM pour générer automatiquement des programmes robotiques à partir de langage naturel, une piste jugée prometteuse mais jusqu'ici limitée par l'absence de garde-fous. APPROVE reste à ce stade une contribution de recherche, présentée comme une preuve de concept centrée sur l'utilisateur final, sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation. L'article la positionne comme une direction de conception plutôt qu'un produit prêt à l'emploi, avec pour priorités affichées la confiance de l'utilisateur, l'alignement d'intention et la réutilisation du code.

RecherchePaper
1 source
fARfetch : collaboration homme-robot en réalité augmentée colocalisée dans des environnements visuellement hétérogènes, avec adaptation de contenu par VLM
2arXiv cs.RO 

fARfetch : collaboration homme-robot en réalité augmentée colocalisée dans des environnements visuellement hétérogènes, avec adaptation de contenu par VLM

Des chercheurs ont publié sur arXiv (juin 2026) les résultats de fARfetch, un système de collaboration humain-robot en réalité augmentée conçu pour les environnements extérieurs vastes et visuellement hétérogènes. Le dispositif combine un casque Meta Quest 3 et un robot quadrupède Unitree Go2, et repose sur trois mécanismes : une cartographie sémantique partagée entre le casque et le robot qui visualise des repères de l'environnement pour émettre des commandes de navigation par désignation, une représentation miniaturisée de l'espace (world-in-miniature) pour composer des trajectoires précises, et un module d'adaptation visuelle piloté par un VLM (vision-language model) qui ajuste en temps réel la couleur, la taille et l'orientation des éléments AR afin de maintenir leur lisibilité quelle que soit l'arrière-plan. L'évaluation a été conduite en conditions réelles sur une tâche d'inspection extérieure d'environ 30,5 mètres avec 13 participants en protocole intra-sujets. Par rapport à une baseline sans AR, fARfetch réduit le temps d'exécution de 66 %, la charge mentale de 43 %, la pression temporelle de 34 % et le niveau de frustration de 66 %. Ces résultats sont significatifs pour les intégrateurs de robotique mobile en milieux industriels ouverts (sites de construction, inspection d'infrastructure, logistique extérieure) où la téléopération classique bute sur la désorientation spatiale de l'opérateur et la perte de ligne de vue. L'usage d'un VLM pour l'adaptation du rendu AR constitue une avancée méthodologique : plutôt que de coder des règles statiques de contraste, le système raisonne sur le contexte visuel capturé. Cela suggère que la grille sim-to-real ne se limite plus aux actionneurs physiques mais s'étend à la couche d'interaction humain-machine. L'étude reste toutefois limitée : N=13 est un échantillon restreint, la tâche couvre 30,5 mètres en extérieur contrôlé, et aucune métrique de robustesse en conditions adverses (pluie, contre-jour fort, foule) n'est rapportée. fARfetch s'inscrit dans un champ de recherche actif sur l'AR comme interface de supervision de robots mobiles, aux côtés de travaux portant sur les drones et les AMR en entrepôt. Côté hardware, le Unitree Go2 est un quadrupède grand public à moins de 10 000 dollars, ce qui ancre l'expérimentation dans des configurations accessibles, contrairement aux plateformes à six chiffres de Boston Dynamics. Aucun acteur français ou européen n'est impliqué dans cette étude. Les auteurs n'annoncent pas de pilote industriel ni de timeline de déploiement : il s'agit d'un prototype académique dont les prochaines étapes naturelles seraient des évaluations sur des périmètres plus étendus, avec des opérateurs non entraînés et des robots à mobilité différente (bras, AMR sur roues).

RecherchePaper
1 source
WorldLine : simulation visuelle pilotée par les actions pour la manipulation robotique
3arXiv cs.RO 

WorldLine : simulation visuelle pilotée par les actions pour la manipulation robotique

WorldLine, un simulateur visuel piloté par l'action, est présenté dans un preprint arXiv (2609.38059) pour la manipulation robotique. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Le système apprend la dynamique de manipulation à partir de plus de 10 000 heures de vidéos de robots sans annotation d'actions. Il l'ancre ensuite dans le contrôle avec plus de 2 000 heures de trajectoires actionnées, réparties sur plus de dix morphologies de robots. Une représentation des actions dans l'espace image sert d'interface de contrôle commune, ce qui évite de traduire entre espaces de commande incompatibles. L'entraînement combine plusieurs points de vue, des trajectoires d'échec et une régularisation relationnelle pour mieux prédire les interactions. Une distillation en quelques étapes centrée sur le robot permet un déroulé causal rapide, en conservant les mouvements utiles à l'action. Sur des trajectoires échouées, le score d'IoU des masques du robot gagne 0,1626 face à la meilleure référence. La réussite d'une trajectoire est prédite avec 74 % de précision moyenne sur RoboTwin et AgiBot, soit un point de plus que la meilleure base de comparaison. Sans entraînement ni adaptation sur RoboTwin, les déroulés du simulateur améliorent le taux de succès de tâche jusqu'à 21,4 points par rapport à l'exécution directe de la politique. L'enjeu est le coût de l'évaluation et de la collecte d'expérience sur robot réel, principal frein à l'apprentissage en conditions réelles. Un simulateur capable de prédire l'issue d'une action avant son exécution permet de trier des politiques ou de planifier sans mobiliser de matériel. Le résultat le plus parlant concerne les échecs : les modèles vidéo génératifs tendent à produire des scènes plausibles mais peu fidèles à l'action commandée, et à «réussir» visuellement des gestes ratés. Or un simulateur inutilisable pour détecter l'échec ne sert pas à l'évaluation. Il faut toutefois relativiser : 74 % de précision sur la réussite reste modeste pour de la validation avant déploiement, et l'avance sur la meilleure référence n'est que d'un point. Le gain de 21,4 points est un maximum, non une moyenne, et les benchmarks (RoboTwin est surtout simulé) ne garantissent pas la robustesse en atelier. L'approche montre néanmoins qu'un jeu de données vidéo massif sans actions peut compenser la rareté des données actionnées. Ces travaux s'inscrivent dans la vague des modèles du monde et des simulateurs vidéo pour la robotique, qui visent à réduire la dépendance aux données téléopérées, coûteuses et propres à chaque robot. Leur point de friction est l'hétérogénéité des espaces d'action entre plateformes, que WorldLine traite par sa représentation image partagée. Il se place face aux modèles vidéo généralistes et aux simulateurs conditionnés par l'action, limités par des données rares. La suite logique passe par la validation sur robots physiques, la mesure de la corrélation entre succès prédit et succès réel, et l'intégration à des boucles de planification ou d'évaluation de politiques. Une page projet publie des résultats supplémentaires, mais aucune date de publication du code ou des modèles n'est mentionnée.

RecherchePaper
1 source
RAPID : programmation à base d'agents pour robots à partir de démonstrations
4arXiv cs.RO 

RAPID : programmation à base d'agents pour robots à partir de démonstrations

Une équipe de recherche présente RAPID (Robot Agentic Programming from Demonstrations) dans un preprint publié sur arXiv le 25 septembre 2026 (arXiv:2609.30249) : un système qui génère, vérifie et affine automatiquement un programme robotique complet à partir d'une seule démonstration visuelle humaine, sans corpus d'entraînement massif. La boucle agentique itérative infère elle-même, depuis cette démonstration, trois ingrédients clés : une spécification de tâche testable, des primitives d'action exécutables par le robot, et un environnement interactif pour exécuter et vérifier le programme. Pour rendre le résultat réutilisable au-delà du contexte filmé, RAPID exprime les primitives comme des programmes d'optimisation de trajectoire reproduisant l'effet de mouvement au niveau de l'objet, assemblés par des contraintes relationnelles qui capturent la géométrie de la scène au moment de l'exécution. Les chercheurs ont testé le système en simulation sur huit tâches de manipulation non préhensile riches en contacts (pousser, pivoter, basculer des objets) et sur des tâches préhensiles classiques du benchmark LIBERO-Pro, puis l'ont déployé sur un bras robotique Franka réel pour l'ensemble des huit tâches non préhensiles ; le projet est documenté sur yuyaoliu.me/projects/rapid. L'intérêt de RAPID tient à la difficulté qu'il attaque : transformer une démonstration unique en un programme réutilisable et généralisable, là où les politiques d'apprentissage par imitation ou les modèles vision-langage-action (VLA) exigent généralement des corpus de démonstrations massifs. En appliquant à la manipulation robotique la logique des agents de codage logiciel, capables d'itérer, tester et corriger leur propre production, RAPID parie que la synthèse de programmes symboliques explicites généralise mieux que des politiques paramétriques apprises, en particulier sur les tâches non préhensiles où la dynamique de contact et le frottement rendent la généralisation notoirement difficile. Les auteurs revendiquent une généralisation à la pose, la forme, le matériau et l'environnement des objets, une affirmation émanant pour l'instant d'une seule équipe sur un périmètre de tâches limité et non validée indépendamment ; le déploiement réel se cantonne d'ailleurs à un unique bras Franka et aux tâches non préhensiles, les tâches préhensiles de LIBERO-Pro n'ayant été testées qu'en simulation. Il s'agit donc d'un résultat de recherche prometteur mais encore au stade du preprint, pas d'un produit ou d'un pipeline prêt pour l'intégration industrielle. Le travail s'inscrit dans un mouvement plus large visant à transposer aux robots le paradigme des agents de codage popularisé en génie logiciel, plutôt que d'empiler les données pour entraîner des politiques de bout en bout. Il se positionne ainsi en alternative aux approches VLA dominantes du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent des politiques directement à partir de grands ensembles de démonstrations plutôt que de synthétiser un programme symbolique explicite à partir d'un seul exemple ; aucun acteur français ou européen n'apparaît dans cette publication. À ce stade, RAPID reste un résultat académique diffusé via un preprint arXiv et un site de projet présentant des matériaux complémentaires, sans partenariat industriel, pilote de déploiement ni calendrier de commercialisation annoncés par les auteurs.

RecherchePaper
1 source