Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SAPS : autonomie partagée pour orienter la politique en combinant téléopération et VLA pré-entraîné
RecherchearXiv cs.RO 

SAPS : autonomie partagée pour orienter la politique en combinant téléopération et VLA pré-entraîné

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

SAPS (Shared Autonomy for Policy Steering, arXiv:2606.15568) est un framework qui combine en temps réel les commandes d'un opérateur humain avec les actions d'un modèle Vision-Language-Action (VLA) préentraîné, au niveau de l'action elle-même. Sans réentraînement, sans modèle auxiliaire, sans modification architecturale, SAPS introduit trois stratégies d'arbitrage dont une basée sur la similarité cosinus: cet indice mesure l'accord géométrique entre la commande humaine et celle du modèle pour distribuer le contrôle de façon dynamique. Testé sur les benchmarks de simulation LIBERO, LIBERO-PRO et CALVIN, et sur du matériel réel, le framework améliore le taux de succès des tâches jusqu'à 82 % par rapport à l'exécution autonome seule, réduit les interventions humaines par rapport à la télé-opération pure, et raccourcit les temps de complétion dans les deux cas.

Ce résultat touche au défaut structurel des VLA généralistes: leur fragilité face aux perturbations hors-distribution, qu'il s'agisse d'un objet déplacé de quelques centimètres ou d'une scène atypique. SAPS n'exige pas de modifier le modèle existant, ce qui est l'argument commercial central pour un intégrateur industriel: le framework se greffe indifféremment sur Pi-0, GR00T N2, OpenVLA ou tout autre VLA disponible. La réduction de charge cognitive par rapport à la télé-opération pure est également significative pour des applications d'assistance aux personnes à mobilité réduite et pour la collecte de données d'imitation, où chaque heure d'opérateur est coûteuse. Les métriques présentées sont issues d'un preprint non relu par des pairs, et les vidéos de démonstration réelles restent à évaluer avec prudence.

L'autonomie partagée est un champ établi, mais son application agnostique au modèle au niveau action sur des VLA modernes est une voie distincte des approches concurrentes. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et HuggingFace (LeRobot) misent sur la robustification des politiques par distillation et augmentation de données; SAPS propose une couche d'intervention humaine plug-and-play plutôt qu'un meilleur modèle. Le preprint n'annonce ni déploiement industriel ni partenariat commercial. Les extensions naturelles visent les plateformes humanoïdes (Figure 03, Unitree G1) et un usage dans des boucles de fine-tuning continu. Aucun acteur français ou européen n'est impliqué dans ce travail.

Dans nos dossiers

FigureUnitreeNVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état
1arXiv cs.RO 

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état

Une équipe de chercheurs publie sur arXiv (réf. 2606.26603) une méthode hybride de collecte de données pour la manipulation robotique en contact, baptisée BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts). L'approche combine deux modalités d'apprentissage par imitation: les systèmes portables de type UMI (Universal Manipulation Interface), qui permettent une collecte à grande échelle mais ne capturent que des "actions observées" depuis le démonstrateur humain, et la téléopération, qui fournit des "actions désirées" directement exploitables par le contrôleur robot, mais dont la collecte est coûteuse en temps. Sur trois tâches de manipulation riche en contacts, BRIDGE améliore le taux de succès jusqu'à 36,7% par rapport à une politique entraînée uniquement sur données portables. L'architecture repose sur un mélange d'experts en diffusion policy, routés dynamiquement selon la phase de tâche courante détectée à partir de l'état du robot. Le résultat le plus contre-intuitif mérite attention: mélanger naïvement des données portables et des démonstrations de téléopération dégrade les performances par rapport aux données portables seules. Ce n'est qu'en ségréguant explicitement les deux sources via un routeur conditionné sur l'état robot que le gain émerge. Pour les ingénieurs et intégrateurs en robotique industrielle, cela pointe une réalité souvent ignorée: la qualité de la supervision varie selon la phase de tâche, et une augmentation de données mal calibrée peut nuire à la politique apprise. En phase libre, les trajectoires portables sont valides; en phase de contact, le suivi de trajectoires observées à haute rigidité génère des forces de contact importantes et potentiellement dangereuses. BRIDGE résout ce mismatch sans exiger une téléopération complète de la tâche, réduisant significativement le coût de collecte tout en ciblant les segments réellement critiques. Le système UMI, issu des travaux de Cheng Chi et al. (Stanford/Columbia), s'est imposé comme référence pour la collecte scalable en manipulation; les diffusion policies, popularisées par ces mêmes travaux en 2023, forment le socle algorithmique de BRIDGE. Dans le panorama actuel de l'imitation learning, cette recherche se positionne face à des approches à grande échelle comme les VLA (pi-0 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA), qui misent sur des volumes massifs de données hétérogènes. BRIDGE fait un pari différent: la qualité ciblée plutôt que l'échelle brute. Il s'agit d'une prépublication arXiv, non encore évaluée par les pairs, et les trois tâches testées restent des benchmarks de laboratoire. La généralisation à des environnements industriels réels, avec variabilité de pièces et contraintes de cycle time, reste entièrement à démontrer.

RecherchePaper
1 source
SAFECAST : détection robuste des échecs pour les politiques VLA par entraînement à ensembles contrastifs et calibration
2arXiv cs.RO 

SAFECAST : détection robuste des échecs pour les politiques VLA par entraînement à ensembles contrastifs et calibration

Des chercheurs présentent SAFECAST, une méthode de détection d'échec pour les politiques vision-langage-action (VLA), les modèles qui pilotent des robots à partir d'instructions en langage naturel. Le problème visé: ces politiques échouent souvent une fois déployées, dès que les conditions s'écartent de l'entraînement, désordre dans la scène, objets distracteurs, éclairage différent, objets jamais vus, position de départ modifiée, ou simple reformulation d'une consigne. Les approches existantes détectent ces échecs via des sondes entraînées sur les états cachés du modèle, combinées à de la prédiction conforme fonctionnelle, mais leur fiabilité s'effondre si les données de calibration ne collent pas aux conditions réelles de déploiement. SAFECAST corrige ce point en injectant des perturbations de type "contrast set", des variations ciblées de la scène visuelle et du texte de l'instruction, à la fois dans l'entraînement et la calibration des sondes. Testée sur le jeu de données réel DROID et sur le simulateur LIBERO, avec plusieurs architectures de VLM en backbone, la méthode améliore de façon statistiquement significative le score ROC-AUC de détection d'échec par rapport à une référence état de l'art. Pour les intégrateurs et équipes robotique qui misent sur des politiques VLA en production, ce travail s'attaque à un angle mort connu du secteur: on sait entraîner des modèles capables de suivre des instructions, mais pas forcément savoir, en temps réel, quand ils sont sur le point d'échouer. Un détecteur d'échec fiable permet de déclencher un arrêt de sécurité ou un relais humain avant la casse, un prérequis pour déployer des VLA hors laboratoire, sur ligne de production ou en entrepôt, sans supervision constante. Le résultat le plus notable côté méthode: la calibration en simulation (sim-to-real), une fois enrichie de perturbations contrastives, produit de meilleures sondes que la calibration sur données réelles seules, ce qui réduirait le besoin coûteux de collecter des rollouts réels pour chaque nouveau contexte de déploiement. Ce travail s'inscrit dans la lignée des recherches sur la prédiction conforme appliquée à la robotique, un domaine qui cherche à donner des garanties statistiques d'échec plutôt que de simples scores de confiance heuristiques. Il prolonge directement les méthodes à base de sondes sur états cachés déjà proposées comme référence, en ciblant leur faiblesse principale, la dépendance aux données de calibration. Les auteurs indiquent que le gain est maximal quand perturbations visuelles et perturbations linguistiques sont combinées, une piste que de futurs travaux pourraient étendre à d'autres types de décalages de distribution ou à des politiques VLA déployées sur du matériel robotique varié.

RecherchePaper
1 source
Communication orientée objectif pour une détection et récupération rapide des pannes en robotique
3arXiv cs.RO 

Communication orientée objectif pour une détection et récupération rapide des pannes en robotique

Une équipe de chercheurs a publié sur arXiv (2601.18765v2) un cadre baptisé Goal-oriented Communication (GoC), conçu pour accélérer la détection et la récupération de pannes (Fault Detection and Recovery, FDR) dans les robots industriels autonomes déployés en usines intelligentes. La méthode repose sur une co-conception de la boucle communication-calcul-contrôle (3C) orientée explicitement vers l'objectif FDR, plutôt que de traiter ces trois niveaux indépendamment. Pour la détection, GoC extrait un graphe de scène 3D (3D-SG) comme représentation sémantique de l'environnement et surveille les changements de relations spatiales entre objets pour identifier les anomalies. Pour la récupération, le cadre fine-tune un petit modèle de langage (SLM) via Low-Rank Adaptation (LoRA), renforcé par distillation de connaissances depuis un LLM, et génère les trajectoires de récupération. Un module de jumeau numérique léger, ne reconstituant que les contours d'objets pertinents à la tâche, affine ces trajectoires quand un contrôle fin est nécessaire. En simulation, GoC réduit le temps de FDR jusqu'à 82,6 % et améliore le taux de succès des tâches (ex. tri de pièces) jusqu'à 76 % par rapport aux frameworks de référence utilisant des VLM pour la détection et des LLM pour la récupération. Ces résultats sont toutefois issus exclusivement de simulations; aucun déploiement physique ni banc d'essai industriel réel n'est rapporté. L'intérêt industriel de GoC tient à deux arbitrages clairs. D'abord, remplacer un VLM ou LLM embarqué par un SLM spécialisé réduit la latence de façon significative, ce qui est critique dans des cellules robotisées où une anomalie non détectée en quelques dizaines de millisecondes peut provoquer des collisions ou des rebuts coûteux. Ensuite, la représentation par graphe de scène 3D offre une abstraction compacte et interprétable de l'espace de travail, potentiellement plus robuste aux variations d'éclairage ou de texture qu'une approche purement pixellique. Pour les intégrateurs et les OEM qui déploient des bras ou des cellules pick-and-place, cela suggère une voie vers des systèmes FDR embarquables sur des contrôleurs à ressources contraintes, sans passer par un cloud ou un serveur GPU dédié. La distinction SLM/LLM va dans le sens d'une tendance de fond: l'industrie cherche à internaliser l'intelligence, pas à l'externaliser. Ce travail s'inscrit dans un corpus actif de recherches sur la robotique cognitive en milieux industriels incertains, en réponse aux limites bien documentées des architectures réactives classiques face aux pannes atypiques. Les approches concurrentes les plus citées mobilisent GPT-4V ou des modèles de la famille LLaVA comme détecteurs de pannes visuelles, au prix d'une latence incompatible avec les exigences temps-réel des lignes de production. GoC ne nomme pas d'entreprise partenaire ni de pilote terrain; il reste à ce stade un prototype académique dont le transfert industriel nécessiterait une validation sur hardware réel, en particulier sur la robustesse du graphe de scène 3D face aux occlusions et aux environnements encombrés. Aucun acteur européen n'est impliqué dans l'étude publiée. Les prochaines étapes naturelles seraient une validation physique et une comparaison sur des benchmarks standardisés comme FaultBench ou les scénarios de la NIST Assembly Task Board.

RecherchePaper
1 source
Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine
4arXiv cs.RO 

Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine

Une équipe de recherche publie sur arXiv (ref. 2605.16043) une étude comparative sur la manipulation bimanuelle de cordes par robot, en se concentrant sur la tâche de démêlage de nœuds. Les chercheurs ont entraîné deux politiques de contrôle basées sur le framework ACT (Action Chunking with Transformers) à partir des mêmes données de télé-opération humaine : la première reçoit en entrée deux flux vidéo RGB provenant de caméras montées sur les poignets du robot, la seconde utilise un état 3D particulaire de la corde, extrait par fusion multi-vues puis propagé dans un simulateur xPBD (eXtended Position-Based Dynamics). Évaluée en boucle ouverte sur une configuration de corde inédite, la politique à base d'état réduit l'erreur L1 de 30,8 % sur l'action initiale de saisie et de traction, par rapport à son homologue visuelle. Ce résultat isole une cause souvent sous-estimée des échecs de généralisation en apprentissage par imitation : non pas l'architecture du réseau ni le volume de données, mais l'espace d'observation lui-même. Les objets linéaires déformables (DLO) comme les câbles et les cordes posent un problème d'auto-occultation fréquente sous caméra ego-centrique, rendant la perception purement visuelle peu robuste sur des configurations non vues à l'entraînement. En ancrant la représentation dans un état physique cohérent simulé par xPBD, les chercheurs comblent partiellement ce "gap d'observabilité" entre pixels bruts et état mécanique réel, ouvrant la voie à un apprentissage plus efficace en données depuis un faible nombre de démonstrations humaines. La manipulation de DLOs est un problème ouvert de longue date en robotique, car leur espace de configuration est théoriquement infini-dimensionnel. L'approche par télé-opération bimanuelle est bien établie depuis les travaux sur ACT (Stanford/Berkeley, 2023), mais sa dépendance à de grands volumes de données limite la scalabilité industrielle. Cette étude s'inscrit dans un courant qui cherche à compenser le manque de données par une meilleure structure de représentation, comparable aux travaux sur les VLA (Vision-Language-Action models) mais ici centré sur la physique plutôt que le langage. Les prochaines étapes naturelles incluent la validation en boucle fermée et l'évaluation sur des câbles industriels, contexte où des acteurs comme Cobot Systems ou des labos européens spécialisés câblage automobile pourraient trouver un intérêt direct.

UEImpact indirect : les équipementiers et laboratoires européens spécialisés dans le câblage automobile pourraient exploiter cette approche pour réduire le volume de données de téléopération requis, un goulot d'étranglement réel dans ce secteur.

RecherchePaper
1 source