Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SAPS : autonomie partagée pour orienter la politique en combinant téléopération et VLA pré-entraîné
RecherchearXiv cs.RO 

SAPS : autonomie partagée pour orienter la politique en combinant téléopération et VLA pré-entraîné

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

SAPS (Shared Autonomy for Policy Steering, arXiv:2606.15568) est un framework qui combine en temps réel les commandes d'un opérateur humain avec les actions d'un modèle Vision-Language-Action (VLA) préentraîné, au niveau de l'action elle-même. Sans réentraînement, sans modèle auxiliaire, sans modification architecturale, SAPS introduit trois stratégies d'arbitrage dont une basée sur la similarité cosinus: cet indice mesure l'accord géométrique entre la commande humaine et celle du modèle pour distribuer le contrôle de façon dynamique. Testé sur les benchmarks de simulation LIBERO, LIBERO-PRO et CALVIN, et sur du matériel réel, le framework améliore le taux de succès des tâches jusqu'à 82 % par rapport à l'exécution autonome seule, réduit les interventions humaines par rapport à la télé-opération pure, et raccourcit les temps de complétion dans les deux cas.

Ce résultat touche au défaut structurel des VLA généralistes: leur fragilité face aux perturbations hors-distribution, qu'il s'agisse d'un objet déplacé de quelques centimètres ou d'une scène atypique. SAPS n'exige pas de modifier le modèle existant, ce qui est l'argument commercial central pour un intégrateur industriel: le framework se greffe indifféremment sur Pi-0, GR00T N2, OpenVLA ou tout autre VLA disponible. La réduction de charge cognitive par rapport à la télé-opération pure est également significative pour des applications d'assistance aux personnes à mobilité réduite et pour la collecte de données d'imitation, où chaque heure d'opérateur est coûteuse. Les métriques présentées sont issues d'un preprint non relu par des pairs, et les vidéos de démonstration réelles restent à évaluer avec prudence.

L'autonomie partagée est un champ établi, mais son application agnostique au modèle au niveau action sur des VLA modernes est une voie distincte des approches concurrentes. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et HuggingFace (LeRobot) misent sur la robustification des politiques par distillation et augmentation de données; SAPS propose une couche d'intervention humaine plug-and-play plutôt qu'un meilleur modèle. Le preprint n'annonce ni déploiement industriel ni partenariat commercial. Les extensions naturelles visent les plateformes humanoïdes (Figure 03, Unitree G1) et un usage dans des boucles de fine-tuning continu. Aucun acteur français ou européen n'est impliqué dans ce travail.

Dans nos dossiers

FigureUnitreeNVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Autonomie partagée affective : dynamique temporelle des émotions et évaluation subjective en téléopération bimanuelle
1arXiv cs.RO 

Autonomie partagée affective : dynamique temporelle des émotions et évaluation subjective en téléopération bimanuelle

Un article publié le 19 septembre 2026 sur arXiv (arXiv:2609.19802v1) décrit un système de téléopération robotique bimanuelle qui ajuste l'assistance apportée à l'opérateur en fonction de son état émotionnel estimé en temps réel, à partir de vidéo faciale, de signaux cardiaques et de la cinématique des deux bras. Le système produit une distribution sur sept états affectifs, ramenée à trois catégories opérationnelles neutre, productif ou adverse, et ne déclenche une assistance renforcée que lorsque l'opérateur reste durablement en état adverse, afin de ne pas interrompre un opérateur déjà efficace. Une étude menée auprès de 30 participants montre une hausse allant jusqu'à 39,7% du temps passé en état productif, sans dégradation mesurée du sentiment d'autonomie de l'opérateur. Les auteurs publient également ce qu'ils décrivent comme le premier jeu de données combinant simultanément vidéo, signaux physiologiques et suivi cinématique bimanuel pendant des tâches de téléopération. Leur modèle de fusion multimodale devance deux modèles vision-langage généralistes testés en zero-shot, Qwen et MiniCPM-V, sur le suivi temporel des états affectifs. L'enjeu dépasse le confort de l'opérateur: les paradigmes classiques d'autonomie partagée reposent sur des règles géométriques, comme le franchissement de limites d'erreur spatiale, qui ignorent l'état cognitif réel de la personne aux commandes et peuvent déclencher des interventions robotiques mal calibrées qui aggravent la frustration plutôt qu'elles ne la résorbent. Pour les secteurs qui dépendent fortement d'une téléopération fine, chirurgie robotique, désamiantage ou nucléaire, manipulation spatiale, logistique bimanuelle en entrepôt, un système qui détecte la charge cognitive avant l'échec de la tâche ouvre une piste concrète pour réduire les taux d'échec et l'épuisement des opérateurs. Le résultat touche aussi un point sensible du secteur: l'autonomie partagée est censée aider sans faire perdre à l'opérateur le sentiment de contrôle, et l'étude affirme que l'assistance ciblée n'a pas dégradé cette perception. Il faut toutefois noter que le terme de déploiement en conditions réelles employé dans le résumé recouvre une étude contrôlée à 30 participants, et non un déploiement industriel à grande échelle, ce qui appelle à la prudence sur la portée de ces chiffres. Cette approche se distingue de la trajectoire actuelle des politiques génératives de robotique généraliste de type VLA, telles que Pi-0, GR00T N2 ou Helix, qui visent à retirer progressivement l'humain de la boucle de contrôle; ici, l'humain reste au centre, et le système cherche seulement à mieux doser son assistance, une piste complémentaire pour les tâches où l'autonomie complète reste hors de portée. Elle prolonge des travaux d'informatique affective appliqués à l'interaction homme-robot, en remplaçant des seuils fixes par une estimation continue de l'état de l'opérateur. Les auteurs n'annoncent aucun calendrier de déploiement industriel ni de partenaire commercial; la contribution la plus durable pourrait être la mise à disposition du jeu de données multimodal, qui offre aux équipes de recherche un nouveau matériau pour entraîner des modèles de reconnaissance d'état affectif en contexte de téléopération, un terrain encore peu couvert par les jeux de données existants.

RecherchePaper
1 source
RoboSpan : apprentissage de politiques de coordination modulaires pour la manipulation mobile du corps entier à nombreux DOF par téléopération
2arXiv cs.RO 

RoboSpan : apprentissage de politiques de coordination modulaires pour la manipulation mobile du corps entier à nombreux DOF par téléopération

RoboSpan, présenté dans l'article arXiv 2610.19594 (version 1), est à la fois une plateforme de téléopération et de collecte de démonstrations pour la manipulation mobile du corps entier, et un cadre d'apprentissage baptisé Hierarchical Modular Framework (HMF). Le robot physique utilisé compte 29 degrés de liberté (DOF). HMF découpe cet espace d'action en trois branches fonctionnelles : manipulation fine de la main, ajustement de la pose du bras et configuration spatiale de la base mobile. Une architecture de type transformeur, le Coordinated Modular Embodied Transformer (COMET), les relie par attention croisée intermodulaire afin que les modules échangent de l'information et coordonnent leurs actions. Un modèle vision-langage (VLM) décompose hiérarchiquement les tâches longues. Une représentation tactile 2D couvrant toute la paume encode les contacts distribués. Les auteurs annoncent, sur robot réel, un taux de réussite supérieur de plus de 20 % à celui de « références courantes » sur plusieurs tâches longues impliquant le corps entier. Ces travaux visent deux verrous que les intégrateurs connaissent bien. Le premier est l'hétérogénéité des mouvements : la locomotion, le bras et la main n'ont ni les mêmes dynamiques ni les mêmes fréquences, et une politique monolithique de type VLA (vision-langage-action) les gère mal à 29 DOF. Le second est l'accumulation d'erreurs sur les séquences multi-étapes, que la décomposition par VLM cherche à contenir. L'intérêt industriel tient à la combinaison de la modularité et du tactile intégré à la téléopération, rarement présent sur les plateformes de collecte de données, alors que les tâches riches en contacts restent le point faible des démonstrations actuelles. Il faut toutefois relativiser. Il s'agit d'un préprint sans relecture par les pairs. Le résumé ne précise ni les baselines, ni le nombre d'essais, ni les tâches, ni les temps de cycle, ni la charge utile. Le « plus de 20 % » ne dit pas si l'écart est relatif ou en points de pourcentage. Aucun déploiement industriel n'est mentionné. Le travail relève de la recherche en laboratoire, loin d'un produit livré. Cette publication s'inscrit dans la course à l'apprentissage par imitation pour humanoïdes et manipulateurs mobiles. Les modèles généralistes comme Pi-0, GR00T ou Helix poursuivent une approche plus monolithique ou en deux systèmes, tandis que RoboSpan défend une coordination explicitement modulaire. La suite logique serait la publication du code et des jeux de données, des comparaisons directes avec ces modèles sur des benchmarks communs, et des essais hors laboratoire. Rien de tel n'est annoncé à ce stade, et aucun acteur français ou européen n'est cité.

RecherchePaper
1 source
Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état
3arXiv cs.RO 

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état

Une équipe de chercheurs publie sur arXiv (réf. 2606.26603) une méthode hybride de collecte de données pour la manipulation robotique en contact, baptisée BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts). L'approche combine deux modalités d'apprentissage par imitation: les systèmes portables de type UMI (Universal Manipulation Interface), qui permettent une collecte à grande échelle mais ne capturent que des "actions observées" depuis le démonstrateur humain, et la téléopération, qui fournit des "actions désirées" directement exploitables par le contrôleur robot, mais dont la collecte est coûteuse en temps. Sur trois tâches de manipulation riche en contacts, BRIDGE améliore le taux de succès jusqu'à 36,7% par rapport à une politique entraînée uniquement sur données portables. L'architecture repose sur un mélange d'experts en diffusion policy, routés dynamiquement selon la phase de tâche courante détectée à partir de l'état du robot. Le résultat le plus contre-intuitif mérite attention: mélanger naïvement des données portables et des démonstrations de téléopération dégrade les performances par rapport aux données portables seules. Ce n'est qu'en ségréguant explicitement les deux sources via un routeur conditionné sur l'état robot que le gain émerge. Pour les ingénieurs et intégrateurs en robotique industrielle, cela pointe une réalité souvent ignorée: la qualité de la supervision varie selon la phase de tâche, et une augmentation de données mal calibrée peut nuire à la politique apprise. En phase libre, les trajectoires portables sont valides; en phase de contact, le suivi de trajectoires observées à haute rigidité génère des forces de contact importantes et potentiellement dangereuses. BRIDGE résout ce mismatch sans exiger une téléopération complète de la tâche, réduisant significativement le coût de collecte tout en ciblant les segments réellement critiques. Le système UMI, issu des travaux de Cheng Chi et al. (Stanford/Columbia), s'est imposé comme référence pour la collecte scalable en manipulation; les diffusion policies, popularisées par ces mêmes travaux en 2023, forment le socle algorithmique de BRIDGE. Dans le panorama actuel de l'imitation learning, cette recherche se positionne face à des approches à grande échelle comme les VLA (pi-0 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA), qui misent sur des volumes massifs de données hétérogènes. BRIDGE fait un pari différent: la qualité ciblée plutôt que l'échelle brute. Il s'agit d'une prépublication arXiv, non encore évaluée par les pairs, et les trois tâches testées restent des benchmarks de laboratoire. La généralisation à des environnements industriels réels, avec variabilité de pièces et contraintes de cycle time, reste entièrement à démontrer.

RecherchePaper
1 source
SAFECAST : détection robuste des échecs pour les politiques VLA par entraînement à ensembles contrastifs et calibration
4arXiv cs.RO 

SAFECAST : détection robuste des échecs pour les politiques VLA par entraînement à ensembles contrastifs et calibration

Des chercheurs présentent SAFECAST, une méthode de détection d'échec pour les politiques vision-langage-action (VLA), les modèles qui pilotent des robots à partir d'instructions en langage naturel. Le problème visé: ces politiques échouent souvent une fois déployées, dès que les conditions s'écartent de l'entraînement, désordre dans la scène, objets distracteurs, éclairage différent, objets jamais vus, position de départ modifiée, ou simple reformulation d'une consigne. Les approches existantes détectent ces échecs via des sondes entraînées sur les états cachés du modèle, combinées à de la prédiction conforme fonctionnelle, mais leur fiabilité s'effondre si les données de calibration ne collent pas aux conditions réelles de déploiement. SAFECAST corrige ce point en injectant des perturbations de type "contrast set", des variations ciblées de la scène visuelle et du texte de l'instruction, à la fois dans l'entraînement et la calibration des sondes. Testée sur le jeu de données réel DROID et sur le simulateur LIBERO, avec plusieurs architectures de VLM en backbone, la méthode améliore de façon statistiquement significative le score ROC-AUC de détection d'échec par rapport à une référence état de l'art. Pour les intégrateurs et équipes robotique qui misent sur des politiques VLA en production, ce travail s'attaque à un angle mort connu du secteur: on sait entraîner des modèles capables de suivre des instructions, mais pas forcément savoir, en temps réel, quand ils sont sur le point d'échouer. Un détecteur d'échec fiable permet de déclencher un arrêt de sécurité ou un relais humain avant la casse, un prérequis pour déployer des VLA hors laboratoire, sur ligne de production ou en entrepôt, sans supervision constante. Le résultat le plus notable côté méthode: la calibration en simulation (sim-to-real), une fois enrichie de perturbations contrastives, produit de meilleures sondes que la calibration sur données réelles seules, ce qui réduirait le besoin coûteux de collecter des rollouts réels pour chaque nouveau contexte de déploiement. Ce travail s'inscrit dans la lignée des recherches sur la prédiction conforme appliquée à la robotique, un domaine qui cherche à donner des garanties statistiques d'échec plutôt que de simples scores de confiance heuristiques. Il prolonge directement les méthodes à base de sondes sur états cachés déjà proposées comme référence, en ciblant leur faiblesse principale, la dépendance aux données de calibration. Les auteurs indiquent que le gain est maximal quand perturbations visuelles et perturbations linguistiques sont combinées, une piste que de futurs travaux pourraient étendre à d'autres types de décalages de distribution ou à des politiques VLA déployées sur du matériel robotique varié.

RecherchePaper
1 source