Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VibeAct : la vibration comme signal pour la dextérité réactive des robots en contact
RecherchearXiv cs.RO 

VibeAct : la vibration comme signal pour la dextérité réactive des robots en contact

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont présenté VibeAct, un cadre de manipulation dextère publié sur arXiv en juin 2026, qui intègre des microphones piézoélectriques miniatures dans les doigts d'une main robotique pour détecter les événements de contact et de glissement. La méthode repose sur trois étapes : collecter des données vibro-acoustiques par téléopération, rejouer ces enregistrements dans un jumeau numérique calibré pour étiqueter automatiquement le contact et l'amplitude de glissement par doigt, puis entraîner un estimateur tactile sur les signaux microphone réels. En parallèle, les politiques de manipulation sont entraînées en simulation sur cette même représentation abstraite, et non sur l'audio brut. Le système a été évalué sur cinq tâches riches en contact : re-saisie, réorientation en main et insertion.

L'enjeu central est le fossé simulation-réalité qui frappe la manipulation dextère : les événements de contact sont rapides, locaux et souvent masqués visuellement, ce qui rend leur simulation acoustique fidèle quasiment impossible. En découplant l'estimateur tactile, entraîné sur des données réelles, de la politique de contrôle, entraînée en simulation sur la représentation abstraite, le cadre contourne ce verrou sans avoir à modéliser l'audio. Le canal de glissement continu s'avère l'observation la plus informative pour le contrôle réactif soutenu. Sur les cinq tâches, VibeAct surpasse une baseline proprioception et nuage de points, avec les gains les plus nets sur les tâches nécessitant un ajustement continu de la prise. Les politiques apprises se transfèrent à une plateforme physique bras-main dextère, avec une amélioration mesurable des taux de succès.

Ce travail s'inscrit dans une compétition dense entre modalités tactiles. Les capteurs à base de caméra comme GelSight ou DIGIT, développé par Meta, offrent une richesse spatiale supérieure mais restent encombrants et coûteux ; les microphones piézoélectriques sont compacts, bon marché et à haute bande passante, mais leur signal est difficile à simuler, d'où l'intérêt du découplage proposé. D'autres travaux exploitent la randomisation de domaine ou des simulations acoustiques approximatives pour tenter de franchir ce seuil. Aucun partenaire industriel ni déploiement commercial n'est annoncé : il s'agit à ce stade de recherche académique. Les prochaines étapes naturelles concernent la généralisation à des objets hors distribution et l'extension à des mains avec davantage de degrés de liberté.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Le contact comme variable de décision : sélection de contacts par compromis de capacité pour la loco-manipulation des robots à pattes
1arXiv cs.RO 

Le contact comme variable de décision : sélection de contacts par compromis de capacité pour la loco-manipulation des robots à pattes

Un article soumis le 25 septembre 2026 sur arXiv (2609.30140) présente CTCS (Capability-Tradeoff Contact Selection), une méthode qui choisit conjointement, pour une tâche de loco-manipulation donnée, un point d'appui environnemental et une posture corps entier. Pour chaque contact candidat, elle évalue trois mesures, le wrench résiduel (force et couple restants), la portée de l'effecteur terminal et la mobilité de la base une fois la tâche satisfaite, et les compare au coût d'acquisition du contact. Plutôt que d'exécuter une optimisation corps entier complète pour chaque candidat, coûteuse en calcul, CTCS filtre les points faisables, regroupe les candidats similaires par surface, prédit leurs capacités par analyse de sensibilité locale, puis vérifie et classe un sous-ensemble restreint avant la décision finale. Elle a été validée en simulation et sur un quadrupède Unitree Go2 équipé d'un bras AgileX NERO, sur 392 conditions de tâche et neuf surfaces d'appui disponibles. CTCS surpasse une stratégie limitée au sol et une stratégie de contact fixe, en sélectionnant les surfaces offrant le meilleur compromis selon la tâche, avec un temps de calcul divisé par environ trois par rapport à une évaluation exhaustive, pour un objectif moyen quasi identique. Pour les intégrateurs de robots à pattes destinés aux chantiers, entrepôts ou sites industriels, ce résultat s'attaque à un verrou concret: le choix de où et comment un robot s'appuie sur son environnement reste rarement optimisé faute de budget de calcul suffisant. L'étude ouvre la voie à une planification de contact quasi temps réel, condition nécessaire pour des robots capables de manipuler en s'appuyant sur des surfaces variées plutôt que de rester cantonnés au sol. Le travail s'inscrit dans la recherche en planification de contact pour la loco-manipulation, domaine où les approches se limitaient jusqu'ici au seul contact au sol ou à des points fixés à l'avance, faute de méthode pour arbitrer entre plusieurs surfaces. Le choix d'un Unitree Go2 couplé à un bras AgileX NERO reflète une plateforme de recherche de laboratoire, non un système commercial en déploiement. Classé nouvelle soumission arXiv, sans partenariat industriel ni feuille de route annoncée, l'article constitue une contribution algorithmique dont la suite logique serait l'extension à des morphologies plus complexes, comme des humanoïdes à deux bras, ou à des environnements moins structurés que les neuf surfaces testées.

RecherchePaper
1 source
Génération itérative et compositionnelle de données pour le contrôle de robots
2arXiv cs.RO 

Génération itérative et compositionnelle de données pour le contrôle de robots

Une équipe de chercheurs propose, dans un article arXiv (2512.10891, cinquième révision), un modèle génératif appelé "semantic compositional diffusion transformer" pour produire des données d'entraînement en manipulation robotique. Le principe central consiste à décomposer chaque transition dans l'espace d'état en quatre composantes distinctes, propres au robot, aux objets manipulés, aux obstacles, et à l'objectif de la tâche, dont les interactions sont apprises via des mécanismes d'attention. Entraîné sur un sous-ensemble limité de combinaisons de tâches, le modèle génère en inférence zéro-shot des transitions synthétiques de haute qualité pour des configurations jamais vues : nouveaux objets, nouveaux environnements, nouvelles associations robot-tâche. Un processus d'auto-amélioration itératif complète l'approche : les données synthétiques générées sont validées par apprentissage par renforcement hors-ligne (offline RL), puis réintégrées dans les rounds d'entraînement suivants. Au terme de ce cycle, le système résout la quasi-totalité des tâches de test non vues lors de l'entraînement. L'enjeu industriel est direct : collecter des démonstrations robotiques réelles pour couvrir l'espace combinatoire de toutes les tâches possibles en environnement multi-objets, multi-robots, multi-sites est économiquement prohibitif. Ce travail démontre qu'une structure compositionnelle apprise permet de briser cette malédiction combinatoire, sans démonstrations exhaustives. La boucle génération-validation-réentraînement est particulièrement notable : elle réduit le risque classique de drift sim-to-real en filtrant les transitions synthétiques non viables avant qu'elles ne contaminent le pipeline de policy learning. Les résultats surpassent significativement les baselines monolithiques et les approches compositionnelles à règles fixes (hard-coded), ce qui suggère que la structure compositionnelle émergente est réellement capturée par les représentations apprises, et non artificiellement injectée. Ce travail s'inscrit dans une dynamique de recherche qui cherche à contourner le goulot d'étranglement des données en robotique, aux côtés d'approches comme Diffusion Policy (Chi et al., CMU) ou les Visual Language Action models (VLA) tels que Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). Là où ces derniers misent sur des fondations visuolinguistiques massives, cette contribution cible la généralisation compositionnelle avec des données d'entraînement réduites. La première soumission datant de décembre 2025 et le papier en étant à sa cinquième révision, les auteurs ont visiblement consolidé leurs expériences au fil des retours communautaires. Les prochaines étapes naturelles seraient une validation sur hardware réel et une extension aux chaînes de manipulation longue-horizon, domaine où l'absence de compositionnalité reste le principal point de rupture des approches actuelles.

RecherchePaper
1 source
Génération de code adaptative pour le contrôle de robots
3arXiv cs.RO 

Génération de code adaptative pour le contrôle de robots

Des chercheurs proposent, dans un preprint arXiv (2610.09588v1), une architecture de contrôle robotique à double IA pour piloter des robots dans des environnements inconnus et dynamiques à partir d'intentions formulées en langage naturel. Un grand modèle de langage (LLM) traduit des objectifs de haut niveau en code exécutable. Ce code est limité à une bibliothèque robotique formelle et contraint par une syntaxe vérifiable. Un modèle vision-langage (VLM) assure l'ancrage sémantique, c'est-à-dire le lien entre les mots et ce que le robot perçoit, grâce à un processus de distillation. Le système ajoute des déclencheurs de replanification pilotés par l'environnement, fondés sur des seuils géométriques et sémantiques. Il intègre aussi une surveillance continue à l'exécution et une boucle de planification adaptative. Les auteurs l'ont évalué sur plusieurs modèles de pointe. Le résumé ne donne ni DOF, ni temps de cycle, ni taux de réussite chiffré, ni plateforme robotique, ni site de déploiement. Il s'agit d'une contribution de recherche, sans produit ni déploiement. L'enjeu porte sur la façon d'utiliser les LLM en robotique. L'approche n'est pas celle des modèles vision-langage-action (VLA) de bout en bout, qui produisent directement des actions. Elle génère du code contraint à une bibliothèque de primitives, donc auditable, vérifiable avant exécution et borné par ce que le robot sait faire. Pour un intégrateur ou un responsable industriel, cette propriété compte dans les contextes où la traçabilité et la sécurité priment. Le travail cible trois verrous : l'écart de formalisation entre une intention floue et une action exécutable, l'écart de taxonomie quand l'environnement présente des objets ou situations imprévus, et le suivi de l'état et de la progression dans le temps. Il soutient que ancrer l'IA générative dans une boucle réactive et contrainte permet de remplir des intentions complexes malgré l'incertitude. La prudence s'impose pourtant. Le résumé ne chiffre rien, et un benchmark sur modèles de pointe ne dit pas comment le système tient face aux latences, aux erreurs de perception ou aux pannes matérielles d'un site réel. Cette publication prolonge la ligne de travaux qui font écrire du code aux LLM pour commander des robots, popularisée par des approches comme Code as Policies, et qui s'oppose aux politiques apprises de bout en bout de type Pi-0, Helix ou GR00T. Les auteurs inscrivent leur démarche dans la vision de robots comme systèmes adaptatifs complexes, passant de bibliothèques de commandes rigides à une autonomie fondée sur l'intention. Le texte ne cite pas de partenaire industriel, de calendrier ni d'étape suivante. Les prochains jalons à surveiller sont la publication des résultats détaillés, d'éventuels essais sur robot physique et la comparaison directe avec les VLA sur des tâches longues en environnement ouvert.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modèles fondation vérifiables pour la sécurité des robots
4arXiv cs.RO 

Modèles fondation vérifiables pour la sécurité des robots

Une équipe de chercheurs présente FEARL (Foundation-Enabled Assured Robot Learning), un cadre publié en juin 2026 sur arXiv (2606.23754), conçu pour rendre les modèles de fondation utilisés en robotique formellement vérifiables. L'architecture repose sur une décomposition en deux modules : un grand Contrôleur (C) qui gère la perception haute dimension et le raisonnement sur les tâches, et un petit module de Sécurité (S) alimenté par des capteurs dédiés basse dimension et un embedding contextuel borné fourni par C, qui produit l'action finale. La vérification formelle s'applique uniquement à S, un composant compact dont les contraintes de sécurité, évitement de collision, limites d'espace de travail, peuvent s'exprimer sur des observations de faible dimension. Le cadre a été évalué sur trois domaines robotiques simulés, en intégrant des VLA (Vision-Language-Action) pré-entraînés disponibles sur étagère, et le transfert vers un robot physique a été validé. Ce découplage répond à un blocage concret pour les intégrateurs et équipes de certification industrielle. Des VLA comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA sont performants mais formellement opaques, ce qui les rend incompatibles avec les outils de vérification existants et freine leur déploiement dans des environnements à risque. FEARL propose un compromis : le Contrôleur conserve sa pleine expressivité pour le raisonnement, tandis que S reste vérifiable. Le transfert sim-to-real réussi indique que l'interface basse dimension ne dégrade pas les performances réelles, ce qui nuance l'hypothèse selon laquelle la richesse sensorielle serait indispensable à un contrôle fiable. Les approches antérieures pour sécuriser les politiques robotiques reposaient sur le reinforcement learning contraint ou des moniteurs d'exécution superposés, sans garanties formelles sur l'ensemble du pipeline. FEARL s'inscrit dans le champ de l'assured autonomy et constitue l'une des premières architectures à intégrer des VLA pré-entraînés dans une boucle vérifiable. Des acteurs comme Enchanted Tools (France) ou Wandercraft, qui développent des systèmes embarqués à contraintes de sécurité fortes, pourraient directement bénéficier de ce type d'approche. Les prochaines étapes naturelles seraient une validation sur des benchmarks de safety formels (IEC 61508, DO-178C) et des tests sur des manipulateurs industriels en environnement non structuré.

UEEnchanted Tools et Wandercraft, acteurs français développant des robots à fortes contraintes de sécurité embarquée, sont explicitement identifiés comme bénéficiaires directs de cette architecture de vérification formelle des VLA.

RecherchePaper
1 source