Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA incarnée : FORGE-plus régule l'effort de récupération pour l'assemblage à contact riche via un superviseur LLM figé
RecherchearXiv cs.RO 

IA incarnée : FORGE-plus régule l'effort de récupération pour l'assemblage à contact riche via un superviseur LLM figé

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent FORGE-plus, un framework à deux couches combinant un grand modèle de langage (LLM) figé, uniquement textuel, avec un contrôleur bas niveau pour l'assemblage de précision par apprentissage par renforcement conditionné en force. Le LLM détermine avant exécution un plafond de force propre à chaque objet, puis sélectionne des manœuvres de récupération dans un menu d'actions fixe à partir de signatures de force textuelles compactes, sans jamais piloter la force directement, celle-ci restant imposée par un contrôleur bas niveau indépendant. Le seuil de rupture réel de chaque objet reste caché, connu seulement de l'évaluateur. Les tests portent sur deux tâches, le placement d'une bouteille fragile et l'insertion d'un engrenage avec un jeu diamétral de 0,4 mm, réalisées avec deux pinces différentes, la Robotiq 2F-140 et la main Franka Panda. Une politique unique réussit 256 épisodes sur 256 sans casse, sur objets fragiles comme robustes, prédit correctement le moment du relâchement, et complète un pipeline complet de prise sur table et insertion avec une force de pointe moyenne de 5,4 N. Face à des glissements de préhension injectés artificiellement, la stratégie de récupération basée sur les signatures de force résout 40% et 64% des échecs selon la pince utilisée, contre une approche naïve consistant à serrer plus fort, inefficace ou provoquant des casses fréquentes.

Ce travail éclaire un débat central de la robotique industrielle actuelle, celui de la fiabilité réelle des politiques d'assemblage par apprentissage face aux démonstrations soigneusement sélectionnées. En séparant décision stratégique, confiée au LLM, et exécution physique, confiée à un contrôleur strict, les auteurs proposent une architecture qui limite les risques de casse tout en gardant une flexibilité de raisonnement, un enjeu clé pour les intégrateurs manipulant des composants fragiles ou à tolérances serrées.

Les auteurs situent explicitement les limites de l'étude: tout se déroule en simulation à corps rigides, avec une rupture par seuil de force caché, et aucune revendication de transfert vers le réel n'est faite. Ils rapportent aussi des résultats négatifs, notamment l'échec de l'algorithme PPO classique sous contraintes de force strictes et l'inefficacité de stratégies de relâchement apprises, signalant que le problème reste loin d'être résolu de bout en bout par apprentissage pur.

Dans nos dossiers

IA physique & VLA

À lire aussi

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état
1arXiv cs.RO 

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état

Une équipe de chercheurs publie sur arXiv (réf. 2606.26603) une méthode hybride de collecte de données pour la manipulation robotique en contact, baptisée BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts). L'approche combine deux modalités d'apprentissage par imitation: les systèmes portables de type UMI (Universal Manipulation Interface), qui permettent une collecte à grande échelle mais ne capturent que des "actions observées" depuis le démonstrateur humain, et la téléopération, qui fournit des "actions désirées" directement exploitables par le contrôleur robot, mais dont la collecte est coûteuse en temps. Sur trois tâches de manipulation riche en contacts, BRIDGE améliore le taux de succès jusqu'à 36,7% par rapport à une politique entraînée uniquement sur données portables. L'architecture repose sur un mélange d'experts en diffusion policy, routés dynamiquement selon la phase de tâche courante détectée à partir de l'état du robot. Le résultat le plus contre-intuitif mérite attention: mélanger naïvement des données portables et des démonstrations de téléopération dégrade les performances par rapport aux données portables seules. Ce n'est qu'en ségréguant explicitement les deux sources via un routeur conditionné sur l'état robot que le gain émerge. Pour les ingénieurs et intégrateurs en robotique industrielle, cela pointe une réalité souvent ignorée: la qualité de la supervision varie selon la phase de tâche, et une augmentation de données mal calibrée peut nuire à la politique apprise. En phase libre, les trajectoires portables sont valides; en phase de contact, le suivi de trajectoires observées à haute rigidité génère des forces de contact importantes et potentiellement dangereuses. BRIDGE résout ce mismatch sans exiger une téléopération complète de la tâche, réduisant significativement le coût de collecte tout en ciblant les segments réellement critiques. Le système UMI, issu des travaux de Cheng Chi et al. (Stanford/Columbia), s'est imposé comme référence pour la collecte scalable en manipulation; les diffusion policies, popularisées par ces mêmes travaux en 2023, forment le socle algorithmique de BRIDGE. Dans le panorama actuel de l'imitation learning, cette recherche se positionne face à des approches à grande échelle comme les VLA (pi-0 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA), qui misent sur des volumes massifs de données hétérogènes. BRIDGE fait un pari différent: la qualité ciblée plutôt que l'échelle brute. Il s'agit d'une prépublication arXiv, non encore évaluée par les pairs, et les trois tâches testées restent des benchmarks de laboratoire. La généralisation à des environnements industriels réels, avec variabilité de pièces et contraintes de cycle time, reste entièrement à démontrer.

RecherchePaper
1 source
Filtrage hybride variationnel stable pour la récupération de modes de contact et de lois creuses
2arXiv cs.RO 

Filtrage hybride variationnel stable pour la récupération de modes de contact et de lois creuses

Une équipe de recherche a publié sur arXiv (référence 2605.16398) VHYDRO, un filtre variationnel hybride conçu pour apprendre la dynamique de contact des robots manipulateurs. Le problème ciblé est précis : dans les systèmes à contact riche, une seule observation peut correspondre à plusieurs régimes latents distincts (mouvement libre, impact, stick-slip). Un filtre amortized classique qui n'affecte aucune probabilité à une transition de contact faisable perd définitivement la branche que le robot suit réellement, sans possibilité de récupération. VHYDRO empêche cette perte de branche en mélangeant la loi de proposition apprise avec une loi de transition physiquement faisable avant l'échantillonnage et la pondération d'importance, garantissant ainsi que chaque transition conservée par le support du modèle reste couverte. Le système infère conjointement un état latent continu et un mode de contact discret, puis ajuste une loi port-Hamiltonienne sparse à chaque régime récupéré. Les résultats empiriques portent sur des démonstrations ManiSkill et sur quatre familles de tâches Sawyer/BridgeData, où VHYDRO surpasse les baselines post-hoc et sans mode sur trois métriques : ARI, change-point F1 et pureté de segment. L'enjeu pour l'industrie robotique est direct : la manipulation à contact riche, préhension, assemblage, insertion de pièces, reste l'un des points durs non résolus pour le déploiement des bras industriels apprenants. La capacité à segmenter temporellement les régimes de contact en segments cohérents est un prérequis pour toute politique de contrôle hybride robuste. Ce que prouve VHYDRO, c'est qu'un filtre défensif au sens du support peut stabiliser la reconstruction du mode discret et, de là, permettre une identification physique sparse des termes actifs dans chaque régime, là où les baselines purement prédictives échouent. Sous occlusion sévère, condition fréquente en atelier, le filtre classique s'effondre tandis que VHYDRO reste utilisable, ce qui est un argument concret pour les intégrateurs travaillant sur des cellules robotisées peu camérisées. La formalisation port-Hamiltonienne, héritée de la mécanique classique des systèmes conservatifs avec contraintes, est ici appliquée à un contexte d'apprentissage hybride, ce qui constitue une contribution méthodologique distincte des approches neurales purement prédictives. ManiSkill et BridgeData sont des benchmarks de référence pour la manipulation robotique apprise, largement utilisés par les laboratoires de la côte Ouest américaine. Le papier est une prépublication arXiv, sans affiliation institutionnelle ni déploiement annoncé. Les concurrents directs sont les méthodes de segmentation de mode post-hoc et les filtres mode-free à apprentissage end-to-end. Les suites naturelles seraient une validation sur robots réels à contact non structuré et une intégration dans des pipelines de contrôle en boucle fermée.

RecherchePaper
1 source
MDIR : une méthode de retargeting d'impédance sur variété de tâche pour la téléopération à contact riche
3arXiv cs.RO 

MDIR : une méthode de retargeting d'impédance sur variété de tâche pour la téléopération à contact riche

Des chercheurs présentent MDIR (Manifold-Decomposed Impedance Retargeting), une méthode pour corriger un problème concret de la téléopération robotique riche en contacts: l'impédance cartésienne fixe utilisée pour collecter des démonstrations facilite la tâche mais génère des pics de force et une variabilité difficiles à contrôler. À partir d'une seule démonstration enregistrée sous forme d'une séquence de commandes {K0, D0, xcmd}, MDIR reparamètre de façon déterministe ce contrôleur en une commande d'impédance variable par canal de tâche. La méthode décompose la réponse source en canaux de travail opérationnel, d'exertion et de support, complétés par un résidu passif sous une métrique de chaîne de contrôle, calcule une base de référence C2M (Cartesian-to-Manifold Retargeting), puis applique une optimisation sous contrainte de variété (MPO) pour choisir un représentant réduisant les pics de force au poignet, l'impulsion, la variabilité de force et la puissance nominale du contrôleur. Testée sur un bras Franka Panda pour trois tâches (essuyage planaire, prise-dépose, poussée), la version complète de MDIR réussit les 15 exécutions en boucle fermée du test de validation et réduit les quatre métriques d'agressivité par rapport aux démonstrations à impédance fixe. Le résultat cible un point de friction connu de l'apprentissage par imitation en robotique: les démonstrations téléopérées à impédance fixe, faciles à collecter, transfèrent aussi des comportements de contact bruts qui dégradent la qualité des politiques entraînées derrière, notamment pour les architectures vision-langage-action sur des tâches de contact fin. En automatisant le passage d'une commande fixe à une commande variable par canal, sans nouvelle démonstration ni réglage manuel des gains, MDIR s'attaque à un goulot d'étranglement pratique pour les équipes qui constituent des jeux de données de téléopération à grande échelle, où l'ajustement manuel de l'impédance reste coûteux et peu reproductible d'une tâche à l'autre. Ce travail prolonge les recherches sur le contrôle d'impédance variable pour la manipulation en contact, un axe actif en robotique collaborative mais rarement combiné à une téléopération à démonstration unique. Le choix du Franka Panda, plateforme conçue par l'allemand Franka Robotics (ex-Franka Emika), acteur européen de référence des bras collaboratifs en laboratoire, confirme l'ancrage académique de l'étude, publiée sur arXiv sans mention de déploiement industriel. La validation reste limitée à trois tâches planaires sur un seul bras, une étape avant une éventuelle généralisation à d'autres manipulateurs et gestes.

UEImpact indirect: le bras Franka Panda utilisé pour la validation est fabriqué par l'allemand Franka Robotics, mais l'étude reste purement académique, sans déploiement industriel en France ou en UE.

RecherchePaper
1 source
Video Assessment Conditionnée par l'Action et le Langage pour le Contrôle Incarné
4arXiv cs.RO 

Video Assessment Conditionnée par l'Action et le Langage pour le Contrôle Incarné

ALVA, pour Action- and Language-Conditioned Video Assessment, est une méthode d'évaluation de trajectoires présentée dans une prépublication arXiv d'août 2026 (référence 2608.08273), qui vérifie si un agent robotique a réellement exécuté une instruction en langage naturel donnée en plusieurs étapes. Le système s'appuie sur un modèle vision-langage pré-entraîné en deux temps : il résume d'abord les transitions visuelles conditionnées sur les actions exécutées, puis confronte ce résumé à l'instruction pour produire un score discret de progression sur la trajectoire. Testé dans des environnements domestiques 3D simulés, ALVA se montre conservateur, avec un taux de faux positifs proche de zéro, et utilisé comme récompense terminale pour l'optimisation de politiques, il surpasse les références fondées sur l'image finale ou la similarité d'embeddings et réduit l'écart avec un oracle de vérité terrain. Ce travail s'attaque à un point faible connu de l'apprentissage par renforcement pour agents suivant des instructions : concevoir une récompense fiable capable de détecter si une tâche multi-étapes est vraiment accomplie, sans se laisser tromper par des états visuellement proches mais fonctionnellement incorrects. Pour les équipes qui entraînent des politiques VLA (vision-language-action), un évaluateur conservateur, quitte à sous-noter certaines réussites, limite le risque qu'un agent apprenne à exploiter les failles d'une récompense trop permissive et conforte l'idée que des VLM généralistes peuvent servir de juges interprétables pour le contrôle robotique. Ces résultats restent toutefois circonscrits à des environnements simulés, sans validation sur robot physique, ce qui limite pour l'instant leur portée industrielle directe. La démarche s'inscrit dans un courant de recherche plus large visant à remplacer les récompenses figées, fondées sur l'appariement de l'image finale ou la distance d'embedding, par des juges basés sur des modèles de fondation capables de raisonner sur une trajectoire complète et le langage de la consigne. Cette prépublication arXiv n'a pas encore été relue par les pairs et ne compare pas ALVA à des systèmes commerciaux. Les auteurs le présentent comme un mécanisme de feedback interprétable pour les tâches de contrôle robotique simulées étudiées, laissant ouverte son extension à des tâches plus complexes ou à des robots réels, étape logique mais non annoncée à ce stade.

RecherchePaper
1 source