Aller au contenu principal
IA incarnée : FORGE-plus régule l'effort de récupération pour l'assemblage à contact riche via un superviseur LLM figé
RecherchearXiv cs.RO 

IA incarnée : FORGE-plus régule l'effort de récupération pour l'assemblage à contact riche via un superviseur LLM figé

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent FORGE-plus, un framework à deux couches combinant un grand modèle de langage (LLM) figé, uniquement textuel, avec un contrôleur bas niveau pour l'assemblage de précision par apprentissage par renforcement conditionné en force. Le LLM détermine avant exécution un plafond de force propre à chaque objet, puis sélectionne des manœuvres de récupération dans un menu d'actions fixe à partir de signatures de force textuelles compactes, sans jamais piloter la force directement, celle-ci restant imposée par un contrôleur bas niveau indépendant. Le seuil de rupture réel de chaque objet reste caché, connu seulement de l'évaluateur. Les tests portent sur deux tâches, le placement d'une bouteille fragile et l'insertion d'un engrenage avec un jeu diamétral de 0,4 mm, réalisées avec deux pinces différentes, la Robotiq 2F-140 et la main Franka Panda. Une politique unique réussit 256 épisodes sur 256 sans casse, sur objets fragiles comme robustes, prédit correctement le moment du relâchement, et complète un pipeline complet de prise sur table et insertion avec une force de pointe moyenne de 5,4 N. Face à des glissements de préhension injectés artificiellement, la stratégie de récupération basée sur les signatures de force résout 40% et 64% des échecs selon la pince utilisée, contre une approche naïve consistant à serrer plus fort, inefficace ou provoquant des casses fréquentes.

Ce travail éclaire un débat central de la robotique industrielle actuelle, celui de la fiabilité réelle des politiques d'assemblage par apprentissage face aux démonstrations soigneusement sélectionnées. En séparant décision stratégique, confiée au LLM, et exécution physique, confiée à un contrôleur strict, les auteurs proposent une architecture qui limite les risques de casse tout en gardant une flexibilité de raisonnement, un enjeu clé pour les intégrateurs manipulant des composants fragiles ou à tolérances serrées.

Les auteurs situent explicitement les limites de l'étude: tout se déroule en simulation à corps rigides, avec une rupture par seuil de force caché, et aucune revendication de transfert vers le réel n'est faite. Ils rapportent aussi des résultats négatifs, notamment l'échec de l'algorithme PPO classique sous contraintes de force strictes et l'inefficacité de stratégies de relâchement apprises, signalant que le problème reste loin d'être résolu de bout en bout par apprentissage pur.

Dans nos dossiers

À lire aussi

REBOOT : de l'échec à la récupération, un jeu de données et un benchmark pour l'assemblage de précision
1arXiv cs.RO 

REBOOT : de l'échec à la récupération, un jeu de données et un benchmark pour l'assemblage de précision

Une équipe de recherche a mis en ligne fin septembre 2026 sur arXiv (2609.22591) REBOOT, pour Recovery Episode Benchmark for Off-nominal Trajectories, un jeu de données et un benchmark de manipulation robotique construit autour de l'échec comme signal d'apprentissage à part entière. L'ensemble comprend 2 160 démonstrations réparties sur 18 tâches d'assemblage de précision, chacune découpée en cinq phases communes : alignement en prise, engagement en prise, transport, alignement en dépôt et engagement en dépôt, ce qui permet une évaluation phase par phase plutôt qu'un simple résultat final binaire. Des échecs sont introduits à chaque phase puis appariés à des trajectoires de récupération réalisées par des experts, qui ramènent le système vers un état permettant de poursuivre la tâche. Chaque tâche est annotée en symétrie rotationnelle, précision d'engagement et direction d'assemblage via des paires installation-retrait, avec des flux RGB-D synchronisés sur quatre points de vue et des descriptions en langage naturel par phase. La moitié des démonstrations est experte, l'autre reproduit des échecs observés lors de déploiements réels de politiques entraînées par imitation. Trois architectures ont été testées : un transformeur à chunks d'actions, un modèle de diffusion et π0-FAST. Les jeux d'entraînement robotique actuels contiennent presque exclusivement des démonstrations réussies, et les benchmarks existants réduisent la performance à un score binaire de succès ou d'échec, ce qui masque où et pourquoi une politique échoue réellement. En mesurant des taux de complétion par phase, REBOOT révèle des points de défaillance propres à chaque architecture, invisibles en évaluation binaire classique. Pour les intégrateurs et laboratoires qui déploient des politiques vision-language-action sur des tâches d'assemblage industriel, cela offre un diagnostic localisé, permettant d'identifier si l'échec survient à l'alignement, à l'engagement ou pendant le transport de la pièce, et fournit une base pour entraîner explicitement la capacité de récupération après erreur, une condition nécessaire à l'assemblage de précision en environnement réel non contrôlé. Le benchmark s'inscrit dans l'essor des politiques vision-language-action génériques telles que π0, GR00T N2 ou Helix, dont la promesse se heurte encore à l'écart entre démonstrations en laboratoire et fiabilité sur des tolérances millimétriques. Contrairement aux jeux de référence existants comme Open X-Embodiment ou DROID, centrés sur le volume de démonstrations réussies, REBOOT se présente comme le premier construit explicitement autour de l'échec et de sa récupération. Le jeu de données et le code associés sont publiés en accès libre (nanayawoa.github.io/REBOOT). Il s'agit d'une contribution de recherche en prépublication, sans déploiement industriel annoncé à ce stade ; son adoption par les laboratoires et fournisseurs de piles VLA reste à observer dans les prochains mois.

RecherchePaper
1 source
FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts
2arXiv cs.RO 

FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts

Des chercheurs présentent FOMI, une interface de manipulation à retour d'effort destinée à la collecte de démonstrations humaines pour l'apprentissage de politiques robotiques. Le dispositif, publié sur arXiv, repose sur un mécanisme en forme de ciseaux qui transmet directement aux mains de l'opérateur les forces d'interaction avec l'objet, via des liens d'actionnement, sans capteur de force. Autour de cette interface, l'équipe a construit un système complet de collecte intégrant calibration des capteurs, acquisition des données et synchronisation, utilisable sans robot. En associant les variations de pose et l'ouverture de la pince de FOMI aux poses de l'effecteur et aux commandes de préhension du robot, le même système sert aussi à la téléopération. Sur quatre tâches riches en contacts, FOMI améliore l'efficacité de collecte d'environ 29 % en mode sans robot et 18 % en téléopération, par rapport aux meilleures références testées. Les politiques entraînées sur ces démonstrations réalisent des tâches de manipulation difficiles avec des taux de réussite annoncés comme élevés, sans que le résumé en donne les valeurs chiffrées. L'enjeu touche un goulot d'étranglement du secteur: la qualité et le coût des données de démonstration. Les interfaces portables sans robot, dans la lignée de ce que l'on a vu avec les pinces de collecte à main, permettent de passer à l'échelle sans mobiliser de bras robotisés, mais elles privent l'opérateur de sensation tactile. Or l'insertion, le serrage ou l'assemblage exigent des ajustements en temps réel guidés par l'effort. Faire ressentir ces forces sans instrumenter l'outil de capteurs coûteux pourrait abaisser le prix des données pour les contacts riches, là où les politiques de type VLA restent les plus fragiles. Il faut toutefois relativiser: les gains de 18 à 29 % portent sur quatre tâches, face à des références non détaillées dans le résumé, et le mode de mesure de l'efficacité n'est pas précisé. Aucune donnée n'est fournie sur le nombre de démonstrations nécessaires, ni sur la robustesse hors laboratoire, ce qui laisse ouvert l'écart entre résultat académique et usage industriel. Ce travail s'inscrit dans la montée des approches de collecte découplées du robot, qui cherchent à contourner le coût de la téléopération classique, et dans le mouvement qui met le retour haptique au service de l'apprentissage par imitation. Il concurrence les interfaces portables passives et les dispositifs de téléopération à retour d'effort, plus lourds et plus chers. Il s'agit ici d'un prototype de recherche, ni produit commercialisé ni déploiement en usine, et aucun calendrier de diffusion ni code ouvert n'est mentionné dans le résumé. La suite logique consistera à valider le dispositif sur des tâches plus variées, avec d'autres morphologies de robots, et à mesurer son effet sur la généralisation des politiques apprises.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état
3arXiv cs.RO 

Combiner supervision manuelle et par téléopération pour la manipulation riche en contacts via des experts guidés par l'état

Une équipe de chercheurs publie sur arXiv (réf. 2606.26603) une méthode hybride de collecte de données pour la manipulation robotique en contact, baptisée BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts). L'approche combine deux modalités d'apprentissage par imitation: les systèmes portables de type UMI (Universal Manipulation Interface), qui permettent une collecte à grande échelle mais ne capturent que des "actions observées" depuis le démonstrateur humain, et la téléopération, qui fournit des "actions désirées" directement exploitables par le contrôleur robot, mais dont la collecte est coûteuse en temps. Sur trois tâches de manipulation riche en contacts, BRIDGE améliore le taux de succès jusqu'à 36,7% par rapport à une politique entraînée uniquement sur données portables. L'architecture repose sur un mélange d'experts en diffusion policy, routés dynamiquement selon la phase de tâche courante détectée à partir de l'état du robot. Le résultat le plus contre-intuitif mérite attention: mélanger naïvement des données portables et des démonstrations de téléopération dégrade les performances par rapport aux données portables seules. Ce n'est qu'en ségréguant explicitement les deux sources via un routeur conditionné sur l'état robot que le gain émerge. Pour les ingénieurs et intégrateurs en robotique industrielle, cela pointe une réalité souvent ignorée: la qualité de la supervision varie selon la phase de tâche, et une augmentation de données mal calibrée peut nuire à la politique apprise. En phase libre, les trajectoires portables sont valides; en phase de contact, le suivi de trajectoires observées à haute rigidité génère des forces de contact importantes et potentiellement dangereuses. BRIDGE résout ce mismatch sans exiger une téléopération complète de la tâche, réduisant significativement le coût de collecte tout en ciblant les segments réellement critiques. Le système UMI, issu des travaux de Cheng Chi et al. (Stanford/Columbia), s'est imposé comme référence pour la collecte scalable en manipulation; les diffusion policies, popularisées par ces mêmes travaux en 2023, forment le socle algorithmique de BRIDGE. Dans le panorama actuel de l'imitation learning, cette recherche se positionne face à des approches à grande échelle comme les VLA (pi-0 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA), qui misent sur des volumes massifs de données hétérogènes. BRIDGE fait un pari différent: la qualité ciblée plutôt que l'échelle brute. Il s'agit d'une prépublication arXiv, non encore évaluée par les pairs, et les trois tâches testées restent des benchmarks de laboratoire. La généralisation à des environnements industriels réels, avec variabilité de pièces et contraintes de cycle time, reste entièrement à démontrer.

RecherchePaper
1 source
Dynamique inverse modulaire et récupération des torseurs pour les mécanismes à chaîne fermée par assemblage de chemins
4arXiv cs.RO 

Dynamique inverse modulaire et récupération des torseurs pour les mécanismes à chaîne fermée par assemblage de chemins

Une équipe de chercheurs publie sur arXiv (2610.21400) une méthode modulaire de dynamique inverse pour les mécanismes à chaînes fermées, ces architectures où des segments rigides forment des boucles, comme dans les robots parallèles. Le problème de départ est connu: même quand le mouvement est entièrement spécifié, les réactions internes d'une chaîne rigide fermée peuvent rester indéterminées. Le workflow reconstruit d'abord le mouvement à partir de chemins de transformations assemblés, dont une dérivation analytique au second ordre fournit les vitesses et accélérations des articulations passives sur une branche de fermeture régulière. Les équilibres de Newton-Euler spatiaux sont ensuite écrits sur le graphe physique des corps et des liaisons. Des critères classiques d'espace nul et de dualité identifient les sorties uniquement déterminées (efforts d'actionneurs, composantes de torseurs de liaison) et permettent de les récupérer. Des diagnostics d'équilibre, d'admissibilité des liaisons idéales et de famille affine évaluent les réactions non uniques. La validation compare les résultats à Simscape Multibody, sur un manipulateur hybride série-parallèle de forte charge à sept degrés de liberté, en mouvement imposé et sous hypothèses communes de corps rigides et de liaisons idéales. Les auteurs rapportent un accord étroit sur les positions passives, les efforts d'actionneurs et les composantes de torseurs récupérables de façon unique. L'intérêt est surtout méthodologique. Les logiciels de simulation multicorps masquent souvent le traitement de l'indétermination des réactions, alors que le dimensionnement des paliers, des liaisons et des structures dépend justement de ces efforts internes. Séparer ce qui est déterminé de façon unique de ce qui ne l'est pas donne aux intégrateurs et bureaux d'études un critère clair sur ce qu'ils peuvent exploiter. L'approche modulaire facilite aussi la réutilisation sur des architectures différentes. Il faut toutefois relativiser: la référence est un autre simulateur, pas des mesures sur banc. Aucune validation expérimentale, aucun temps de calcul ni test en boucle de commande ne sont mentionnés dans le résumé. Les hypothèses de rigidité et de liaisons idéales écartent le jeu, le frottement et la souplesse, qui comptent sur du matériel réel. Ce travail s'inscrit dans l'effort pour modéliser proprement les mécanismes à boucles fermées, de plus en plus présents dans les actionneurs linéaires des jambes de robots humanoïdes, les exosquelettes et les manipulateurs lourds. Il se positionne face aux formulations par coordonnées généralisées et multiplicateurs de Lagrange, ainsi qu'aux outils commerciaux comme Simscape Multibody, qui sert ici de référence. Les prochaines étapes naturelles seraient une validation sur prototype physique, l'intégration de frottements et de flexibilités, et l'extension aux configurations singulières, que la méthode exclut en se limitant à une branche de fermeture régulière.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source