De la saisie à l'insertion : assemblage de…

1arXiv cs.RO

InsertAnything : insertion de précision par contact, transférable de la simulation à la réalité

Une équipe de recherche a publié en septembre 2026 sur arXiv (2609.24511) InsertAnything, un système d'apprentissage par renforcement pour l'insertion robotique de précision entraîné entièrement en simulation, sans démonstration réelle ni réglage fin après déploiement. La politique combine la pose cible de la pièce avec un retour de force tridimensionnel compact capté au bout des doigts du préhenseur, ce qui lui permet de rechercher l'alignement et de corriger sa trajectoire même quand la position estimée du trou est erronée ; une récompense « gated » découplée coordonne les phases d'alignement et d'insertion, tandis qu'un lissage du signal de force et des écarts-types indépendants de l'état stabilisent l'apprentissage. Les politiques obtenues réalisent des insertions réelles sur des jeux nominaux allant jusqu'à 0,02 mm, tout en réduisant les forces de contact maximales en cas d'erreur de positionnement du trou. Le système décroche le premier score parfait, 20 sur 20, au benchmark peg-in-hole de ManipulationNet sous son protocole « Human-in-the-Loop », avec des mouvements d'insertion entièrement autonomes ; une politique unique, entraînée uniquement sur une tâche hexagonale simulée, atteint par ailleurs un taux de réussite de 95 % sur huit tâches d'insertion réelles jamais vues à l'entraînement. Le code, les scripts d'expérimentation, les assets de simulation et les checkpoints entraînés sont publiés en open source sur le site du projet. L'insertion de précision à fort contact reste un goulot d'étranglement de l'assemblage robotique industriel : les faibles jeux mécaniques rendent la tâche très sensible aux erreurs d'alignement et sujette au blocage, et chaque nouvelle géométrie de pièce exigeait jusqu'ici une collecte de données réelles ou un réentraînement dédié. En montrant qu'une politique unique formée en simulation sur une seule géométrie se généralise à huit tâches inédites et à des jeux jusqu'à 0,02 mm sans aucune donnée réelle, ces résultats s'attaquent directement à l'écart classique entre simulation et réalité qui freine le déploiement industriel des politiques apprises. Pour les intégrateurs, cela ouvre potentiellement une voie pour réduire le temps de mise en service lors d'un changement de référence de pièce, un enjeu central en électronique et en assemblage mécanique de précision. Le résultat reste cependant un score de benchmark en environnement de recherche, pas un déploiement industriel documenté, et le protocole « Human-in-the-Loop » du test autorise normalement une intervention humaine que le système n'a ici pas eu besoin de solliciter. Le travail s'inscrit dans la lignée des recherches combinant apprentissage par renforcement et retour de force pour résoudre le « peg-in-hole », un banc d'essai classique de la manipulation robotique fine, aux côtés d'approches plus généralistes de type vision-langage-action. Aucun industriel n'est associé à la publication, qui reste à ce stade un preprint arXiv sans mention de laboratoire ni de partenaire dans le résumé et non encore validé par les pairs, mais la mise en open source des scripts de simulation et d'expérimentation, des assets et des checkpoints doit permettre une reproduction indépendante des résultats, sans qu'un calendrier de pilote industriel ou de transfert commercial ne soit pour l'instant annoncé.

RecherchePaper

1 source

2arXiv cs.RO

TacZero : insertion de cheville sans entraînement grâce à un modèle vision-langage généraliste et un retour tactile

Des chercheurs proposent TacZero, un cadre qui confie à un modèle vision-langage (VLM) généraliste pré-entraîné, sans aucun entraînement tactile ni manipulation supplémentaire, le pilotage d'une tâche d'insertion de cheville cylindrique (peg-in-hole). Le VLM reçoit les images de caméra, l'état du robot et les réponses tactiles à trois axes, présentées soit sous forme de valeurs numériques, soit sous forme de vecteurs superposés aux images. À partir de ces observations et de l'historique des interactions, il génère des commandes précisant les positions cibles de l'effecteur et l'ouverture ou la fermeture de la pince, qu'un contrôleur bas niveau exécute. Aucune règle spécifique à la tâche n'est codée pour interpréter le contact ou choisir les actions. Lors d'essais réels, TacZero a réussi 15 insertions sur 20 avec un retour tactile numérique, contre 10 sur 20 sans toucher. Le travail a été publié sur arXiv (2610.07621, première version). L'intérêt tient à l'approche plus qu'au score. Les méthodes antérieures reposent soit sur des modèles d'estimation de contact et des lois de commande tactile conçus à la main, soit sur des modèles appris à partir de données tactiles pour estimer le mouvement des objets, prédire l'effet des actions et sélectionner ces dernières. TacZero suggère qu'un VLM généraliste peut raisonner sur le contact sans cette infrastructure, ce qui, si cela se confirme, réduirait fortement le coût de mise en place de nouvelles tâches riches en contact. Il faut toutefois relativiser. L'échantillon est minuscule (20 essais par condition), la tâche est simple et la différence de cinq succès n'a pas de robustesse statistique démontrée. Les auteurs ne donnent ni temps de cycle ni comparaison avec des politiques apprises, et eux-mêmes parlent d'un « point de départ » qui met en évidence des difficultés. Le résultat n'indique donc pas que la manipulation tactile est résolue par les VLM, seulement que le toucher apporte un gain mesurable dans ce cadre. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) comme Pi-0, Helix ou GR00T, qui apprennent la manipulation à partir de grandes quantités de démonstrations, mais intègrent encore peu et mal le tactile. TacZero prend le chemin inverse : un modèle généraliste utilisé tel quel, sans réentraînement. L'insertion de cheville reste un banc d'essai classique de l'assemblage industriel, où les approches actuelles dépendent de contrôle en force réglé à la main ou d'apprentissage par renforcement. Les prochaines étapes naturelles seraient des géométries plus variées, des tolérances plus serrées, davantage d'essais et une mesure de la latence d'un VLM dans la boucle de commande, point critique pour tout usage en atelier.

RecherchePaper

1 source

3arXiv cs.RO

Des résistances documentées aux limites de force : insertion robotique guidée par les matériaux pour l'assemblage en construction

Des chercheurs présentent SAGE (Source-grounded Assembly Gating and Execution), un système qui transforme des données documentaires sur les matériaux en limites de force exploitables pour l'insertion robotique dans l'assemblage de construction, selon un preprint publié sur arXiv (2609.22609v1). Le système restreint un grand modèle de langage à une tâche précise : extraire les résistances à la traction et à la compression depuis des passages et tableaux de documents techniques récupérés, en conservant la traçabilité des sources. Un modèle de réponse distinct interpole ensuite des solutions d'éléments finis calculées hors ligne pour convertir ces résistances et les conditions d'assemblage en capacité de charge axiale. Pour les ajustements à jeu positif, cette capacité fixe la limite de force axiale de la politique de contrôle ; pour les ajustements par interférence, elle est comparée à la demande de support mesurée pour décider d'admettre ou non l'insertion. Sur le benchmark principal, SAGE réduit l'erreur moyenne de capacité de 80,65% (estimation directe par le LLM à partir des mêmes preuves) à 10,74%. Sans réajustement, l'erreur reste à 8,00% sur 16 géométries supplémentaires, et le système classe correctement 59 des 62 simulations notées, avec uniquement des erreurs conservatrices. Sur un bras robotique xArm6, les essais physiques enregistrés aboutissent à une insertion réussie dans 9 cas sur 13, un taux d'environ 69% qui reste modeste et signale une marge de progression avant tout usage industriel fiable. L'intérêt de ces travaux tient à la séparation nette entre interprétation documentaire, confiée au LLM, et calcul mécanique, confié à un modèle physique explicite. Un LLM livré à lui-même pour estimer directement une capacité de charge produit une erreur moyenne proche de 81%, ce qui illustre les limites d'une confiance aveugle dans le raisonnement numérique des modèles de langage sur des données d'ingénierie. En combinant extraction sourcée et modélisation par éléments finis, SAGE rend les décisions d'insertion traçables et justifiables, un enjeu concret pour les intégrateurs en construction robotisée où les erreurs de force peuvent endommager des composants ou compromettre la structure assemblée. Ce travail de recherche académique reste à un stade préliminaire : preprint non encore relu par les pairs, testé sur un jeu limité de géométries et un seul bras robotique commercial. Aucun acteur industriel, humanoïde ou plateforme commerciale n'est associé à cette publication, qui s'inscrit dans la recherche sur l'usage des LLM comme interface documentaire couplée à des modèles physiques classiques plutôt que comme calculateur autonome. Les auteurs ne mentionnent pas de calendrier de transfert vers des essais industriels à plus grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

REBOOT : de l'échec à la récupération, un jeu de données et un benchmark pour l'assemblage de précision

Une équipe de recherche a mis en ligne fin septembre 2026 sur arXiv (2609.22591) REBOOT, pour Recovery Episode Benchmark for Off-nominal Trajectories, un jeu de données et un benchmark de manipulation robotique construit autour de l'échec comme signal d'apprentissage à part entière. L'ensemble comprend 2 160 démonstrations réparties sur 18 tâches d'assemblage de précision, chacune découpée en cinq phases communes : alignement en prise, engagement en prise, transport, alignement en dépôt et engagement en dépôt, ce qui permet une évaluation phase par phase plutôt qu'un simple résultat final binaire. Des échecs sont introduits à chaque phase puis appariés à des trajectoires de récupération réalisées par des experts, qui ramènent le système vers un état permettant de poursuivre la tâche. Chaque tâche est annotée en symétrie rotationnelle, précision d'engagement et direction d'assemblage via des paires installation-retrait, avec des flux RGB-D synchronisés sur quatre points de vue et des descriptions en langage naturel par phase. La moitié des démonstrations est experte, l'autre reproduit des échecs observés lors de déploiements réels de politiques entraînées par imitation. Trois architectures ont été testées : un transformeur à chunks d'actions, un modèle de diffusion et π0-FAST. Les jeux d'entraînement robotique actuels contiennent presque exclusivement des démonstrations réussies, et les benchmarks existants réduisent la performance à un score binaire de succès ou d'échec, ce qui masque où et pourquoi une politique échoue réellement. En mesurant des taux de complétion par phase, REBOOT révèle des points de défaillance propres à chaque architecture, invisibles en évaluation binaire classique. Pour les intégrateurs et laboratoires qui déploient des politiques vision-language-action sur des tâches d'assemblage industriel, cela offre un diagnostic localisé, permettant d'identifier si l'échec survient à l'alignement, à l'engagement ou pendant le transport de la pièce, et fournit une base pour entraîner explicitement la capacité de récupération après erreur, une condition nécessaire à l'assemblage de précision en environnement réel non contrôlé. Le benchmark s'inscrit dans l'essor des politiques vision-language-action génériques telles que π0, GR00T N2 ou Helix, dont la promesse se heurte encore à l'écart entre démonstrations en laboratoire et fiabilité sur des tolérances millimétriques. Contrairement aux jeux de référence existants comme Open X-Embodiment ou DROID, centrés sur le volume de démonstrations réussies, REBOOT se présente comme le premier construit explicitement autour de l'échec et de sa récupération. Le jeu de données et le code associés sont publiés en accès libre (nanayawoa.github.io/REBOOT). Il s'agit d'une contribution de recherche en prépublication, sans déploiement industriel annoncé à ce stade ; son adoption par les laboratoires et fournisseurs de piles VLA reste à observer dans les prochains mois.

RecherchePaper

1 source

De la saisie à l'insertion : assemblage de précision assisté par retour tactile sous tolérances inférieures au millimètre

À lire aussi

InsertAnything : insertion de précision par contact, transférable de la simulation à la réalité

TacZero : insertion de cheville sans entraînement grâce à un modèle vision-langage généraliste et un retour tactile

Des résistances documentées aux limites de force : insertion robotique guidée par les matériaux pour l'assemblage en construction

REBOOT : de l'échec à la récupération, un jeu de données et un benchmark pour l'assemblage de précision