Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Une seule démonstration, plusieurs objets : généraliser la manipulation par la géométrie de contact locale
RecherchearXiv cs.RO 

Une seule démonstration, plusieurs objets : généraliser la manipulation par la géométrie de contact locale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (arXiv:2609.01938v2, version corrigée) une méthode baptisée DemoMimic, pour Dexterous Motion Mimic, destinée au pilotage de mains robotiques multi-doigts. Le système apprend à partir de démonstrations humaines plutôt que par téléopération robotique, une alternative jugée plus facile à faire passer à l'échelle pour ce type de tâche. Sa particularité tient à des récompenses centrées sur le contact, qui poussent la politique à se concentrer sur la géométrie locale autour des points de contact avec l'objet plutôt que sur sa forme globale. En conditions réelles, la politique unique obtenue atteint 71% de réussite sur un ensemble de 16 objets, 4 tâches de manipulation et 2 mains robotiques différentes, avec le plus faible écart entre simulation et réel observé face aux méthodes comparées.

Le problème visé est connu du secteur de la manipulation dextre: collecter des données à grande échelle pour des mains multi-doigts reste coûteux et lent, et les méthodes récentes d'apprentissage par renforcement sim-to-real échouent souvent sur deux points, soit elles négligent les récompenses de contact précis et performent mal une fois transférées au réel, soit elles généralisent mal à des objets jamais vus à l'entraînement. En démontrant qu'une seule politique reste efficace sur des objets de forme, taille, masse et friction variables, et sur deux embodiments matériels distincts, ces travaux apportent un argument concret en faveur d'une manipulation dextre généralisable sans réentraînement par objet, un point clé pour des applications industrielles où la variété des pièces manipulées est grande.

Le papier s'inscrit dans la vague actuelle de recherche sur l'apprentissage par imitation et les politiques de contrôle sim-to-real pour la robotique dextre, un domaine où les mains à plusieurs doigts restent nettement plus difficiles à maîtriser que les pinces industrielles classiques. Il s'agit à ce stade d'une contribution académique publiée en prépublication, testée en laboratoire sur un nombre limité d'objets et de tâches, sans annonce de partenariat industriel, de licence ou de déploiement commercial. La suite logique évoquée par les auteurs porterait sur l'élargissement du nombre d'objets, de tâches et d'embodiments testés pour confirmer la robustesse de l'approche au-delà du cadre expérimental actuel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

D'une seule démonstration à une politique générale pour la manipulation avec contact
1arXiv cs.RO 

D'une seule démonstration à une politique générale pour la manipulation avec contact

Une équipe de recherche publie sur arXiv (réf. 2605.17601, mai 2026) un framework d'apprentissage par démonstration capable de généraliser à partir d'un seul exemple sur des tâches de manipulation impliquant des contacts répétés avec l'environnement. Le système repose sur un pipeline en quatre étapes : abstraction de la démonstration en primitives de contraintes environnementales, exploration autonome pour lever les ambiguïtés, correction ciblée par un opérateur humain pour couvrir les variantes hors-distribution, et enfin récupération en ligne des détails géométriques via interaction compliante. Validé sur sept tâches réelles multi-étapes à contact riche, le framework atteint un taux de succès supérieur à 90 %. Aucune entreprise spécifique ni plateforme robotique n'est mentionnée dans le préprint, qui reste une contribution académique sans déploiement industriel annoncé. Le point central de l'approche est de représenter une tâche non pas comme une trajectoire à imiter, mais comme une séquence de contraintes environnementales à exploiter. Ce changement de paradigme permet au robot de distinguer la structure générale d'une tâche (types de contraintes, transitions entre elles) des détails spécifiques à une instance donnée (poses exactes, géométrie locale). Pour un intégrateur ou un décideur industriel, cela signifie qu'une seule démonstration suffit potentiellement là où les méthodes de behavior cloning classiques en réclament des centaines. Le résultat de 90 %+ sur des tâches à contact riche est notable car ce domaine concentre la majorité des échecs en manipulation robotique réelle, notamment à cause de la sensibilité aux variations de pose et aux dynamiques de contact non modélisées. L'apprentissage par démonstration est un champ très actif depuis une décennie, concurrencé récemment par les politiques de diffusion (Diffusion Policy, Pi-0 de Physical Intelligence), les architectures VLA (RT-2, GR00T N2 de NVIDIA) et les méthodes ACT (Action Chunking with Transformers). L'originalité revendiquée ici est de traiter les contraintes environnementales comme biais inductif plutôt que d'augmenter massivement les données d'entraînement ou la puissance du modèle. La limite principale reste l'absence d'évaluation sur des plateformes humanoïdes ou collaboratives standard, ce qui rend difficile la comparaison directe avec les benchmarks du secteur. Les suites naturelles seraient un passage à des environnements ouverts et une validation sur des robots commerciaux comme le Franka Research 3 ou les bras UR.

RecherchePaper
1 source
AffordGen : génération de démonstrations variées pour la manipulation d'objets généralisable par correspondance d'affordances
2arXiv cs.RO 

AffordGen : génération de démonstrations variées pour la manipulation d'objets généralisable par correspondance d'affordances

Des chercheurs présentent AffordGen, un framework conçu pour résoudre l'un des goulets d'étranglement centraux de l'apprentissage par imitation en robotique : la rareté et le manque de diversité géométrique des données d'entraînement. Le système combine des modèles génératifs 3D à grande échelle avec des vision foundation models (VFMs) pour produire automatiquement de nouvelles trajectoires de manipulation. Le mécanisme repose sur la correspondance sémantique de keypoints fonctionnels (les affordances) entre des maillages 3D issus de bibliothèques volumineuses : AffordGen localise les points pertinents (prise, contact, pivot) sur un objet de référence, puis les transpose à de nouvelles géométries pour générer des démonstrations synthétiques variées. Ce dataset affordance-aware entraîne ensuite une politique visuomotrice en boucle fermée qui combine généralisation sémantique et robustesse réactive de l'apprentissage de bout en bout. Des expériences en simulation et dans le monde réel rapportent des taux de réussite élevés et, surtout, une capacité de généralisation zero-shot à des objets réellement inédits lors de l'entraînement. L'enjeu industriel est direct. Collecter manuellement des démonstrations robotiques reste coûteux, lent et difficile à diversifier sur des variantes géométriques d'objets. AffordGen génère cette diversité de façon programmatique, sans requérir de téléopération supplémentaire. La généralisation zero-shot représente un indicateur fort de viabilité en déploiement réel, car les environnements industriels exposent en permanence des objets non anticipés. Le fait que la politique reste en boucle fermée la distingue des approches open-loop souvent fragiles hors laboratoire. Ces résultats renforcent l'hypothèse que le "data gap" de la manipulation peut être partiellement comblé par génération synthétique, à condition que les affordances soient correctement modélisées, ce que les auteurs n'ont toutefois démontré que sur un périmètre de tâches restreint. AffordGen s'inscrit dans un courant de recherche visant à augmenter les données de manipulation sans démonstrations humaines massives, aux côtés de MimicGen (NVIDIA), RoboAgent ou RoboGen. La diffusion policy et ACT (Action Chunking Transformer) ont démontré la puissance de l'imitation learning conditionnée à un volume de données suffisant ; AffordGen attaque précisément ce prérequis amont. Le papier est disponible sur arXiv (arXiv:2604.10579v2, version mise à jour). Les prochaines étapes naturelles concernent la scalabilité sur des tâches de manipulation multi-étapes et l'intégration dans des stacks industrielles telles que celles de 1X Technologies, Boston Dynamics ou Apptronik, qui restent tributaires de la diversité des données pour déployer des politiques robustes hors des environnements contrôlés.

RecherchePaper
1 source
NEO : NeRF Une Fois, Éditer Plusieurs Fois pour la Manipulation Continue d'Objets
3arXiv cs.RO 

NEO : NeRF Une Fois, Éditer Plusieurs Fois pour la Manipulation Continue d'Objets

Des chercheurs présentent NEO (NeRF It Once, Edit It Many Times), un framework unifié qui permet d'éditer des champs de radiance neuronaux (NeRF) guidés par le langage pour la manipulation robotique. Le système repose sur trois apports techniques : une méthode de suppression d'objets guidée par texte combinant un rééchantillonnage du champ neuronal avec un inpainting progressif cohérent sur plusieurs vues, une technique d'édition directe des poids du NeRF par distillation de connaissances qui compose le champ original et le champ édité via un modèle enseignant-élève, permettant de modéliser à l'avance l'état futur d'une scène avant qu'un robot n'exécute une action, et NEO-Dataset, présenté comme le premier benchmark dédié à l'évaluation quantitative des méthodes d'édition de scènes NeRF appliquées à la manipulation robotique. Selon les auteurs, l'approche surpasse les méthodes de référence de l'état de l'art sur des tâches d'édition de scène, incluant la suppression d'objets et des expériences robotiques de type pick-and-place, avec des résultats visuellement cohérents et géométriquement consistants, réduisant les artefacts habituellement générés par les approches concurrentes. Pour les équipes qui travaillent sur la perception et la planification robotique, l'intérêt de NEO tient à sa capacité à anticiper l'état d'une scène après une action, sans reconstruire un NeRF complet à chaque itération : c'est un gain potentiel en temps de calcul et en robustesse pour les pipelines de saisie et de manipulation basés sur des représentations 3D implicites. La réduction des artefacts est un point concret pour les intégrateurs, car les distorsions géométriques issues d'un NeRF édité de façon incohérente peuvent fausser la planification de préhension ou la détection de collision. L'existence d'un benchmark dédié, NEO-Dataset, comble aussi un manque : jusqu'ici, l'évaluation des méthodes d'édition de scène NeRF pour la robotique manquait de protocole standardisé, ce qui rendait les comparaisons entre approches peu fiables. Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter les NeRF, initialement conçus pour le rendu de vues nouvelles, comme représentations exploitables pour la planification robotique et la simulation de scènes futures. Les méthodes antérieures d'édition de NeRF souffraient soit d'un coût de réentraînement prohibitif, soit d'artefacts visuels limitant leur usage en boucle fermée avec un robot. En proposant une édition directe des poids par distillation plutôt qu'un réentraînement complet, NEO se positionne comme une alternative plus légère aux approches existantes. Le papier, publié sur arXiv, ne précise pas encore de déploiement matériel à grande échelle ; il s'agit à ce stade d'une contribution méthodologique et d'un benchmark, dont l'adoption par d'autres équipes de recherche en manipulation robotique reste à confirmer.

RecherchePaper
1 source
GeCCo : une politique généraliste conditionnée par le contact pour la loco-manipulation des robots à pattes
4arXiv cs.RO 

GeCCo : une politique généraliste conditionnée par le contact pour la loco-manipulation des robots à pattes

GeCCo, pour Generalist Contact-Conditioned Policy, est une politique de bas niveau entraînée par apprentissage par renforcement profond (DRL) capable de suivre des points de contact arbitraires sur un robot quadrupède, décrite dans un article arXiv (2509.17582v2, version révisée). Plutôt que d'apprendre une politique de bout en bout spécifique à chaque tâche, les auteurs proposent une architecture hiérarchique modulaire où cette unique politique de suivi de contacts sert d'interface entre un planificateur de haut niveau et le contrôle bas niveau du robot. Le système a été testé sur un large éventail de tâches de locomotion et de manipulation avec une seule politique généraliste : différentes allures, franchissement de terrains complexes comme des escaliers et des pentes, traversée de pierres de gué et de poutres étroites jamais vues à l'entraînement, ainsi que des interactions physiques comme appuyer sur un bouton ou pousser un tonneau. L'intérêt principal pour l'industrie robotique tient à la promesse de rompre avec le goulot d'étranglement classique du RL en locomotion quadrupède : la définition et l'ajustement itératifs de fonctions de récompense pour chaque nouvelle application, un processus chronophage qui limite le passage à l'échelle. En stabilisant l'exécution des contacts malgré l'incertitude dynamique et les erreurs de planification, GeCCo permet d'échanger ou de composer des planificateurs (codés à la main, appris ou basés sur de l'optimisation) sans réentraîner la couche de contrôle. Pour des intégrateurs cherchant à combiner locomotion et manipulation sur une même plateforme, cela suggère la possibilité de construire de nouveaux comportements en assemblant un planificateur spécifique à la tâche avec une politique pré-entraînée générique, plutôt qu'en repartant de zéro à chaque fois. L'article se positionne face aux méthodes dominantes de RL end-to-end en locomotion quadrupède, qu'il cherche explicitement à dépasser en généralité et en modularité. Aucune affiliation industrielle ni partenaire commercial n'est mentionné dans le résumé, ce qui situe ce travail comme une contribution de recherche plutôt qu'une annonce produit. Des démonstrations vidéo sont disponibles sur le site du projet, vassil-atn.github.io/gecco.github.io, mais l'article ne précise ni feuille de route de déploiement ni pilote industriel annoncé.

RecherchePaper
1 source