RecherchearXiv cs.RO 24 juin 2026

RE4 : imitation des interactions avec les objets, sensible aux transformations, via des modes de manipulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a soumis le 24 juin 2026 sur arXiv (référence 2606.24403) RE4, un cadre d'apprentissage par imitation pour la manipulation d'objets en robotique. L'approche articule quatre étapes modulaires : estimation légère de la pose de l'objet cible par auto-supervision sur les données de démonstration disponibles, récupération d'une démonstration compatible avec le mode de manipulation identifié, transformation géométrique de cette démonstration pour correspondre à la configuration courante de la scène, puis replanification locale reliant l'état initial au point de récupération tout en respectant les contraintes de mode, avant de dérouler la séquence transformée. Le système a été évalué sur deux benchmarks de référence de la communauté : Push-T (en modalité image et état pur) et Robomimic. Un protocole adversarial spécifique a également été construit pour cibler les zones de données rares du Push-T en mode image, afin d'éprouver la robustesse de l'approche en dehors de la distribution d'entraînement.

Ce travail s'attaque à une tension centrale de l'imitation learning : les méthodes de bout en bout basées sur la diffusion, comme Diffusion Policy, ou sur les flux normalisant atteignent de bonnes performances, mais sacrifient toute interprétabilité, ce qui complique le diagnostic et la validation en contexte industriel. RE4 démontre qu'il est possible de maintenir des performances compétitives en s'appuyant sur des briques théoriques issues de la manipulation planifiée, notamment la notion de mode de manipulation, qui encode des contraintes de contact et de transition de trajectoire. La robustesse observée en régime de données rares est un signal pertinent pour les intégrateurs industriels : les jeux de démonstrations terrain dépassent rarement quelques dizaines d'exemples par tâche, rendant la densité de données un critère de sélection concret.

L'apprentissage par imitation pour la manipulation robotique a connu depuis 2022 une accélération portée par ACT, Diffusion Policy puis Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, architectures qui ont montré une généralisation impressionnante au prix d'une opacité croissante. RE4 s'inscrit dans un courant concurrent qui défend des approches hybrides combinant connaissance géométrique et représentations centrées objet, dans la lignée de PerAct ou RVT. Il convient de souligner qu'il s'agit d'un preprint académique sans validation sur robot physique publiée à ce stade : les résultats sont entièrement simulés ou en environnement de benchmark logiciel. Les prolongements naturels incluent une validation hardware et une extension à des tâches de manipulation multi-étapes, qui constitueront le vrai test de transférabilité de l'approche.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

HeteroGenManip : manipulation généralisable pour les interactions avec des objets hétérogènes

Une équipe de chercheurs a publié en mai 2026 sur arXiv (identifiant 2605.10201) un framework baptisé HeteroGenManip, conçu pour améliorer la manipulation robotique d'objets hétérogènes, c'est-à-dire d'objets appartenant à des catégories morphologiques différentes. L'architecture repose sur deux modules distincts : un module de saisie guidé par correspondance structurelle (Foundation-Correspondence-Guided Grasp) qui localise le point de contact initial, et une politique de diffusion multi-modèles (Multi-Foundation-Model Diffusion Policy, MFMDP) qui planifie la trajectoire d'interaction selon la catégorie de l'objet détecté. Les résultats expérimentaux annoncés font état d'une amélioration moyenne de 31 % en simulation sur un panel large de types d'objets, et d'un gain de 36,7 % sur quatre tâches réelles impliquant des types d'interactions différents. Aucun détail sur les sites de déploiement industriel ou les partenaires terrain n'est mentionné dans la publication. Ce travail s'attaque à un verrou bien identifié dans la manipulation robotique généraliste : les approches bout-en-bout (end-to-end) basées sur des modèles de fondation confondent la localisation du contact et la planification du mouvement, ce qui amplifie les erreurs sur les tâches longues (long-horizon tasks). En routant chaque objet vers un modèle spécialisé par catégorie via un mécanisme de double attention croisée (dual-stream cross-attention), HeteroGenManip tente de réconcilier généralisation inter-catégories et précision géométrique fine. Si les gains annoncés se confirment hors conditions de laboratoire, cela représente un argument sérieux contre l'hypothèse que les VLA (Vision-Language-Action models) end-to-end suffisent pour la diversité réelle du monde industriel. La problématique de la manipulation hétérogène est au coeur des efforts de nombreux groupes de recherche, notamment autour des politiques de diffusion comme Pi-0 de Physical Intelligence ou des travaux sur GR00T N2 chez NVIDIA. HeteroGenManip se positionne comme une alternative structurée en pipeline, s'appuyant sur des priors géométriques plutôt que sur l'apprentissage massif de données de démonstration. La publication reste à ce stade un résultat académique sans annonce de transfert industriel ni de code public répertorié, ce qui invite à attendre une validation reproductible avant toute extrapolation sur les cas d'usage en intégration réelle.

RechercheOpinion

1 source

2arXiv cs.RO

VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes

VICAR, présenté sur arXiv (2610.13079), est un pipeline qui apprend des compétences interactives à un humanoïde à partir de simples vidéos d'humains filmés à la troisième personne, sans ingénierie de récompense propre à chaque tâche, sans téléopération ni démonstrations scriptées à la main. Le système reconstruit d'abord le mouvement humain et les obstacles pertinents de la scène à partir d'une vidéo monoculaire, puis retargete ce mouvement vers le robot en préservant les poses de contact dans le repère monde, la vitesse du geste et les marges de collision. Les mouvements obtenus entraînent un générateur de mouvement conditionné par les contacts, dont les entrées incluent des points de contact mobiles. Les auteurs l'ont testé sur dix compétences : six services de tennis de table, trois tâches de ramassage d'objets et une montée d'échelle, avec un déploiement sur matériel réel. Le résumé ne donne ni plateforme humanoïde, ni taux de réussite, ni temps de cycle, et ce sont des points à vérifier dans l'article complet. L'intérêt tient à un verrou précis de l'imitation depuis la vidéo. Les systèmes récents savent déjà extraire des mouvements, des trajectoires d'objets et des contacts bruités de vidéos non structurées, mais la tâche y est souvent définie par des contacts ancrés dans le monde (la main sur un barreau, la raquette sur la balle) dont la position, le timing et la vitesse doivent survivre à la différence de morphologie entre humain et robot. Les méthodes classiques de retargeting se contentent de supprimer les pénétrations ou de conserver la géométrie locale d'interaction. VICAR traite les contacts et le dégagement de collision comme des termes de pénalité lagrangiens prioritaires, tout en gardant la trajectoire globale fluide. Si les résultats tiennent, cela réduit le coût de collecte de données pour des tâches de loco-manipulation, face à la téléopération, qui reste le goulot d'étranglement des acteurs industriels. Il faut cependant rester prudent : dix compétences, dont six sont des variantes d'une même tâche, constituent un échantillon étroit, et une preuve de concept académique ne dit rien de la robustesse en production. Ce travail s'inscrit dans la vague de recherche qui cherche à transformer la vidéo humaine, abondante et peu chère, en compétences humanoïdes déployables, en alternative aux pipelines de suivi de mouvement par apprentissage par renforcement en simulation et à la téléopération massive pratiquée par les acteurs commerciaux de l'humanoïde. Le point nouveau revendiqué est l'adaptation à l'exécution: le générateur accepte de nouvelles positions de contact, ce qui évite de réentraîner à chaque déplacement d'objet. Il s'agit d'une publication de recherche (v1, non évaluée par les pairs), sans produit ni pilote industriel annoncé. La suite logique serait une validation sur davantage de tâches et de morphologies, avec des mesures de fiabilité publiées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets

Des chercheurs proposent iGPC, un cadre qui étend le Generative Pretrained Controller (GPC), un contrôleur humanoïde préentraîné sur de larges corpus de mouvements humains, à l'interaction corps entier avec des objets. Le travail, publié sur arXiv (2610.08120v1), procède en deux étapes. D'abord, GPC est adapté en « experts d'interaction » conditionnés par des indices d'affordance de la scène et par des informations d'état privilégiées (accessibles en simulation, mais pas sur un robot réel). Ces experts conservent le prior de mouvement humain tout en apprenant des comportements de contact propres à chaque tâche : atteindre un objet, s'agripper à un support de l'environnement pour se stabiliser, pousser un objet mobile. Ensuite, un « étudiant » piloté par la perception reprend la politique GPC préentraînée et distille les compétences des experts à partir des seules observations de capteurs embarqués. Deux objectifs d'entraînement complémentaires comblent l'écart entre observations privilégiées et signaux sensoriels. Les auteurs annoncent des résultats concluants sur plusieurs tâches corps entier. Le résumé ne donne ni plateforme matérielle, ni taux de réussite, ni nombre de degrés de liberté, ni validation chiffrée en conditions réelles. L'enjeu est le passage du mouvement naturel à l'interaction physique guidée par la perception, point de blocage récurrent pour les humanoïdes. Les priors issus de données humaines donnent des mouvements fluides et variés, mais ils sont rarement exploités pour des contacts riches avec l'environnement, où la perception bruitée et l'absence d'information privilégiée fragilisent les politiques. Si les résultats tiennent, ils plaident pour un modèle de fond de mouvement réutilisable, adapté ensuite à des tâches de manipulation et de stabilisation, plutôt qu'une politique entraînée de zéro pour chaque scénario. Pour un intégrateur, la capacité à s'appuyer sur un support ou à pousser une charge sans cartographie parfaite de la scène serait pertinente en logistique ou en maintenance. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, sans chiffres publics dans le résumé. Il ne permet donc pas d'évaluer l'écart entre démonstration et fiabilité en production. Ce travail s'inscrit dans la lignée des approches de distillation enseignant-étudiant, devenues standard pour le transfert simulation-réel en locomotion et en contrôle corps entier. Il prolonge GPC, proposé récemment pour le contrôle humanoïde général à partir de mouvements humains à grande échelle. Il rejoint aussi les efforts sur les politiques généralistes corps entier des acteurs industriels et académiques, comme GR00T chez NVIDIA, sans rapport de performance direct démontré ici. La suite logique serait une validation sur un robot physique, avec des métriques de robustesse et des comparaisons à des méthodes de référence. Aucune échéance de déploiement ni partenaire industriel n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

IMPACT-VLA : attribution de propagation multimodale sensible aux interactions via trajectoires contrefactuelles pour VLA

Des chercheurs ont présenté fin 2026 IMPACT-VLA, une méthode d'attribution pour les politiques Vision-Language-Action (VLA), documentée dans un article publié sur arXiv sous la référence 2609.15005. L'outil vise à déterminer à quel moment de l'exécution d'une tâche de manipulation robotique chaque modalité d'entrée, image, état proprioceptif ou instruction en langage naturel, contribue réellement au succès final. La méthode découpe une trajectoire de référence réussie en phases comportementales définies par les transitions d'action, aligne ces phases sur les frontières de requête de la politique, puis ré-exécute le modèle en boucle fermée avec des interventions contrefactuelles sur des blocs phase-modalité. Testée sur 30 tâches de manipulation du benchmark LIBERO avec le modèle OpenVLA-OFT, elle montre que la modalité dominante change en cours de tâche dans 25 cas sur 30, soit 83,3%. Elle révèle aussi que les gains marginaux des blocs tardifs, pour des paires de modalités en interaction négative, augmentent d'environ 3,3 fois lorsque l'entrée est remplacée en phase précoce. Ce travail s'attaque à un angle mort connu des systèmes VLA qui alimentent la nouvelle génération de robots manipulateurs, à commencer par OpenVLA, mais aussi des familles comme Pi-0, GR00T N2 ou Helix: les méthodes d'explicabilité existantes mesurent une sensibilité locale ou une importance moyennée dans le temps, sans capturer les dépendances entre phases. Les auteurs montrent que leur attribution en boucle fermée identifie l'information critique plus fidèlement qu'une simple perturbation statique de l'action, et surtout qu'une récupération fonctionnelle du robot peut survenir sans récupération comportementale visible, une distinction utile pour les équipes qui évaluent la robustesse réelle d'un pipeline de manipulation avant déploiement, au-delà des métriques de taux de succès brutes. Le travail reste à ce stade une contribution académique en simulation, validée uniquement sur le banc d'essai LIBERO et un seul modèle, OpenVLA-OFT, sans démonstration sur robot physique ni chiffres de déploiement industriel. Il s'inscrit dans la lignée des travaux d'interprétabilité pour les architectures VLA combinant préentraînement vision-langage et génération d'action, et ouvre la voie à une extension vers d'autres modèles et vers des essais en conditions réelles.

RecherchePaper

1 source