Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA incarnée : GraspMeanFlow génère des prises 6-DoF en quelques étapes grâce à un flux moyen équivariant SE(3)
RecherchearXiv cs.RO 

IA incarnée : GraspMeanFlow génère des prises 6-DoF en quelques étapes grâce à un flux moyen équivariant SE(3)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2608.03295v1, article inédit) GraspMeanFlow, une méthode qui génère des poses de préhension à six degrés de liberté (6-DoF) en une seule ou quelques évaluations, là où les modèles génératifs équivariants SE(3) existants nécessitent des dizaines d'évaluations via intégration numérique itérative, un frein direct pour la manipulation en temps réel. Le système apprend la vélocité moyenne sur un intervalle de temps fini, définie par une exponentielle ordonnée dans le temps, de sorte qu'elle reproduise exactement le déplacement rigide accumulé sur cet intervalle. L'entraînement combine un terme de flow-matching classique avec l'un de deux termes de cohérence : l'identité différentielle MeanFlow, qui exige un produit jacobien-vecteur, ou une perte de semi-groupe équivalente qui l'évite. Sur le jeu de données de référence ACRONYM, une seule évaluation de fonction atteint la distance EMD qu'un modèle de flow SE(3) itératif met cinq étapes à approcher, et une seconde variante du même cadre améliore le taux de succès de préhension jusqu'à 24,3 points dans ce régime à faible nombre d'étapes.

L'enjeu est la vitesse d'échantillonnage des poses de préhension, un goulot d'étranglement connu des pipelines de manipulation robotique (bras industriels, préparation de commandes, bras montés sur AMR). Réduire des dizaines d'évaluations à une seule tout en conservant l'équivariance, c'est-à-dire la cohérence des poses générées face aux rotations et translations de l'objet, importe car cette propriété limite le besoin de voir chaque orientation d'objet pendant l'entraînement et renforce la généralisation. Le résultat va à l'encontre d'une hypothèse répandue selon laquelle la distillation few-step des modèles génératifs sacrifie la précision : ici, la qualité reste compétitive, voire supérieure, ce qui ouvre la voie à des préhenseurs génératifs réellement temps réel plutôt que cantonnés à la simulation hors ligne.

Le travail s'inscrit dans la lignée des modèles de diffusion ou de flow équivariants SE(3) pour la génération de préhension, et adapte le cadre récent MeanFlow, conçu pour l'échantillonnage en peu d'étapes sans distillation depuis un modèle enseignant, à la structure du groupe SE(3) propre à la robotique. ACRONYM, le jeu de données utilisé, est un benchmark synthétique standard du domaine. Il s'agit à ce stade d'un résultat de recherche évalué en simulation, sans validation annoncée sur robot réel ni indication de calendrier pour un tel test.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

EquiDexFlow : un modèle génératif de préhension habile équivariant SE(3) ancré dans le contact
1arXiv cs.RO 

EquiDexFlow : un modèle génératif de préhension habile équivariant SE(3) ancré dans le contact

Une équipe de chercheurs publie EquiDexFlow, un modèle génératif de préhension dextère intégrant les contraintes physiques de contact directement dans l'architecture, sans étape de vérification séparée. Publié sur arXiv en juin 2026, il exploite le flow-matching avec équivariance SE(3) pour prédire simultanément la pose du poignet, les angles articulaires, les contacts du bout des doigts, les normales de surface et les forces de contact à partir d'un nuage de points de l'objet. Contrairement aux générateurs classiques qui traitent les forces comme un filtre a posteriori, EquiDexFlow projette les contacts sur la surface de l'objet et les forces dans le cône de friction de Coulomb par construction, sans terme de pénalité dans la fonction de perte. Entraîné sur 8 100 saisies en fermeture de force sur 81 objets pour la main Allegro à 16 degrés de liberté (DDL), il atteint zéro violation de frottement et le plus faible résidu de torseur parmi toutes les variantes d'ablation, avec une équivariance SE(3) vérifiée sur 200 rotations et des résidus de poignet inférieurs à 0,04 degré. Retransposé vers une main LEAP à 16 DDL par cinématique inverse doigt par doigt, le modèle réussit en boucle ouverte sur six objets physiques, y compris des objets asymétriques à la pose canonique et après une co-rotation de 120 degrés. Le verrou adressé est structurel : dans la plupart des pipelines de préhension dextère appris, un générateur produit une pose cinématiquement valide qu'un module aval filtre selon des critères physiques, laissant potentiellement passer des saisies plausibles mais instables au contact réel. En intégrant le cône de Coulomb dans l'architecture même, EquiDexFlow élimine cette classe d'erreurs par construction plutôt que par filtrage, ce qui réduit le taux de rejet et simplifie le pipeline de déploiement pour les intégrateurs industriels. Le retargeting réussi de la main Allegro vers la main LEAP suggère en outre une généralisation de la représentation des contacts au-delà de la main d'entraînement, propriété encore rare dans les systèmes de préhension dextère actuels, même si l'évaluation sur six objets reste un périmètre de test limité. La préhension dextère multi-doigt demeure un verrou central de la manipulation généraliste en robotique. Des travaux récents comme DexGraspNet ou UniGrasp ont progressé sur la génération de poses, mais la modélisation explicite des forces dans la boucle générative reste peu courante. Le flow-matching, popularisé dans les modèles VLA (Vision-Language-Action), est ici appliqué avec une contrainte d'équivariance formellement démontrée, ce qui constitue une contribution méthodologique distincte. Code, checkpoints et vidéos sont disponibles sur equidexflow.github.io. Des acteurs comme Enchanted Tools ou Wandercraft, qui développent des systèmes de manipulation à actionnement avancé, pourraient s'appuyer sur ce formalisme pour leurs propres pipelines de préhension.

UEEnchanted Tools et Wandercraft, acteurs français de la manipulation avancée, pourraient directement intégrer ce formalisme de préhension physique (cône de Coulomb dans la boucle générative) dans leurs pipelines R&D, le code et les checkpoints étant publiquement disponibles.

RecherchePaper
1 source
VLX-Go : un suivi robuste en IA incarnée grâce à l'apprentissage multi-étapes et au raffinement sur la politique
2arXiv cs.RO 

VLX-Go : un suivi robuste en IA incarnée grâce à l'apprentissage multi-étapes et au raffinement sur la politique

VLX-Go est une politique de navigation « vision-langage » présentée sur arXiv (2610.19361) pour le suivi visuel incarné, c'est-à-dire un robot qui identifie une cible désignée et pilote son propre mouvement pour la suivre. Le modèle combine plusieurs encodeurs visuels gelés complémentaires, un contexte temporel multi-échelle, un backbone transformer et une tête légère qui prédit des waypoints exprimés dans le repère du robot. L'entraînement se fait en trois étapes : alignement vision-langage, mi-entraînement de raisonnement multimodal, puis spécialisation au suivi sur 19 532 épisodes générés par un oracle. Sur le suivi en présence de distracteurs, le taux de succès passe de 41,54 % pour le précédent modèle des auteurs, OmTrackVLA, à 55,80 % avec la recette complète. Une étude préliminaire de raffinement « on-policy », qui réutilise des étiquettes d'oracle filtrées sur les états réellement visités par la politique, ajoute 2,42 points (58,22 %) et réduit le taux de collision de 1,99 point. Selon les auteurs, c'est le meilleur résultat parmi les méthodes comparées, en distracteurs comme en cas ambigus. L'intérêt tient au problème ciblé. Suivre une personne isolée est une démonstration relativement facile, mais les robots de service, de logistique ou d'accompagnement évoluent dans des espaces partagés où plusieurs silhouettes se croisent. Les méthodes existantes perdent beaucoup de performance entre cible unique et distracteurs, et c'est cet écart que le travail cherche à réduire. Le résultat soutient l'idée qu'aligner d'abord les représentations visuelles et linguistiques, avant d'apprendre le mouvement, vaut mieux qu'un apprentissage direct du suivi. Il faut toutefois relativiser : un taux de succès de 58 % reste très loin d'un niveau exploitable en production, et les chiffres proviennent de benchmarks, probablement en simulation, sans validation de déploiement réel mentionnée. Le gain du raffinement on-policy est modeste et explicitement présenté comme exploratoire. Ce travail prolonge la lignée des modèles VLA (vision-langage-action) appliqués à la navigation, dont OmTrackVLA est l'étape précédente chez les mêmes auteurs. Il s'inscrit dans une course académique au suivi de personne par modèles de fondation, où la difficulté se déplace de la simple détection vers la désambiguïsation de la cible. Aucun produit, pilote ni calendrier n'est annoncé : il s'agit d'une publication de recherche, sans acteur industriel européen identifié. La suite logique, selon les auteurs, est une étude plus poussée du raffinement on-policy, qui corrige le décalage entre les états vus à l'entraînement et ceux que la politique rencontre en exécution. Les prochaines étapes à surveiller sont des tests sur robot physique et des comparaisons sur des benchmarks partagés.

RecherchePaper
1 source
IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique
3arXiv cs.RO 

IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique

Le laboratoire à l'origine de ces travaux (non précisé dans le résumé, arXiv:2506.32028) présente DVG-WM (Disentangled Video Generation World Model), un modèle du monde vidéo destiné à la manipulation robotique. Le problème ciblé est un compromis connu dans les "world models" embodied: modéliser précisément la dynamique physique nécessite un raisonnement temporel fin image par image, alors que produire des vidéos haute résolution exige une synthèse visuelle coûteuse pilotée par la sémantique globale. Jusqu'ici, les deux étaient entremêlés dans un seul réseau, forçant un choix entre inférence rapide et prédictions grossières, ou rendu détaillé mais trop lent pour de la planification itérative. DVG-WM sépare explicitement les deux tâches: à partir d'une observation initiale et d'une instruction en langage naturel, le modèle génère d'abord une séquence d'états visuels intermédiaires prévisualisant l'interaction physique, puis les raffine en vidéos haute fidélité. Le mécanisme clé est un cascading efficace où le flow matching relie directement la dynamique aux latents vidéo, complété par un mécanisme de dégradation latente qui régénère les détails riches en contacts (préhension, collisions). Testé sur le benchmark LIBERO et sur plateformes réelles, DVG-WM améliore la qualité vidéo tout en accélérant l'inférence jusqu'à 3,97 fois. Pour l'industrie robotique, ce résultat s'attaque directement à un goulot d'étranglement connu des architectures VLA (vision-langage-action) basées sur la prédiction vidéo: la latence d'inférence, rédhibitoire pour du contrôle en boucle fermée temps réel. Un gain de facteur 4 sur la vitesse, sans sacrifier la précision des interactions de contact, rapproche ces world models vidéo d'un usage réellement embarqué plutôt que d'une simple démonstration hors ligne, un point sensible pour les intégrateurs qui évaluent la viabilité de ces approches face aux politiques d'action plus directes. Ce travail s'inscrit dans la lignée des world models vidéo pour la robotique (dans la continuité d'approches type UniPi, iVideoGPT ou GR00T-Dreams), dont la promesse est d'apprendre la physique à partir de vidéo brute plutôt que de simulateurs coûteux à construire. La contribution spécifique de DVG-WM, la désentanglement dynamique/synthèse, ouvre la voie à des variantes combinant d'autres backbones de génération vidéo ou à une extension vers des tâches multi-étapes plus longues, une direction que les auteurs identifient comme suite naturelle de ces travaux.

RecherchePaper
1 source
IA incarnée : le MIT forme des robots grâce à des environnements virtuels 3D réalistes
4Interesting Engineering 

IA incarnée : le MIT forme des robots grâce à des environnements virtuels 3D réalistes

Des chercheurs du MIT ont dévoilé SceneSmith, un système d'intelligence artificielle capable de générer automatiquement des environnements intérieurs 3D réalistes pour entraîner des robots. La plateforme s'appuie sur trois agents IA complémentaires fonctionnant en boucle: un "designer" qui construit la disposition de la pièce et place meubles et objets, un "critique" qui vérifie le réalisme de la scène et signale les incohérences (un objet qui n'a rien à faire dans cette pièce, par exemple), et un "orchestrateur" qui pilote l'ensemble du processus et décide quand la scène est terminée ou doit être révisée. Ces agents s'appuient sur GPT-5.2, le modèle vision-langage d'OpenAI, pour comprendre comment les espaces réels sont agencés. Un utilisateur peut simplement décrire une pièce en langage naturel, par exemple un garage avec voiture, établi, pneus empilés et échelle contre le mur, et SceneSmith en génère une version virtuelle détaillée. L'équipe a produit plus de 1300 environnements virtuels (cuisines, hôtels, bureaux, commerces, espaces à thème), dans lesquels des robots se sont entraînés à des tâches domestiques courantes: poser des fruits sur une assiette, déplacer des canettes entre étagères et table, ouvrir des placards, ranger des tasses dans un évier. Sur 100 environnements testés, un agent IA a évalué la réussite des tâches, avec un taux d'accord de plus de 99% avec des évaluateurs humains. Une étude auprès de plus de 200 personnes a montré que plus de 90% jugeaient les scènes de SceneSmith plus réalistes que celles produites par les méthodes précédentes, avec jusqu'à six fois plus d'objets interactifs par scène. L'enjeu central que vise SceneSmith est le principal goulot d'étranglement de la robotique actuelle: contrairement aux chatbots qui apprennent sur du texte, les robots ont besoin de données d'interaction physique variées, coûteuses et lentes à collecter en conditions réelles. En automatisant la création de mondes virtuels riches et crédibles, le MIT cherche à réduire cette dépendance aux essais physiques tout en accélérant l'itération sur les stratégies de contrôle. Le test le plus révélateur reste celui d'un contrôleur robotique entraîné principalement sur des données réelles, qui a réussi des tâches (saisir une pomme dans un bol, la poser sur une planche à découper) dans des environnements SceneSmith qu'il n'avait jamais vus, un indice de transfert sim-to-real qui intéressera directement intégrateurs et équipes R&D cherchant à réduire les coûts de collecte terrain. Le projet s'inscrit dans la course plus large à la génération de données synthétiques pour la robotique, où plusieurs laboratoires tentent de contourner la rareté des données physiques réelles. Le MIT ne communique pas, à ce stade, de calendrier de déploiement commercial ni de partenariat industriel annoncé: il s'agit d'une publication de recherche, présentée via un communiqué de l'équipe, dont l'ampleur des bénéfices en conditions réelles de production reste à confirmer au-delà des tests en laboratoire.

RecherchePaper
1 source