Manipulation d'objets par un système de treillis…

1arXiv cs.RO

Champs de risque sémantique guidés par un modèle fondation et sensibles à la topologie pour la manipulation

Des chercheurs proposent un champ de risque sémantique 3D pour la planification de mouvement en manipulation, publié sur arXiv (2609.36640v1). Le système attribue à chaque paire objet manipulé / objet de la scène six poids de risque directionnels, ainsi qu'une échelle de décroissance spatiale propre à la paire, tous produits par un modèle de fondation. Ces a priori sont fusionnés avec la géométrie 3D voxelisée de la scène par un « shielding » sensible à la topologie (un obstacle protège l'objet sensible) et par une décroissance spatiale géodésique, c'est-à-dire mesurée le long des chemins réellement praticables. Un backend parallélisé sur GPU regroupe les calculs de distance et de risque par objet pour construire un champ 3D dense, utilisable comme terme de coût modulaire par n'importe quel planificateur en aval. L'évaluation porte sur trois scénarios domestiques en simulation, sur le comportement du shielding face à des barrières complètes ou partielles, et sur la comparaison avec une base de référence à a priori sémantiques calculés pixel par pixel. Les auteurs évaluent aussi le coût de calcul et la fiabilité du pipeline. Le résumé ne donne aucun chiffre précis (temps de calcul, taux de réduction d'exposition), et il n'indique ni le modèle de fondation utilisé ni de test sur robot réel. L'enjeu est de dépasser l'évitement de collision, qui traite tous les contacts et toutes les proximités de façon équivalente. Dans un foyer, passer un couteau au-dessus d'un ordinateur portable ou d'une assiette n'a pas le même risque que le passer près d'un mur. Les modèles de fondation peuvent fournir ce jugement contextuel, mais leurs sorties restent difficiles à intégrer dans un planificateur qui exige des garanties géométriques strictes. Ce travail répond à cette tension en séparant les deux niveaux. Les contraintes dures restent géométriques, et le risque sémantique entre comme un coût doux, ce qui préserve la modularité. Pour les intégrateurs, c'est une piste vers des manipulateurs de service plus acceptables en environnement non structuré. Il faut toutefois rester prudent : les résultats sont uniquement simulés, et la mesure principale, une « exposition sémantique » plus faible que celle de trajectoires sans risque sémantique, dépend de la définition choisie par les auteurs. Rien ne prouve encore que les poids produits par le modèle soient fiables ou reproductibles hors simulation. Ce travail s'inscrit dans la vague des approches qui associent modèles vision-langage et planification, comme les champs de valeur 3D de type VoxPoser ou les contraintes spécifiées par langage naturel. La plupart projettent la sémantique en 2D ou l'ignorent dans la topologie de la scène, ce que la base de comparaison pixel par pixel illustre ici. Les prochaines étapes probables sont une validation sur bras réel, un test sur des scènes encombrées et dynamiques, et une intégration avec des politiques VLA (vision-langage-action) de type Pi-0 ou GR00T. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé, et il s'agit d'un préprint non évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ArtManip : manipulation en main d'objets articulés par catégorie

Des chercheurs ont présenté ArtManip, une méthode d'apprentissage décrite comme la première à réaliser la manipulation en main d'objets articulés au niveau de la catégorie, avec généralisation aux instances inédites et aux prises initiales variées, pour des mains robotiques dextres. L'article, publié sur arXiv sous la référence 2609.12498, détaille un pipeline automatisé qui génère de manière procédurale des objets articulés variés et synthétise des prises fonctionnelles orientées tâche, évitant la collecte manuelle jusque-là nécessaire pour constituer des jeux de modèles d'objets et de démonstrations de saisie. La politique de contrôle est entraînée en deux étapes, combinant randomisation de la physique des articulations, curriculum de récompense progressif et distillation de représentations latentes pour gérer les contacts complexes et la dynamique des jointures. Les tests couvrent quatre catégories d'objets articulés en simulation, avec un transfert zero-shot réussi vers 12 objets réels aux formes et mécanismes de jointure variés, sans réentraînement spécifique. Le travail s'attaque à un verrou connu de la manipulation dextre: contrôler les degrés de liberté internes d'un objet articulé, comme une charnière, un tiroir ou un mécanisme à ciseaux, tout en maintenant une prise stable sur une base flottante, un couplage que la plupart des méthodes existantes contournent en se limitant à des objets rigides ou à des instances déjà vues à l'entraînement. Pour les laboratoires et intégrateurs travaillant sur la dextérité robotique, une généralisation inter-instances et inter-configurations, plutôt qu'un simple transfert sim-to-real sur un objet isolé, constitue un signal notable: elle suggère que l'écart entre simulation et monde réel peut se réduire même sur des tâches à haute dimensionnalité de contrôle. Le résultat reste néanmoins circonscrit à 12 objets réels et quatre catégories, loin d'un système déployé en production ou intégré à un produit commercial. Cette recherche s'inscrit dans la lignée des travaux récents sur l'apprentissage par renforcement en simulation physique haute-fidélité appliqué à la dextérité robotique, un axe qui coexiste avec les approches fondées sur des modèles vision-langage-action généralistes à politique unique multi-tâche. ArtManip se distingue en ciblant la généralisation au niveau de la catégorie d'objet plutôt que la polyvalence des tâches, et en misant sur une génération automatisée des données d'entraînement pour contourner le coût de collecte manuelle de prises fonctionnelles, identifié par les auteurs comme un frein majeur au passage à l'échelle. Aucun plan de déploiement industriel ni partenariat matériel n'est mentionné à ce stade: la publication demeure un résultat de recherche, dont l'extension à davantage de catégories d'objets et de plateformes physiques constitue la suite logique annoncée.

RecherchePaper

1 source

3arXiv cs.RO

GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre

GOTT, publié sur arXiv (2610.03861, version 2), propose un cadre de manipulation dextre en trois temps, « reach-acquire-move », construit autour d'une unique primitive d'acquisition de contact valable d'un robot à l'autre. Le système prend en entrée une trajectoire d'objet indépendante du robot et une spécification d'approche (reach). Il amène d'abord la main près d'une zone de contact pertinente pour la tâche. Une primitive en boucle fermée, partagée entre les plateformes, établit ensuite un contact stable à partir de cette initialisation approximative. Un contrôleur conditionné par la pose de l'objet suit enfin le mouvement désiré. La spécification d'approche peut venir d'une planification anticipant la suite de la tâche, de modèles externes ou de démonstrations humaines. La primitive et le suivi restent identiques dans tous les cas. Les expériences, en simulation et sur robots réels, couvrent des objets variés, plusieurs combinaisons bras-main et des morphologies de main vues ou non pendant la conception. Le texte disponible ne donne ni taux de succès chiffrés, ni liste de plateformes, ni nombre d'essais. L'enjeu est de combler un maillon manquant. Les modèles de fondation et les grands jeux de données humaines fournissent beaucoup d'intentions de manipulation, mais leur traduction en comportements de mains multi-doigts reste fragile. Les mains dextres n'ont pas de primitive bas niveau réutilisable pour établir le contact. Chaque système réinvente donc sa phase de saisie, souvent en boucle ouverte. Les auteurs affirment que GOTT améliore de façon constante le succès de bout en bout par rapport à l'exécution de prises en boucle ouverte. Si cela tient hors laboratoire, la couche de contact deviendrait un module découplé des politiques de haut niveau, comme des VLA (modèles vision-langage-action) ou des pipelines de téléopération. Cela réduirait le travail de réglage pour chaque nouvelle main. La généralisation à des morphologies inconnues est l'argument le plus intéressant pour un intégrateur, car les parcs de mains dextres restent très hétérogènes. Le résumé ne précise toutefois ni l'ampleur du gain, ni la difficulté des objets, ni la part des résultats obtenus sur matériel réel. Ces points sont décisifs pour juger la portée du travail. Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. Elle s'inscrit dans le courant de la manipulation centrée sur l'objet et du transfert de l'humain vers le robot, où la tâche se décrit par le mouvement de l'objet plutôt que par celui de la main. Ce courant cherche à dépasser les politiques propres à un seul robot. Le problème reste ouvert : on ne dispose pas encore d'une couche de contact standard pour les mains dextres, et plusieurs approches concurrentes de saisie apprise ou de retargeting de mains coexistent. Le passage à la version 2 indique un document révisé, mais le texte fourni ne dit pas ce qui a changé. La suite logique serait une validation sur des tâches longues, des objets déformables ou articulés et des mains industrielles, avec des métriques détaillées et du code ouvert.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

DSWAM : un modèle fondation à double système pour la manipulation robotique fine

Des chercheurs publient sur arXiv (référence 2607.04927v1) DSWAM, un nouveau modèle "Dual-System World Action Model" destiné à la manipulation robotique fine. Le système combine deux composants : un exécuteur System 1 basé sur un World Action Model (WAM), qui reste le chemin de contrôle par défaut, et un planificateur System 2 de type vision-langage, activé seulement quand une tâche nécessite une décomposition en sous-tâches. Ce planificateur prédit des sous-tâches exécutables à partir d'un court historique visuel et d'une consigne globale, tandis que l'exécuteur WAM génère les actions en tenant compte du contexte du monde observé. Contrairement aux WAM classiques, DSWAM ne génère pas de vidéo future à l'inférence : il prédit directement des séquences d'actions ("action chunks"), tout en étant entraîné avec une co-supervision vidéo. Pour un déploiement temps réel sur robot physique, les auteurs ajoutent une accélération TensorRT, une exécution asynchrone et un mécanisme de "real-time chunking" (RTC) afin que les requêtes du modèle ne bloquent pas le contrôle moteur. Le système est évalué sur le protocole DeMaVLA, dédié à la manipulation d'objets déformables, avec plateforme robotique, données de pré-entraînement et post-entraînement identiques à celles utilisées pour comparer aux politiques VLA. L'intérêt principal de ce travail est méthodologique autant que technique : jusqu'ici, la comparaison entre approches VLA (Vision-Language-Action) et WAM souffrait d'un manque de protocole équitable, chaque camp utilisant ses propres données, robots et critères d'évaluation. En imposant un cadre contrôlé (DeMaVLA), DSWAM cherche à trancher un débat central du secteur robotique : les modèles WAM, réputés plus ancrés physiquement mais moins doués pour planifier des instructions complexes en langage naturel, peuvent-ils combler cet écart via un module de planification optionnel, sans sacrifier la vitesse d'exécution nécessaire au contrôle temps réel ? Ce travail s'inscrit dans la lignée des VLA génériques comme Pi-0 ou GR00T N2, qui ont démontré la viabilité de politiques apprises à grande échelle mais peinent parfois sur des tâches multi-étapes complexes typiques des environnements domestiques. En positionnant explicitement le System 2 comme optionnel plutôt que systématique, DSWAM propose une architecture hybride que d'autres laboratoires pourraient reprendre pour arbitrer entre réactivité et capacité de planification, un compromis clé pour la manipulation fine à l'approche de déploiements domestiques réels.

RechercheActu

1 source

Manipulation d'objets par un système de treillis à topologie variable

À lire aussi

Champs de risque sémantique guidés par un modèle fondation et sensibles à la topologie pour la manipulation

ArtManip : manipulation en main d'objets articulés par catégorie

GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre

DSWAM : un modèle fondation à double système pour la manipulation robotique fine