RecherchearXiv cs.RO 1 juillet 2026

3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Papier académique en robotique (VLA hiérarchique), pas de named companies commerciales ni d'acteur FR/EU à mettre en avant ici. Je rédige directement l'article.

Des chercheurs du laboratoire DAVIAN Robotics présentent 3D HAMSTER, un nouveau framework pour les modèles Vision-Langage-Action (VLA) hiérarchiques utilisés en manipulation robotique, détaillé dans un preprint arXiv (2606.31329v1). Ces architectures séparent la planification de haut niveau, confiée à un modèle vision-langage (VLM), du contrôle bas niveau exécuté par une politique dédiée. Les approches récentes font produire au VLM des trajectoires 2D de l'effecteur terminal pour guider cette politique, mais les politiques de pointe travaillent en réalité dans un espace métrique 3D à partir de nuages de points. Faute de profondeur, chaque point de la trajectoire 2D doit hériter de la profondeur de la surface visible sous lui dans la scène, ce qui déforme géométriquement le chemin prédit. 3D HAMSTER corrige ce défaut en dotant le VLM d'un encodeur de profondeur dédié et d'un objectif de reconstruction dense de la profondeur, afin qu'il prédise directement des séquences de points de passage en 3D, ensuite injectées dans une politique bas niveau opérant sur nuages de points.

Cette correction cible un goulot d'étranglement précis de la génération actuelle de VLA hiérarchiques: la conversion 2D vers 3D introduisait un bruit géométrique qui limitait la fiabilité des gestes de manipulation, en particulier lors de changements d'apparence de la scène ou de conditions inédites (langage, position spatiale, visuel). Sur les trois bancs d'essai testés (prédiction de trajectoire 3D, simulation, manipulation réelle), 3D HAMSTER dépasse à la fois des VLM propriétaires état de l'art et les méthodes concurrentes guidées en 2D, avec les écarts les plus marqués justement sur ces conditions de généralisation difficile. Ce résultat va dans le sens d'une hypothèse clé du secteur: une bonne partie de l'écart entre démonstrations en laboratoire et déploiement réel des robots manipulateurs tient moins à la politique de contrôle elle-même qu'à la qualité du signal de planification qui la guide.

Le travail s'inscrit dans la lignée des architectures VLA hiérarchiques qui ont émergé ces deux dernières années pour améliorer la généralisation des robots manipulateurs, en s'appuyant sur des politiques bas niveau désormais matures en perception 3D par nuages de points. En comparant directement sa méthode à des VLM propriétaires non nommés publiquement dans le résumé, l'équipe positionne 3D HAMSTER comme une alternative open, avec une page projet dédiée (davian-robotics.github.io/3D_HAMSTER) où code et données devraient être publiés pour permettre une reproduction indépendante des résultats.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Plans rapides, actions fidèles : combler l'écart entre planification et exécution dans les modèles VLA hiérarchiques

Une équipe de recherche publie sur arXiv (2609.30833) une étude sur les systèmes hiérarchiques vision-langage-action (VLA), où un planificateur vision-langage pilote un module d'action bas niveau. Sur un pipeline de waypoints adapté du modèle Pi-0.5 de Physical Intelligence, le décodage token par token (Token-AR) du planificateur exige jusqu'à 57 passes du modèle vision-langage par plan, un coût incompatible avec le temps réel ; effacer les points d'arrivée des trajectoires ne dégrade quasiment pas le taux de réussite. La solution proposée, un décodage par blocs (Block-AR) combiné à une modulation d'objectif normalisée (NGM), fait tomber ce nombre de passes de 57 à 8 sur le benchmark LIBERO et divise par 8,7 la latence sur un robot bimanuel Rokae, tandis que le taux de réussite sur LIBERO-Long grimpe de 91,0% à 96,2% et la moyenne des quatre suites de 95,85% à 98,45%. Ce travail met en lumière un angle mort des architectures VLA hiérarchiques, popularisées par des modèles comme GR00T N2 de NVIDIA ou Helix de Figure : la course actuelle privilégie les capacités du planificateur, alors que l'étude situe le véritable goulot d'étranglement dans l'articulation entre plan et exécution. Que des plans tronqués ou peu exploités n'affectent pas les performances contredit l'idée qu'une planification plus détaillée garantit plus de fiabilité. Pour les intégrateurs, la latence des VLM reste le principal frein à un déploiement en cadence réelle ; la diviser par plus de huit sans perte de précision, avec un gain de près de trois points sur les tâches longues, indique qu'un contrôle temps réel est atteignable sans sacrifier le raisonnement vision-langage. Le pipeline de référence s'appuie sur Pi-0.5, le modèle VLA hiérarchique de Physical Intelligence, dont l'approche par waypoints s'inscrit dans le même courant que GR00T N2 (NVIDIA) ou Helix (Figure). Il s'agit d'une contribution de recherche algorithmique, validée en simulation sur LIBERO et testée sur un bras bimanuel Rokae, non d'un produit commercialisé ni d'un déploiement industriel. Sans calendrier d'intégration à une plateforme commerciale annoncé, la publication vise à documenter une méthode reproductible pour réduire le coût de calcul des VLA hiérarchiques tout en renforçant la fidélité entre plan et action, une piste que d'autres laboratoires travaillant sur des architectures similaires pourraient reprendre.

RechercheOpinion

1 source

2arXiv cs.RO

Guidage des modes au niveau de la trajectoire pour la planification de mouvement contrôlable de robots multiples par diffusion

Une équipe de chercheurs publie sur arXiv (2609.36530) une méthode de planification de mouvement par modèles de diffusion, pensée pour conserver plusieurs solutions faisables tout en tenant compte d'indications grossières fournies en amont. Le principe est de guider la génération dans l'espace des trajectoires « propres », c'est-à-dire reconstruites à chaque pas de la diffusion inverse, plutôt que dans l'espace bruité. Cette trajectoire reconstruite sert d'espace commun pour deux types d'informations. Les coûts de planification, comme l'évitement d'obstacles, sont intégrés par raffinement à base de gradient. Un a priori partiel, par exemple un tronçon de trajectoire ou une région souhaitée, est injecté progressivement aux niveaux de bruit correspondants, avec une force de guidage décroissante au fil des pas. Pour plusieurs robots, il suffit d'ajouter un coût de collision entre agents. Le résumé annonce des essais sur des tâches mono et multi-robots, avec synthèse de trajectoires contrôlable, solutions faisables variées et coordination sûre. Il ne donne aucun chiffre : ni taux de succès, ni nombre de robots, ni temps de calcul, ni matériel utilisé. L'enjeu est technique mais concret pour la coordination de flottes. Un planificateur classique renvoie souvent une seule trajectoire, alors qu'un opérateur ou un système de supervision veut pouvoir dire « passe plutôt par ici » sans figer le résultat. Un guidage trop strict par l'a priori détruit la diversité qui fait l'intérêt des diffusions, et un guidage trop faible ignore l'intention de l'opérateur. Ici, le relâchement progressif de la contrainte cherche le compromis : l'a priori fixe le mode global de la solution dans les premières étapes, puis le modèle affine les détails librement. Pour un intégrateur d'AMR (robots mobiles autonomes) ou de cellules multi-bras, cela pourrait faciliter l'injection de règles de circulation ou de préférences humaines dans un planificateur génératif. Le résumé ne prouve pas que cela tienne hors laboratoire. Il ne dit rien des garanties de sécurité, de la latence en temps réel ni du passage à l'échelle avec le nombre d'agents, trois points décisifs pour un déploiement industriel. Ce travail s'inscrit dans la série de méthodes qui appliquent les modèles de diffusion à la planification de trajectoires, popularisée par des approches comme Diffuser et Diffusion Policy. Ces méthodes ajoutent du guidage par coût, mais restent en difficulté pour combiner des a priori partiels et de la multimodalité. Les alternatives classiques, comme la planification par échantillonnage, l'optimisation de trajectoire ou les approches par conflits pour le multi-agent, offrent davantage de garanties formelles mais peu de génération multimodale pilotable. Il s'agit d'une prépublication (v1) et rien n'indique à ce stade de code publié, de comparaison chiffrée ou de test sur robots réels. La suite logique serait une validation sur matériel, une comparaison avec les planificateurs multi-agents établis et une évaluation du coût de calcul.

RecherchePaper

1 source

3arXiv cs.RO

HiWE : modèle hiérarchique de connaissances du monde avec amélioration par points clés visuels pour la planification de trajectoire 3D en zéro-shot

HiWE, publié sur arXiv (2609.39323v1), est un cadre de génération de démonstrations robotiques qui relie trois décisions habituellement traitées séparément : où l'interaction doit avoir lieu, quel mouvement planifier, et comment exécuter le contact. Le lien est assuré par une interface fondée sur des points. PointVLM, un modèle vision-langage ajusté par instructions, associe les objets pertinents pour la tâche à des coordonnées d'image. Son entraînement mélange annotations de points, échantillons dérivés de segmentation, observations de robots et données de questions-réponses visuelles. Les mesures de profondeur projettent ensuite ces prédictions dans une représentation 3D sémantique. Un planificateur linguistique, 3DLLM, s'appuie sur cette représentation pour produire les waypoints de l'effecteur et les commandes de pince, tandis qu'un module de préhension hybride détermine les poses de saisie locales. L'évaluation porte sur 14 tâches de manipulation simulées et quatre tâches sur robot physique, avec des ablations sur les données visuelles d'entraînement, les entrées spatiales et la sélection de saisie. Aucun chiffre de taux de réussite n'figure dans le résumé. L'intérêt tient à la décomposition. Plutôt qu'une politique VLA de bout en bout qui régresse directement des actions, HiWE isole la perception, la planification et la saisie en modules inspectables, reliés par des points 3D lisibles. Pour un intégrateur, c'est plus facile à déboguer et à adapter qu'un modèle monolithique. La notion de « zéro-shot » demande toutefois de la prudence : elle signifie ici l'absence d'entraînement par démonstrations propres à chaque tâche, mais le modèle visuel est affiné sur des données robotiques existantes. Le volume restreint de tâches réelles, quatre seulement, laisse entière la question du passage de la simulation au monde physique et de la robustesse en environnement industriel non contrôlé. Il s'agit d'un résultat de recherche, sans produit livré ni déploiement. Le travail s'inscrit dans la tendance à combiner grands modèles de langage et ancrage visuel pour la manipulation, en concurrence avec les VLA de bout en bout comme Pi-0, GR00T N2 ou Helix de Figure, qui misent sur l'apprentissage direct des actions à grande échelle. Les auteurs précisent que cet article décrit la formulation initiale, fondée sur les points, et que son lien avec l'extension ultérieure GeneralVLA est détaillé dans l'introduction. La suite logique sera de mesurer cette approche modulaire sur davantage de tâches réelles, avec des temps de cycle et des taux de réussite publiés, avant de pouvoir la comparer honnêtement aux VLA entraînés sur de grands volumes de téléopération.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

TrAct : relier le contrôle robotique et la prédiction visuelle par les trajectoires visuelles

Des chercheurs présentent TrAct, un framework de décision robotique fonde sur un modèle du monde et structure autour de trois composants, dans un article publie sur arXiv (2608.24101). VLAT (Vision-Language-Action-and-Track) prédit conjointement des actions candidates et les trajectoires visuelles associées a partir d'une observation et d'une instruction en langage naturel. TWM (track-conditioned world model) projette ensuite les conséquences visuelles futures de ces trajectoires. VLAC (vision-language reward model) note les résultats prédits pour sélectionner la meilleure paire action-trajectoire, qui est alors exécutée par le robot. Sur un nouveau benchmark de simulation baptise LIBERO-INTEGRAL et sur un bras Franka en conditions réelles, TrAct fait passer le taux de réussite de 27% a 55% en simulation et de 49% a 76% en réel, compare a la référence Pi-0.5. Le module TWM améliore par ailleurs la qualité de prédiction vidéo par rapport a un modèle du monde conditionne uniquement par l'action (AWM). L'enjeu tient au problème cible: les actions robotiques sont spécifiques a chaque plateforme mécanique et ne correspondent que faiblement aux changements visuels dans l'image, ce qui limite leur usage comme signal de conditionnement pour les modèles du monde. Les tracks visuels, indépendants de l'embodiment, offrent un guide dense et spatialement précis pour anticiper l'action correcte, en s'insérant comme représentation intermédiaire entre perception, prédiction et contrôle. TrAct s'attaque ainsi a l'écart persistant entre performances en simulation et généralisation en conditions réelles, un point faible récurrent des architectures VLA. Les gains face a Pi-0.5, référence crédible du secteur, sont notables, mais le benchmark LIBERO-INTEGRAL est propose par les auteurs eux-mêmes et l'article n'a pas encore été relu par les pairs, ce qui appelle une reproduction indépendante avant toute conclusion définitive pour l'industrie. Ces travaux s'inscrivent dans la vague de recherche sur les modèles Vision-Language-Action, aux cotes de Pi-0 et Pi-0.5 chez Physical Intelligence, GR00T N2 chez Nvidia ou Helix chez Figure AI. L'usage d'un bras Franka Emika comme plateforme d'évaluation reste un standard académique, loin des déploiements en usine revendiques par des acteurs comme Figure (Figure 03) ou Tesla (Optimus). Aucun acteur français ou européen, tel Wandercraft, Pollen Robotics ou Enchanted Tools, n'apparait dans cette étude, qui demeure a ce stade une contribution de recherche en preprint, sans partenariat industriel ni calendrier de déploiement annonce.

RechercheOpinion

1 source