RecherchearXiv cs.RO 17 juin 2026

GeneralVLA-2 : reconstruction géométrique et mémoire structurée pour la planification robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche affiliée au groupe AIGeeks a publié le 17 juin 2026 sur arXiv (2506.17480) GeneralVLA-2, une version améliorée de son système généraliste vision-langage-action (VLA) pour la planification de trajectoires robotiques. L'architecture de base, GeneralVLA, convertit des instructions en langage naturel et des observations RGB-D en chemins 3D pour l'effecteur terminal d'un robot. GeneralVLA-2 apporte deux contributions distinctes: GeoFuse-MV3D, une branche de reconstruction 3D multi-vues guidée par des a priori géométriques, qui remplace la reconstruction monoculaire SAM3D sujette aux hallucinations de pose; et une refonte du KnowledgeBank en système de mémoire à long terme avec métadonnées explicites de qualité, confiance, cycle de vie et détection de conflits. Sur le benchmark GSO-30, GeoFuse-MV3D réduit la Chamfer Distance de 2,20 % et le LPIPS de 2,02 % par rapport à la baseline MV-SAM3D, tout en améliorant PSNR et SSIM de respectivement 2,36 % et 1,03 %. Le KnowledgeBank gouverné gagne 4,53 points sur Terminal-Bench SR et 3,73 points sur SWE-Bench Verified par rapport à ReasoningBank, tout en réduisant les erreurs d'assertion (AS) de 4,95 % et 5,65 %.

Ces améliorations s'attaquent à deux verrous concrets du pipeline VLA industriel: la qualité des représentations 3D d'objets en manipulation, et la fiabilité de la mémoire épisodique pour la réutilisation d'expériences. La reconstruction 3D monoculaire reste un point de défaillance majeur dans les déploiements réels, car une pose hallucinée en amont se propage directement en erreur de préhension. L'approche multi-vues avec fusion géométrique ciblée (visual-hull, raffinement axial, préservation de l'apparence) adresse ce problème de façon plus contrôlée. Les gains restent cependant modestes sur les métriques reportées, et il convient de noter qu'il s'agit d'un preprint sans peer review, avec des évaluations sur benchmarks laboratoire sans validation sur robot physique dans des conditions industrielles.

GeneralVLA-1 avait posé l'interface hiérarchique langage-to-trajectory comme abstraction centrale pour les systèmes généralistes; cette version 2 consolide les fondations plutôt que d'étendre le périmètre. Dans l'espace VLA, les travaux concurrents incluent Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), et OpenVLA (Berkeley), qui ciblent eux aussi le sim-to-real et la généralisation multi-tâche. La publication du code sur GitHub suggère une démarche de recherche ouverte, sans annonce de déploiement industriel ni partenariat opérationnel associé. Les prochaines étapes naturelles seraient une validation sur robot réel et des benchmarks de manipulation comparables à ceux de RoboMimic ou LIBERO.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

Structure de prédiction latente 4D pour la planification robotique

Structured 4D Latent Predictive Model : un système de prédiction spatiale en 3D pour la planification robotique Une équipe de recherche publie sur arXiv (identifiant 2607.01166v1) un nouveau modèle baptisé « Structured 4D Latent Predictive Model », conçu pour la planification de tâches robotiques. Contrairement aux modèles prédictifs vidéo classiques, qui travaillent sur des séquences 2D, ce système prédit l'évolution de la structure 3D d'une scène dans un espace latent structuré, à partir d'observations visuelles et d'instructions textuelles. Cette représentation peut être décodée vers plusieurs formats 3D, offrant une compréhension plus complète et géométriquement cohérente de la scène. Le modèle sert de planificateur : il génère des scènes futures qui sont ensuite converties en actions exécutables par un module de dynamique inverse conditionné par l'objectif. Selon les auteurs, les expériences montrent une qualité visuelle élevée et une cohérence 3D et multi-vues nettement supérieure aux meilleurs planificateurs vidéo existants, avec de meilleures performances sur des tâches de manipulation complexes, une bonne généralisation à des conditions visuelles inédites, et une validation sur plateformes robotiques réelles. Un site dédié (structured-4d-model.github.io) présente le projet. L'enjeu dépasse la seule prouesse technique. Les modèles vidéo 2D dominent actuellement l'approche « world model » en robotique, notamment dans les architectures VLA (vision-language-action) qui inspirent des systèmes comme Pi-0 ou GR00T N2. Or ces approches peinent souvent à garantir une cohérence physique et spatiale suffisante pour une manipulation fine. En injectant explicitement une structure 3D dans l'espace latent, ce travail répond directement à une limite identifiée du secteur : le fossé entre démonstrations vidéo impressionnantes et exécution fiable sur du matériel réel, un problème central pour les intégrateurs industriels qui cherchent des systèmes robustes plutôt que des démonstrations sélectionnées. Il s'agit toutefois d'une publication académique à ce stade, sans laboratoire ni entreprise identifiés dans le résumé, et sans date de déploiement annoncée. Elle s'inscrit dans une compétition de recherche intense autour des modèles prédictifs pour la robotique, où plusieurs équipes explorent en parallèle des représentations 3D ou 4D pour dépasser les limites du tout-vidéo. Les prochaines étapes dépendront de la publication du code et de tests indépendants sur des plateformes tierces.

RecherchePaper

1 source

2arXiv cs.RO

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage des relations CAO et planification géométrico-symbolique pour l'assemblage robotique

Un article publié sur arXiv (2609.17263v1) présente un cadre hybride de planification de séquences d'assemblage robotique combinant apprentissage automatique et raisonnement géométrique-symbolique, pensé pour des modèles CAO imparfaits, souvent dépourvus d'informations de contact fiables. Un réseau de neurones prédit les relations géométriques entre pièces à partir de nuages de points, corrigées si besoin par une supervision humaine, puis converties en graphe d'assemblage symbolique exploité par un planificateur qui calcule des primitives de manipulation robotique, guidé par un ray-casting basé sur la visibilité pour trouver les directions de désassemblage sans recherche combinatoire exhaustive. Sur le benchmark ASAP, le système atteint 85,83% de réussite en réduisant le temps médian de planification d'un ordre de grandeur, et jusqu'à 50 fois pour les assemblages de plus de 30 composants. La planification d'assemblage est un problème combinatoire dont le coût explose avec le nombre de pièces, rendant les méthodes exhaustives inutilisables sur des assemblages industriels complexes. Le frein pratique majeur reste les données: la plupart des CAO industrielles manquent des métadonnées de contact nécessaires, imposant un étiquetage manuel coûteux avant tout déploiement. En combinant extraction de relations apprise et vérification humaine ciblée, le framework réduit cette dépendance, un point concret pour les intégrateurs travaillant sur des données réelles plutôt que des maquettes idéalisées. Le gain de vitesse, jusqu'à 50 fois sur les cas complexes, intéresse les lignes reconfigurables où chaque changement de produit exige une replanification rapide, même si 85,83% de réussite laisse une marge d'échec non négligeable sur un résultat encore expérimental. Le travail s'inscrit dans un champ de recherche actif sur la planification d'assemblage et de désassemblage robotique, où le jeu de données ASAP sert de référence pour comparer les méthodes; les auteurs y opposent leur approche à une méthode combinatoire classique, nettement plus lente. Publié comme nouvelle soumission arXiv sans affiliation industrielle ni calendrier commercial précisé, ce document reste une contribution académique, pensée comme fondation pour des systèmes de planification plus adaptables. Sa portée pratique dépendra de validations futures sur des cellules robotiques réelles et des catalogues de pièces plus larges, étape annoncée mais non détaillée.

RecherchePaper

1 source

4arXiv cs.RO

Gondola : planification vision-langage ancrée pour la manipulation robotique

Gondola, un modèle de planification vision-langage « ancré », est présenté dans une nouvelle version (v2) d'un article arXiv. Il vise à séparer la planification de haut niveau du contrôle bas niveau en manipulation robotique. À partir d'observations multi-vues et de l'historique de planification, Gondola prédit l'étape suivante sous forme d'instructions textuelles entrelacées avec des masques de segmentation multi-vues. Ces masques désignent au niveau du pixel les objets cibles et les emplacements d'arrivée. Ce plan est ensuite exécuté par une politique de contrôle fondée sur la 3D. Pour l'entraîner, les auteurs ont construit des jeux de données synthétiques qui supervisent trois compétences : la planification ancrée à court horizon, les expressions référentielles multi-vues et le raisonnement compositionnel à long horizon. Le système affirme atteindre l'état de l'art sur le benchmark GemBench et montre un transfert « prometteur » vers des robots réels. Le résumé ne donne ni score chiffré, ni description du matériel, ni nombre de tâches réelles testées. L'approche répond à une faiblesse connue des modèles vision-langage-action (VLA). Lorsqu'ils associent directement pixels et instructions à des actions bas niveau, ils restent difficiles à interpréter et perdent en robustesse sur les tâches longues et complexes. Ici, le plan intermédiaire est lisible, et l'on peut voir quel objet le robot a ciblé avant qu'il n'agisse. Pour un intégrateur, cela facilite le diagnostic des échecs, car on distingue une erreur de raisonnement d'une erreur d'exécution. Les ablations indiquent que l'ancrage au pixel près et la supervision orientée planification pèsent réellement dans les performances. Cela plaide pour des architectures modulaires face aux VLA de bout en bout. Deux réserves s'imposent. GemBench est un benchmark en simulation, et une démonstration robotique réelle décrite comme « prometteuse » ne prouve pas une fiabilité industrielle. L'entraînement sur données synthétiques laisse aussi ouverte la question de l'écart simulation-réalité. Le travail s'inscrit dans un mouvement plus large de découplage entre un « cerveau » de haut niveau et un contrôleur d'exécution. Les architectures à deux systèmes de type Helix en sont un exemple, et les VLA généralistes comme Pi-0 misent au contraire sur le bout en bout. La page du projet est hébergée sur cshizhe.github.io, ce qui suggère un cadre académique, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement. L'article étant une révision (v2), l'évaluation a pu évoluer depuis la première version. La suite dépendra de la publication du code et des modèles, de résultats chiffrés sur des robots physiques et de comparaisons directes avec les VLA de bout en bout sur des tâches longues.

RecherchePaper

1 source