RecherchearXiv cs.RO 2 juillet 2026

FurnitureVLA : un modèle vision-langage-action pour l'assemblage de meubles bimanuel à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente FurnitureVLA, décrite comme la première étude systématique de l'assemblage de meubles en bimanipulation à échelle réelle pilotée par un modèle vision-langage-action (VLA). Jusqu'ici, les travaux sur l'assemblage robotique de meubles se limitaient à des maquettes miniatures ou à des bras uniques. Les chercheurs ont construit un pipeline de simulation scalable pour générer des données expertes et évaluer les performances, ainsi qu'un système de téléopération en réalité virtuelle permettant à un seul opérateur de contrôler les deux bras simultanément pour collecter des démonstrations réelles de haute qualité. Pour gérer des tâches extrêmement longues, jusqu'à 7 sous-tâches et 1550 pas de contrôle, ils proposent un VLA "progress-enhanced", affiné sur des sous-tâches sémantiquement définies, qui prédit à la fois les actions et un signal de progression continu, permettant des transitions automatiques entre sous-tâches et limitant l'accumulation d'erreurs. En simulation, FurnitureVLA fait passer le taux de succès moyen de 48% à 80% par rapport aux méthodes de référence, sur trois types de meubles différents, avec un gain supplémentaire de 21% obtenu grâce à l'étude de facteurs de conception liés à la perception et au contrôle. Sur un bras robotique réel Kinova Gen3, la dégradation de performance reste limitée à 16% sur la tâche la plus difficile.

Ce résultat s'attaque à un angle mort connu du secteur : la plupart des démonstrations de VLA généralistes (type GR00T, Pi-0 ou Helix) portent sur des tâches de manipulation courtes et à un seul bras, alors que l'assemblage de meubles exige coordination bimanuelle, précision millimétrique et enchaînement de dizaines d'étapes sans dérive cumulative. En prouvant qu'un signal de progression appris permet de tenir un horizon de plus de 1500 pas de contrôle avec une perte de performance contenue lors du transfert simulation-vers-réel, les auteurs apportent un argument concret en faveur de la viabilité des VLA pour des tâches industrielles longues, un enjeu clé pour les intégrateurs qui cherchent à automatiser des lignes d'assemblage complexes plutôt que du pick-and-place simple.

Le travail s'inscrit dans la vague actuelle de recherche sur les modèles VLA appliqués à la manipulation fine, où la difficulté principale reste le passage de l'échelle jouet à l'échelle réelle et du bras unique à la bimanipulation coordonnée. En publiant à la fois le pipeline de simulation, le système de téléopération VR et les résultats de transfert vers un robot physique, les auteurs posent une base méthodologique reproductible que d'autres laboratoires pourront reprendre pour étendre l'assemblage long-horizon à d'autres catégories de produits.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs. Les chercheurs publient 22 500 trajectoires oracle couvrant 10 types de mémoire, aux formats RLDS et LeRobotDataset v3. Une baseline de référence π0.5, avec images courantes et proprioception mais sans historique d'observations ni module de mémoire explicite, est affinée sur 14 tâches et atteint 0,211 ± 0,044 de succès moyen. L'intérêt tient à un angle mort de l'évaluation actuelle. La plupart des VLA ne voient que une ou quelques images récentes, et les benchmarks courants récompensent surtout des comportements réactifs, ce qui peut masquer l'absence totale de mémoire. En distinguant tâches à mémoire et contrôles réactifs, le benchmark permet d'isoler cette faiblesse plutôt que de la confondre avec un défaut de perception ou de contrôle. Pour les intégrateurs et décideurs B2B, c'est un rappel que les démonstrations de manipulation longue durée (assemblage multi-étapes, tri avec conditions cachées, reprise après occlusion) ne disent pas grand-chose de la capacité d'un modèle à retenir ce qu'il ne voit plus. Le score de 0,211 est toutefois à lire avec prudence : il ne porte que sur 14 tâches, et les auteurs reconnaissent eux-mêmes que le moindre succès sur les tâches de la catégorie Long est brouillé par le « chunking » en boucle ouverte et par la composition des types de mémoire de ce sous-ensemble. Il ne prouve donc pas, à lui seul, que la mémoire explique l'écart. Ce travail prolonge la lignée MIKASA-Robo, centrée sur la mémoire en manipulation, et s'inscrit dans le mouvement de standardisation des données robotiques autour de RLDS et de LeRobot, l'écosystème porté notamment par Hugging Face, avec une compatibilité v3 qui facilite la réutilisation. π0.5, de Physical Intelligence, sert de référence, mais aucun résultat n'est publié pour des architectures dotées d'historique ou de mémoire explicite, qui seraient les comparaisons naturelles. La suite logique, que le papier laisse ouverte, serait d'évaluer ces variantes sur l'ensemble des 90 tâches. Le jeu de données et la page du projet sont déjà disponibles, ce qui permet à d'autres laboratoires de tester leurs propres modèles. Il s'agit d'un benchmark de simulation, sans déploiement industriel associé.

RecherchePaper

1 source

2arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source

3arXiv cs.RO

Foresight par apprentissage résiduel pour la manipulation robotique à long horizon avec des modèles vision-langage-action

Le laboratoire de recherche en robotique derrière l'étude "Foresight Residual RL" a publié le 24 juillet 2026 sur arXiv (2607.16506v1) une méthode visant à corriger un défaut connu des politiques Vision-Language-Action (VLA) sur les tâches d'assemblage complexes. Le problème identifié est concret : sur une tâche en trois phases (saisie, déplacement-insertion, rotation) simulant le serrage d'un écrou avec une clé dans l'environnement Isaac Gym, les méthodes classiques de reinforcement learning résiduel appliquées à une politique VLA gelée échouent à enchaîner les sous-tâches correctement, même quand chaque sous-tâche individuelle réussit. La solution proposée, baptisée Foresight Residual RL, entraîne un prédicteur visuel qui estime, à partir d'une image de l'état terminal d'une sous-tâche, la probabilité de succès des sous-tâches suivantes, et utilise cette estimation comme multiplicateur de récompense pour orienter l'apprentissage. Sur la tâche testée, la méthode atteint 85,6% de réussite sur l'ensemble de la séquence, contre 54,5% pour le RL résiduel standard et des résultats inférieurs pour les politiques VLA de base seules. Ce résultat pointe un angle mort largement sous-estimé dans le déploiement industriel des politiques génératives pour la manipulation robotique : optimiser chaque geste isolément ne garantit pas un enchaînement fiable des tâches. Pour les intégrateurs qui envisagent des lignes d'assemblage à tolérances serrées, contact-riche, type ligne électronique ou mécanique de précision, la démonstration confirme un écart persistant entre la performance en démonstration isolée et la performance en séquence réelle, un des points de vigilance recurrents pointés par les acteurs du secteur, sceptiques face aux vidéos promotionnelles de robots humanoïdes. Le fait que le succès par sous-tâche reste inchangé alors que le succès global bondit change la manière de penser l'entraînement : il ne s'agit plus seulement de maximiser un taux de réussite par étape, mais de façonner l'état terminal produit à chaque étape pour qu'il reste exploitable par l'étape suivante, une nuance directement pertinente pour les équipes qui construisent des pipelines d'apprentissage par renforcement sur des bases VLA préentraînées comme Pi-0 ou GR00T. Cette approche s'inscrit dans la lignée des travaux récents combinant politiques VLA préentraînées et affinage par RL résiduel, une stratégie de plus en plus utilisée pour adapter des modèles de manipulation généralistes à des tâches industrielles spécifiques sans réentraîner l'ensemble du modèle. La méthode a été validée uniquement en simulation, sur une tâche mécanique unique et relativement contrainte ; aucune date de transfert vers un robot physique ni de partenariat industriel n'est mentionnée dans l'article. Les auteurs positionnent leurs travaux comme une réponse méthodologique générale au problème d'attribution de crédit sur des horizons longs, un défi que partagent les principaux laboratoires travaillant sur les politiques génératives pour bras robotiques et humanoïdes, de Physical Intelligence à NVIDIA, sans qu'aucun acteur français ou européen ne soit cité dans cette publication.

RecherchePaper

1 source

4arXiv cs.RO

Interpréteur vision-langage ancré pour la planification bimanuelle de tâches et mouvements à long horizon

Le laboratoire de recherche Omron Sinic X a publié une version mise à jour sur arXiv d'un article présentant ViLaIn-TAMP, un système hybride de planification pour robots bimanuels. Le framework combine trois briques : un interpréteur vision-langage (ViLaIn, dérivé d'un travail antérieur) qui convertit des entrées multimodales en spécifications structurées au format PDDL, un moteur de planification tâche-et-mouvement (TAMP) qui transforme ces spécifications en séquences de trajectoires concrètes en vérifiant leur faisabilité géométrique et symbolique avant exécution, et un module de planification corrective (CP) qui récupère les retours d'échec moteur et les réinjecte comme contraintes pour affiner la spécification initiale. Les chercheurs ont conçu des tâches de manipulation bimanuelle complexes dans un contexte de cuisine pour évaluer le système. Résultat : ViLaIn-TAMP dépasse de 17,5 points le taux de réussite moyen d'une approche de référence où un modèle vision-langage sert directement de planificateur, et le module correctif ajoute 32,9 points supplémentaires. Le framework a aussi été testé sur un robot physique à deux bras. L'enjeu dépasse la simple performance chiffrée. La quasi-totalité des travaux existants sur la planification pilotée par le langage se limite à des tâches de préhension-dépose à un seul bras, laissant la manipulation bimanuelle, où les sous-tâches sont étroitement interdépendantes et où les collisions inter-bras doivent être gérées explicitement, largement inexplorée. Les modèles vision-langage seuls agissent en boîte noire, sans garanties de sécurité vérifiables, tandis que les planificateurs symboliques classiques offrent ces garanties mais exigent une expertise poussée pour être configurés. En combinant les deux, ViLaIn-TAMP vise à répondre à un besoin concret pour les intégrateurs industriels : obtenir un comportement robotique interprétable et vérifiable avant déploiement, plutôt qu'une démonstration qui échoue silencieusement en conditions réelles. Le travail s'inscrit dans la continuité d'un ViLaIn antérieur, adapté ici pour la planification tâche-et-mouvement complète plutôt que la seule interprétation de scène. Il se positionne explicitement contre les approches où un modèle vision-langage fait office de planificateur de bout en bout, une tendance qui gagne du terrain mais que ces résultats questionnent en matière de fiabilité sur tâches longues et bimanuelles. Le code et les démonstrations sont disponibles sur la page du projet hébergée par Omron Sinic X.

RecherchePaper

1 source