Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CoFreeVLA : manipulation à deux bras sans collision par modèle vision-langage-action et estimation du risque
RecherchearXiv cs.RO 

CoFreeVLA : manipulation à deux bras sans collision par modèle vision-langage-action et estimation du risque

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié une nouvelle version (v3) de CoFreeVLA, un framework qui ajoute aux modèles Vision-Language-Action (VLA) un estimateur léger de risque de collision pour bras robotiques doubles, décrit dans le papier arXiv 2601.21712. Le module prédit la probabilité de collision entre les deux bras ou avec l'objet saisi à partir de l'état proprioceptif, des embeddings visuels et des actions candidates, puis bloque les commandes risquées, génère une trajectoire de repli sûre et réoriente l'entraînement de la politique. L'entraînement combine un pré-entraînement sur des collisions synthétiques et un post-entraînement sur des trajectoires réelles. Sur cinq tâches bimanuelles, six backbones VLA et 30 essais par variante, le taux de collision moyen tombe de 0,54 à 0,23 et le taux de réussite grimpe de 0,45 à 0,61.

L'enjeu dépasse la simple démonstration : la plupart des politiques VLA bout-en-bout ont été validées sur bras unique, où l'auto-collision n'existe pas, alors qu'elle devient un frein direct dès que deux bras coordonnés manipulent une charge commune. Pour les intégrateurs, la preuve qu'un tel garde-fou de sécurité se greffe sur six architectures existantes sans réentraînement complet abaisse le coût d'adoption d'une couche de sécurité indépendante du backbone. L'échantillon reste toutefois modeste, 30 essais par variante sur cinq tâches, ce qui invite à la prudence avant d'extrapoler ces gains de taux de collision à des lignes de production réelles.

CoFreeVLA s'inscrit dans la généralisation des modèles VLA, dans la lignée de Pi-0, RT-2, OpenVLA ou GR00T N2, comme couche de contrôle générique pour la manipulation instruite, un paradigme éprouvé jusqu'ici surtout sur des bras uniques. La multiplication des humanoïdes et des cellules industrielles à deux bras rend ce manque de modélisation des auto-collisions de plus en plus pressant à mesure que ces systèmes quittent le laboratoire. Le travail reste pour l'instant une contribution académique publiée sur arXiv, sans partenaire industriel ni déploiement annoncé, dont la portée devra être confirmée sur davantage de plateformes et de tâches.

Dans nos dossiers

IA physique & VLANVIDIA GR00TOpenVLA / RT-XarXiv cs.RO

À lire aussi

Modèles vision-langage-action (VLA) pour la robotique aérienne sans pilote et la manipulation bimanuelle : une revue
1arXiv cs.RO 

Modèles vision-langage-action (VLA) pour la robotique aérienne sans pilote et la manipulation bimanuelle : une revue

Une équipe de chercheurs publie sur arXiv (référence 2607.06706, mise en ligne le 7 juillet 2026) une revue de littérature consacrée aux modèles Vision-Language-Action (VLA), ces architectures qui unifient perception visuelle, compréhension du langage naturel et génération d'actions dans un seul modèle de fondation. L'objectif : permettre à un robot d'exécuter une instruction du type "plie la serviette" ou "vole vers le bâtiment rouge" directement à partir d'images caméra, sans étape de programmation intermédiaire. Le travail passe en revue 183 contributions publiées entre 2017 et 2026, organisées selon sept axes : les architectures VLA, les recettes d'entraînement, les représentations d'actions, la coordination bimanuelle (2022-2026), la navigation et le contrôle de drones (2017-2026), l'ancrage du langage dans la perception, et des enjeux transverses comme la mémoire et les modèles du monde. Les auteurs identifient au passage quatorze directions de recherche encore ouvertes dans ces deux domaines. L'intérêt de cette synthèse tient au rapprochement qu'elle opère entre deux champs jusqu'ici traités séparément. La manipulation bimanuelle, où deux bras à 7 degrés de liberté chacun doivent coordonner leurs mouvements pour plier, assembler ou réorienter un objet, sert de banc d'essai le plus exigeant pour les VLA appliqués à la manipulation. Or les auteurs montrent que les stratégies de coordination, les recettes d'entraînement et les représentations d'actions conçues pour ces bras robotiques se transfèrent directement aux drones, confrontés à un défi structurellement similaire : coordonner poussée, attitude et, de plus en plus, commandes de préhenseur à partir d'observations visuelles, sous des contraintes strictes de latence et de charge utile (payload). Pour les intégrateurs et décideurs du secteur robotique, cela suggère qu'un socle technique commun pourrait émerger entre robotique aérienne et manipulation au sol, plutôt que deux écosystèmes cloisonnés. Cette revue s'inscrit dans la montée en puissance des VLA comme cadre dominant de l'apprentissage robotique, portée par leur capacité à hériter des connaissances générales acquises lors d'un pré-entraînement à l'échelle d'Internet, un atout que les approches de contrôle classiques n'offrent pas. En couvrant neuf ans de littérature sur la manipulation bimanuelle et la navigation de drones dans un même cadre d'analyse, le travail offre une cartographie utile pour situer les futures publications et les futurs produits commerciaux dans ce paysage encore mouvant, sans toutefois lui-même annoncer de déploiement ou de système opérationnel nouveau.

RecherchePaper
1 source
SafeLoop : retour arrière tenant compte du risque pour la manipulation vision-langage-action
2arXiv cs.RO 

SafeLoop : retour arrière tenant compte du risque pour la manipulation vision-langage-action

Des chercheurs présentent SafeLoop, un mécanisme de sécurité externe destiné aux modèles vision-langage-action (VLA) utilisés en manipulation robotique, détaillé dans un article arXiv (2609.26313v1) publié fin septembre 2026. Le système fonctionne comme une surcouche non invasive: il ne modifie pas les paramètres du modèle VLA de base, mais entraîne un prédicteur de risque distinct, alimenté par la vision et la proprioception du robot, qui calcule quatre valeurs en continu, la probabilité et le délai avant un risque de collision du corps du robot, ainsi que la probabilité et le délai avant un échec de manipulation d'objet. Un contrôleur léger déclenche ensuite l'une de trois actions selon ce risque prédit: poursuivre l'exécution normalement, enregistrer un point de contrôle de sécurité, ou reculer dans l'espace articulaire jusqu'à ce point avant d'interroger à nouveau la politique de base pour tenter une autre trajectoire. Testé sur 24 tâches du benchmark simulé LIBERO (16 essais aléatoires chacune) et sur trois tâches réelles avec un robot physique (25 essais chacune), SafeLoop réduit les cas dangereux d'environ 70% tout en préservant le taux de réussite des tâches et le rythme de contrôle de la politique de base. Le code du projet est disponible sur GitHub. Ce travail s'attaque directement à une faiblesse reconnue des modèles VLA généralistes: leur fragilité sur des horizons d'exécution longs, où de petites erreurs d'estimation d'état ou de contrôle peuvent provoquer des échecs irréversibles comme des collisions ou des chutes d'objets. Pour les intégrateurs et décideurs industriels qui évaluent le déploiement de politiques VLA en environnement réel, l'enjeu est central: ces modèles impressionnent en démonstration mais restent risqués en production sans garde-fous. En proposant une couche de sécurité détachable du modèle de base, capable de s'ajouter à n'importe quelle politique VLA existante sans réentraînement complet, SafeLoop répond à un besoin pratique d'ingénierie de sécurité modulaire plutôt qu'à une promesse de performance brute, une approche qui contraste avec la tendance du secteur à surtout communiquer sur les capacités des modèles plutôt que sur leur fiabilité opérationnelle. Le projet s'inscrit dans la lignée des benchmarks de manipulation robotique comme LIBERO, largement utilisés pour évaluer les politiques VLA génériques telles que Pi-0 ou GR00T, et répond à une limite documentée de ces architectures en environnement réel. L'approche par rollback, retour à un point de sécurité récent suivi d'une nouvelle tentative via la politique existante, se distingue des méthodes alternatives évaluées dans l'étude par un meilleur compromis entre sécurité et taux de réussite. Le code est publié en accès ouvert sur GitHub, ce qui permettra à d'autres équipes de recherche de reproduire et d'étendre les tests au-delà des 24 tâches simulées et des trois tâches réelles couvertes par l'article, sans qu'aucun calendrier de déploiement industriel ne soit pour l'instant annoncé.

RecherchePaper
1 source
Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique
3arXiv cs.RO 

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu
1 source
SafeStage : évaluer la sécurité avant, pendant et après la manipulation robotique par modèle vision-langage-action
4arXiv cs.RO 

SafeStage : évaluer la sécurité avant, pendant et après la manipulation robotique par modèle vision-langage-action

Une équipe de recherche présente SafeStage, un benchmark structuré en trois étapes pour évaluer la sécurité des politiques de manipulation robotique conditionnées par le langage et la vision (VLA), publié sur arXiv (arXiv:2609.21223v1) en septembre 2026. L'outil comprend 97 scénarios de risque conçus spécifiquement pour tester trois phases du cycle de manipulation : les « dangers d'état initial » (relations spatiales ou physiques à résoudre avant de toucher à l'objet cible), la « sécurité pendant l'exécution » (contacts non intentionnels, trajectoires dangereuses, entrées dans des zones interdites, interactions non voulues avec d'autres objets) et les « dangers d'état final » (conditions instables ou dangereuses subsistant après l'achèvement nominal de la tâche). Le benchmark combine des vérifications basées sur les événements et sur l'état du système, et rapporte le taux de succès de la tâche indépendamment des résultats de sécurité propres à chaque étape. Les chercheurs ont testé des politiques VLA à action directe représentatives ainsi que des politiques s'appuyant sur des modèles du monde, dans un protocole commun en boucle fermée. Le résultat central est qu'une tâche accomplie avec succès coexiste fréquemment avec des violations de sécurité, et que les différentes politiques testées présentent des profils d'échec distincts selon l'étape du cycle concernée. Ce découplage entre succès de tâche et sécurité vient contredire une hypothèse implicite répandue dans le secteur, celle qu'un robot qui termine sa tâche l'a nécessairement fait de manière sûre. Pour les intégrateurs et décideurs industriels évaluant des politiques VLA généralistes en vue d'usages en ligne de production ou en environnement partagé avec des humains, SafeStage offre un outil de diagnostic permettant de localiser précisément quand et comment une politique échoue en matière de sécurité, plutôt que de se fier à un simple taux de réussite de tâche ou à des tests isolés de refus sémantique. Ce constat arrive alors que la course aux politiques VLA généralistes, portée par des familles de modèles comme Pi-0, GR00T ou Helix dans l'écosystème plus large de la manipulation robotique, s'accélère sur la base de démonstrations souvent impressionnantes mais rarement soumises à une évaluation systématique de sécurité en boucle fermée. Ce travail répond à une lacune des benchmarks existants, généralement centrés soit sur le succès de tâche, soit sur des contraintes physiques isolées, soit sur le refus sémantique de commandes dangereuses, soit sur des dommages physiques déjà constatés après coup, sans permettre de localiser à quel moment précis du cycle de manipulation survient une violation. En proposant un banc d'essai unifié et diagnostique, les auteurs visent un outil réutilisable pour comparer et améliorer les politiques VLA à mesure qu'elles se rapprochent d'un déploiement industriel réel. Le papier ne mentionne ni partenariat commercial ni calendrier de suite : il s'agit à ce stade d'une contribution de recherche académique destinée à la communauté robotique, sans acteur ni déploiement réel annoncé, ce qui la distingue nettement des communiqués marketing habituels du secteur des robots humanoïdes.

UECe benchmark académique n'implique aucun acteur français ou européen mais offre un outil générique que des intégrateurs robotiques européens pourraient utiliser pour évaluer la sécurité de politiques VLA avant déploiement industriel.

RecherchePaper
1 source