Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
E-VLA : modèle vision-langage-action augmenté par événements pour scènes sombres et floues
RecherchearXiv cs.RO 

E-VLA : modèle vision-langage-action augmenté par événements pour scènes sombres et floues

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent E-VLA, un modèle vision-langage-action (VLA) augmenté par caméra événementielle, conçu pour maintenir la fiabilité des robots manipulateurs dans des conditions de perception dégradées : lumière très faible, flou de mouvement, écrêtage des noirs. Contrairement aux approches classiques qui tentent de reconstruire une image à partir des flux d'événements, E-VLA exploite directement les indices de mouvement et de structure captés par la caméra événementielle pour préserver la cohérence perception-action. L'équipe a construit une plateforme de téléopération open source équipée d'une caméra événementielle DAVIS346 et collecté un jeu de données synchronisé RGB-événements-actions sur des tâches de manipulation variées et sous différents niveaux d'éclairage. Les résultats sont marqués : sur une tâche de type pick-and-place à 20 lux, le taux de réussite passe de 0% avec la seule image RGB à 60% avec une simple superposition des cartes d'événements accumulées, puis à 90% avec l'adaptateur événementiel dédié conçu par les auteurs. Sous flou de mouvement sévère (simulation d'un temps d'exposition de 1000 ms), le pick-and-place progresse de 0% à 20-25% de réussite, et une tâche de tri passe de 5% à 32,5%.

Ces résultats apportent une preuve concrète que la fusion événementielle, même dans sa version la plus simple et sans paramètres, comble un angle mort critique des modèles VLA actuels : leur dépendance à une caméra RGB classique les rend inutilisables dès que l'éclairage ou la stabilité de la scène se dégradent, un scénario fréquent en environnement industriel réel (entrepôts peu éclairés, bras robotiques en mouvement rapide). Pour les intégrateurs et les équipes robotique visant un déploiement en conditions réelles plutôt qu'en démonstration contrôlée, ce travail suggère qu'ajouter un capteur événementiel low-cost peut être plus efficace qu'un réentraînement massif du modèle de perception.

E-VLA s'inscrit dans la lignée des modèles VLA généralistes comme GR00T N2, Pi-0 ou Helix, qui ont démontré une bonne généralisation en manipulation mais restent peu testés hors des conditions de laboratoire. Les auteurs annoncent la publication du code et du jeu de données sur GitHub, ce qui devrait permettre à la communauté d'évaluer la robustesse de la méthode sur d'autres plateformes robotiques et d'autres capteurs événementiels.

Dans nos dossiers

IA physique & VLANVIDIA GR00T

À lire aussi

Co-VLA : entraînement fédéré par consensus pour les modèles vision-langage-action
1arXiv cs.RO 

Co-VLA : entraînement fédéré par consensus pour les modèles vision-langage-action

Un article publié sur arXiv (référence 2609.19923v1) présente Co-VLA, une méthode d'entraînement fédéré pour les modèles vision-langage-action (VLA), cette classe de modèles qui traduit perception visuelle et instructions en langage naturel en commandes motrices pour robots. La technique s'appuie sur l'optimisation par consensus via l'algorithme ADMM (Alternating Direction Method of Multipliers) pour coordonner l'entraînement entre plusieurs clients détenant chacun des données robotiques locales différentes, sans jamais faire transiter ces données brutes vers un serveur central. Les auteurs montrent que le même algorithme fonctionne à la fois pour l'entraînement complet d'un modèle et pour le fine-tuning paramétrique-efficient, avec des adaptateurs à rang fixe comme à rang adaptatif. Selon les expériences rapportées, Co-VLA atteint des performances comparables à celles d'un entraînement centralisé classique, aussi bien en entraînement complet qu'en fine-tuning léger. L'abstract ne détaille toutefois ni le nombre de robots ou de sites impliqués dans les tests, ni les tâches précises évaluées, ni de métriques chiffrées de réussite. L'enjeu pratique est celui du goulot d'étranglement identifié par tout le secteur des VLA : les performances de ces modèles s'améliorent avec l'échelle des données, mais ces données de démonstration robotique sont dispersées entre flottes, sites industriels et types de tâches, et leur centralisation pose des problèmes de coût, de bande passante et souvent de confidentialité pour les intégrateurs qui déploient des robots chez des clients tiers. En rendant possible un entraînement collaboratif sans partage de données, Co-VLA ouvre une voie pour mutualiser l'apprentissage entre opérateurs de flottes concurrents ou entre sites d'un même groupe industriel, tout en gérant l'hétérogénéité des distributions de données propre à des robots différents opérant dans des environnements différents, un obstacle documenté du federated learning appliqué à la robotique. Ce travail s'inscrit dans la course actuelle aux modèles VLA généralistes, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à industrialiser l'apprentissage à grande échelle sur données robotiques réelles. Co-VLA ne propose pas un nouveau modèle concurrent mais une brique méthodologique complémentaire, exploitable en principe par n'importe quel VLA existant. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel, de partenariat ou de calendrier de suite.

RecherchePaper
1 source
Entraînement hybride pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

Entraînement hybride pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié sur arXiv (identifiant 2510.00600, version 2) un framework nommé Hybrid Training (HyT), conçu pour les modèles Vision-Language-Action (VLA) utilisés en robotique de manipulation. Le problème central est le suivant : le raisonnement par chaîne de pensée (Chain-of-Thought, CoT), qui consiste à générer des "pensées" intermédiaires avant chaque action, améliore les performances des VLA mais allonge mécaniquement le temps d'inférence. Dans des tâches requérant de longues séquences d'actions successives, ce délai compromet l'utilisabilité réelle du système. HyT découple la phase d'apprentissage de la phase d'exécution : le modèle s'entraîne en intégrant les pensées intermédiaires, acquiert les gains de performance associés, puis peut les omettre entièrement lors du déploiement. Le framework supporte trois modes à l'inférence selon le contexte : prédiction directe d'actions, génération CoT complète, ou suivi d'instructions. Les auteurs ont validé l'approche sur plusieurs benchmarks simulés et sur des expériences en conditions réelles. Ce découplage entraînement/inférence répond à l'une des tensions fondamentales dans le déploiement industriel des VLA : les techniques qui améliorent la fiabilité dégradent souvent la réactivité. Pour un intégrateur ou un COO industriel, un système qui "réfléchit" trop longtemps avant d'agir est difficilement intégrable sur une ligne de production cadencée. HyT avance que les bénéfices du raisonnement explicite peuvent être distillés dans les poids du modèle et activés implicitement, sans générer de tokens supplémentaires au runtime. Si ce résultat se confirme à plus grande échelle, il simplifierait le compromis latence/performance qui freine aujourd'hui le déploiement de bras manipulateurs VLA en environnement non structuré. C'est également une réponse indirecte au "demo gap" fréquemment reproché à ces modèles : de bonnes performances en simulation ne garantissent pas une vitesse d'exécution acceptable sur le terrain. L'essor des VLA s'est accéléré depuis 2023 avec RT-2 (Google DeepMind), OpenVLA (UC Berkeley), Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), qui combinent vision, langage et prédiction d'actions dans un seul réseau. L'application du CoT à la robotique prolonge les travaux fondateurs sur les LLMs, mais se heurte aux contraintes temps-réel absentes du traitement de texte. HyT s'inscrit dans un courant de recherche orienté déployabilité, aux côtés de la distillation de politiques et des architectures à flux de tokens réduit. La publication est une preprint arXiv non peer-reviewed, et les résultats en conditions réelles restent à confirmer à plus grande échelle industrielle. Aucun acteur européen n'est impliqué dans ces travaux ; les laboratoires cités opèrent principalement depuis les États-Unis.

RechercheOpinion
1 source
Raisonnement continu pour les modèles vision-langage-action (VLA)
3arXiv cs.RO 

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion
1 source
Flux proposition-vers-action calibré par le monde pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

Flux proposition-vers-action calibré par le monde pour les modèles vision-langage-action (VLA)

Des chercheurs publient ProAct, un cadre pour les politiques Vision-Language-Action (VLA) à flow matching, décrit dans l'article arXiv 2610.02323. Les VLA à flow génèrent des séquences d'actions (« action chunks ») en transportant des échantillons issus d'une source gaussienne isotrope, indépendante de la tâche. ProAct remplace cette source par une source calibrée. Un « Proposal Expert » léger convertit les actions récentes en hypothèse tenant compte de la scène. Il le fait en une seule étape de flow matching ancrée sur le mouvement, ce qui place l'initialisation près de la variété des actions démontrées. Un « World Expert » prédictif traite ensuite cette hypothèse comme un a priori de mouvement souple et prédit le futur latent cohérent avec la tâche. À partir de cette compatibilité, le modèle construit une source anisotrope centrée sur la proposition. Une amplitude bornée par pas limite l'écart autorisé. Une géométrie de bas rang à trace normalisée, sous budget de nombre de conditionnement, répartit le raffinement entre translation, rotation et pince. Face à π0.5 (Physical Intelligence), ProAct améliore les résultats en simulation et en conditions réelles. Il réduit de 50 % le nombre d'étapes de débruitage, de jusqu'à 25,8 % la latence d'inférence, et augmente le débit de jusqu'à 34,8 %. Le résumé ne donne ni taux de succès chiffrés, ni robot, ni liste de tâches. L'enjeu est double : qualité et coût d'inférence. Dans les VLA actuels, le point de départ du bruit ignore le mouvement qui vient d'être exécuté. La politique doit donc reconstruire la continuité de la trajectoire à chaque chunk, ce qui coûte des étapes de débruitage. En rendant la source prédictible, ProAct vise des trajectoires plus continues avec moins de calcul. Pour un intégrateur, la latence et le débit déterminent la fréquence de contrôle atteignable sur du matériel embarqué, donc la fluidité d'exécution de tâches de manipulation. Le travail suggère aussi que les représentations prédictives du monde servent mieux la génération d'actions si elles en fixent le point de départ, la déviation permise et les directions d'expansion, plutôt que de seulement conditionner la dynamique de transport. Ces gains restent des affirmations de résumé. Ils supposent de vérifier les benchmarks, l'ampleur des gains de réussite et la part de tests réels. Aucun déploiement ni produit n'est annoncé, il s'agit de recherche académique. Ce travail s'inscrit dans la lignée des VLA à flow matching popularisés par π0, puis par π0.5, devenu une référence de comparaison. Il suit aussi un courant qui ajoute des modèles du monde aux politiques d'action pour anticiper l'évolution de la scène. Le principal angle de recherche concurrent consiste à réduire le nombre d'étapes de débruitage par distillation ou par flows en une étape. D'autres approches rendent les chunks plus continus par chevauchement temporel, mais conservent une source de bruit générique. ProAct attaque le même problème par l'initialisation. La suite dépendra de la publication du code et des poids, d'une reproduction indépendante et d'un test sur d'autres architectures, comme GR00T ou Helix, ou sur des robots humanoïdes où la latence est critique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source