IA physiquePandaily 5 juin 2026

L'équipe de l'Université du Zhejiang développe un système de raisonnement visuel permettant aux robots de "penser avec les yeux", 22 fois plus rapide que le texte

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'université du Zhejiang, en collaboration avec Cornell University, la National University of Singapore et Xidian University, ont publié sur arXiv (2605.30011) un système de raisonnement visuel pour robots baptisé VisualThink-VLA. L'approche remplace le raisonnement en chaîne de pensée textuelle, où le robot génère un monologue interne en tokens de langage avant chaque action, par des tokens visuels directs. Résultat mesuré : le temps de traitement par étape passe de 8,377 secondes (approche texte ECoT) à 0,367 secondes, soit un gain de 22,8x. Sur huit benchmarks standardisés, VisualThink-VLA atteint un taux de succès moyen de 92,63 %, contre 85,09 % pour ECoT. Les expériences physiques ont été conduites sur un bras robotique PIPER NERO à 7 degrés de liberté, sur des tâches de préhension multi-objets, de placement sensible aux relations spatiales, de réorientation sous contrainte de contact, et de séquences composées à deux étapes. Le jeu d'entraînement "VisualEvidence-Set" couvre 754 700 instructions de manipulation.

L'intérêt industriel de ce résultat tient à la rareté de la combinaison : gain de vitesse ET gain de précision simultanés, alors que les systèmes d'IA échangent habituellement l'un contre l'autre. Pour les intégrateurs et les équipes de déploiement robotique, un temps de cycle sous 400 ms par étape ouvre la voie à des manipulations en environnement dynamique sans supervision humaine rapprochée. L'architecture à quatre canaux visuels, Bounding Box, Edge, Motion, Relation, utilise un mécanisme de routage adaptatif qui sélectionne en moyenne seulement 2,22 canaux par étape, évitant le surcoût computationnel d'une fusion systématique. Le caractère plug-and-play revendiqué par les auteurs est un argument commercial non négligeable : les systèmes VLA existants pourraient être mis à niveau sans refonte de l'architecture sous-jacente, ce qui réduit le coût d'adoption. Cette affirmation reste à vérifier sur des robots de production tiers, les expériences publiées se limitant au PIPER NERO.

Le contexte de ce travail s'inscrit dans une compétition intense autour des VLA (Vision-Language-Action models), dominée jusqu'ici par des approches comme OpenVLA, pi0 (Physical Intelligence) ou RoboVLMs, qui traitent toutes la vision et le langage comme co-entrées mais conservent un raisonnement textuel latent. L'université du Zhejiang est l'un des laboratoires les plus productifs en robotique incarnée en Chine, avec plusieurs publications majeures ces deux dernières années sur le sim-to-real et la manipulation dextère. Sur le fond, VisualThink-VLA teste l'hypothèse que le langage est un détour inutile pour la perception motrice, hypothèse que partagent des équipes comme Wayve ou Enchanted Tools côté européen dans leurs architectures world-model. Les prochaines étapes non précisées dans le papier concernent l'extension à des manipulateurs bimanaux et à des environnements non structurés hors laboratoire, deux conditions nécessaires avant tout pilote industriel crédible.

Impact France/UE

Les équipes VLA européennes, notamment Enchanted Tools (France) dont l'architecture world-model partage des hypothèses similaires, pourraient s'inspirer de cette approche pour réduire les latences de manipulation sans sacrifier la précision.

Dans nos dossiers

Enchanted Tools — Mirokaï Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1Interesting Engineering

MIT dévoile un modèle qui réduit les délais de réaction de 30 fois pour des mouvements robotiques plus rapides

Des chercheurs du MIT ont développé une nouvelle méthode baptisée VLASH, qui permet aux robots pilotés par des modèles vision-langage-action (VLA) de planifier leur prochaine séquence de mouvements pendant qu'ils exécutent encore la précédente, en anticipant leur position future plutôt qu'en attendant la fin du geste en cours pour ré-observer l'environnement. Cette seule modification réduit le délai de réaction de plus de 30 fois en supprimant la pause habituelle entre deux blocs d'actions. Une technique complémentaire, la quantification d'action, regroupe des mouvements suivant une même trajectoire en blocs plus larges ; elle réduit légèrement la précision mais accélère l'exécution des tâches de deux à trois fois. L'équipe a aussi conçu une méthode d'augmentation des données d'entraînement qui réorganise les données existantes pour diviser par cinq le temps d'entraînement, sans surcoût de calcul. En simulation, VLASH produit systématiquement des mouvements plus rapides sans perte de précision de manœuvre. Sur robots physiques, les gains se confirment sur des tâches de prise-dépose, d'empilement et de tri : dans une démonstration, un robot triant des cubes colorés a été deux fois plus rapide que les systèmes de référence, avec 90% de précision, un score équivalent à la meilleure méthode conventionnelle testée. Le système gère aussi des activités très dynamiques comme le tennis de table ou le Whack-a-Mole. Cette avancée cible un goulot d'étranglement connu du déploiement des VLA, de plus en plus utilisés comme "cerveau" des robots pour interpréter leur environnement et générer des actions physiques : le coût de calcul de l'inférence introduit des délais qui rendent les robots lents et saccadés face aux changements de leur environnement, un frein concret pour les intégrateurs visant des environnements dynamiques. Doubler la vitesse d'exécution sans matériel supplémentaire ni entraînement plus long change la donne économique. C'est un signal utile pour la course actuelle aux VLA généralistes (Pi-0, GR00T N2, Helix, ou les modèles embarqués dans des humanoïdes comme Figure 03 ou Optimus) : la latence d'inférence reste un frein réel à la fluidité mise en avant dans les vidéos de démonstration, et des optimisations logicielles comme celle-ci pourraient compter autant que la taille des modèles. Les chercheurs évoquent aussi des applications en recherche et sauvetage, où la réactivité aux changements est critique. Le travail s'inscrit dans les recherches du MIT sur l'intégration des VLA en robotique physique, un domaine où les grands laboratoires (Physical Intelligence, NVIDIA, Figure AI, Tesla) misent surtout sur des modèles plus lourds pour gérer perception et planification. VLASH prend l'angle inverse : restructurer le cycle observation-planification-exécution plutôt que changer le modèle. Aucun acteur français ou européen n'est cité dans ces travaux, qui restent à ce stade un résultat académique validé en simulation et sur quelques démonstrations en laboratoire, sans partenariat industriel ni calendrier commercial annoncés. La prochaine étape pour l'équipe consiste à combiner VLASH avec des modèles de monde génératifs capables de prédire l'évolution de l'environnement, et non plus seulement l'état futur du robot.

IA physiqueActu

1 source

2arXiv cs.RO

Vers un raisonnement par trace spatiale dans les modèles vision-langage pour la robotique

Une équipe de chercheurs présente RoboTracer, un modèle de vision-langage (VLM) 3D permettant aux robots de tracer des trajectoires dans l'espace physique en raisonnant sur des mesures métriques concrètes. Publié en version 3 sur arXiv (2512.13660, décembre 2025), le système combine référencement spatial 3D et mesure de distance via un encodeur universel et un décodeur à supervision par régression, affiné d'abord en apprentissage supervisé (SFT) puis par renforcement (RFT) avec des récompenses intermédiaires sensibles aux métriques. Le dataset d'entraînement TraceSpatial regroupe 30 millions de paires question-réponse sur scènes intérieures, extérieures et de manipulation, avec des chaînes de raisonnement atteignant 9 étapes. Sur le benchmark TraceSpatial-Bench introduit par les auteurs, RoboTracer atteint 79,1 % de taux de succès moyen et dépasse Gemini-2.5-Pro de 36 points de précision. Le système a été validé sur bras UR5 (Universal Robots) et humanoïde G1 (Unitree) dans des scènes réelles encombrées. La contribution principale tient dans le raisonnement métrique, une capacité absente des VLM classiques : décrire une scène en langage naturel ne suffit pas pour estimer qu'un obstacle se trouve à 0,47 m à gauche, information nécessaire à toute trajectoire exécutable. L'approche RFT avec récompenses de processus supervise les étapes perceptuelles intermédiaires et non uniquement le résultat final, ce qui réduit concrètement l'écart entre compréhension sémantique et exécution physique (le demo-to-reality gap). Pour un intégrateur ou un COO industriel, cela signifie un robot capable d'opérer dans des espaces non cartographiés à l'avance. L'avance de 36 % sur Gemini-2.5-Pro est notable, même si ce modèle n'est pas conçu pour la robotique embarquée. RoboTracer s'inscrit dans la compétition autour des modèles VLA (Vision-Language-Action), aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA, qui cherchent tous à unifier perception, raisonnement et action dans un modèle unique. Sa spécificité est l'accent sur la conscience métrique plutôt que sur le contrôle moteur fin, niche où Pi-0 reste dominant. Le choix des plateformes UR5 (bras industriel 6 axes, référence en intégration industrielle) et G1 (humanoïde Unitree, 43 degrés de liberté, environ 35 000 $) renforce la crédibilité de la généralisation multi-robots. À ce stade, il s'agit d'un résultat de recherche sans déploiement commercial annoncé ; la publication du dataset TraceSpatial et du benchmark ouvert constitue en revanche une infrastructure réutilisable directement par la communauté robotique.

UELe dataset TraceSpatial et le benchmark ouvert sont librement accessibles aux laboratoires européens de robotique, mais aucun acteur ou déploiement européen n'est impliqué dans cette contribution.

IA physiqueOpinion

1 source

3Interesting Engineering

Vidéo : le nouveau modèle omni d'Unitree permet aux robots humanoïdes de penser, se déplacer et assister les humains

Unitree, le fabricant chinois de robotique connu pour ses robots quadrupèdes et humanoïdes low-cost, a dévoilé UnifoLM-OminiA-0.3, un modèle d'IA unifié destiné à ses robots humanoïdes. Ce système combine dans une seule architecture la perception omni-modale, le raisonnement, le dialogue et la manipulation mobile du corps entier, sans passer par des modules séparés pour la reconnaissance vocale, la détection d'objets, la navigation et la manipulation. Dans les vidéos de démonstration diffusées par Unitree, un robot humanoïde saisit un coussin et le pose sur un canapé, identifie des couleurs, compte des boîtes de médicaments, va chercher un médicament précis sur une étagère, trie du linge dans un panier, charge une assiette dans un lave-vaisselle et ajuste un lit médicalisé de type hospitalier. Une séquence montre le robot interrompre immédiatement l'ajustement du lit lorsqu'un utilisateur lui demande d'arrêter en pleine tâche, illustrant une réactivité dynamique aux instructions. L'annonce intervient peu après qu'Unitree a présenté un robot humanoïde à buste haut vendu à partir de 26 900 yuans, soit environ 4 290 dollars, positionné comme une alternative bon marché sur le marché. Sur le fond, l'intérêt revendiqué par Unitree n'est pas la nouveauté de chaque tâche individuelle, déjà démontrées séparément par d'autres constructeurs humanoïdes, mais la coordination de l'ensemble du flux (compréhension du langage, perception visuelle, décision, navigation, contrôle moteur) par un seul modèle plutôt qu'une chaîne de sous-systèmes. C'est la promesse centrale des architectures vision-langage-action (VLA) que le secteur cherche à valider à grande échelle: remplacer des routines programmées tâche par tâche par une généralisation across environnements, un enjeu jugé crucial pour les usages domestiques, hospitaliers et de soin où les objets bougent et les consignes changent en temps réel. Reste que ces démonstrations proviennent de vidéos sélectionnées par le fabricant, sans données chiffrées sur le taux de réussite, le temps de cycle, la charge utile ou le nombre de degrés de liberté, ni validation indépendante en conditions réelles de déploiement, ce qui invite à distinguer nettement la démonstration marketing du produit réellement livré ou déployé chez un client. UnifoLM-OminiA-0.3 s'inscrit dans le programme d'IA incarnée UnifoLM d'Unitree, qui a débuté en 2025 avec UnifoLM-WMA-0, un cadre open-source de modélisation du monde et de l'action destiné à prédire les effets physiques des interactions robot-environnement. Ce socle a été suivi début 2026 par UnifoLM-VLA-0, un modèle vision-langage-action, avant cette version omni-modale axée sur l'assistance à domicile et les soins. Unitree ne précise pas de calendrier de déploiement pilote ni de partenaires hospitaliers ou domestiques identifiés, la trajectoire du programme suggérant toutefois une progression méthodique vers des systèmes de plus en plus généralistes plutôt qu'un produit fini prêt à l'emploi.

IA physiqueActu

1 source

4arXiv cs.RO

G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots

G0.5, publie en aout 2026 sur arXiv (2608.11739), est un modèle Vision-Language-Action (VLA) dont un décodeur transformeur unique génère raisonnement et tokens d'action sous un seul objectif, au lieu de séparer un VLM pré-entraine et un expert d'action entraine a part par flow-matching. Trois briques le rendent tenable a l'échelle d'un modèle de fondation : un tokenizeur d'action apprenable traduisant des actions robotiques hétérogènes dans un vocabulaire commun entre robots, un flux de chaine de pensée natif mêlant décomposition de taches, ancrage des objets et indices d'action, et un module de mémoire visuelle injectant plusieurs secondes d'historique. Pre-entraine sur des jeux de données robotiques et des exemples VQA, G0.5 devance les références sur sept protocoles : 76,7% de réussite en fine-tuning réel sur les robots R1lite et R1pro contre 53,3% pour Pi-0.5 et 24,4% pour GR00T-N1.7, 31,4% au BEHAVIOR Challenge 2025 contre 26,3% et 26,1% pour le vainqueur du concours, 82,5% en transfert zero-shot après post-entrainement sur DROID, ainsi que 98,9% sur LIBERO, 93,3% sur RoboTwin 2.0 et 87,3% sur SimplerEnv-Bridge. Cette fusion compte parce que l'approche dominante du secteur, illustrée par Pi-0.5 (Physical Intelligence) ou GR00T-N1.7 (NVIDIA), traite le VLM comme un simple encodeur de contexte pendant qu'un module sépare décide de l'action. En partageant les mêmes poids entre raisonnement et action, G0.5 suit les instructions plus finement et laisse un prompt piloter la granularité des gestes, l'horizon de tache ou la gestion de scènes hors distribution, sans reentrainement. L'écart de performance en conditions réelles, près du double de Pi-0.5, et la victoire généraliste au BEHAVIOR Challenge face a des politiques spécialisées, appuient empiriquement l'idée qu'un flux autoregressif unique peut tenir a l'échelle. Le travail s'inscrit dans la lignée des VLA ouverte par RT-2 et OpenVLA, prolongée par la famille Pi de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, qui ont impose le schéma VLM-encodeur plus expert d'action sépare comme standard de facto. G0.5 s'en écarté en misant sur un flux autoregressif unique, un pari qui reste a confirmer au-delà des benchmarks cites. Il s'agit d'une publication de recherche, sans produit commercialise ni déploiement industriel annonces.

IA physiqueOpinion

1 source