Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
OneVLA : un cadre unifié pour les tâches d'IA incarnée
IA physiquearXiv cs.RO 

OneVLA : un cadre unifié pour les tâches d'IA incarnée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a publié fin mai 2026 sur arXiv (référence 2606.01241) un modèle baptisé OneVLA, présenté comme une architecture unifiée Vision-Langage-Action (VLA) capable de gérer à la fois la navigation autonome et la manipulation d'objets au sein d'un seul et même réseau. Le principe central repose sur une tête d'action commune qui génère des commandes de déplacement et des gestes de manipulation sans module séparé ni variante spécialisée selon la tâche. L'entraînement suit une stratégie progressive en plusieurs étapes, avec construction de jeux de données curés et un fine-tuning par Chain-of-Thought (CoT) visant à créer un transfert positif entre les deux domaines. Les expériences rapportées couvrent des environnements simulés et réels, et les auteurs affirment surpasser les modèles spécialisés à tâche unique ainsi que les approches cross-task existantes. Le code source et les poids du modèle sont annoncés comme devant être rendus publics, sans date précisée.

L'enjeu est structurel pour le secteur : la quasi-totalité des VLA actuellement déployés ou publiés restent monolithiques par domaine. Pi-0 de Physical Intelligence excelle en manipulation dextère, GR00T N2 de NVIDIA intègre des capacités de navigation mais avec des têtes d'action distinctes, et la plupart des agents issus des travaux RT-X ou OpenVLA ne combinent pas les deux modalités de façon cohérente. Un modèle qui transfère positivement entre navigation et manipulation éviterait aux équipes d'intégration de maintenir deux pipelines d'inférence séparés, un coût opérationnel significatif en production. Le CoT appliqué à la planification motrice est également notable : il indique que le raisonnement symbolique peut renforcer la généralisation comportementale, une hypothèse jusqu'ici difficile à valider à l'échelle réelle.

Ce travail s'inscrit dans une tendance de fond amorcée depuis 2024 vers les architectures dites "fondation" pour la robotique généraliste. Les limitations à signaler : il s'agit d'un preprint sans revue par les pairs, les benchmarks précis de performance (taux de succès par scénario, temps de cycle, conditions d'éclairage ou de charge) ne sont pas détaillés dans l'abstract, et aucune institution commerciale ni déploiement industriel n'est mentionné. Les prochaines étapes naturelles seraient la publication du code pour permettre une évaluation indépendante, ainsi qu'une validation sur plateformes humanoïdes réelles, là où la fusion navigation-manipulation est la plus critique pour des cas d'usage entrepôt ou logistique.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

La réalité virtuelle pour faciliter la collecte de données dans les tâches d'IA incarnée
1arXiv cs.RO 

La réalité virtuelle pour faciliter la collecte de données dans les tâches d'IA incarnée

Des chercheurs ont publié sur arXiv (arXiv:2604.16903) un framework de collecte de données pour robots embodied basé sur Unity, qui exploite la réalité virtuelle et les mécaniques de jeu vidéo pour contourner le goulet d'étranglement majeur du domaine : obtenir des démonstrations humaines en quantité suffisante. Le système combine génération procédurale de scènes, téléopération d'un robot humanoïde en VR, évaluation automatique des tâches et journalisation de trajectoires. Un prototype concret a été développé et validé : une tâche de pick-and-place de déchets, dans laquelle l'opérateur incarne le robot via un casque VR pour saisir et trier des objets dans des environnements générés aléatoirement. Les résultats expérimentaux montrent que les démonstrations collectées couvrent largement l'espace état-action, et que l'augmentation de la difficulté de la tâche entraîne une intensité de mouvement plus élevée ainsi qu'une exploration plus étendue de l'espace de travail du bras. Ce travail s'attaque à un problème structurel de l'intelligence embodied : les interfaces de téléopération classiques (manettes, bras maître-esclave, exosquelettes) sont coûteuses, peu accessibles et difficiles à déployer à grande échelle. En gamifiant la collecte, le framework ouvre la possibilité de recruter des opérateurs non spécialisés via des interfaces VR grand public, réduisant potentiellement le coût marginal par démonstration. La couverture large de l'espace état-action est un signal positif pour l'entraînement de politiques robustes, notamment les VLA (Vision-Language-Action models) qui dépendent de la diversité des trajectoires. Il faut toutefois nuancer : le prototype reste une tâche simple (ramassage d'objet), et les auteurs ne fournissent pas de métriques de transfert vers un robot physique réel, la question du sim-to-real gap reste entière. Ce type d'approche s'inscrit dans une tendance plus large de recours aux environnements synthétiques pour l'entraînement robotique, portée notamment par Physical Intelligence (pi0), Google DeepMind (RoboVQA, RT-2) et NVIDIA (GROOT). La génération procédurale de scènes est également au coeur des pipelines de simulation massive comme IsaacLab. L'originalité ici est l'angle "jeu vidéo" assumé, qui rapproche la collecte de données des méthodes de crowdsourcing humain utilisées en NLP. Les prochaines étapes naturelles seraient un benchmark sur robot physique, une extension à des tâches bimanuelle, et une évaluation de la qualité des politiques entraînées sur ces données face à des baselines téléopérées classiques.

IA physiqueActu
1 source
MachEmbodied-U0 : un modèle unifié de compréhension et de génération pour l'IA incarnée
2arXiv cs.RO 

MachEmbodied-U0 : un modèle unifié de compréhension et de génération pour l'IA incarnée

Publié le 23 septembre 2026 sur arXiv (2609.25627v1), MachEmbodied-U0 (ME-U0) est un modèle fondation unifié pour la robotique incarnée, combinant compréhension et génération via une architecture Mixture-of-Transformers : prédiction de sous-tâches et ancrage d'affordance guident une génération conjointe de dynamique visuelle et d'actions par flow matching. La dynamique visuelle future couvre RGB, profondeur, normales de surface et flux optique, alignés aux commandes fines par un encodage de position rotatif multi-fréquence (MRPE). Le modèle a été pré-entraîné sur environ 4 200 heures de démonstrations issues de jeux de données robotiques et de vidéos égocentriques humaines. En simulation, avec la seule supervision native de chaque benchmark, ME-U0 atteint un score moyen de 17,66 sur RoboDojo, une échelle propre à ce simulateur et donc difficile à comparer à d'autres benchmarks, ainsi que des taux de réussite de 99,0% sur LIBERO et 82,5% sur LIBERO-Plus. Les auteurs rapportent aussi des validations sur des tâches de manipulation robotique réelle. Le résultat central tient à l'unification : les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2 offrent de solides priors sémantiques sans modéliser explicitement l'évolution de la scène, tandis que les modèles monde-action prédisent la dynamique visuelle sans exposer la structure sémantique et spatiale nécessaire à une manipulation fine ; ME-U0 couple les deux pour combler cet écart. Pour les intégrateurs et chercheurs, le point notable est la capacité en zero-shot : sans supervision dédiée, le modèle prédit sous-tâches, affordances et dynamique visuelle sur des observations inédites, simulées ou réelles, un signe de transférabilité au-delà du seul benchmark d'entraînement. ME-U0 s'inscrit dans la vague de modèles fondation pour la robotique généraliste, aux côtés de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), qui unifient tous perception, raisonnement et contrôle moteur dans un seul réseau entraîné sur des corpus massifs de démonstrations et de vidéos humaines. Le travail reste à ce stade une publication de recherche arXiv, sans partenaire industriel ni calendrier de commercialisation annoncés ; les auteurs le présentent comme une preuve de concept, la suite logique étant l'extension des essais réels sur davantage de plateformes robotiques.

IA physiqueOpinion
1 source
Pelican-Unified 1.0 : un modèle d'IA incarnée unifié pour la compréhension, le raisonnement, l'imagination et l'action
3arXiv cs.RO 

Pelican-Unified 1.0 : un modèle d'IA incarnée unifié pour la compréhension, le raisonnement, l'imagination et l'action

Une équipe de recherche a publié Pelican-Unified 1.0 (arXiv 2605.15153), un modèle de fondation incarné qui intègre dans un seul checkpoint quatre capacités habituellement confiées à des modules distincts : compréhension visuelle, raisonnement, imagination et génération d'actions robotiques. L'architecture repose sur un unique VLM (Vision-Language Model) qui encode scènes, instructions et historiques d'actions dans un espace sémantique partagé. Ce même VLM génère en un seul forward pass des chaînes de pensée orientées tâche, projetées dans une variable latente dense. Un module baptisé Unified Future Generator (UFG) conditionne ensuite sur cette latente pour produire simultanément vidéos futures et séquences d'actions via deux têtes de sortie dans le même processus de débruitage (denoising). Les performances annoncées : 64,7 sur huit benchmarks VLM standards (meilleur parmi les modèles de taille comparable), 66,03 sur WorldArena (premier rang) et 93,5 sur RoboTwin (deuxième meilleure moyenne parmi les méthodes comparées). L'article est déposé en preprint, sans validation par les pairs à ce stade. L'enjeu architectural est direct : les systèmes robotiques avancés actuels reposent quasi universellement sur des experts spécialisés distincts pour percevoir, raisonner, planifier et exécuter. Ce papier cherche à démontrer qu'un modèle unique, optimisé conjointement sur des pertes de langage, vidéo et action, peut égaler ces spécialistes sans compromis de performance. Si ces résultats se confirment hors simulation, l'impact pour les intégrateurs est double : un seul checkpoint à maintenir et une meilleure généralisation inter-tâches. Le couplage imagination-action dans le même processus de débruitage rappelle l'approche de Physical Intelligence avec Pi-0.5, mais l'intégration du raisonnement textuel dans la même passe constitue un degré d'unification plus poussé. Le score sur RoboTwin reste néanmoins un indicateur sim-to-real à valider en conditions réelles. La course aux modèles VLA (Vision-Language-Action) s'est accélérée en 2024-2025 avec Pi-0 et Pi-0.5 de Physical Intelligence, GR00T N2 de NVIDIA, et les modèles RT-X de Google DeepMind, chacun maintenant des composants partiellement séparés pour la planification et la génération motrice. Pelican-Unified 1.0 se positionne comme une alternative radicalement unifiée, mais reste au stade académique : aucun déploiement, aucun partenariat industriel annoncé, et l'équipe auteure n'est pas identifiée dans le résumé public, ce qui limite l'évaluation de la crédibilité institutionnelle. La revendication de "premier modèle unifié" mérite d'être nuancée, plusieurs architectures combinant déjà compréhension et action. Les prochaines étapes naturelles passent par une validation sur des benchmarks en conditions réelles et une soumission à CoRL ou ICRA.

IA physiqueOpinion
1 source
FluxVLA Engine : une plateforme tout-en-un d'ingénierie VLA pour l'IA incarnée
4arXiv cs.RO 

FluxVLA Engine : une plateforme tout-en-un d'ingénierie VLA pour l'IA incarnée

FluxVLA Engine, plateforme open source et pilotée par configuration pour l'ingénierie des modèles vision-langage-action (VLA), est décrite dans un article publié en septembre 2026 sous la référence arXiv 2609.17210. Plutôt que de proposer un nouveau modèle de politique, l'outil normalise les interfaces entre les briques hétérogènes d'un pipeline d'IA embarquée : formats de jeux de données, modèles vision-langage et modèles du monde (WAM), têtes d'action, apprentissage par renforcement offline pondéré par récompense ou avantage, entraînement distribué, évaluation en simulation, inférence optimisée et pilotage robot. Le système intègre une simulation bras-double compositionnelle, une génération automatique de données à grande échelle, ainsi qu'une boucle humain-dans-la-boucle découplée du modèle pour la prise de contrôle, la collecte de corrections et l'annotation de récompenses. Pour l'exécution physique en temps réel, FluxVLA combine le Real-Time Chunking (RTC), des moteurs d'inférence accélérés, un service GPU distant léger et un post-traitement configurable des trajectoires. Le code source est publié sur GitHub, sous le dépôt FluxVLA/FluxVLA. Pour les intégrateurs et les équipes de recherche en robotique, ce type d'outillage cible un goulot d'étranglement réel : la multiplication des modèles VLA, des WAM et des méthodes de RL offline s'est jusqu'ici heurtée à des formats de données, des stacks d'entraînement et des interfaces spécifiques à chaque plateforme robotique, ce qui rend la reproductibilité et le déploiement fiable coûteux en ingénierie. En unifiant contrats de données, validation en simulation, correction en ligne et exécution réelle sous un cadre commun et auditable, FluxVLA s'attaque moins à la performance d'un modèle qu'à la friction séparant un algorithme prometteur d'un système robotique déployable. L'article ne fournit toutefois aucun chiffre de payload, de temps de cycle ou de volume de déploiement : il s'agit d'une infrastructure logicielle, pas d'une démonstration sur robot physique, ce qui en limite pour l'instant la portée à une preuve de concept d'ingénierie plutôt qu'à un résultat de terrain validé à grande échelle. FluxVLA s'inscrit dans un paysage de politiques VLA de plus en plus fourni, où coexistent des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, chacun avec ses propres formats et pipelines d'entraînement, une fragmentation que la plateforme cherche justement à réduire en se positionnant comme couche d'intégration plutôt que comme concurrent direct. Contrairement à un produit commercial fermé, FluxVLA est distribué en open source, sans acteur industriel ni déploiement pilote annoncé à ce stade, ce qui en fait pour l'instant un outil de recherche destiné aux laboratoires et équipes d'ingénierie robotique plutôt qu'une solution prête pour la production. Les prochaines étapes attendues sont l'adoption par la communauté open source et la validation de la plateforme sur des cas d'usage réels avec des bras robotiques, des éléments que l'article ne détaille pas encore.

IA physiquePaper
1 source