WorldScape Policy 2.0 : vers une modélisation…

1arXiv cs.RO

3D-MoE : vers une intelligence spatiale par mélange d'experts pour le raisonnement 3D et la génération d'actions

Des chercheurs présentent 3D-MoE, un modèle de vision-langage 3D qui remplace l'architecture Transformer dense habituelle par un mélange d'experts (mixture-of-experts) doté d'un routage probabiliste sensible à la modalité et au contexte spatial, stabilisé par un curriculum de routage dédié. Décrit dans la version 2 d'un papier arXiv (identifiant 2501.16698, soumis initialement en janvier 2025), le travail étend ensuite ce modèle à la robotique en lui greffant une tête d'action par diffusion baptisée Pose-DiT, qui transforme 3D-MoE en modèle vision-langage-action (VLA). Grâce à un cadre de flux rectifié, Pose-DiT génère des poses 6D précises en une seule étape d'échantillonnage, contre les multiples itérations habituellement requises par les têtes d'action à diffusion classiques. Les auteurs rapportent que 3D-MoE dépasse les approches existantes sur plusieurs benchmarks de vision-langage 3D tout en activant nettement moins de paramètres, et obtient de meilleurs taux de réussite sur des tâches de manipulation robotique avec une inférence jugée compatible temps réel. L'enjeu central est le coût de calcul: faire monter en échelle les VLM 3D actuels, tous bâtis sur des Transformers denses, devient prohibitif à mesure que les tâches spatiales se complexifient. En n'activant qu'une fraction des experts du réseau par entrée, le mélange d'experts vise à découpler la taille totale du modèle de son coût réel d'inférence, un principe déjà courant dans les grands modèles de langage mais encore peu appliqué au raisonnement 3D. Pour les intégrateurs et équipes de recherche en robotique, l'intérêt est double: un raisonnement spatial plus riche sans exploser la latence, et une génération d'action en une seule passe qui réduit le temps de cycle par rapport aux approches de diffusion multi-étapes. Les chiffres avancés (paramètres activés, taux de succès) restent ceux des auteurs eux-mêmes, non d'une évaluation tierce, mais l'approche illustre une tendance de fond: convertir un VLM générique en modèle VLA capable de produire directement des commandes de pose exploitables par un bras manipulateur. 3D-MoE s'inscrit dans la vague des modèles vision-langage-action qui cherchent à unifier perception, raisonnement et contrôle moteur dans un même réseau, une piste travaillée par de nombreux laboratoires d'IA incarnée depuis deux ans. L'abstract ne précise ni les benchmarks exacts, ni les auteurs ou institutions, ni de calendrier d'industrialisation: il s'agit à ce stade d'une contribution académique évaluée sur des jeux de données de recherche, non d'un produit ou d'un déploiement commercial. La suite logique pour ce type de travail est une reprise comme brique technique par d'autres équipes académiques, voire par des fabricants de bras manipulateurs ou de robots humanoïdes cherchant à réduire le coût de calcul embarqué de leurs propres modèles VLA.

RechercheOpinion

1 source

2arXiv cs.RO

Réglementer la planification par modèle du monde grâce au raisonnement juridique

À mesure que les robots gagnent en autonomie de décision, la question de leur conformité aux lois se pose concrètement, et une équipe de recherche vient de proposer une architecture pour y répondre. Publiée sur arXiv sous la référence 2609.15113v1 (préimpression, non encore relue par les pairs), l'étude intitulée « Legislating World-Model-Based Planning with Legal Reasoning » décrit un système de planification robotique qui intègre des contraintes légales directement dans le contrôle moteur. Le dispositif combine un modèle du monde appris, utilisé à la fois pour planifier les mouvements et pour fournir le contexte factuel nécessaire au raisonnement juridique, avec un moteur de logique déontique défaisable (Defeasible Deontic Logic, DDL) chargé de vérifier la légalité d'une action avant son exécution, une approche dite ex ante par opposition à une sanction après coup. Le système a été testé sur un bras robotique simulé chargé de pousser un cube sur une grille de 3x3 cases. Les auteurs rapportent que l'agent contraint par les règles respecte celles-ci nettement plus souvent que sa version non contrainte, que la prise en compte explicite de l'incertitude de perception améliore encore ce taux de conformité, et que le raisonnement juridique s'exécute efficacement en temps réel avec des verdicts auditables et une capacité d'adaptation à de nouvelles règles. Ce travail formalise deux obstacles techniques souvent ignorés par les démonstrations commerciales de robots autonomes: l'écart de perception, où une erreur de capteur fait croire au système qu'un fait juridiquement pertinent est vrai alors qu'il ne l'est pas, et l'écart ontologique, où une même règle de droit peut se traduire en plusieurs contraintes de planification différentes, avec des niveaux de conformité très variables selon le choix retenu. Pour les intégrateurs et décideurs qui envisagent des déploiements de robots autonomes en entrepôt ou en environnement réglementé, ce résultat rappelle qu'ajouter du langage juridique en amont ne suffit pas: la traduction précise de la loi en contrainte numérique change radicalement le comportement réel de la machine, un point que les modèles vision-language-action (VLA) actuels ne traitent généralement pas. L'étude s'inscrit dans la continuité du « problème d'isomorphisme » en informatique juridique, qui cherche à aligner les textes de loi sources avec leurs encodages formels, et reprend la logique déontique défaisable, un formalisme déjà utilisé en intelligence artificielle du droit pour représenter obligations et exceptions. Il s'agit à ce stade d'une preuve de concept limitée à une simulation simple, sans robot physique ni environnement complexe, loin des déploiements réels de robots généralistes annoncés par l'industrie. Les auteurs eux-mêmes indiquent que combler les deux écarts identifiés nécessitera une correspondance standardisée entre texte de loi et contrainte de planification, ainsi qu'un ancrage perceptif plus fiable, avant d'envisager un passage à des systèmes réels.

UECette recherche sur la conformité légale des robots alimente les débats européens sur l'encadrement de l'autonomie robotique (AI Act), mais aucun acteur ni déploiement français ou européen n'est implique.

RecherchePaper

1 source

3arXiv cs.RO

RoboPilot : manipulation robotique dynamique généralisable grâce à un double mode de raisonnement

Des chercheurs publient RoboPilot, un cadre agentique en boucle fermée pour la manipulation robotique, présenté dans la version 2 d'un article déposé sur arXiv (2510.00154). Le système s'appuie sur des actions primitives, c'est-à-dire des briques de mouvement prédéfinies, pour structurer la planification des tâches et générer des actions de manière flexible. Il intègre un retour d'information qui permet de replanifier lorsque l'environnement change ou qu'une erreur d'exécution survient. Un raisonnement par chaîne de pensée (Chain-of-Thought) guide à la fois la planification de haut niveau et la génération d'actions de bas niveau. Le système bascule dynamiquement entre une pensée rapide, plus économe, et une pensée lente, plus précise. Les auteurs introduisent aussi RoboPilot-Bench, un banc d'essai de 21 tâches réparties en 10 catégories, qui inclut la reconnaissance de tâches infaisables et la récupération dynamique après incident. Selon eux, RoboPilot dépasse les meilleures méthodes de référence de 11 % en taux de réussite, et un déploiement réel sur un robot industriel confirme sa robustesse. L'intérêt tient au problème visé. Les tâches longues ou complexes restent un point faible de la manipulation robotique, car la plupart des approches fonctionnent en boucle ouverte, avec peu de raisonnement et aucun retour. Une erreur s'accumule alors d'étape en étape et la moindre perturbation de l'environnement fait échouer la séquence. Pour un intégrateur ou un responsable d'atelier, la capacité à détecter qu'une tâche est infaisable, plutôt que de s'y acharner, et à se rattraper après un incident compte autant que le taux de réussite nominal. Le mécanisme de bascule entre modes rapide et lent répond aussi à une contrainte pratique, car un raisonnement approfondi à chaque pas coûterait trop en latence pour une cellule de production. Des réserves s'imposent toutefois : le gain de 11 % est mesuré sur un banc d'essai conçu par les mêmes auteurs, le résumé ne précise ni les baselines ni le robot industriel utilisé, et ne donne ni temps de cycle ni volume d'essais réels. Il s'agit d'un travail de recherche, sans produit ni déploiement commercial annoncé. Ce travail s'inscrit dans le mouvement des architectures agentiques qui placent un modèle de langage ou de vision-langage en orchestrateur au-dessus de primitives de contrôle. Il se pose en alternative aux modèles vision-langage-action (VLA) de bout en bout, qui produisent directement des actions mais offrent moins de structure et de contrôle sur la replanification. Cette approche modulaire et interprétable séduit les environnements industriels, où la traçabilité des décisions pèse lourd. Le dépôt d'une version révisée suggère un travail encore en cours de consolidation, sans calendrier de pilote ni de transfert vers l'industrie. La suite dépendra de la publication du code et du benchmark, qui permettrait à d'autres équipes de reproduire les résultats et de comparer RoboPilot aux approches concurrentes sur les mêmes tâches.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

XGenAct : des modèles d'action du monde enrichis par la géométrie grâce à la génération inter-tâches

Des chercheurs publient sur arXiv (2610.03516) XGenAct, un modèle d'action du monde (WAM, pour world action model) qui prédit l'évolution conjointe des observations et des actions d'un robot. Le système représente cinq types de signaux comme des vidéos RGB, via des codecs déterministes : images RGB, actions du robot, profondeur métrique, normales de surface et segmentation par rôle fonctionnel. Un seul transformeur de diffusion vidéo, entraîné avec un seul objectif, apprend la prédiction temporelle dans tous ces espaces. À l'entraînement, le modèle échantillonne des tâches de perception et d'action, sans têtes spécialisées par modalité. Sur des tâches RLBench non vues à l'entraînement, il atteint 52 % de réussite en boucle fermée dans une comparaison externe à cinq tâches, contre 26 % pour les meilleures références évaluées. Il prédit aussi la profondeur et la segmentation futures plus précisément que les pipelines qui génèrent d'abord du RGB puis appliquent un expert de perception figé. Pour les équipes qui travaillent sur la manipulation, le résultat va dans le sens d'une hypothèse encore discutée : prédire uniquement des pixels RGB et des actions ne suffit pas à doter un modèle de la compréhension spatiale dont la préhension a besoin. Les approches existantes ajoutent quelques tâches géométriques via des branches ou des têtes dédiées, ce qui fragmente à la fois la supervision et l'architecture. Encoder toute la supervision spatiale dans le même format vidéo simplifie la pile logicielle : pas de décodeur par modalité à maintenir, et un même modèle sert à générer et à percevoir. Le doublement du taux de réussite face aux meilleures références est notable, mais il reste à relativiser. Il provient d'une évaluation en simulation, sur seulement cinq tâches de comparaison externe, et RLBench est un banc d'essai académique qui ne reflète ni le bruit des capteurs ni la variabilité d'un site industriel. Rien dans l'abstract ne dit que le modèle a été testé sur un robot réel, ni quel coût de calcul impose un transformeur de diffusion vidéo à l'inférence, deux points décisifs pour un intégrateur. Ce travail s'inscrit dans la montée des modèles d'action du monde, qui reprennent les modèles génératifs vidéo pour le contrôle robotique, en concurrence avec les VLA (vision-language-action) classiques de type Pi-0 ou GR00T, qui prédisent directement des actions sans modéliser l'évolution de la scène. La limite de ces WAM, que XGenAct cherche à corriger, est leur supervision centrée sur le RGB. Il s'agit d'une préimpression : elle n'a pas été relue par des pairs et aucun code, jeu de données ni calendrier de déploiement n'est mentionné dans l'abstract. Les prochaines étapes à surveiller sont la validation sur robot physique, la mesure de la latence en boucle fermée et la reproduction des résultats par d'autres laboratoires sur des benchmarks plus variés que RLBench.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

WorldScape Policy 2.0 : vers une modélisation d'action du monde pilotable grâce à une mémoire enrichie par le raisonnement

À lire aussi

3D-MoE : vers une intelligence spatiale par mélange d'experts pour le raisonnement 3D et la génération d'actions

Réglementer la planification par modèle du monde grâce au raisonnement juridique

RoboPilot : manipulation robotique dynamique généralisable grâce à un double mode de raisonnement

XGenAct : des modèles d'action du monde enrichis par la géométrie grâce à la génération inter-tâches