MotionWAM : vers des modèles fondation…

1arXiv cs.RO

FlowPilot : modélisation monde-action en temps réel pour la navigation agile de drones

Des chercheurs présentent FlowPilot, un modèle compact de navigation temps réel pour drones, fonctionnant entièrement à bord à partir d'un flux de profondeur. Contrairement aux pipelines classiques qui reconstruisent une carte locale avant d'optimiser une trajectoire, ou aux politiques bout-en-bout sans prédiction de scène, FlowPilot débruite conjointement les observations de profondeur futures et les trajectoires exécutables via du flow matching. L'architecture associe un mélange de transformeurs à double flux, où un expert vidéo et un expert action partagent l'attention pour s'informer mutuellement. Au déploiement, seul le flux d'action est actif : le système produit une trajectoire paramétrée en polynômes de Bernstein de degré 7, l'état courant fixant les points de contrôle initiaux et le réseau prédisant cinq points libres, garantissant une continuité C² avec vitesse, accélération et jerk en forme close. Le modèle est entraîné sur une pyramide de données à trois niveaux (simulation haut débit, simulation photoréaliste, données réelles embarquées). En simulation, il surpasse les méthodes d'apprentissage et d'optimisation concurrentes face à un encombrement croissant et des vitesses jusqu'à 8 m/s. Sur un quadricoptère physique, le pipeline perception-action complet tourne en moins de 18 ms sur un Jetson Orin NX, avec des vols jusqu'à 5,5 m/s en intérieur encombré et en forêt, sans assistance extérieure. Cette démonstration cible un point de friction connu de l'autonomie aérienne : l'écart entre performance en simulation et robustesse réelle en environnement encombré à haute vitesse. En fusionnant prédiction de scène et génération de trajectoire dans un seul modèle plutôt qu'en deux étages séparés, FlowPilot transpose à l'aérien une logique de "world-action model" jusqu'ici surtout explorée en manipulation robotique au sol. Le budget de calcul, 18 ms de bout en bout sur du matériel embarqué léger, intéresse directement les intégrateurs d'inspection industrielle ou de logistique par drone, où poids et consommation du calculateur restent contraignants. L'écart entre les 8 m/s simulés et les 5,5 m/s atteints en vol réel rappelle toutefois que la validation reste celle d'un seul papier académique, sans comparaison indépendante ni déploiement commercial. Ce travail s'inscrit dans la recherche sur la navigation de drones par apprentissage, où les approches oscillent entre cartographie-puis-optimisation et politiques bout-en-bout. Les modèles par flow matching, popularisés récemment en génération d'image et en robotique de manipulation à l'image des politiques VLA telles que Pi-0 ou GR00T N2, sont ici transposés à la navigation aérienne pour produire des trajectoires lisses et dynamiquement réalisables. Publié sur arXiv fin juillet 2026 en prépublication non relue par les pairs, l'article ne mentionne aucune affiliation industrielle ni calendrier commercial. Les suites attendues porteraient sur l'extension à des vitesses et environnements plus variés, et sur une comparaison indépendante face aux meilleures méthodes de navigation par optimisation déjà déployées sur drones commerciaux.

IA physiqueActu

1 source

2NVIDIA Developer Blog

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Un courant de recherche en robotique met en avant les « World Action Models » (WAM) comme prolongement des modèles Vision-Language-Action (VLA) utilisés pour la manipulation. Le problème central est la généralisation : une politique entraînée par démonstrations réussit dans la scène d'apprentissage mais échoue dès que la forme des objets, leur position ou l'éclairage changent. Généraliser exige que le modèle comprenne la physique sous-jacente de la tâche plutôt que d'imiter les démonstrations, une capacité qui proviendrait du backbone, l'architecture de base du modèle d'action. Cette reformulation compte pour les intégrateurs et décideurs B2B car elle interroge l'approche dominante depuis deux ans, fondée sur le clonage de comportement à partir de larges jeux de démonstrations. Si la généralisation réelle suppose une compréhension physique plutôt qu'une simple imitation, les architectures purement VLA risquent de buter sur le même écart entre démonstration et déploiement réel déjà observé sur le terrain. Pour un secteur qui vise à industrialiser la manipulation au-delà de scénarios scriptés, cette piste remet en cause l'hypothèse selon laquelle accumuler données et paramètres suffit à résoudre le passage de la simulation au réel. Les VLA se sont imposés ces dernières années comme paradigme dominant pour piloter bras robotisés et humanoïdes, avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Les World Action Models s'inscrivent en complément ou en alternative, en cherchant à doter les politiques d'un modèle du monde capable d'anticiper les conséquences physiques d'une action avant son exécution. Le contenu disponible ne mentionne ni déploiement, ni pilote industriel, ni calendrier précis, ce qui situe pour l'instant cette approche du côté de la recherche plutôt que du produit livré.

IA physiqueOpinion

1 source

3arXiv cs.RO

RynnWorld-4D : des modèles du monde incarnés en 4D pour la manipulation robotique

Des chercheurs (l'article ne précise pas d'affiliation institutionnelle dans le résume) publient sur arXiv, le 7 juillet 2026, RynnWorld-4D, un modèle génératif de monde en 4D pour la manipulation robotique. Le système produit simultanément, a partir d'une seule image RGB-D et d'une instruction en langage naturel, des images RGB futures, des cartes de profondeur et des flux optiques, le tout dans un unique processus de diffusion. Son architecture a trois branches combine attention cross-modale et RoPE 3D image par image pour que l'apparence visuelle, la géométrie et le mouvement évoluent de manière cohérente. Pour l'entrainer, les auteurs ont constitue Rynn4DDataset 1.0, un jeu de données de plus de 254,4 millions d'images issues de vidéos de manipulation, a la fois humaines en vue égocentrique et robotiques, avec des pseudo-étiquettes de profondeur et de flux optique. Un module dérivé, RynnWorld-4D-Policy, exploite directement les représentations internes du modèle en un seul passage avant, sans les étapes couteuses de debruitage itératif, pour générer des actions robotiques en boucle fermée. L'intérêt de cette approche tient a l'hypothèse qu'elle teste: en combinant RGB, profondeur et flux optique plutôt qu'en travaillant sur de simples pixels 2D, la représentation obtenue se rapprocherait davantage des commandes bas niveau de l'effecteur, réduisant l'écart classique entre prédiction du monde et apprentissage de politique. Sur des taches réelles de manipulation bimanuelle dextérité, les auteurs rapportent des résultats a l'état de l'art, en particulier sur les taches exigeant précision spatiale et coordination temporelle, deux points ou les approches VLA généralistes butent souvent en conditions réelles. Il s'agit pour l'instant d'un travail de recherche publie en preprint, sans déploiement industriel ni produit commercialise. Il s'inscrit dans la lignée des modèles de monde appliques a la robotique, aux cotes d'approches comme GR00T N2 ou Pi-0, mais mise sur une fusion multimodale plus riche et un passage a l'échelle des données d'entrainement. Les prochaines étapes attendues concernent la généralisation a d'autres plateformes robotiques et la validation hors des benchmarks contrôles du laboratoire.

IA physiqueActu

1 source

4arXiv cs.RO

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables

Des chercheurs ont publié DeMaVLA, un modèle fondation de type Vision-Langage-Action (VLA) conçu pour la manipulation d'objets déformables, en particulier le pliage de vêtements. Annoncé en preprint arXiv (2605.31286, mai 2026), DeMaVLA couple un backbone VLM à un module appelé "action expert" qui génère des trajectoires continues par flow matching. Pour réduire les coûts d'entraînement et d'inférence, cet action expert est construit en élaguant une couche transformer sur deux du backbone, tout en préservant l'alignement entre les deux modules. Le modèle est d'abord pré-entraîné sur environ 5 000 heures de démonstrations bimanuals en conditions réelles, puis affiné via un pipeline DAgger (Data Aggregation) avec supervision humaine : des trajectoires correctives sont collectées à partir des échecs du robot sur plusieurs tâches de pliage, puis réinjectées en entraînement. Les résultats sont compétitifs sur le benchmark RoboTwin et solides sur un benchmark maison de pliage domestique. La plupart des systèmes VLA actuels entraînent des politiques séparées par catégorie d'objet (un réseau pour les t-shirts, un autre pour les pantalons), ce qui limite la généralisation et alourdit la maintenance. DeMaVLA propose une politique unifiée capable de traiter des vêtements de géométries, matières et états initiaux variés sans réentraînement par catégorie, ce qui est directement pertinent pour les intégrateurs en robotique domestique et logistique. Le recours au DAgger avec boucle humaine est aussi un signal industriel : les corrections issues des échecs du robot, structurées et réinjectées, améliorent concrètement la robustesse au-delà des seules démonstrations expertes. Cela valide l'hypothèse que les données correctives à grande échelle sont un levier clé pour réduire le sim-to-real gap sur des tâches à haute variabilité. La manipulation d'objets déformables reste l'un des problèmes ouverts les plus difficiles en robotique physique : contrairement aux objets rigides, un vêtement n'a pas d'état canonique stable, ce qui complique radicalement la planification et la perception. Plusieurs équipes travaillent sur ce terrain : Physical Intelligence avec Pi-0 (manipulation généraliste bimanuels), NVIDIA avec GR00T N2, et divers laboratoires académiques (Columbia, CMU) sur la manipulation textile. DeMaVLA se positionne sur le créneau des fondations multi-tâches déformables, en combinant pré-entraînement à grande échelle et fine-tuning correctif. Ce travail reste un preprint non encore évalué par les pairs, et les benchmarks maisons appellent à une validation indépendante. Les suites naturelles sont l'extension à d'autres objets déformables (câbles, sacs souples) et l'évaluation sur des plateformes robotiques commerciales en environnement non contrôlé.

IA physiqueOpinion

1 source

MotionWAM : vers des modèles fondation action-monde pour la loco-manipulation humanoïde en temps réel

À lire aussi

FlowPilot : modélisation monde-action en temps réel pour la navigation agile de drones

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

RynnWorld-4D : des modèles du monde incarnés en 4D pour la manipulation robotique

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables