RecherchearXiv cs.RO 30 juin 2026

AERMANI-VLM : prompting structuré et raisonnement pour la manipulation aérienne avec des modèles vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AERMANI-VLM est un cadre logiciel publié sur arXiv (arXiv:2511.01472v2) conçu pour piloter des manipulateurs aériens (drones équipés de bras robotiques) à partir de commandes en langage naturel, sans réentraînement spécifique à la tâche. Le système décompose le problème en deux couches : un modèle de vision-langage (VLM) pré-entraîné génère un raisonnement pas-à-pas en réponse à des instructions textuelles enrichies de contraintes de sécurité, puis sélectionne parmi une bibliothèque prédéfinie de primitives de vol pour exécuter physiquement l'action. Les auteurs revendiquent une première mondiale dans l'adaptation de VLMs généralistes à la manipulation aérienne sans fine-tuning. Le cadre a été validé en simulation et sur matériel réel sur des tâches pick-and-place multi-étapes, avec généralisation à des objets, commandes et environnements non vus à l'entraînement. Aucun taux de succès chiffré n'est communiqué dans la publication.

L'enjeu central qu'AERMANI-VLM cherche à résoudre est le problème des hallucinations dans les systèmes de contrôle robotique basés sur des VLM. Un drone en vol ne tolère pas des commandes incohérentes ou dynamiquement infaisables : une sortie erronée du modèle peut provoquer une chute. En séparant explicitement le raisonnement symbolique du contrôle physique, et en contraignant les sorties à une bibliothèque de primitives flight-safe, les chercheurs contournent ce risque sans modifier les poids du modèle fondation. C'est une alternative architecturale aux approches de fine-tuning type Pi-0 (Physical Intelligence) ou GR00T N2 de NVIDIA, plus légère à déployer mais dont l'extensibilité dépend entièrement de la qualité et de l'exhaustivité de la bibliothèque de compétences. La généralisation annoncée reste à confirmer au-delà du pick-and-place, l'une des tâches les plus simples en manipulation robotique.

La manipulation aérienne reste un domaine de recherche confidentiel, distinct des humanoïdes terrestres ou des bras industriels à grande série, mais porteur d'applications en inspection d'infrastructures, logistique en hauteur et défense. AERMANI-VLM s'inscrit dans la tendance des architectures dites "skill library + LLM planner", popularisées par SayCan (Google DeepMind, 2022) et déclinées depuis dans de nombreux contextes robotiques. L'avantage du zero-shot sans collecte de données de démonstration est réel, mais l'approche suppose une bibliothèque de primitives couvrant l'ensemble des comportements attendus, une contrainte de conception souvent sous-estimée en conditions réelles. Les prochaines étapes attendues pour ce type de système incluent des validations en extérieur, des tâches de manipulation plus complexes et la publication de métriques quantitatives sur des benchmarks standardisés.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion

1 source

2arXiv cs.RO

AeroManip-VLA : apprentissage vision-langage-action (VLA) à grande échelle pour la manipulation aérienne, avec des démonstrations générées par apprentissage par renforcement

Des chercheurs publient sur arXiv (2609.36915v1) AeroManip-VLA, un benchmark pour générer des données d'entraînement et évaluer des modèles Vision-Language-Action (VLA) sur des manipulateurs aériens, c'est-à-dire des drones équipés de bras ou de préhenseurs. L'ensemble repose sur un simulateur accéléré par GPU, avec un contrôle bas niveau du vol et de la manipulation qui tient compte de la charge utile (payload), et sur des environnements massivement parallèles. Les démonstrations ne sont pas collectées par téléopération. Elles sont produites automatiquement en combinant des politiques d'apprentissage par renforcement réutilisables et des règles de tâche définies par des experts, avec des objets, des environnements et des conditions initiales randomisés. Le jeu de données couvre des compétences de base (saisir, déposer) et des tâches longues qui associent navigation et manipulation. Les auteurs ajoutent un étiquetage automatique des événements et une catégorisation des trajectoires pour filtrer les démonstrations. Plusieurs références d'imitation learning et de VLA sont évaluées selon différents réglages de tâche, avec une analyse de leurs performances et de leurs modes de défaillance. Le résumé ne donne aucun chiffre : ni taille du jeu de données, ni taux de réussite, ni nom des modèles testés. Aucun essai sur drone réel n'y est mentionné. L'intérêt tient à un verrou concret. Les VLA ont progressé sur les bras fixes et les humanoïdes, mais le drone manipulateur pose des problèmes propres : le vol et la manipulation sont fortement couplés, les observations changent en continu et les interactions physiques sont critiques pour la sécurité. Collecter des démonstrations ou tester des politiques directement sur des plateformes aériennes coûte cher, passe mal à l'échelle et se répète difficilement dans des conditions contrôlées. Un pipeline entièrement simulé, sans téléopérateur, vise à lever ce goulot. L'étiquetage des échecs liés à la sécurité (collisions, perte de stabilité) est utile aux intégrateurs, qui doivent qualifier un comportement avant de le déployer. La réserve est classique : tant que le transfert simulation-réel n'est pas démontré, la valeur du benchmark reste conditionnée à la fidélité de la simulation. Le résumé parle d'évaluation « avant déploiement réel », pas de déploiement réel. Ce travail s'inscrit dans la vague de recherche qui étend les VLA au-delà de la manipulation au sol, avec des jeux de données synthétiques générés par apprentissage par renforcement en substitut à la téléopération, démarche déjà répandue pour les bras et les humanoïdes. La manipulation aérienne intéresse l'inspection et la maintenance d'infrastructures en hauteur, où l'accès pour les robots au sol est difficile. Il s'agit d'une publication de recherche et non d'un produit : aucun partenaire industriel, calendrier de pilote ou prix n'est annoncé. La suite logique serait la publication du code et des données, puis des validations sur plateformes physiques. Ce sont elles qui diront si les écarts observés en simulation se retrouvent en vol.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source

4arXiv cs.RO

Raisonnement probabiliste calibré des obstructions par modèles vision-langage pour la préhension en environnement encombré

Un preprint publié sur arXiv (2609.18718v1) présente CPOR-Grasp, un système de raisonnement probabiliste calibré pour la préhension d'objets en environnement encombré. Face à une cible partiellement cachée, il doit choisir entre la saisir directement, retirer un objet qui la bloque, ou différer la décision. Plutôt que de figer une seule interprétation de la scène, CPOR-Grasp calibre et fusionne les signaux d'un modèle vision-langage, de la profondeur et de masques amodaux pour construire une distribution sur les graphes d'obstruction possibles, en ne gardant que les plus probables et en bornant mathématiquement la probabilité écartée. Sur le benchmark UNOBench, en scènes synthétiques et réelles, avec Gemini Robotics comme backbone VLM, l'erreur de calibration chute de 0,1416 à 0,0185, l'inférence tronquée égale l'inférence exacte sur 99,74% des décisions avec 56 fois moins de graphes, et le taux de réussite réel atteint 77,8%, devant les meilleures méthodes existantes. Le tri en entrepôt, le bin-picking industriel et les bras montés sur robots mobiles autonomes (AMR) butent régulièrement sur ce problème : les VLM utilisés pour interpréter une scène encombrée produisent des scores de confiance mal calibrés, souvent trop optimistes, et des relations d'obstruction incohérentes entre elles. Une décision fondée sur une seule hypothèse fausse entraîne casse, chute d'objet ou échec de tâche, ce qui pèse sur le taux de succès en production, loin des vidéos de démonstration sélectionnées. En rendant l'incertitude explicite et en autorisant l'ajournement d'une action plutôt que la décision forcée, CPOR-Grasp montre qu'un VLM commercial performant comme Gemini Robotics reste surconfiant sans calibration statistique dédiée, un point utile pour qui construit un pipeline de préhension autour d'un VLM générique. Ce travail s'inscrit dans la vague d'approches robotiques qui s'appuient sur des VLM préentraînés pour le raisonnement de haut niveau plutôt que sur des pipelines de perception spécialisés, dans la lignée de modèles vision-langage-action comme Pi-0 ou GR00T N2, davantage orientés vers l'exécution de bout en bout. UNOBench sert ici de banc d'essai dédié à la désobstruction avant saisie, un sous-problème distinct mais complémentaire de ces architectures généralistes. Publié comme contribution de recherche, sans partenariat industriel annoncé, CPOR-Grasp n'est comparé pour l'instant qu'à des bases de référence académiques ; une intégration sur bras robotique réel en entrepôt et une confrontation aux piles de préhension propriétaires du secteur restent les étapes suivantes attendues.

RecherchePaper

1 source