Aviation autonome : évaluation zéro-shot des…

1arXiv cs.RO

Évaluation de l'adaptation zéro-shot et one-shot des petits modèles de langage pour l'interaction leader-suiveur

Une équipe de chercheurs a publié une évaluation comparative de petits modèles de langage (SLMs) pour la classification de rôles en interaction humain-robot, avec un focus sur le paradigme leader-suiveur. L'étude, diffusée sur arXiv (2602.23312v3), porte sur Qwen2.5-0.5B, un modèle de seulement 500 millions de paramètres. Les chercheurs ont construit un benchmark original à partir d'une base de données existante, enrichie d'échantillons synthétiques pour capturer les dynamiques propres aux échanges leader-suiveur. Deux stratégies d'adaptation ont été testées, prompt engineering et fine-tuning, évaluées en modes zero-shot et one-shot, comparées à un modèle non entraîné. Le résultat le plus notable : le fine-tuning zero-shot atteint 86,66 % de précision en classification, avec une latence de 22,2 ms par échantillon. En revanche, les modes one-shot dégradent les performances, la longueur de contexte accrue dépassant la capacité architecturale du modèle. Ces résultats ont une portée directe pour les intégrateurs de robots mobiles et assistifs fonctionnant à la périphérie du réseau, là où le déploiement de LLMs complets (70B+) est hors de portée en raison des contraintes de mémoire, de puissance et de latence. La démonstration qu'un SLM fine-tuné peut assigner des rôles conversationnels en temps réel avec moins de 25 ms de délai est un argument concret contre le réflexe "plus grand est meilleur". Elle valide aussi l'approche par fine-tuning ciblé plutôt que par ingénierie de prompt pour des tâches de classification embarquées, ce qui simplifie le pipeline de déploiement sans dépendre d'un serveur distant. Le paradigme leader-suiveur est fondamental dans les applications HRI : robots de guidage, assistance à la mobilité, plateformes collaboratives. Les LLMs comme LLaMA ou Mistral ont démontré des capacités de dialogue naturel, mais leur taille les confine au cloud. L'essor des SLMs optimisés, Qwen2.5, Phi-3, Gemma-2B, ouvre une nouvelle piste pour l'embarqué. L'étude identifie cependant une limite critique : la gestion du contexte long reste un goulot d'étranglement pour les modèles sous le milliard de paramètres, ce qui restreint les interactions multi-tours. Les prochaines étapes naturelles sont l'évaluation sur matériel embarqué réel (Jetson, Raspberry Pi 5) et l'extension à des architectures légèrement plus larges pour tester si le compromis contexte-précision se déplace.

RecherchePaper

1 source

2arXiv cs.RO

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable. L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier. Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

Des chercheurs présentent sur arXiv Recova, un cadre logiciel piloté par un agent qui traite les échecs de manipulation robotique, ces situations où la scène se retrouve dans un état dont la politique de tâche ne peut plus sortir. Le système développe conjointement l'exécution de la tâche et la récupération dans un jumeau numérique reconstruit de la scène. L'agent y diagnostique les pannes, teste des programmes correctifs et collecte des trajectoires réussies, pour la tâche comme pour la récupération, destinées à entraîner deux politiques distinctes. En déploiement, il surveille la progression, déclenche une récupération apprise ou programmée, vérifie que la scène est restaurée, puis reprend la tâche. Si aucune récupération adaptée n'existe, une démonstration humaine règle le cas et alimente la boucle d'apprentissage. Les essais réels et les démonstrations sont routés vers la politique concernée pour un entraînement DAgger. Sur six configurations LIBERO-Pro et quatre catégories MolmoSpaces, Recova atteint 78,8 % et 64,9 % de succès moyen, contre 71,7 % et 38,0 % pour les meilleures méthodes de référence. Sur quatre postes robotisés réels collectant en parallèle, le fine-tuning DAgger fait passer le succès moyen de 23,8 % à 77,5 %, et les compétences de récupération le portent à 87,5 %. Sur une tâche donnée, l'intervention humaine observée tombe de 87,5 % à 0 % en quatre cycles de collecte. L'enjeu dépasse la robustesse brute. La plupart des politiques VLA et des pipelines d'imitation sont évalués sur des trajectoires nominales, alors que le coût opérationnel d'un robot en production tient largement à ce qui se passe après l'échec : objet tombé, scène désordonnée, nécessité d'un opérateur. Recova propose de transformer chaque panne en capacité réutilisable et de réduire progressivement la supervision humaine, ce qui répond directement à la question du coût de téléopération et d'assistance à distance pour les intégrateurs et les exploitants. Le résultat le plus parlant est l'écart sur MolmoSpaces (64,9 % contre 38,0 %), plus marqué que sur LIBERO-Pro. Des réserves s'imposent toutefois : l'évaluation réelle repose sur peu de postes et de tâches, la baisse de l'intervention à 0 % ne concerne qu'une seule tâche, et rien n'est dit sur les temps de cycle, les coûts de reconstruction du jumeau numérique ou la généralisation à des scènes très différentes. Il s'agit d'un travail de recherche, sans produit livré ni déploiement industriel. Le travail s'inscrit dans la convergence entre agents LLM de planification, jumeaux numériques pour la génération de données et apprentissage par correction de type DAgger, une voie explorée pour limiter la dépendance à la collecte massive de démonstrations. Il se positionne face aux approches de fine-tuning de VLA et de simulation à grande échelle que poursuivent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui misent surtout sur davantage de données plutôt que sur une récupération explicite des échecs. LIBERO-Pro et MolmoSpaces servent ici de bancs d'essai standardisés. La suite logique serait de valider l'approche sur davantage de tâches, de postes et de durées d'exploitation, et de mesurer ses gains en conditions de production, ce que la page projet de l'équipe, liuisabella.com/Recova, ne détaille pas à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Test-Time Scaling pour les modèles d'action du monde via évaluation géométrique zéro-shot

Le 24 juillet 2026 des chercheurs ont publié sur arXiv (2607.17454) une méthode d'allocation de calcul au moment de l'inférence pour les World Action Models (WAM), ces modèles robotiques qui prédisent à la fois un segment d'actions et les observations futures qui en découlent. La technique, sans entraînement supplémentaire, sélectionne la meilleure parmi plusieurs trajectoires générées (Best-of-N, avec N=8) en évaluant la cohérence géométrique des observations futures prédites entre plusieurs points de vue, grâce à un modèle de fondation géométrique figé qui vérifie la reprojection de profondeur. Une seconde version ajoute une porte de déclenchement légère qui ne lance cet échantillonnage supplémentaire que si la trajectoire initiale semble incohérente. Testée sur cinq combinaisons de benchmarks et de modèles (RoboCasa, LIBERO Long et RoboTwin 2.0), la méthode à budget fixe améliore le taux de réussite dans tous les cas, faisant passer la moyenne du groupe RoboCasa de 66,3% à 68,4% avec Cosmos Policy, et de 80,8% à 82,5% avec X-WAM. La version avec porte de déclenchement conserve en moyenne 74,8% du gain obtenu par la version systématique, tout en ne déclenchant un échantillonnage additionnel que sur 26,2% des décisions. L'enjeu dépasse le simple gain de score: la méthode traite un problème concret pour le déploiement de robots pilotés par des modèles vision-langage-action (VLA), celui de décider en temps réel si dépenser plus de calcul avant d'exécuter un geste vaut le coût en latence. Contrairement aux approches classiques de test-time scaling qui nécessitent un signal de récompense ou une étiquette de tâche, ce sélecteur fonctionne sans supervision, uniquement à partir de la cohérence géométrique des futurs prédits. C'est un signal utile pour les intégrateurs qui cherchent à fiabiliser des politiques VLA en production sans réentraînement, et une preuve que l'écart entre démonstration et fiabilité réelle peut être réduit par du calcul additionnel bien ciblé plutôt que par un modèle plus gros. Les auteurs situent leur travail dans la lignée des World Models robotiques récents, qui couplent prédiction du futur visuel et génération d'actions, à l'image de Cosmos Policy ou X-WAM utilisés ici comme architectures de base. L'article documente aussi un mode d'échec: certaines trajectoires reçoivent un score de cohérence faussement bas, ce qui explique pourquoi les gains de performance plafonnent, voire se dégradent, quand on augmente excessivement le nombre de trajectoires échantillonnées N. Cette limite ouvre la voie à des travaux futurs sur des métriques de sélection plus robustes.

RechercheActu

1 source

Aviation autonome : évaluation zéro-shot des agents MLLM au niveau mission

À lire aussi

Évaluation de l'adaptation zéro-shot et one-shot des petits modèles de langage pour l'interaction leader-suiveur

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

Test-Time Scaling pour les modèles d'action du monde via évaluation géométrique zéro-shot