RecherchearXiv cs.RO 21 septembre 2026

PIVOT : navigation de robots de terrain grâce à un modèle vision-langage pour évaluer la praticabilité hors-piste

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PIVOT (Physically Informed Vision-Language Off-Road Traversability), un système de navigation pour robots terrestres combinant planification géométrique classique et raisonnement sémantique fondé sur un modèle vision-langage (VLM). Publiée sur arXiv (2609.20983v1), l'architecture retient deux niveaux : la planification géométrique reste le mode par défaut, rapide à calculer, et le VLM n'est sollicité pour un replanning sémantique que lorsque cette méthode échoue à trouver un chemin. Pour ancrer les prédictions du VLM dans la réalité physique, les auteurs mesurent la corrélation entre le coût énergétique de franchissement estimé par le modèle, les vibrations relevées sur le robot et le glissement des roues, puis construisent un score de franchissabilité unifié pondérant chaque modalité selon sa corrélation avec les mesures réelles. Le système a été testé sur cinq essais répétés en boucle fermée, sur un parcours de terrain mixte totalisant environ 6,4 kilomètres. Comparé à une navigation purement géométrique, PIVOT fait passer le taux d'autonomie de 59,6% à 97,0%, réduit les interventions humaines de 11 à 3, et porte la distance moyenne entre interventions de 69,2 à 412,9 mètres.

Ces résultats visent un problème concret pour les robots de terrain agricoles, militaires ou d'exploration : les planificateurs purement géométriques, qui jugent la franchissabilité à partir de la seule géométrie (pente, hauteur d'obstacles), sont souvent trop prudents en environnement non structuré, écartant des chemins en réalité praticables faute de comprendre la nature du sol, herbe haute, gravier meuble ou feuilles mortes. En couplant le VLM à des mesures physiques réelles plutôt qu'en traitant ses jugements comme fiables par défaut, les auteurs répondent à une critique récurrente sur l'écart entre démonstrations et fiabilité en conditions réelles. La quasi-triplication de la distance entre interventions suggère qu'un raisonnement sémantique par VLM peut s'intégrer à moindre coût de calcul dans des piles de navigation existantes, sans remplacer la planification géométrique éprouvée, un argument qui parlera aux intégrateurs de robots agricoles ou de logistique tout-terrain cherchant à réduire la supervision humaine.

Ce travail s'inscrit dans la tendance plus large d'hybridation entre modèles vision-langage et robotique de terrain, où plusieurs équipes de recherche explorent l'usage de VLM pour la sémantique de scène sans disposer encore de standards communs d'évaluation. La contribution principale de PIVOT est méthodologique : quantifier empiriquement la fiabilité des prédictions d'un VLM avant de les exploiter pour la décision, plutôt que de les supposer correctes. Les auteurs ne mentionnent ni calendrier de déploiement commercial ni partenariat industriel ; il s'agit à ce stade d'une publication de recherche, dont la suite logique serait une validation sur une flotte plus large et des terrains plus variés.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots

Une équipe de chercheurs a présenté VISOR, un oracle de test automatisé pour la robotique basé sur des modèles vision-langage (VLM). Publiée sur arXiv (2605.10408), la méthode vise à résoudre ce que le domaine nomme le "problème de l'oracle de test" : déterminer automatiquement si un robot a accompli une tâche de manière correcte et avec une qualité suffisante. Jusqu'ici, deux approches coexistaient : les oracles symboliques, limités à des jugements binaires pass/fail et spécifiques à chaque tâche, et l'évaluation humaine manuelle, coûteuse, subjective et sujette aux erreurs. VISOR s'appuie sur GPT (OpenAI) et Gemini (Google) pour évaluer à la fois la correction et la qualité d'exécution, et pour quantifier son propre niveau d'incertitude lors des assessments. Le système a été validé sur plus de 1 000 vidéos couvrant quatre tâches robotiques distinctes. Les résultats montrent des profils contrastés : Gemini obtient un meilleur rappel (recall), identifiant davantage de vraies défaillances, tandis que GPT affiche une meilleure précision avec moins de faux positifs. Ces résultats nuancent l'idée d'un VLM universellement fiable comme juge de comportements robotiques. Plus problématique : les deux modèles présentent une faible corrélation entre leur score d'incertitude auto-déclaré et la correction réelle de leurs jugements. L'incertitude ne peut donc pas servir d'indicateur fiable pour filtrer les erreurs d'évaluation, ce qui est une limite directe pour tout déploiement en pipeline de test continu, où un tel signal de fiabilité serait précieux. Le "problème de l'oracle de test" est une problématique classique du génie logiciel, qui prend une dimension particulière en robotique physique : les comportements y sont continus, bruités et difficiles à formaliser symboliquement. L'approche VLM-as-judge, popularisée dans l'évaluation des LLMs textuels via des benchmarks comme MT-Bench ou AlpacaEval, est ici transposée à des sorties vidéo de robots, ce qui constitue une extension non triviale. Des travaux concurrents explorent des métriques spécifiques aux tâches ou des simulateurs avec vérification formelle, mais VISOR mise sur la généralité au détriment d'une calibration encore insuffisante. La prochaine étape identifiée par les auteurs est précisément d'améliorer cette corrélation incertitude-correction, condition nécessaire avant toute intégration dans un pipeline CI/CD robotique.

RecherchePaper

1 source

2arXiv cs.RO

Pulvérisation adaptative de pesticides pour robots agricoles selon la météo et le terrain, grâce aux modèles vision-langage

Des chercheurs proposent, dans une préimpression arXiv (2610.08807), un cadre de pulvérisation adaptative pour robots agricoles fondé sur des modèles vision-langage (VLM). Le système fusionne plusieurs sources : le type de culture identifié par la caméra, le type de pesticide appliqué et les données météorologiques, notamment la température et la vitesse du vent. À partir de ces entrées, le VLM raisonne spatialement et décide du volume de produit à pulvériser et de la vitesse d'avance. L'exécution repose sur un contrôleur de suivi de trajectoire de type MPPI (Model Predictive Path Integral), qui assure la navigation le long des rangs et le déclenchement précis de la pulvérisation aux emplacements des plants. Les auteurs annoncent un gain de précision d'au moins 30 % dans la détection des rangs de culture par rapport aux méthodes comparées. Deux environnements d'essai ont montré que le robot ajuste son volume de pulvérisation et sa vitesse, avec une réduction de la dérive des pesticides. Le résumé ne donne ni le nom du robot, ni les modèles de VLM utilisés, ni les surfaces testées, ni les volumes économisés. L'intérêt tient au déplacement du problème. La plupart des robots de pulvérisation de précision se concentrent sur la détection des cultures et appliquent ensuite des paramètres fixes, définis à l'avance. Un opérateur humain, lui, module sa dose et son allure selon le vent, la chaleur, la parcelle et le produit, car ces variables déterminent la dérive, l'uniformité du dépôt et donc l'efficacité du traitement. Utiliser un VLM comme couche de décision contextuelle revient à tester si ce raisonnement de « bon sens agronomique » peut être confié à un modèle généraliste, sans règles codées à la main pour chaque combinaison culture, produit et météo. Pour les constructeurs et les exploitants, l'enjeu est double : moins de produit phytosanitaire gaspillé ou emporté hors parcelle, et une pression réglementaire à la baisse sur les intrants. Les limites sont à garder en tête. Le gain de 30 % porte sur la détection des rangs, pas sur la qualité agronomique du traitement. Les résultats de deux environnements d'essai ne disent rien de la robustesse en conditions réelles, ni de la latence d'inférence d'un VLM embarqué, ni de la fiabilité face à des erreurs de raisonnement du modèle sur des doses de produits chimiques. Ce travail s'inscrit dans la convergence entre robotique agricole et modèles fondationnels, déjà visible dans la manipulation avec les VLA (vision-language-action). Il côtoie des acteurs commerciaux de la pulvérisation ciblée, comme Carbon Robotics avec le désherbage laser, Blue River (John Deere) avec See & Spray, ou, en Europe, des acteurs comme Naïo Technologies ou FarmDroid, qui misent sur la détection plutôt que sur l'adaptation contextuelle. MPPI, méthode de contrôle par échantillonnage, est un choix répandu pour la navigation robuste en terrain irrégulier. Les prochaines étapes logiques seraient des essais en plein champ sur plusieurs saisons, une comparaison chiffrée avec des opérateurs humains et une mesure directe de la dérive et de la consommation de produit. À ce stade, il s'agit d'une démonstration académique, sans produit ni pilote annoncé.

UEIntérêt indirect pour la robotique agricole européenne (Naïo Technologies, FarmDroid) et la réduction des intrants phytosanitaires, mais il s'agit d'une démonstration académique sans acteur ni pilote européen.

RecherchePaper

1 source

3arXiv cs.RO

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs. Les chercheurs publient 22 500 trajectoires oracle couvrant 10 types de mémoire, aux formats RLDS et LeRobotDataset v3. Une baseline de référence π0.5, avec images courantes et proprioception mais sans historique d'observations ni module de mémoire explicite, est affinée sur 14 tâches et atteint 0,211 ± 0,044 de succès moyen. L'intérêt tient à un angle mort de l'évaluation actuelle. La plupart des VLA ne voient que une ou quelques images récentes, et les benchmarks courants récompensent surtout des comportements réactifs, ce qui peut masquer l'absence totale de mémoire. En distinguant tâches à mémoire et contrôles réactifs, le benchmark permet d'isoler cette faiblesse plutôt que de la confondre avec un défaut de perception ou de contrôle. Pour les intégrateurs et décideurs B2B, c'est un rappel que les démonstrations de manipulation longue durée (assemblage multi-étapes, tri avec conditions cachées, reprise après occlusion) ne disent pas grand-chose de la capacité d'un modèle à retenir ce qu'il ne voit plus. Le score de 0,211 est toutefois à lire avec prudence : il ne porte que sur 14 tâches, et les auteurs reconnaissent eux-mêmes que le moindre succès sur les tâches de la catégorie Long est brouillé par le « chunking » en boucle ouverte et par la composition des types de mémoire de ce sous-ensemble. Il ne prouve donc pas, à lui seul, que la mémoire explique l'écart. Ce travail prolonge la lignée MIKASA-Robo, centrée sur la mémoire en manipulation, et s'inscrit dans le mouvement de standardisation des données robotiques autour de RLDS et de LeRobot, l'écosystème porté notamment par Hugging Face, avec une compatibilité v3 qui facilite la réutilisation. π0.5, de Physical Intelligence, sert de référence, mais aucun résultat n'est publié pour des architectures dotées d'historique ou de mémoire explicite, qui seraient les comparaisons naturelles. La suite logique, que le papier laisse ouverte, serait d'évaluer ces variantes sur l'ensemble des 90 tâches. Le jeu de données et la page du projet sont déjà disponibles, ce qui permet à d'autres laboratoires de tester leurs propres modèles. Il s'agit d'un benchmark de simulation, sans déploiement industriel associé.

RecherchePaper

1 source

4arXiv cs.RO

VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens

Une équipe de chercheurs a publié sur arXiv, le 18 septembre 2026 (référence 2609.20191), une étude décrivant "VLN on the Fly", une pile logicielle de navigation par instructions en langage naturel (vision-language navigation, VLN) fonctionnant intégralement à bord d'un robot aérien. Le système enchaîne quatre étages distincts et inspectables plutôt qu'un unique réseau de bout en bout : un modèle vision-langage (VLM) quantifié associe l'instruction textuelle à une cellule grossière de l'image caméra, la carte de profondeur convertit cette cellule en un objectif 3D, un planificateur de trajectoire rapide basé sur des splines B calcule un chemin faisable, puis une politique d'apprentissage par renforcement préentraînée traduit cette trajectoire en commandes moteur pour des quadricoptères. Sur 15 vols embarqués testant trois objets de référence du quotidien dans un volume intérieur contrôlé, le drone atteint sa cible dans 13 cas sur 15, avec une erreur moyenne de 5,72 cm par rapport à l'objectif et une utilisation moyenne du GPU embarqué de 39,3 %. Six essais supplémentaires en environnement encombré montrent des trajectoires sans collision grâce à un filtrage de la perception embarquée. L'intérêt de ces travaux tient à la contrainte de calcul propre aux drones, bien plus sévère que sur des robots au sol ou humanoïdes : grounding, planification et contrôle doivent se partager une puissance embarquée limitée, et une erreur dans un pipeline fusionné en un seul réseau (comme le font la plupart des politiques VLA de bout en bout) est difficile à isoler en vol. En conservant des étages séparés et observables, l'équipe défend une architecture plus sûre et plus facile à diagnostiquer, au prix probable d'une latence ou d'une flexibilité moindre qu'une politique end-to-end. Le chiffre de 39,3 % d'utilisation GPU suggère une marge de calcul disponible, preuve que l'exécution embarquée complète reste viable sans déport vers une station sol ou le cloud, un point clé pour les intégrateurs de drones d'inspection ou de logistique intéressés par un pilotage vocal ou textuel autonome. Il faut toutefois noter la portée limitée de la démonstration : 15 vols, trois objets, un environnement intérieur contrôlé, et un taux d'échec de 2 essais sur 15, loin d'un déploiement industriel validé. Ces travaux s'inscrivent dans le débat plus large opposant les architectures VLA de bout en bout, popularisées par des modèles comme Pi-0 ou GR00T N2 sur des plateformes au sol, à des pipelines modulaires jugés plus sûrs pour des systèmes critiques comme les drones volant à proximité d'humains ou d'obstacles. Aucun acteur français ou européen n'est mentionné dans cette étude, qui reste un prototype de recherche sans annonce de partenariat industriel ni de calendrier de déploiement commercial. Les essais en environnement encombré laissent entrevoir une prochaine étape vers des scénarios plus réalistes, mais aucun pilote opérationnel n'est pour l'instant annoncé.

RecherchePaper

1 source