RecherchearXiv cs.RO 30 juillet 2026

Vision-TL-Action : génération neuro-symbolique de trajectoires à partir d'observations visuelles et de logique temporelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Vision-TL-Action, une architecture neuro-symbolique qui génère des trajectoires robotiques directement à partir d'images multi-vues, d'un graphe de logique temporelle (TL) sans coordonnées explicites, et de l'état initial du robot, sans avoir besoin de la géométrie exacte des objets au moment de l'inférence. Les tokens représentant les nœuds de logique temporelle et les tokens visuels spatiaux sont fusionnés par attention croisée bidirectionnelle, et cette représentation conditionne un générateur de trajectoires par flow matching. Les tokens visuels ne sont enrichis que de coordonnées normalisées dans le plan image et d'identifiants de caméra, tandis qu'un objectif d'ancrage prédicat-région, utilisé seulement à l'entraînement, aide le modèle à relier les prédicats logiques aux objets référencés. Évalué avec la métrique Success@K (proportion de tâches réussies par au moins une trajectoire parmi K échantillonnées), le modèle atteint 67,45% de Success@1024 sur une tâche de manipulation avec bras Panda, contre 59,11% pour une référence "oracle" disposant de l'état géométrique exact. Sur une tâche de navigation AntMaze, il obtient 96,35% de Success@256, proche des 96,88% de l'oracle. Le code est publié sur GitHub (AricLau07/vision-tl-action).

L'intérêt tient au problème que ce travail contourne: les générateurs de trajectoires conditionnés par logique temporelle encodent généralement la géométrie exacte des objets dans le graphe de tâche, ce qui suppose une reconstruction 3D précise en amont, coûteuse et fragile en conditions réelles. Ici, un ancrage purement 2D dans le plan image suffit à égaler, voire dépasser, une référence disposant d'un accès privilégié à l'état du monde. Pour les intégrateurs qui conçoivent des systèmes de manipulation à partir de spécifications de tâches formelles, cela suggère qu'un pipeline vision-langage-action peut se passer d'une chaîne de perception 3D complète. À noter: ces résultats restent obtenus en simulation, sur des bancs d'essai standards (Panda, AntMaze), sans validation sur robot physique où le bruit de perception, les occlusions et les erreurs de calibration compliquent généralement ce type d'approche.

Ce travail s'inscrit dans le rapprochement croissant entre logique temporelle, utilisée de longue date en planification et vérification formelle, et les générateurs de trajectoires par flow matching ou diffusion qui sous-tendent des modèles vision-langage-action comme Pi-0, GR00T ou Helix. Les auteurs situent explicitement leur contribution par rapport aux méthodes existantes qui esquivent le problème de liaison perception-symbole en s'appuyant sur une géométrie exacte. Leurs études de résolution et d'intervention montrent que la finesse de l'ancrage spatial dépend du contenu sémantique et que l'identité du prédicat influence à la fois l'attention et la performance, ouvrant la voie à des travaux futurs sur des scènes multi-objets plus complexes et une validation sur robot réel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

STeP : logique temporelle de signaux pour des spécifications précises de génération d'actions avec des modèles vision-langage

Des chercheurs proposent STeP, un cadre hiérarchique qui relie les modèles vision-langage-action (VLA) à la logique temporelle de signaux (Signal Temporal Logic, STL), un formalisme mathématique servant à spécifier des contraintes spatiales, temporelles et logiques de façon précise et vérifiable. Concrètement, une politique de haut niveau s'appuie sur un modèle vision-langage pour décomposer une instruction en langage naturel en sous-tâches, générer pour chacune une spécification STL, puis choisir la politique de bas niveau adaptée à son exécution : soit un contrôle prédictif par modèle (MPC) guidé directement par les contraintes STL, soit une politique apprise dont l'exécution est surveillée en continu via ces mêmes contraintes, pour les comportements perceptuellement complexes ou impliquant des contacts physiques. Le système a été évalué sur un banc de manipulation de table en conditions réelles, avec replanification possible si une contrainte est violée en cours d'exécution. Il s'agit d'un article de recherche (arXiv, catégorie "new"), pas d'un produit commercialisé. L'enjeu dépasse la simple démonstration technique. Les modèles VLA génèrent des trajectoires impressionnantes en généralisation mais restent largement des boîtes noires, incapables de garantir qu'une instruction précise, du type "posez l'objet dans les 5 secondes sans dépasser telle zone", sera réellement respectée. Pour des intégrateurs industriels, cette absence de vérifiabilité formelle est un frein direct à l'adoption en environnement contraint, là où une simple démo vidéo ne suffit pas. En réintroduisant des méthodes formelles héritées du contrôle et de la vérification de systèmes cyber-physiques, ce travail illustre une tentative de combler l'écart entre le battage médiatique autour des VLA et des garanties d'exécution exploitables en production. Ce projet s'inscrit dans la lignée des modèles VLA récents (Pi-0, GR00T N2, Helix, RT-2 et dérivés) qui ont démontré la faisabilité de politiques génératives multi-tâches, mais sans mécanisme natif d'interprétabilité ni de contrôle formel. STeP se positionne comme une couche intermédiaire plutôt qu'un modèle concurrent. À ce stade, seule une validation en laboratoire sur tâches de table a été menée, aucun pilote industriel ni déploiement à plus grande échelle n'a été annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Préhension et levage aérien du corps entier à partir d'observations visuelles partielles

Des chercheurs publient sur arXiv (2610.00404) un cadre d'apprentissage permettant à un drone équipé d'un bras manipulateur et d'une pince de saisir puis soulever un objet à partir d'observations visuelles partielles. Une seule politique, entraînée entièrement en simulation, pilote simultanément le vol, le mouvement du bras et la fermeture de la pince, sans signal explicite de phase de tâche (approche, acquisition, levage). L'architecture repose sur un duo enseignant-élève récurrent. L'enseignant, doté d'informations privilégiées sur la cible, apprend par renforcement avec un curriculum d'états critiques. Celui-ci expose d'abord les phases d'acquisition et de levage, puis les raccorde aux trajectoires d'approche normales. L'élève visuel récurrent, auquel l'enseignant est distillé, remplace ces informations privilégiées par des nuages de points issus de deux vues et par la proprioception, et intègre l'historique des observations. Un objectif dédié à la fermeture supervise le moment de saisie à partir de séquences prolongées où la préparation est jugée atteinte par le modèle. Sur 8 996 épisodes simulés, l'élève figé atteint 99,97 % de succès sur la tâche complète en conditions nominales, 97,14 % avec physique et contrôle randomisés, et 95,84 % avec en plus des caméras randomisées. L'erreur d'alignement à l'acquisition (90e centile, moyenne pondérée par le nombre de verrouillages) est de 8,12 mm en nominal. Pour l'industrie, ce travail s'attaque à un verrou connu de la manipulation aérienne : l'enchaînement d'une approche, d'une saisie et d'un levage alors que la cible entre et sort du champ de vision. Le curriculum répond à un problème d'entraînement concret, car les échecs précoces d'approche privent la politique d'exemples des étapes tardives. La distillation vers une politique purement visuelle suggère une voie crédible pour des drones d'inspection, de logistique ou de maintenance en hauteur. Les chiffres demandent toutefois de la prudence. Ils proviennent d'un modèle simulé de saisie : verrouillage déclenché par condition, attachement virtuel et charge appliquée par torseur (wrench) pour de courts levages. Cela ne reproduit ni le contact réel, ni la dynamique du transport, ni le bruit des capteurs. Aucun essai sur matériel n'est mentionné dans le résumé, et le transfert sim-to-real reste donc à démontrer. La baisse d'environ 4 points sous randomisation des caméras indique déjà une sensibilité résiduelle aux perturbations de perception. Ce travail s'inscrit dans la lignée de la manipulation aérienne, longtemps dominée par des contrôleurs classiques ou des pipelines modulaires séparant perception, planification et préhension. Il applique à ce domaine des recettes de l'apprentissage par renforcement et de l'imitation issues de la robotique au sol, comme l'enseignant privilégié et l'élève visuel. Le résumé ne cite ni entreprise ni acteur européen, et ne annonce aucun pilote ni calendrier. La prochaine étape logique est une validation sur drone réel, avec un contact physique, des charges plus lourdes et des distances de levage plus longues.

RecherchePaper

1 source

3arXiv cs.RO

Planification de trajectoire par retour d'état pour systèmes non linéaires stochastiques avec spécifications en logique temporelle de signal

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (réf. 2605.02361) un cadre de planification de mouvement par retour d'état pour systèmes non linéaires stochastiques en temps continu, soumis à des spécifications formelles en Signal Temporal Logic (STL). La STL est un formalisme mathématique qui exprime des exigences comportementales temporelles précises - du type "éviter une zone pendant 3 secondes, puis atteindre la cible dans un rayon donné". L'objectif affiché est de garantir le respect de ces spécifications avec une probabilité de 99,99 % en boucle fermée. La méthode repose sur une stratégie dite d'"érosion de prédicats" : le problème stochastique, mathématiquement intractable, est transformé en optimisation déterministe avec des contraintes STL resserrées, dont l'amplitude est calibrée par un tube atteignable probabiliste (PRT, Probabilistic Reachable Tube) borné via la théorie de la contraction. Le pipeline complet a été validé en simulation sur plusieurs architectures robotiques, puis expérimentalement sur un robot quadrupède réel - dont la marque n'est pas précisée dans la prépublication, limite courante des dépôts arXiv. Les auteurs rapportent des résultats supérieurs aux approches de référence en termes de conservatisme réduit et de taux de satisfaction des spécifications. Ce travail s'attaque à un verrou bien identifié en robotique formelle : la plupart des méthodes STL existantes supposent soit un système déterministe, soit un modèle linéaire, rendant les garanties probabilistes sur systèmes non linéaires bruités difficiles à obtenir sans explosion combinatoire. En reformulant le problème stochastique en optimisation déterministe compatible avec des solveurs numériques standards, l'approche ouvre une voie d'intégration industrielle sans exiger de matériel de calcul spécialisé. La validation sur quadrupède physique est un signal positif dans un domaine où le sim-to-real gap reste la principale objection aux méthodes formelles. Pour les intégrateurs et décideurs, une garantie probabiliste quantifiée et potentiellement auditable représente un argument concret dans des contextes de certification robotique - à condition que les résultats expérimentaux détaillés confirment la tenue des 99,99 % sur des scénarios variés, ce que le seul résumé ne permet pas de vérifier. Ces travaux s'inscrivent dans un courant actif combinant planification temporelle et contrôle robuste, aux côtés des Control Barrier Functions (CBF) et des approches MPC-STL (Model Predictive Control avec spécifications temporelles). La théorie de la contraction mobilisée ici, développée notamment par Jean-Jacques Slotine au MIT et remise en avant ces dernières années dans la vérification formelle robotique, constitue l'un des apports méthodologiques distincts de l'article. Aucun acteur européen n'est impliqué dans ces travaux. Les extensions naturelles incluent des spécifications STL imbriquées ou multi-agents, des environnements dynamiques, et une comparaison étendue avec des architectures d'apprentissage par renforcement - domaine concurrent qui adresse des problèmes similaires avec des garanties formelles généralement plus faibles.

RecherchePaper

1 source

4arXiv cs.RO

Comparer des trajectoires à partir des positions seules : alignement temporel par courbure et métrique d'erreur de dérive

Une équipe de robotique publie sur arXiv (2609.14936, mise en ligne le 15 septembre 2026, catégorie "new") un protocole d'évaluation des trajectoires destiné à la localisation, à l'estimation d'état et au SLAM (Simultaneous Localization And Mapping). Le point de départ est un problème concret du terrain : en robotique de terrain, obtenir une trajectoire de référence indépendante, plus précise que l'estimation qu'on cherche à évaluer, reste difficile. Les métriques dominantes du domaine, l'ATE (Absolute Trajectory Error) et la RPE (Relative Pose Error), calculées via des outils automatisés, reposent sur des hypothèses et des paramètres d'évaluation rarement explicités, ce qui peut biaiser les résultats et fausser les comparaisons quand ces choix ne sont pas rapportés. Les auteurs proposent deux briques techniques : une méthode d'alignement temporel fondée sur les signaux de courbure de la trajectoire, et une métrique d'erreur de dérive normalisée par la distance parcourue. Le protocole traite explicitement trois sources d'erreur souvent négligées : la synchronisation temporelle, l'alignement de l'échantillonnage et la calibration extrinsèque des capteurs, dont l'influence est quantifiée par une analyse de sensibilité. Pour les équipes qui développent ou évaluent des systèmes de localisation et de SLAM, qu'il s'agisse d'AMR industriels, de véhicules autonomes ou de drones, ce travail cible un vrai point de friction : les benchmarks publiés sont souvent incomparables d'un papier ou d'un fournisseur à l'autre, faute de paramètres d'évaluation standardisés. Un protocole qui rend explicites la synchronisation, l'échantillonnage et la calibration change la donne pour la reproductibilité des comparaisons de stacks de navigation, un enjeu direct pour les intégrateurs qui doivent arbitrer entre plusieurs solutions de localisation sur la base de chiffres publiés. Il ne s'agit pas d'un produit ni d'un déploiement, mais d'une contribution méthodologique en amont, dont la valeur dépendra de son adoption par la communauté et de la disponibilité d'une implémentation ouverte. Ce travail s'inscrit dans la continuité des outils d'évaluation de trajectoires déjà utilisés en SLAM, tels que les suites de benchmarks TUM RGB-D ou KITTI et les bibliothèques de calcul d'ATE/RPE comme evo, dont les limites en matière de transparence des hypothèses sont précisément ce que ce papier cherche à corriger. Publié en preprint sur arXiv, sans mention de code source ni de validation par les pairs à ce stade, le protocole reste à l'étape de proposition scientifique. Les suites logiques attendues seraient une publication en conférence ou revue, la mise à disposition d'une implémentation de référence, et son adoption éventuelle par des benchmarks reconnus du secteur pour fiabiliser les comparaisons entre méthodes de localisation et de SLAM.

RecherchePaper

1 source