Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DaViNCi : un jeu de données pour la navigation extérieure vision-langage avec actions continues
RecherchearXiv cs.RO 

DaViNCi : un jeu de données pour la navigation extérieure vision-langage avec actions continues

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (2608.11901) présente DaViNCi (Dynamic Vision-and-Language Navigation in Continuous Environment), premier jeu de données de navigation vision-langage (VLN) en extérieur combinant actions continues et éléments dynamiques imprévisibles, avec six cartes distinctes et 6 933 trajectoires au total. Contrairement aux datasets VLN outdoor existants, construits sur des graphes topologiques fixes et discrets, DaViNCi impose à l'agent de se déplacer avec des commandes continues tout en réagissant à des éléments mobiles qui modifient l'environnement en temps réel. Les expériences comparatives montrent que le taux de réussite chute de plus de 10 % en configuration discrète par rapport aux jeux de données précédents, et la baisse est encore plus marquée en configuration continue. Les auteurs isolent également l'impact respectif de la granularité des actions et de la présence d'éléments dynamiques sur la performance des agents. Le dataset et les ressources associées sont disponibles sur le site du projet.

Ce résultat contredit l'idée que les agents VLN actuels, entraînés et évalués sur des graphes topologiques figés, seraient prêts pour un déploiement réel en extérieur, et expose l'écart persistant entre bancs d'essai simulés et conditions réelles rencontrées par les robots mobiles et les AMR devant naviguer parmi piétons, véhicules ou obstacles temporaires. Pour les équipes qui développent des agents de navigation autonome guidés par le langage, qu'il s'agisse de robots de livraison, d'inspection ou de plateformes humanoïdes mobiles, ce benchmark offre un cadre d'évaluation plus exigeant que les datasets discrets utilisés jusqu'ici. Il souligne surtout que le passage à des actions continues, plus proches du contrôle moteur réel, reste un facteur de fragilité majeur pour les modèles de navigation, un enjeu direct pour le transfert sim-to-real que l'industrie robotique cherche à valider avant tout déploiement commercial.

DaViNCi s'inscrit dans l'évolution du champ VLN, d'abord développé en environnement intérieur avant de s'étendre progressivement à l'extérieur ces dernières années via des jeux de données construits sur des graphes topologiques discrets, qui simplifiaient la tâche d'entraînement mais s'éloignaient des conditions réelles de terrain où les trajectoires ne sont pas prédéfinies. En introduisant simultanément mouvement continu et dynamique environnementale, DaViNCi se positionne comme un nouveau standard d'évaluation, plus difficile que les benchmarks VLN outdoor précédents. Les auteurs présentent ce travail comme une étape vers des agents de navigation capables d'opérer dans des environnements urbains réalistes, et mettent le jeu de données à disposition de la communauté de recherche pour mesurer les progrès futurs sur ce terrain plus exigeant.

Dans nos dossiers

arXiv cs.RO

À lire aussi

NAC : un codec neuronal d'actions pour les modèles vision-langage-action
1arXiv cs.RO 

NAC : un codec neuronal d'actions pour les modèles vision-langage-action

Des chercheurs publient une version mise à jour (v2) du préprint arXiv 2606.21372, intitulé « NAC: Neural Action Codec for Vision-Language-Action Models », qui introduit un nouveau tokenizer d'actions pour les modèles vision-langage-action (VLA). Le NAC reprend l'architecture des codecs audio neuronaux, encodeur-décodeur convolutif à quantification vectorielle résiduelle (RVQGAN) utilisée dans les modèles de fondation audio, en traitant les courtes trajectoires d'actions robotiques comme des signaux 1D multicanaux compressés à plusieurs échelles. Le système produit un espace de tokens compact et ordonné via des codebooks décalés, ce qui permet à des politiques autorégressives standard de fonctionner sur des séquences courtes et structurées ; la reconstruction des trajectoires s'appuie sur un décodeur de style Vocos, avec tête ISTFT et discriminateurs adversariaux. Évalué sur les bancs d'essai LIBERO-10 et RoboMimic, ainsi que sur une série de tâches de manipulation réelles, NAC atteint une fidélité de reconstruction élevée et des taux de réussite moyens supérieurs au binning, à FAST et aux tokenizers VQ antérieurs, à taux de compression comparable ou meilleur. Le tokenizer d'actions est le goulot d'étranglement discret entre commande continue du robot et modélisation de séquence autorégressive au cœur de tout VLA ; jusqu'ici, binning, FAST et quantification vectorielle classique forçaient un compromis entre compression, latence et performance. En montrant qu'une architecture éprouvée pour l'audio se transpose presque sans changement structurel au contrôle robotique, ce travail suggère que la tokenisation d'actions n'est plus le facteur limitant majeur pour faire passer à l'échelle les politiques VLA, un enjeu concret pour tout intégrateur entraînant des politiques génériques de manipulation sur plusieurs tâches et morphologies de robot. Le gain de taux de réussite à compression égale ou supérieure compte surtout pour le temps réel, où latence d'inférence et longueur de séquence conditionnent le temps de cycle. Les résultats restent toutefois issus de bancs d'essai académiques, simulation complétée d'un nombre limité de tâches réelles, donc d'un stade de recherche et non d'un produit ou d'un déploiement industriel. Le travail s'inscrit dans la lignée des tokenizers développés pour les VLA récents, dont FAST, méthode associée à la famille de modèles Pi-0 de Physical Intelligence et prise ici comme référence de comparaison, ainsi que les approches par binning et par quantification vectorielle discrète plus anciennes. L'idée de recycler les codecs audio neuronaux à quantification résiduelle, déjà standard pour les modèles de fondation audio, illustre une tendance plus large du secteur à importer des briques génératives multimodales vers la robotique. Publiée sous forme de préprint arXiv, sans annonce de licence, d'intégration produit ni de calendrier de déploiement, la contribution demeure un résultat de recherche dont la portée dépendra de sa reproduction sur des politiques VLA de plus grande échelle et de tests au-delà des bancs d'essai contrôlés utilisés dans l'article.

RechercheActu
1 source
TacClaw-Infinity : un jeu de données vision-tactile-langage-action à grande échelle pour la manipulation dextère
2arXiv cs.RO 

TacClaw-Infinity : un jeu de données vision-tactile-langage-action à grande échelle pour la manipulation dextère

TacClaw-Infinity est un jeu de données de manipulation robotique de très grande taille, présenté sur arXiv (2610.20320) sous la forme d'un corpus Vision-Tactile-Langage-Action (VTLA). Il a été collecté avec TacClaw, une interface portable de type UMI (Universal Manipulation Interface) équipée de capteurs tactiles aux bouts des doigts. Elle enregistre de façon synchronisée les images, les signaux tactiles et les trajectoires de l'effecteur, sans qu'aucun robot cible ne soit nécessaire pendant la collecte. La collecte, distribuée dans le monde entier, couvre des domiciles, des laboratoires, des lieux de travail industriels, des commerces et des espaces extérieurs, avec des tâches fournies par des partenaires académiques et industriels. Le corpus dépasse 10 000 heures, 1 million d'épisodes et 1 milliard d'images, pour plus de 1 000 types de tâches. Les auteurs décrivent aussi une chaîne de traitement pour reconstruire les trajectoires, contrôler la qualité multimodale, filtrer selon l'embodiment (le type de robot visé) et annoter de façon structurée : segmentation centrée sur les contacts, description des sous-tâches et ancrage spatial. Côté modèle, ils annoncent un transfert inter-embodiments vers trois robots hétérogènes, sans démonstration propre à chacun. L'intérêt tient à un goulot d'étranglement bien connu : les démonstrations visuelles se multiplient, mais les données tactiles, indispensables aux tâches riches en contacts comme l'insertion, le serrage ou la manipulation d'objets déformables, restent rares et rarement contrôlées en qualité. Si les résultats tiennent, la collecte sans robot réduit fortement le coût par heure de données et permet d'aller chercher la diversité là où elle existe, chez les utilisateurs et dans les ateliers. Le transfert vers trois robots sans données spécifiques irait dans le sens d'une pré-formation réutilisable, à la manière de ce que les VLA (modèles vision-langage-action) font déjà pour la vision seule. Quelques réserves s'imposent toutefois. Il s'agit d'un preprint, et seul le résumé est disponible ici. Il ne donne ni taux de réussite, ni comparaison avec des bases sans tactile, ni précision sur les trois robots et les tâches testées. Il ne dit pas non plus si le jeu de données sera publié en entier ni sous quelle licence. Les chiffres d'échelle sont des volumes bruts : ils ne disent rien de la proportion de données réellement exploitables après filtrage. Ce travail prolonge la lignée des interfaces portables sans robot, popularisées par UMI, et des grands corpus multi-embodiments comme Open X-Embodiment ou DROID, qui restent surtout visuels. Les acteurs des VLA, tels que Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, cherchent à étendre leurs modèles au tactile, sans qu'un jeu de données de cette taille soit aujourd'hui largement disponible. Les prochaines étapes à surveiller sont la publication effective du corpus, la reproduction des résultats de transfert par des équipes indépendantes et l'adoption de TacClaw par d'autres laboratoires ou industriels, y compris européens, pour des tâches de précision.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SiGNgapore : un jeu de données interactif pour la navigation visuelle fondée sur les panneaux
3arXiv cs.RO 

SiGNgapore : un jeu de données interactif pour la navigation visuelle fondée sur les panneaux

Des chercheurs ont publié sur arXiv (v1, octobre 2026) SiGNgapore, un jeu de données destiné à la navigation visuelle fondée sur les panneaux de signalisation. Les données ont été collectées avec un dispositif tenu à la main dans plusieurs espaces publics de Singapour, des lieux que les humains fréquentent au quotidien. Chaque séquence contient des images RGB, de la profondeur éparse (sparse depth), de l'odométrie et des mesures d'IMU, centrées sur des panneaux de navigation et sur les environnements complexes qui les entourent. Le jeu comprend 56 missions de navigation longue portée et plus de 450 scénarios centrés sur les panneaux. Les données sont livrées dans un format lisible par l'humain, avec des scripts utilitaires de conversion vers ROS 2. Les auteurs fournissent aussi les plans des sites et des graphes de scène alignés sur le GPS pour les environnements de test. Il s'agit d'une ressource de recherche : aucun robot n'a été déployé et aucun résultat de navigation n'est annoncé dans le résumé. L'intérêt tient au problème visé. Un robot qui évolue dans un aéroport, une gare, un centre commercial ou un hôpital ne peut pas toujours compter sur une carte préétablie, dont la création et la maintenance coûtent cher aux intégrateurs. Les humains s'orientent pourtant sans carte grâce à la signalétique. Lui faire lire et interpréter ces panneaux pourrait réduire la cartographie préalable, un poste de coût réel pour les déploiements en espaces publics. Le jeu de données traite aussi un manque : les benchmarks de navigation se concentrent surtout sur la géométrie et la perception de l'espace libre, rarement sur la décision fondée sur le sens d'un panneau, c'est-à-dire le raisonnement sémantique de bout en bout. Les capteurs utilisés (caméra, profondeur éparse, IMU) restent peu coûteux et proches de ce que portent des robots commerciaux. Il faut toutefois rester prudent. La collecte à la main ne reproduit ni la dynamique d'un robot ni ses contraintes de sécurité. Le volume, 56 missions et environ 450 scénarios, est modeste pour entraîner de gros modèles. Il convient donc mieux à l'évaluation qu'à l'apprentissage massif. Ce travail s'inscrit dans le mouvement de la navigation sans carte (mapless) portée par les modèles vision-langage et les VLA (vision-language-action), qui cherchent à comprendre des instructions et des indices sémantiques plutôt qu'à localiser le robot dans une carte métrique. Les graphes de scène alignés sur le GPS permettent de relier perception, sémantique et topologie du lieu. Singapour offre un terrain d'étude dense, multilingue et très signalisé, ce qui en fait un banc d'essai exigeant mais peu représentatif d'autres contextes, notamment européens, où la signalétique varie. Les suites probables sont des benchmarks et des comparaisons de méthodes sur ce jeu de données, puis des essais sur robots réels. Aucun calendrier, pilote industriel ni acteur commercial n'est mentionné dans l'annonce.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher
4arXiv cs.RO 

RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher

Des chercheurs du Faerber Lab publient RCT (Robotic Contact Tactile), un jeu de données touch-vision-language collecté par robot pour évaluer la généralisation tactile des systèmes robotiques. Le dataset comprend 29 279 frames tactiles issues de pressions complètes effectuées par un bras robotique sur 122 matériaux de référence industriels répartis en 7 catégories, enregistrées à l'aide de trois capteurs DIGIT positionnés à plusieurs points de contact. Particularité méthodologique : RCT conserve chaque pression comme une séquence de contact continue plutôt que comme des frames isolées, ce qui permet des évaluations "held-out" rigoureuses par matériau, catégorie, capteur, position de contact ou séquence entière. Les auteurs démontrent que les frames issues d'une même pression sont fortement corrélées entre elles : un découpage aléatoire des frames (frame-random split), pratique courante dans le domaine, place des observations quasi-identiques de la même interaction physique à la fois dans les jeux d'entraînement et de test. En supprimant ce chevauchement de séquences, le score de Recall@1 en correspondance tactile-texte chute de 17,7 points de pourcentage à encodeur fixe. Lorsque les matériaux sont également exclus à l'entraînement, la performance s'effondre davantage, avec un Recall@1 de seulement 25,1 % (± 6,1 %) en moyenne sur trois tirages de matériaux non vus. Le jeu de données est open source, disponible sur faerber-lab.github.io/RCT. Cette étude expose un biais méthodologique qui gonflait artificiellement les résultats publiés sur la perception tactile robotique. En analysant le split public TVL/HCT, référence largement utilisée dans le domaine, les auteurs montrent que chaque séquence de contact du jeu de test apparaît déjà dans l'entraînement : une simple recherche du plus proche voisin en pixels bruts, sans aucun apprentissage, retrouve la bonne séquence dans 98,3 % des cas. Autrement dit, les benchmarks existants mesurent en grande partie de la mémorisation plutôt que de la généralisation réelle. Pour les équipes qui développent des systèmes de manipulation tactile destinés à des environnements ouverts (tri de déchets, logistique, inspection de pièces), cela signifie que des modèles annoncés comme performants pourraient largement sous-performer face à des matériaux jamais rencontrés. L'étude montre aussi une piste corrective concrète : échantillonner uniformément les frames au sein d'une pression, plutôt que de façon aléatoire, améliore l'entraînement contrastif, et les embeddings entraînés sur RCT améliorent les probes de catégorisation sur des matériaux inédits. Le travail s'inscrit dans la lignée des jeux de données touch-vision-language existants comme TVL (Touch-Vision-Language) et HCT, dont RCT réutilise la structure de split pour illustrer le problème de fuite de données. Le choix des capteurs DIGIT, développés initialement par Meta AI et largement adoptés en recherche tactile académique, ancre RCT dans l'écosystème matériel dominant du secteur plutôt que dans des capteurs propriétaires. Aucun acteur français ou européen n'est mentionné dans cette publication, qui reste un travail de recherche fondamentale plutôt qu'une annonce produit. Les prochaines étapes attendues pour le domaine concernent l'adoption de protocoles d'évaluation "contact-sequence-aware" par les équipes travaillant sur la manipulation tactile, ainsi que l'extension de ce type de benchmark held-out-material à d'autres modalités sensorielles combinées, à mesure que les architectures VLA (vision-language-action) intègrent de plus en plus le retour tactile comme signal de contrôle.

RecherchePaper
1 source