RecherchearXiv cs.RO 16 juin 2026

VL2Spike : distillation de modèles vision-langage vers des réseaux à impulsions pour la perception visuelle basse consommation dans l'IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2606.15898) VL2Spike, un cadre de distillation de connaissances qui transfère les représentations multi-modales des grands modèles vision-langage (VLM) vers des réseaux de neurones impulsionnels (SNN), spécifiquement des architectures Spikformer. Les résultats annoncés sur trois jeux de données statiques indiquent un gain de précision de 6,81 points de pourcentage, avec une consommation énergétique réduite à 15,7 % de celle d'un modèle de référence classique. Sur la reconnaissance de lieu par vision (VPR), tâche directement applicable à la navigation robotique, le gain atteint 6,63 %. Deux contributions techniques sont mises en avant : une distillation visuo-temporelle (SVS) qui aligne les représentations spatiales et temporelles du VLM avec les tokens impulsionnels du Spikformer, et une distillation linguistique guidée par prototypes (SPL) qui synchronise les prototypes de classes du SNN avec les embeddings textuels du VLM.

L'enjeu de ce travail est réel pour la robotique embarquée. Les SNN sont architecturalement attractifs pour les systèmes edge (drones, robots mobiles, exosquelettes) car leur calcul événementiel consomme peu d'énergie, mais leurs performances en classification restaient structurellement inférieures aux transformers classiques, limitant leur adoption dans des pipelines de perception industriels. VL2Spike propose une voie pour combler cet écart sans sacrifier l'efficacité énergétique. La précision du chiffre "15,7 % de consommation" mérite toutefois d'être relativisée : il s'agit d'une estimation théorique en opérations synaptiques, pas d'une mesure sur silicium réel, ce que les auteurs reconnaissent implicitement en parlant de "modèles contraints en ressources".

Les réseaux impulsionnels ont connu un regain d'intérêt depuis 2020 avec l'émergence des Spiking Transformers (SpikFormer, Spikingformer, SDT), notamment portés par des groupes à Pékin Jiaotong University et Zhejiang University. Sur le front des VLM utilisés comme "professeurs" en distillation, les approches s'appuient généralement sur CLIP ou ses variantes. Le positionnement concurrentiel direct de VL2Spike se situe face aux méthodes de quantification et de pruning de transformers classiques, qui visent aussi la contrainte énergétique sans les propriétés biologiquement inspirées des SNN. Les suites naturelles incluent des validations sur hardware neuromorphique (Intel Loihi, SpiNNaker) et des tests intégrés dans des boucles de perception robotique complètes.

Dans nos dossiers

IA physique & VLA Exosquelettes arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActiveFly-Bench : aligner la réponse à des questions incarnée avec un modèle vision-langage-action pour la perception aérienne incarnée

Une équipe de recherche publie ActiveFly-Bench, un nouveau benchmark visant à combler le fossé entre le raisonnement en environnement virtuel et l'interaction physique pour la perception active des drones. Décrit dans un article déposé sur arXiv (2607.10180v1), ce benchmark décompose la perception active en trois tâches hiérarchiques: le question-réponse incarné aérien (Air-EQA), la planification du comportement d'observation (OBP) et le contrôle fin du drone guidé par le langage (FLUC), reliant explicitement la compréhension de tâches de haut niveau, la planification comportementale et le contrôle bas niveau. Les jeux de données combinent des environnements extérieurs réels et simulés, utilisés à la fois pour l'entraînement et l'évaluation. Les auteurs ont aussi développé ActiveFly, un agent en boucle fermée qui associe raisonnement vision-langage et contrôle fin, effectivement déployé sur une plateforme UAV physique, et non testé uniquement en simulation. L'enjeu dépasse le simple exercice académique: les tests menés avec des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) représentatifs montrent que les agents actuels peinent encore sur la planification comportementale, l'ajustement de point de vue et l'accomplissement robuste de tâches en perception active. Autrement dit, la promesse des architectures VLA généralistes, popularisées au sol par des systèmes comme GR00T N2 ou Helix, ne se transpose pas automatiquement au domaine aérien: piloter un drone qui doit décider où regarder, comment se repositionner et quand agir reste un problème ouvert. Pour les intégrateurs de drones d'inspection, d'agriculture ou de surveillance, ce constat tempère l'enthousiasme autour des copilotes autonomes tout-en-un et souligne que le sim-to-real n'est pas résolu pour l'aérien comme il commence à l'être pour la manipulation au sol. Ce travail s'inscrit dans la lignée des benchmarks d'IA incarnée (embodied QA) déjà développés pour les robots terrestres et les bras manipulateurs, mais transposés pour la première fois de façon systématique au domaine UAV, où les contraintes de vol, de vent et de champ de vision changent la donne. Face à des acteurs commerciaux comme DJI ou Skydio qui vendent déjà de l'autonomie de vol assistée, ActiveFly-Bench propose un cadre d'évaluation académique standardisé plutôt qu'un produit, avec l'ambition de devenir une référence pour mesurer les progrès futurs des agents aériens embarquant du raisonnement multimodal.

RecherchePaper

1 source

2arXiv cs.RO

Vers une intelligence incarnée générale : intégrer modèles de langage, bases de connaissances et raisonnement pour les agents IA de nouvelle génération

Une équipe de chercheurs publie sur arXiv (référence 2608.19794v1, article de type "cross-listing") un travail de synthèse intitulé "Towards general embodied intelligence: integrating large language models, knowledge bases, and reasoning capabilities to build the next generation of AI agents". Il ne s'agit pas d'un produit ou d'un robot testé en conditions réelles, mais d'une revue conceptuelle qui analyse la convergence entre grands modèles de langage (LLM), bases de connaissances structurées (KB) et capacités de raisonnement (RA), envisagée comme trajectoire vers une intelligence incarnée générale (général embodied intelligence, GEI). Les auteurs passent en revue les architectures de LLM, leurs méthodes de pré-entraînement et leurs mécanismes d'inférence, ainsi que leur articulation avec des sources de connaissances externes et des cadres de raisonnement logique structuré. Ils examinent également les paradigmes d'intelligence incarnée dans lesquels un agent apprend et agit directement dans un environnement physique. Le papier propose un cadre conceptuel censé illustrer la synergie entre LLM, bases de connaissances, raisonnement et incarnation physique, présenté explicitement comme un modèle directeur pour la perception, le raisonnement et l'action, et non comme une architecture d'ingénierie implémentée ou testée. L'intérêt de ce travail pour l'industrie robotique tient moins à une avancée technique démontrée qu'à la mise en évidence de l'écart persistant entre les promesses des modèles vision-langage-action (VLA) déjà déployés commercialement et les briques encore manquantes pour une véritable autonomie incarnée. En identifiant cinq verrous précis, déploiement efficace des LLM en embarqué, intégration en boucle fermée avec les bases de connaissances, raisonnement hybride symbolique-neuronal, ancrage perception-action, et apprentissage continu, les auteurs formalisent ce que les intégrateurs et décideurs B2B pressentent déjà empiriquement sur le terrain. Ce type de synthèse s'inscrit dans un mouvement plus large de la recherche académique cherchant à consolider, après plusieurs années de publications éparses sur les agents LLM et la robotique fondée sur les modèles de fondation, une feuille de route commune. Le document ne mentionne ni acteur industriel spécifique ni calendrier de déploiement, et se positionne comme une contribution de cadrage théorique destinée à orienter les travaux futurs plutôt qu'à annoncer un système opérationnel.

RecherchePaper

1 source

3arXiv cs.RO

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper

1 source

4arXiv cs.RO

Force-based memory pour les modèles vision-langage-action dans la manipulation à contacts riches

Une équipe de recherche propose FM-VLA, un modèle vision-langage-action (VLA) doté d'une mémoire basée sur la force plutôt que sur l'image, décrit dans un article publié sur arXiv (référence 2607.18231v1) daté de juillet 2026. Le système encode l'historique des forces de contact captées par le robot dans des tokens de mémoire compacts, générés par un autoencodeur variationnel (VAE) pré-entraîné à reconstruire des séries temporelles de force. Ces représentations latentes sont ensuite injectées, avec un court historique d'état, comme tokens de conditionnement supplémentaires dans le module d'action du VLA. L'équipe a testé FM-VLA sur trois tâches nécessitant une mémoire temporelle : retrouver un bloc caché, appuyer plusieurs fois sur un bouton, et essuyer une vaisselle un nombre précis de fois. Résultat annoncé : plus de 80% de taux de réussite, avec un surcoût de calcul à l'inférence jugé minime, et des performances nettement supérieures aux approches de référence. L'enjeu dépassé le simple gain de précision : les VLA actuels reposent souvent sur une hypothèse markovienne, où l'action ne dépend que de l'observation présente, ce qui les rend aveugles à des événements répétitifs difficiles à distinguer visuellement, comme plusieurs pressions rapides sur un même bouton. Les approches existantes de mémoire visuelle, qui rééchantillonnent des images passées, sont coûteuses en calcul et échouent justement sur ces cas ambigus. En s'appuyant sur le signal de force, disponible nativement sur la plupart des bras manipulateurs équipés de capteurs, FM-VLA offre une alternative légère pour la manipulation en contact riche, un domaine clé pour l'assemblage industriel, l'insertion de pièces ou la manipulation fine où la vision seule ne suffit pas à lever l'ambiguïté temporelle. Ce travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 ou GR00T N2, qui ont démontré la capacité de ces architectures à généraliser sur des tâches de manipulation variées, mais peinent encore sur les scénarios non markoviens. FM-VLA se positionne comme une brique modulaire plutôt qu'un système complet, testée pour l'instant en conditions contrôlées sur un nombre restreint de tâches. Les auteurs mettent à disposition une page de projet dédiée pour les détails techniques et démonstrations, sans annoncer pour l'instant de déploiement industriel ou de partenariat commercial.

RechercheActu

1 source