RecherchearXiv cs.RO 26 mai 2026

RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 26 mai 2026 sur arXiv (2605.25495) RepSAM, un cadre d'adaptation à l'efficacité paramétrique (PEFT) conçu pour transférer les capacités de SAM (Segment Anything Model) vers la perception robotique en environnements non structurés. Le diagnostic de départ est précis : les couches superficielles du transformeur subissent un écart de représentation important entre données génériques et données robotiques (CKA inférieur à 0,7), tandis que les couches profondes restent stables (CKA supérieur à 0,7). RepSAM exploite cette asymétrie via une allocation de rang guidée par la CKA (Centered Kernel Alignment) pour concentrer les paramètres entraînables là où le décalage est effectivement significatif. Le résultat : 89,0 % de mIoU contre 90,9 % pour le fine-tuning complet, soit 97,9 % des performances, avec seulement 4,0 millions de paramètres entraînables sur 632 millions totaux, une réduction de 158 fois. L'entraînement tient en 4 heures sur un seul GPU A100, contre 384 heures-GPU pour le fine-tuning intégral, et surpasse DoRA de 7,9 points de mIoU sur six benchmarks. En manipulation robotique, le gain atteint 12 points absolus de taux de succès par rapport à la baseline LoRA RGB, avec une significativité statistique p inférieur à 0,01.

L'enjeu industriel est direct : le gouffre entre les modèles de vision généralistes et les conditions réelles de la robotique (objets transparents, scènes encombrées, éclairage variable) reste l'un des principaux blocages pour les intégrateurs. RepSAM démontre qu'un adapter bien ciblé, informé par la structure interne du réseau plutôt qu'appliqué uniformément, peut quasiment égaler un fine-tuning complet à une fraction du coût de calcul. Pour un responsable technique déployant des bras manipulateurs ou des systèmes de picking, cela signifie qu'il devient réaliste d'adapter un modèle de fondation sur du matériel standard, sans infrastructure de calcul dédiée ni données massives.

SAM, développé par Meta AI et publié en 2023, s'est imposé comme référence pour la segmentation zero-shot, mais ses performances se dégradent hors distribution, notamment en robotique industrielle. Les méthodes PEFT comme LoRA et DoRA avaient déjà tenté ce pont, avec des gains limités faute d'adaptation différenciée par couche. RepSAM s'inscrit dans la continuité de travaux sur l'analyse de représentation pour guider le fine-tuning (CKA comme outil de diagnostic, popularisé depuis 2019). La prochaine étape logique est la validation sur des robots réels en conditions industrielles ; l'article se limite pour l'instant à des benchmarks simulés et des tâches de manipulation contrôlées, ce qui laisse ouvert le sim-to-real gap à grande échelle.

Impact France/UE

Les intégrateurs européens de bras manipulateurs et systèmes de picking pourraient adapter des modèles de vision fondation sur du matériel GPU standard, réduisant la barrière à l'IA perceptive sans infrastructure de calcul dédiée.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

DynaFLIP : repenser la perception robotique via une représentation guidée par les dynamiques tri-modales

Des chercheurs présentent DynaFLIP (arXiv:2605.30350, mai 2026), un framework de pré-entraînement multimodal qui intègre la compréhension du mouvement directement dans l'encodeur visuel d'un robot manipulateur. L'approche repose sur des triplets image-langage-flux 3D extraits de vidéos hétérogènes d'humains et de robots. Le principe géométrique central consiste à forcer ces trois modalités à occuper un volume de simplexe minimal dans un espace hypersphérique partagé, plus ce volume est petit, plus l'alignement entre vision, langage et dynamique 3D est fort. Pour éviter l'effondrement trivial de cette minimisation géométrique, les auteurs combinent une régularisation cosinus et un objectif contrastif. Validé sur des benchmarks en simulation et en conditions réelles, DynaFLIP apporte des gains allant jusqu'à +22,5 % de performance dans des scénarios hors distribution, avec des améliorations constantes sur l'ensemble des politiques testées, y compris les VLA (Vision-Language-Action models). L'enjeu industriel est direct : les pipelines robotiques actuels, y compris ceux qui alimentent les humanoïdes commerciaux et les bras manipulateurs, s'appuient sur des encodeurs visuels pré-entraînés pour la reconnaissance statique ou l'alignement vision-langage de type CLIP. La compréhension du mouvement est laissée à la politique en aval, ce qui crée un goulot d'étranglement pour la généralisation. DynaFLIP déplace ce traitement en amont : le backbone visuel lui-même apprend à encoder non pas seulement ce qui est présent dans la scène, mais comment le monde se transforme sous l'effet d'une action. Le gain de +22,5 % hors distribution est particulièrement significatif, car c'est précisément là que les robots en déploiement réel échouent le plus souvent, sur des objets, des éclairages ou des configurations jamais vus à l'entraînement. Cette approche s'inscrit dans une vague de travaux sur les représentations visuelles pour la manipulation (R3M, MVP, SPA), mais elle se distingue en exploitant le flux optique 3D comme signal de supervision sans l'utiliser à l'inférence. Côté compétiteurs, les VLA comme pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou les modèles de Figure et Agility reposent tous sur des encodeurs dont la qualité représentationnelle conditionne la robustesse terrain. DynaFLIP propose un backbone de substitution directement intégrable dans ces architectures. La prochaine étape logique sera de valider à l'échelle sur des tâches de manipulation longue durée et de mesurer le transfert vers des morphologies robotiques variées, bras industriels, mains dextères, ou bases mobiles.

RechercheOpinion

1 source

2arXiv cs.RO

MorphIt : approximation sphérique flexible de la morphologie robotique pour l'adaptation guidée par représentation

Une équipe de chercheurs présente MorphIt (arXiv:2507.14061), un cadre d'approximation sphérique conçu pour rendre adaptable la représentation morphologique d'un robot, plutôt que de la traiter comme une contrainte fixe. Le système décompose la géométrie d'un bras ou d'un corps robotique en ensembles de sphères dont la résolution est pilotée par descente de gradient, avec des paramètres ajustables permettant de naviguer entre précision géométrique et coût computationnel. Les auteurs rapportent des temps de génération jusqu'à 100 fois inférieurs aux méthodes existantes, tout en maintenant une fidélité géométrique supérieure avec un nombre de sphères réduit, face aux deux baselines testées : VSSA (Variational Sphere Set Approximation) et AMAA (Adaptive Medial-Axis Approximation). Les gains sont validés sur des tâches de détection de collisions, de simulation d'interactions en contact et de navigation en espace contraint. L'enjeu dépasse la seule accélération de calcul. Actuellement, la quasi-totalité des pipelines robotiques impose une représentation géométrique unique pour toutes les tâches, qu'il s'agisse de planification à haute cadence ou de manipulation fine en contact. Ce compromis dégrade soit la précision, soit le temps de cycle. MorphIt traite cette représentation comme une ressource modulable en temps réel : un même robot pourrait opérer en mode grossier pour l'évitement d'obstacles et en mode haute résolution pour l'assemblage de précision, sans reconfiguration matérielle. Le framework s'intègre avec l'infrastructure robotique existante, ce qui limite les frictions d'adoption pour les intégrateurs. Les méthodes d'approximation sphérique comme VSSA et AMAA existent depuis plusieurs années, mais ont été conçues principalement pour la visualisation, pas pour le calcul embarqué temps réel. MorphIt s'inscrit dans un mouvement plus large vers des représentations géométriques différentiables et optimisables, un principe déjà exploré dans le sim-to-real pour les modèles VLA (Vision-Language-Action). Les résultats présentés restent expérimentaux : le paper est un preprint sans validation en déploiement réel à grande échelle. Les suites naturelles incluent l'intégration avec des planificateurs de mouvement différentiables et des tests sur des plateformes hardware comme des bras collaboratifs ou des humanoïdes.

RecherchePaper

1 source

3arXiv cs.RO

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

RecherchePaper

1 source

4arXiv cs.RO

Mind-VLA : alignement de la représentation spatiale guidé par les instructions pour les modèles vision-langage-action

Publiée le 4 août 2026 sur arXiv (2608.04633), une méthode baptisée Mind-VLA corrige un défaut des modèles vision-langage-action (VLA) en robotique: les approches existantes alignent leur représentation avec la géométrie 3D de toute la scène de façon uniforme, sans isoler l'objet désigné par l'instruction, d'où des échecs en manipulation fine ou en cas d'occlusion. Mind-VLA identifie d'abord cet objet cible, en génère une vue à trois angles, en extrait des caractéristiques VAE et VGGT, puis aligne la représentation latente du modèle dessus. Avec un backbone compact de 345 millions de paramètres, le système atteint 93,9% de réussite sur LIBERO, 4,47 sur CALVIN, et 54% de succès moyen sur robot réel en situation d'occlusion, soit 32 points de plus que la meilleure méthode instruction-agnostique comparée. Le code sera publié en open source. Le résultat vise un problème concret pour les intégrateurs déployant bras manipulateurs ou humanoïdes: les démonstrations de laboratoire s'effondrent souvent dès que l'objet à saisir est partiellement caché par un carton, une pièce voisine ou l'angle de la caméra. En conditionnant la représentation 3D sur l'objet réellement visé plutôt que sur la scène entière, Mind-VLA cible directement l'écart entre démo et réalité industrielle. Le gain de 32 points obtenu sur robot réel, pas seulement en simulation, compte dans un domaine où les progrès annoncés reposent souvent sur des vidéos sélectionnées ou des métriques peu transposables. Mind-VLA s'inscrit dans la lignée des travaux sur l'alignement géométrique des VLA, qui injectent une compréhension 3D explicite dans des modèles entraînés sur images et texte, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, sans qu'aucun ne cible spécifiquement l'objet d'intérêt. Le résumé ne nomme pas la méthode instruction-agnostique servant de référence, ce qui invite à la prudence tant que l'article complet et le code promis ne sont pas vérifiables. La piste, aligner la représentation sur l'objet désigné plutôt que sur toute la scène, devrait néanmoins intéresser d'autres laboratoires travaillant sur la manipulation fine.

RechercheOpinion

1 source