RecherchearXiv cs.RO2sem

DynaFLIP : repenser la perception robotique via une représentation guidée par les dynamiques tri-modales

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent DynaFLIP (arXiv:2605.30350, mai 2026), un framework de pré-entraînement multimodal qui intègre la compréhension du mouvement directement dans l'encodeur visuel d'un robot manipulateur. L'approche repose sur des triplets image-langage-flux 3D extraits de vidéos hétérogènes d'humains et de robots. Le principe géométrique central consiste à forcer ces trois modalités à occuper un volume de simplexe minimal dans un espace hypersphérique partagé, plus ce volume est petit, plus l'alignement entre vision, langage et dynamique 3D est fort. Pour éviter l'effondrement trivial de cette minimisation géométrique, les auteurs combinent une régularisation cosinus et un objectif contrastif. Validé sur des benchmarks en simulation et en conditions réelles, DynaFLIP apporte des gains allant jusqu'à +22,5 % de performance dans des scénarios hors distribution, avec des améliorations constantes sur l'ensemble des politiques testées, y compris les VLA (Vision-Language-Action models).

L'enjeu industriel est direct : les pipelines robotiques actuels, y compris ceux qui alimentent les humanoïdes commerciaux et les bras manipulateurs, s'appuient sur des encodeurs visuels pré-entraînés pour la reconnaissance statique ou l'alignement vision-langage de type CLIP. La compréhension du mouvement est laissée à la politique en aval, ce qui crée un goulot d'étranglement pour la généralisation. DynaFLIP déplace ce traitement en amont : le backbone visuel lui-même apprend à encoder non pas seulement ce qui est présent dans la scène, mais comment le monde se transforme sous l'effet d'une action. Le gain de +22,5 % hors distribution est particulièrement significatif, car c'est précisément là que les robots en déploiement réel échouent le plus souvent, sur des objets, des éclairages ou des configurations jamais vus à l'entraînement.

Cette approche s'inscrit dans une vague de travaux sur les représentations visuelles pour la manipulation (R3M, MVP, SPA), mais elle se distingue en exploitant le flux optique 3D comme signal de supervision sans l'utiliser à l'inférence. Côté compétiteurs, les VLA comme pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou les modèles de Figure et Agility reposent tous sur des encodeurs dont la qualité représentationnelle conditionne la robustesse terrain. DynaFLIP propose un backbone de substitution directement intégrable dans ces architectures. La prochaine étape logique sera de valider à l'échelle sur des tâches de manipulation longue durée et de mesurer le transfert vers des morphologies robotiques variées, bras industriels, mains dextères, ou bases mobiles.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation

Des chercheurs ont publié le 26 mai 2026 sur arXiv (2605.25495) RepSAM, un cadre d'adaptation à l'efficacité paramétrique (PEFT) conçu pour transférer les capacités de SAM (Segment Anything Model) vers la perception robotique en environnements non structurés. Le diagnostic de départ est précis : les couches superficielles du transformeur subissent un écart de représentation important entre données génériques et données robotiques (CKA inférieur à 0,7), tandis que les couches profondes restent stables (CKA supérieur à 0,7). RepSAM exploite cette asymétrie via une allocation de rang guidée par la CKA (Centered Kernel Alignment) pour concentrer les paramètres entraînables là où le décalage est effectivement significatif. Le résultat : 89,0 % de mIoU contre 90,9 % pour le fine-tuning complet, soit 97,9 % des performances, avec seulement 4,0 millions de paramètres entraînables sur 632 millions totaux, une réduction de 158 fois. L'entraînement tient en 4 heures sur un seul GPU A100, contre 384 heures-GPU pour le fine-tuning intégral, et surpasse DoRA de 7,9 points de mIoU sur six benchmarks. En manipulation robotique, le gain atteint 12 points absolus de taux de succès par rapport à la baseline LoRA RGB, avec une significativité statistique p inférieur à 0,01. L'enjeu industriel est direct : le gouffre entre les modèles de vision généralistes et les conditions réelles de la robotique (objets transparents, scènes encombrées, éclairage variable) reste l'un des principaux blocages pour les intégrateurs. RepSAM démontre qu'un adapter bien ciblé, informé par la structure interne du réseau plutôt qu'appliqué uniformément, peut quasiment égaler un fine-tuning complet à une fraction du coût de calcul. Pour un responsable technique déployant des bras manipulateurs ou des systèmes de picking, cela signifie qu'il devient réaliste d'adapter un modèle de fondation sur du matériel standard, sans infrastructure de calcul dédiée ni données massives. SAM, développé par Meta AI et publié en 2023, s'est imposé comme référence pour la segmentation zero-shot, mais ses performances se dégradent hors distribution, notamment en robotique industrielle. Les méthodes PEFT comme LoRA et DoRA avaient déjà tenté ce pont, avec des gains limités faute d'adaptation différenciée par couche. RepSAM s'inscrit dans la continuité de travaux sur l'analyse de représentation pour guider le fine-tuning (CKA comme outil de diagnostic, popularisé depuis 2019). La prochaine étape logique est la validation sur des robots réels en conditions industrielles ; l'article se limite pour l'instant à des benchmarks simulés et des tâches de manipulation contrôlées, ce qui laisse ouvert le sim-to-real gap à grande échelle.

UELes intégrateurs européens de bras manipulateurs et systèmes de picking pourraient adapter des modèles de vision fondation sur du matériel GPU standard, réduisant la barrière à l'IA perceptive sans infrastructure de calcul dédiée.

RechercheOpinion

1 source

2arXiv cs.RO

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

RecherchePaper

1 source

3arXiv cs.RO

MorphIt : approximation sphérique flexible de la morphologie robotique pour l'adaptation guidée par représentation

Une équipe de chercheurs présente MorphIt (arXiv:2507.14061), un cadre d'approximation sphérique conçu pour rendre adaptable la représentation morphologique d'un robot, plutôt que de la traiter comme une contrainte fixe. Le système décompose la géométrie d'un bras ou d'un corps robotique en ensembles de sphères dont la résolution est pilotée par descente de gradient, avec des paramètres ajustables permettant de naviguer entre précision géométrique et coût computationnel. Les auteurs rapportent des temps de génération jusqu'à 100 fois inférieurs aux méthodes existantes, tout en maintenant une fidélité géométrique supérieure avec un nombre de sphères réduit, face aux deux baselines testées : VSSA (Variational Sphere Set Approximation) et AMAA (Adaptive Medial-Axis Approximation). Les gains sont validés sur des tâches de détection de collisions, de simulation d'interactions en contact et de navigation en espace contraint. L'enjeu dépasse la seule accélération de calcul. Actuellement, la quasi-totalité des pipelines robotiques impose une représentation géométrique unique pour toutes les tâches, qu'il s'agisse de planification à haute cadence ou de manipulation fine en contact. Ce compromis dégrade soit la précision, soit le temps de cycle. MorphIt traite cette représentation comme une ressource modulable en temps réel : un même robot pourrait opérer en mode grossier pour l'évitement d'obstacles et en mode haute résolution pour l'assemblage de précision, sans reconfiguration matérielle. Le framework s'intègre avec l'infrastructure robotique existante, ce qui limite les frictions d'adoption pour les intégrateurs. Les méthodes d'approximation sphérique comme VSSA et AMAA existent depuis plusieurs années, mais ont été conçues principalement pour la visualisation, pas pour le calcul embarqué temps réel. MorphIt s'inscrit dans un mouvement plus large vers des représentations géométriques différentiables et optimisables, un principe déjà exploré dans le sim-to-real pour les modèles VLA (Vision-Language-Action). Les résultats présentés restent expérimentaux : le paper est un preprint sans validation en déploiement réel à grande échelle. Les suites naturelles incluent l'intégration avec des planificateurs de mouvement différentiables et des tests sur des plateformes hardware comme des bras collaboratifs ou des humanoïdes.

RecherchePaper

1 source

4arXiv cs.RO

Cadre multi-dynamique unifié pour la modélisation orientée perception des robots continus à tendons

Des chercheurs ont publié sur arXiv (référence 2511.18088v2) un cadre de modélisation multi-dynamique unifié pour les robots continus à tendons, illustré par un prototype baptisé Spirob, dont la géométrie s'inspire d'une spirale. Le modèle intègre trois niveaux couplés : la dynamique électrique des moteurs, la dynamique moteur-treuil, et la dynamique structurelle du corps continu. En exploitant les signaux moteurs internes, courant et déplacement angulaire, le système est capable de détecter des interactions physiques avec l'environnement sans aucun capteur externe. Trois capacités ont été validées expérimentalement : détection passive de contact, détection active de contact avec stratégie de contrôle issue de la simulation, et estimation de la taille d'objets via une politique apprise en simulation puis déployée directement sur le robot réel. Le modèle reproduit fidèlement deux comportements critiques du système physique : l'hystérésis d'actionnement et l'auto-contact aux limites de mouvement. L'intérêt industriel de cette approche tient à l'élimination des capteurs extéroceptifs, qui alourdissent l'intégration hardware et fragilisent la scalabilité des déploiements. En ancrant la perception dans la dynamique intrinsèque du robot, les auteurs proposent une voie vers des robots plus compacts et moins coûteux à maintenir. Plus significatif encore : le transfert simulation-réel fonctionne sans adaptation supplémentaire pour la détection de contact active et l'estimation dimensionnelle, ce qui suggère que le modèle capte suffisamment les non-linéarités physiques pour que les politiques apprises en sim soient directement exploitables. C'est un point non trivial dans le domaine des robots souples, où le sim-to-real gap reste un obstacle structurel bien documenté. Les robots continus à tendons occupent une niche spécifique : manipulation en espace confiné, interventions médicales mini-invasives, inspection de conduites. Des laboratoires comme BioRobotics Institute (Scuola Superiore Sant'Anna), CHARM Lab (Stanford) ou des équipes EPFL travaillent sur des architectures comparables. Côté perception intrinsèque, la tendance rejoint les travaux sur la proprioception apprise pour robots souples (ex. travaux de Google DeepMind sur les robots déformables). Spirob reste pour l'instant un prototype de recherche, et l'article ne mentionne ni partenaire industriel, ni horizon de commercialisation. La prochaine étape logique serait une validation sur des tâches de manipulation plus complexes ou dans des configurations multi-robots.

UEDes laboratoires européens comme l'EPFL et le BioRobotics Institute (Sant'Anna, Italie) travaillent sur des architectures comparables, positionnant l'UE dans ce segment de recherche sur les robots souples à destination des applications médicales mini-invasives et de l'inspection industrielle.

RecherchePaper

1 source