Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Dossier arXiv cs.RO — page 6

568 articles · page 6 sur 12

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

Manipulation dextérique multi-doigts guidée par le langage grâce à la compliance physique et la commutation de contrôleurs
251arXiv cs.RO IA physiqueOpinion

Manipulation dextérique multi-doigts guidée par le langage grâce à la compliance physique et la commutation de contrôleurs

Une équipe de chercheurs a publié sur arXiv (référence 2410.14022v2) une architecture de contrôle combinant des modèles Vision-Langage-Action (VLA) à grande échelle avec des politiques d'imitation légères pour la manipulation dextère multi-doigts. Le système repose sur une main robotique anthropomorphique propriétaire à 13 degrés de liberté (DOF), dotée d'une compliance mécanique modulable au niveau des doigts. Le cœur de l'approche est un contrôleur à commutation piloté par événements : le VLA assure la planification de haut niveau à partir d'instructions en langage naturel, tandis que des politiques dextères légères, entraînées par imitation sur des sous-tâches spécifiques, prennent le relais pour l'exécution précise. Les transitions entre les deux niveaux sont déclenchées par des signaux d'événement que le VLA apprend à prédire lui-même après fine-tuning sur un volume minimal de démonstrations. Ce travail s'attaque à un verrou bien identifié du secteur : les VLA (Pi-0, OpenVLA, GR00T N2) excellent en planification multi-tâches mais opèrent typiquement avec des préhenseurs pince à 2 DOF, insuffisants pour la manipulation fine. À l'inverse, les politiques d'imitation pour mains multi-doigts restent cantonnées à des tâches étroitement définies, sans généralisation par langage. En montrant que la compliance matérielle, soit la capacité d'une main à absorber passivement les perturbations de contact, améliore la stabilité sans complexifier le contrôle logiciel, les auteurs fournissent un argument concret en faveur de la co-conception hardware-software, encore trop souvent négligée dans la course au sim-to-real. La modularité revendiquée, à savoir l'ajout de nouvelles compétences ou le changement de main sans réentraîner le VLA, constitue une propriété potentiellement intéressante pour les intégrateurs industriels, même si les conditions d'évaluation restent strictement laboratoire. L'approche s'inspire de la "two-channel hypothesis" du contrôle moteur humain, qui distingue la planification corticale des réflexes spinaux. Sur le plan concurrentiel, elle se positionne face aux travaux de Physical Intelligence (Pi-0), de Google DeepMind sur la manipulation dextère, et aux architectures ACT ou Diffusion Policy appliquées à des mains haute-DOF. Ni institution d'appartenance ni métriques de performance chiffrées ne figurent dans l'abstract disponible, ce qui limite toute évaluation externe sérieuse de la contribution. La prochaine étape crédible serait une validation sur des benchmarks standardisés comme YCB et une comparaison directe avec des mains tierces commerciales, pour confirmer que la cross-embodiment claim tient hors du cadre contrôlé des auteurs.

1 source
Prise de décision hiérarchique intégrée pour la planification et le contrôle en cinématique inverse
252arXiv cs.RO 

Prise de décision hiérarchique intégrée pour la planification et le contrôle en cinématique inverse

Une équipe de chercheurs présente sur arXiv (2412.01324, v4) un solveur de programmation non linéaire hiérarchique et épars qui intègre simultanément prise de décision discrète et cinématique inverse (IK) corps entier. En un seul problème d'optimisation, le système résout des questions jusqu'ici traitées séparément : sélectionner le nombre minimal d'articulations à activer (contrôle IK épars), choisir parmi un large ensemble de positions candidates où poser un effecteur terminal, ou coordonner deux bras pour saisir un objet orienté aléatoirement. Le solveur s'appuie sur la norme ℓ₀, qui pénalise directement le nombre de variables non nulles, là où la littérature recourt habituellement à la norme ℓ₁, une approximation convexe plus facile à manipuler mais moins fidèle au problème réel. L'enjeu est la réduction du fossé entre planification et exécution dans les robots manipulateurs complexes. Les méthodes actuelles font appel à la programmation entière mixte non linéaire (MINLP), dont le coût de calcul est prohibitif en temps réel, ou à des heuristiques de faisabilité (cartes d'atteignabilité, workspace envelopes) qui simplifient le problème au détriment de la précision. Ce cadre traite le problème non linéaire directement, sans relaxation, en exploitant sa structure hiérarchique éparse. Pour un intégrateur travaillant sur des bras bi-manuels ou des plateformes humanoïdes, cela représente une piste concrète pour réduire la dépendance aux bibliothèques de mouvements pré-calculés et aux pipelines de sélection de prises hors ligne. Ce travail s'inscrit dans la lignée de la programmation quadratique hiérarchique (HQP), paradigme établi en commande de robots redondants depuis les travaux de Sentis et Khatib dans les années 2000. L'usage de la norme ℓ₀ dans des problèmes continus non convexes reste rare en robotique, ce qui constitue la principale originalité revendiquée. L'article ne présente toutefois pas de validation sur plateforme matérielle réelle, ni de benchmarks comparatifs en temps de calcul face à des solveurs de référence comme Drake (Toyota Research Institute) ou les pipelines MoveIt/TRAC-IK, une limite méthodologique à noter avant d'envisager un déploiement. Les suites naturelles seraient une intégration sur humanoïde et une comparaison avec les approches d'apprentissage par renforcement pour la sélection de prises.

RecherchePaper
1 source
Modèle JODA : dynamique articulaire composable pour objets articulés
253arXiv cs.RO 

Modèle JODA : dynamique articulaire composable pour objets articulés

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (arXiv:2605.09954) JODA, un cadre de modélisation des dynamiques d'articulation pour objets articulés (composable Joint Dynamics for Articulated Objects), destiné à combler l'absence de comportements mécaniques fins dans les simulateurs robotiques et les environnements d'IA incarnée. La méthode encode la dynamique d'un joint sous la forme d'un champ à trois canaux couvrant son degré de liberté : forces conservatives (ressorts, butées de fin de course), frottement sec (holding friction, detents, snap-latching) et amortissement (soft-close). Ces composantes sont instanciées par interpolation cubique par morceaux avec contraintes de forme (PCHIP), produisant une représentation compacte, interprétable et compatible avec la simulation différentiable. Pour inférer ces paramètres depuis des observations visuelles, JODA utilise un modèle vision-langage (VLM) qui propose des primitives dynamiques structurées, composées en un champ unifié, éditable manuellement ou affiné par descente de gradient. Le problème que JODA adresse est central en robotique de manipulation : le fossé simulation-réalité (sim-to-real gap). Les environnements comme MuJoCo, Isaac Sim ou Habitat modélisent la géométrie et la cinématique des objets articulés, mais ignorent les effets mécaniques de second ordre qui conditionnent le comportement tactile réel : résistance variable selon la position, crans d'arrêt, fermeture amortie, encliquetage. Pour un robot manipulant un tiroir de cuisine ou une vanne industrielle, ces dynamiques sont déterminantes. Une simulation plus fidèle devrait améliorer le transfert de politiques entraînées sur données synthétiques vers l'environnement physique, un enjeu clé pour les architectures VLA (Vision-Language-Action) en cours de déploiement à grande échelle. Les approches existantes ignorent généralement ces dynamiques ou s'appuient sur des paramètres scalaires fixes (raideur constante, amortissement linéaire), sans capturer ni la non-linéarité du frottement ni les comportements multi-stables. JODA se distingue par sa représentation paramétrique interprétable couplée à un pipeline d'inférence fondé sur un VLM, ouvrant la voie à une annotation semi-automatique d'actifs 3D à grande échelle. Le code et les assets d'exemple seront publiés uniquement à la parution de l'article, ce qui place JODA au stade de preprint sans validation externe à ce jour. La méthode s'inscrit dans une dynamique plus large d'enrichissement des simulateurs robotiques par des propriétés physiques extraites de données multimodales, un axe de recherche actif chez Google DeepMind, Meta FAIR et dans le domaine des jumeaux numériques industriels.

RecherchePaper
1 source
Modélisation de robots continus par Flow Matching conditionné sur l'action
254arXiv cs.RO 

Modélisation de robots continus par Flow Matching conditionné sur l'action

Une équipe de recherche a publié en mai 2026 (arXiv:2605.09216) une approche d'apprentissage automatique pour prédire la forme en régime stationnaire des robots continus à tendons (TDCRs, tendon-driven continuum robots). Le système combine une plateforme matérielle imprimée en 3D, un pipeline de collecte de données RGB-D multi-caméras, et un modèle de flow matching conditionné par l'état moteur, qui associe directement les commandes d'actionneurs à la géométrie 3D résultante sous forme de nuage de points. Les expériences couvrent des TDCRs simulés à 2, 3 et 5 modules sous MuJoCo, ainsi que des robots réels à 2 et 3 modules. Sur les métriques Chamfer Distance (CD) et Earth Mover's Distance (EMD), la méthode surpasse les approches antérieures de modélisation de déformables 3D et d'auto-modélisation robotique. Une extension en simulation montre que le même schéma conditionnel peut intégrer la charge utile en bout de bras comme variable d'entrée supplémentaire. Ce résultat est notable pour les intégrateurs de robots chirurgicaux, d'inspection en espace confiné ou de manipulation flexible, trois domaines où les TDCRs sont candidats naturels mais restent difficiles à contrôler précisément. Les méthodes analytiques classiques, basées sur la théorie des tiges de Cosserat, requièrent une caractérisation fine des paramètres de friction et de rigidité, souvent non reproductibles d'un exemplaire à l'autre en raison de la variabilité fabrication. L'approche présentée délègue cette complexité à la donnée : un échantillonnage de configurations quasi-statiques suffit à entraîner le modèle, sans connaissance du modèle physique. Le conditionnement par payload ouvre la voie à une planification adaptative en charge variable, ce que les modèles analytiques actuels gèrent mal en temps réel. Le flow matching, popularisé depuis 2022 comme alternative aux modèles de diffusion pour sa rapidité d'inférence, est ici appliqué pour la première fois à l'auto-modélisation cinématique de robots continus, selon les auteurs. Les approches concurrentes reposent soit sur des modèles physiques paramétriques, soit sur des réseaux neuronaux entraînés sur des représentations volumétriques ou de pose d'extrémité, sans géométrie complète. La plateforme 3D imprimée vise à rendre la méthode reproductible à faible coût. L'article reste un preprint sans déploiement annoncé ; les prochaines étapes naturelles incluent l'extension au contrôle en boucle fermée et la validation sur des robots à plus de 5 modules.

RecherchePaper
1 source
Des priors de diffusion avec contraintes pour une locomotion quadrupède haute fidélité et polyvalente
255arXiv cs.RO 

Des priors de diffusion avec contraintes pour une locomotion quadrupède haute fidélité et polyvalente

Une équipe de chercheurs publie Diff-CAST (Diffusion-guided Constraint-Aware Symmetric Tracking), un nouveau cadre de prior de mouvement pour la locomotion quadrupède biomimétique, déposé le 12 mai 2026 en preprint sur arXiv (2605.08804). La méthode substitue les modèles de diffusion aux discriminateurs GAN classiquement utilisés dans les pipelines combinant apprentissage par renforcement (RL) et imitation learning. L'architecture intègre deux composants : le SACC (Symmetric Augmented Command Conditioning), conçu pour corriger les dérives involontaires de cap lors de manœuvres complexes hors distribution, et un bloc de RL contraint (Constrained RL) chargé de garantir la conformité aux limites dynamiques des actionneurs lors du passage sur matériel physique, dans un schéma global baptisé Sim2Re. Le verrou que Diff-CAST cherche à lever est documenté dans la communauté : à mesure que les jeux de données de mouvement grossissent et se diversifient (sources multiples, données non curées), les discriminateurs GAN s'effondrent en mode collapse, incapables de modéliser des distributions multi-modales complexes. Les modèles de diffusion, dont la supériorité sur ce point est établie en génération d'images et de trajectoires, constituent une alternative logique. Si les expériences sur quadrupède réel confirment les résultats annoncés, cela ouvrirait la voie à un scaling massif de datasets hétérogènes sans perte de diversité comportementale, notamment pour des transitions fluides entre marche, trot et récupération. Il convient cependant de souligner que le papier est un preprint non évalué par les pairs, et que le gap sim-to-real reste à valider indépendamment. La locomotion quadrupède à base de RL est un domaine consolidé depuis les travaux d'ANYbotics sur ANYmal et du laboratoire Robotic Systems Lab d'ETH Zurich, prolongés par des équipes de Carnegie Mellon et Berkeley. Unitree (Go2, H1) et Boston Dynamics industrialisent ces méthodes, tandis que le secteur académique cherche à réduire la dépendance aux données de capture de mouvement coûteuses au profit de datasets non curés. Diff-CAST s'inscrit précisément dans cette tendance. Les prochaines étapes attendues sont la publication du code source, des benchmarks standardisés sur des plateformes comme Isaac Lab ou legged gym, et une validation multi-robots au-delà du quadrupède utilisé dans les expériences reportées.

RecherchePaper
1 source
MemCompiler : une mémoire conditionnée par l'état pour les agents IA physiques, sans injection
256arXiv cs.RO 

MemCompiler : une mémoire conditionnée par l'état pour les agents IA physiques, sans injection

Des chercheurs ont déposé le 10 mai 2026 sur arXiv (2605.07594) MemCompiler, une nouvelle architecture de mémoire pour agents incarnés, ces systèmes d'IA qui exécutent des séquences longues de tâches dans des environnements physiques ou simulés. Le problème ciblé est précis : les approches dominantes injectent l'ensemble du contexte mémoriel en bloc au démarrage de chaque épisode, une stratégie que les auteurs nomment AMMI (Ahead-of-time Monolithic Memory Injection). Ce contexte figé se désaligne avec l'état évolutif de l'agent au fil de l'exécution, et sur des modèles légers, peut même dégrader les performances sous la baseline sans mémoire. MemCompiler substitue à cette injection statique une compilation dynamique conditionnée à l'état courant : un Memory Compiler lit un résumé structuré de la situation (Brief State), sélectionne la mémoire pertinente et génère une guidance exécutable transmise sur deux canaux, un canal texte et un canal latent Soft-Mem préservant les informations perceptuelles non encodables en langage naturel. Évalué sur AlfWorld, EmbodiedBench et ScienceWorld, MemCompiler progresse jusqu'à +129 % sur les backbones open-source testés, réduit la latence par pas d'exécution de 60 % et approche les niveaux des systèmes propriétaires de référence. L'enjeu dépasse le benchmarking académique. Un agent dont l'état change à chaque action n'a plus besoin, au milieu d'une tâche, de la même mémoire qu'à son lancement : lui fournir un contexte statique revient à imprimer pour un technicien la liste exhaustive de tous ses outils plutôt que de lui tendre le bon au bon moment. La réduction de latence de 60 %, couplée aux gains de performance, contredit directement l'hypothèse que davantage de contexte mémoriel vaut toujours mieux. Le canal Soft-Mem est l'élément le plus original : il ouvre la voie à une mémoire multimodale compacte qui ne force pas la réduction au texte, un verrou structurel pour les agents traitant des observations visuelles ou proprioceptives complexes. La mémoire longue pour agents est un chantier actif depuis l'essor des LLM comme moteurs de raisonnement. Des travaux antérieurs comme MemGPT ou les systèmes RAG appliqués à la robotique ont établi que l'accès sélectif à un historique améliore les performances sur des tâches à horizon étendu. MemCompiler déplace le curseur de l'accès sélectif vers la compilation active : la mémoire n'est pas seulement récupérée, elle est transformée en fonction de l'état présent. Point de vigilance toutefois : les benchmarks utilisés (AlfWorld, ScienceWorld) sont des environnements textuels simulés. Des validations sur du hardware physique ou des benchmarks visuellement riches comme RLBench restent à produire pour mesurer la robustesse en conditions réelles. L'intégration dans des pipelines VLA (vision-language-action) embarqués sur des plateformes robotiques constitue la prochaine étape logique.

RecherchePaper
1 source
Drifting Field Policy : une politique générative en une étape via le flux de gradient de Wasserstein
257arXiv cs.RO 

Drifting Field Policy : une politique générative en une étape via le flux de gradient de Wasserstein

Une équipe de chercheurs propose le Drifting Field Policy (DFP), une politique générative à inférence en une seule étape pour l'apprentissage de tâches robotiques, publiée sur arXiv (ref. 2605.07727) en mai 2025. Contrairement aux politiques basées sur des équations différentielles ordinaires (ODE) comme les politiques de diffusion ou de flow matching, DFP n'itère pas sur plusieurs pas de débruitage : une seule passe réseau suffit pour générer l'action. Techniquement, la mise à jour de la politique est formulée comme un flux de gradient de Wasserstein-2 en divergence KL inverse vers une politique cible souple, ce qui revient à effectuer un pas de gradient dans l'espace des probabilités. Ce gradient se décompose en deux termes : une montée vers les régions d'actions à haute valeur estimée par un critique, et un score matching avec la politique d'ancrage servant de région de confiance. Pour rendre l'optimisation tractable, les auteurs dérivent un surrogate simplifié, équivalent à du behavior cloning sur les actions top-K sélectionnées par le critique. Évalué sur les benchmarks Robomimic et OGBench, DFP atteint des performances état de l'art sur plusieurs tâches de manipulation, surpassant les politiques ODE-based à nombre de paramètres comparable. L'enjeu principal est la latence d'inférence : les politiques à base de diffusion ou de flow matching, comme Pi-0 de Physical Intelligence ou les variantes de Diffusion Policy de Chi et al. (2023), requièrent typiquement 10 à 100 pas de débruitage, ce qui est prohibitif pour un contrôle robotique en temps réel. DFP atteint des performances comparables ou supérieures avec une seule évaluation du réseau, sans recourir à la distillation (consistency models, DDIM), qui dégrade souvent la qualité des trajectoires générées. Un résultat notable est que le surrogate loss via top-K behavior cloning bénéficie spécifiquement au backbone non-ODE de DFP, les auteurs montrant expérimentalement que cette combinaison n'améliore pas les architectures ODE-based de la même façon, ce qui valide la cohérence architecturale de l'approche. Les politiques de diffusion pour la robotique ont été popularisées par Chi et al. en 2023, puis étendues via le flow matching, paradigme utilisé notamment par Pi-0 et GR00T N2 de NVIDIA. Plusieurs travaux ont cherché à en réduire le coût computationnel par distillation ou quantification, sans parvenir à éviter une dégradation des performances. DFP propose une rupture en changeant le paradigme de génération lui-même plutôt qu'en compressant un modèle existant. Il n'existe à ce stade aucune annonce de déploiement ou de partenariat industriel : il s'agit d'un résultat académique pur. Les suites naturelles seraient une validation sur robots réels en manipulation dextère, une comparaison directe avec les variantes distillées de Diffusion Policy, et une intégration potentielle dans des pipelines VLA (Vision-Language-Action) où la latence d'inférence est un goulot d'étranglement critique.

RechercheOpinion
1 source
IA hybride logique temporelle pour une collaboration humain-essaim fiable en environnements complexes
258arXiv cs.RO 

IA hybride logique temporelle pour une collaboration humain-essaim fiable en environnements complexes

Une équipe de recherche a publié le 12 mai 2026 sur arXiv (identifiant 2605.07877) un cadre neuro-symbolique destiné à la collaboration entre un opérateur humain et un essaim de robots hétérogènes dans des missions longue durée. Le système, baptisé dans le papier comme un framework de planification hybride, formalise les objectifs de mission et les règles opérationnelles sous forme de formules de logique temporelle, et encode les ordres de tâches admissibles comme des automates de tâches. Un LLM conditionné par ces contraintes formelles et par le contexte perceptuel en direct génère alors des séquences de sous-tâches exécutables, vérifiées a priori pour leur faisabilité. Un ordonnanceur sensible à l'incertitude redistribue ensuite ces sous-tâches au sein de la flotte pour maximiser le parallélisme, tandis qu'un protocole d'interaction déclenché par événement réduit l'implication de l'opérateur à des confirmations de haut niveau, rares et ciblées. Les expériences ont été menées sur une flotte robotique hétérogène réelle, sans que les auteurs ne précisent la composition exacte ni les environnements de test, ce qui limite l'interprétation des métriques de performance présentées. L'intérêt principal de ce travail est d'adresser un angle mort connu des approches LLM pures pour la planification robotique : la génération de plans syntaxiquement plausibles mais sémantiquement invalides, produisant des ordres de tâches impossibles ou des actions hors des capacités physiques du robot. En ancrant le LLM dans un formalisme de logique temporelle vérifiable, le framework réduit le taux de corrections manuelles et maintient la cohérence du plan face aux événements dynamiques, ce qui est critique pour des missions en environnements dangereux comme la recherche en zone sinistrée ou l'inspection industrielle. La réduction de la charge cognitive opérateur via le protocole événementiel est également pertinente pour des contextes de supervision à distance avec faible bande passante humaine. Ce type d'approche neuro-symbolique s'inscrit dans un courant de recherche en pleine expansion qui cherche à corriger les hallucinations et les échecs de planification des grands modèles de langage par des garde-fous formels, une direction explorée en parallèle par des laboratoires comme MIT CSAIL, ETH Zurich et le laboratoire LAAS-CNRS en France. Les travaux sur la vérification formelle de plans LLM se multiplient depuis 2024, portés notamment par les besoins de sûreté dans la robotique de service et la logistique autonome. Ce papier reste au stade de preprint arXiv et n'annonce pas de déploiement commercial ou de partenariat industriel ; les prochaines étapes naturelles seraient une validation à plus grande échelle et une publication en conférence (ICRA, IROS) avec benchmarks standardisés.

UELe LAAS-CNRS (Toulouse) travaille en parallèle sur des approches neuro-symboliques similaires, ce qui positionne la France comme acteur de ce courant de recherche ; une validation à grande échelle pourrait alimenter des projets EU sur la robotique d'inspection industrielle et de sécurité civile.

RecherchePaper
1 source
DexSynRefine : synthèse et affinement des mouvements humain-objet pour des actions robotiques dextériques réalisables
259arXiv cs.RO 

DexSynRefine : synthèse et affinement des mouvements humain-objet pour des actions robotiques dextériques réalisables

DexSynRefine est un framework de manipulation dextre présenté dans un preprint arXiv daté de mai 2026, conçu pour apprendre des gestes robotiques complexes à partir de données d'interaction humain-objet (HOI) plutôt que par téléopération. L'architecture repose sur trois composants couplés : HOI-MMFP, une extension des "motion manifold primitives" conditionnée par la tâche et l'état initial de l'objet, qui synthétise des trajectoires coordonnées main-objet à partir de démonstrations HOI éparses ; une politique de renforcement résiduelle dans l'espace de la tâche, qui ancre physiquement ces trajectoires de référence tout en héritant de leur structure cinématique ; et un module d'adaptation contact-dynamique qui exploite l'historique proprioceptif pour le transfert sim-to-réel. Le système a été évalué sur cinq tâches : saisie-dépôt, utilisation d'outils et réorientation d'objets. Sur le robot réel, il améliore les taux de succès de 50 à 70 points de pourcentage par rapport au retargeting cinématique classique, et réussit le transfert sur la totalité des cinq tâches. Ce résultat est notable pour les intégrateurs et décideurs industriels parce qu'il adresse simultanément deux verrous majeurs de la manipulation dextre : le mismatch d'embodiment (les mains humaines et les mains robotiques ont des cinématiques incompatibles) et le sim-to-real gap dans des tâches contact-rich. L'approche HOI comme source de données est une alternative à l'échelle à la téléopération, coûteuse en opérateurs qualifiés. La politique résiduelle RL préserve la structure des démos tout en corrigeant la physique, ce qui limite l'exploration RL brute dans des espaces à haute dimension. Le gain de 50-70 pp est annoncé sur des évaluations internes, les conditions de test n'étant pas encore détaillées dans ce preprint préliminaire, ce qui invite à une lecture prudente avant généralisation. DexSynRefine s'inscrit dans une ligne de travaux sur la manipulation dextre post-dexterous-RL qui cherchent à s'affranchir de la téléopération (Dexterous Imitation, AnyDexGrasp, RoboAgent). Les motion manifold primitives sur lesquels s'appuie HOI-MMFP sont un outil issu de la synthèse de mouvement humain adapté ici au domaine robotique. Les concurrents directs incluent les approches de retargeting cinématique pur, les politiques diffusion comme pi-zero et les méthodes VLA appliquées à la manipulation fine. Le papier n'annonce pas de déploiement industriel ni de partenariat commercial, et reste au stade de la démonstration académique en laboratoire. Les prochaines étapes probables concernent la généralisation à des objets non vus et l'intégration dans des pipelines de données HOI à grande échelle.

IA physiquePaper
1 source
IA incarnée : un compromis nécessaire entre confidentialité et utilité
260arXiv cs.RO 

IA incarnée : un compromis nécessaire entre confidentialité et utilité

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.05017) un article de position soutenant que les systèmes d'IA incarnée (Embodied AI, EAI) entrent dans des environnements réels sensibles sans architecture conçue pour gérer la confidentialité de façon systémique. Le problème identifié est structurel : les solutions EAI actuelles optimisent leurs composantes isolément, en quatre étapes distinctes (instruction, perception, planification, interaction), sans prendre en compte leurs interactions en matière de vie privée dans des déploiements haute fréquence où les fuites de données sont souvent irréversibles. Les auteurs proposent SPINE (Secure Privacy Integration in Next-generation Embodied AI), un cadre unifié qui traite la confidentialité comme un signal de contrôle dynamique traversant l'ensemble du cycle de vie du système, et non comme une fonction locale à chaque étape. SPINE intègre une matrice de classification de sensibilité contextuelle multi-critères et a été conceptuellement validé par des études de cas préliminaires en simulation et en conditions réelles. L'enjeu central est architectural : en optimisant chaque étape indépendamment, les concepteurs créent une crise systémique de confidentialité dès le déploiement en environnement sensible. Un robot qui planifie ses déplacements, perçoit son environnement visuel et suit des instructions vocales génère un flux continu de données croisées : plans de logement, routines quotidiennes, visages, conversations. SPINE démontre que des correctifs locaux restent insuffisants face à ce couplage inter-étapes. Pour les intégrateurs et décideurs B2B en secteurs réglementés (santé à domicile, garde d'enfants, industrie), ce cadre propose une grille d'analyse systémique à intégrer en amont de tout déploiement, avant que les fuites ne deviennent impossibles à contenir. Ce travail s'inscrit dans un contexte de multiplication rapide des robots humanoïdes destinés à des environnements non industriels, avec des acteurs comme Figure, 1X Technologies et Boston Dynamics côté américain, et en Europe des entreprises comme Enchanted Tools ou Wandercraft qui positionnent leurs systèmes vers des espaces partagés. Le RGPD impose déjà des obligations strictes sur la collecte de données biométriques et comportementales, mais aucun standard sectoriel spécifique aux EAI n'existe encore. Les auteurs publient leur code sur GitHub (rminshen03/EAIPrivacy\Position) et formulent une invitation explicite à structurer un agenda de recherche autour de systèmes EAI sécurisés et fonctionnels, dont une prochaine étape naturelle serait l'intégration de SPINE dans des pipelines VLA (Vision-Language-Action) existants pour mesurer le coût réel en performance de ces contraintes de confidentialité.

UELe RGPD s'applique directement aux déploiements EAI en Europe et le cadre SPINE offre aux intégrateurs européens (dont Enchanted Tools et Wandercraft) une grille d'analyse systémique pour anticiper la conformité réglementaire avant tout déploiement en environnement sensible.

RechercheOpinion
1 source
Paramétrage adaptatif des scans pour l'inspection robotique par plongements vision-langage et calcul hyperdimensionnel
261arXiv cs.RO 

Paramétrage adaptatif des scans pour l'inspection robotique par plongements vision-langage et calcul hyperdimensionnel

Des chercheurs ont publié le 6 mai 2026 (arXiv:2605.03909) ScanHD, un système qui configure automatiquement les paramètres d'un profilomètre laser monté sur robot à partir d'une image RGB pré-scan et d'une instruction en langage naturel. Les cinq paramètres ciblés, à savoir fréquence d'échantillonnage, plage de mesure, temps d'exposition, dynamique du récepteur et illumination, sont aujourd'hui réglés manuellement par essais-erreurs dans l'industrie. Pour évaluer l'approche, les auteurs ont constitué Instruct-Obs2Param, un jeu de données multimodal réel portant sur 16 objets avec variations de pose et d'éclairage multi-vues. ScanHD atteint 92,7 % de précision exacte et 98,1 % de Win@1 sur les cinq paramètres, avec une latence d'inférence compatible avec un déploiement industriel, et surpasse les heuristiques à base de règles ainsi que les grands modèles de langage multimodaux (MLLM). L'enjeu concret dépasse la seule inspection de surface : tout intégrateur déployant des cellules de contrôle dimensionnel automatisées dans l'automobile, l'aéronautique ou l'électronique de précision est exposé aux conséquences d'un mauvais réglage capteur, notamment la saturation, l'écrêtage ou les retours manquants qui ne peuvent pas être corrigés en post-traitement. Que ScanHD surpasse les MLLM sur cette tâche est significatif : le calcul hyperdimensionnel (HDC), qui encode instructions et observations dans des vecteurs binaires de très haute dimension pour un raisonnement associatif compact, semble offrir un avantage structurel sur les tâches de correspondance discrète à faible latence, là où les LLM génératifs tendent à sur-généraliser ou à produire des réponses instables. Le HDC est un paradigme computationnel issu des travaux de Pentti Kanerva dans les années 1980-1990, qui connaît un regain d'intérêt pour les applications embarquées grâce à sa compacité mémoire et son interprétabilité, en contraste avec les architectures transformers. ScanHD s'inscrit dans le courant des modèles vision-langage appliqués à la robotique, un espace aujourd'hui dominé par pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et Helix (Figure AI), mais il se distingue en ciblant la configuration du capteur plutôt que les actions du robot. Aucun partenaire industriel ni calendrier de déploiement ne figurent dans la publication : l'article reste au stade de la validation expérimentale sur banc de test.

UELes intégrateurs européens de cellules de contrôle dimensionnel automatisées (automobile, aéronautique, électronique de précision) sont directement concernés par la problématique du réglage manuel des capteurs laser, mais aucun transfert industriel ni partenariat EU n'est prévu à ce stade.

RecherchePaper
1 source
Phone2Act : système de téléopération économique et universel pour la collecte de données VLA à grande échelle
262arXiv cs.RO 

Phone2Act : système de téléopération économique et universel pour la collecte de données VLA à grande échelle

Phone2Act est un framework de téleopération publié sur arXiv (2605.01948) qui transforme un smartphone grand public en contrôleur de robot à 6 degrés de liberté (DoF) via Google ARCore. Développé sur une architecture ROS 2 modulaire, le système découple la logique de contrôle des spécificités matérielles grâce à des noeuds bridge interchangeables, ce qui permet de passer d'un cobot industriel à un bras bimanuel bas coût sans modification de code. Un composant baptisé Universal Recorder synchronise des flux RGB multi-caméras avec le retour d'état du robot, puis exporte les démonstrations directement au format LeRobot, supprimant toute étape de post-traitement. Le framework a été validé en affinant le modèle VLA GR00T-N1.5 de NVIDIA sur 130 épisodes collectés, atteignant un taux de succès de 90 % sur une tâche réelle de pick-and-place multi-étapes déployée sur un Dobot CR5 physique. Ce résultat interpelle à plusieurs titres. La collecte de données de manipulation reste l'un des goulets d'étranglement les plus coûteux du pipeline d'entraînement VLA (Vision-Language-Action) : les frameworks existants supposent du matériel spécialisé, exosquelettes, gants haptiques, SpaceMouse, représentant souvent plusieurs milliers d'euros par poste. Phone2Act abaisse ce seuil à la possession d'un smartphone compatible ARCore. Les 90 % de succès sur tâche physique réelle, obtenus avec seulement 130 épisodes, suggèrent que la qualité des données collectées est suffisante pour le fine-tuning de modèles de fondation actuels. Pour un intégrateur ou un laboratoire à budget contraint, le facteur limitant n'est plus le matériel de collecte, mais le temps opérateur. Il faut toutefois noter que les vidéos de démonstration ne couvrent qu'une seule tâche, et que 130 épisodes représente un volume très limité pour tirer des conclusions généralisables. La problématique du coût de la donnée robotique est centrale depuis l'essor des modèles VLA fin 2023. Des initiatives comme Open X-Embodiment (Google DeepMind) ou LeRobot (HuggingFace, 2024) ont standardisé les formats de datasets sans résoudre l'acquisition terrain à bas coût. Phone2Act s'inscrit dans cette continuité en ciblant le format LeRobot comme sortie native. Face à lui, des systèmes comme ALOHA 2 (Google DeepMind/Stanford) ou les kits SO-100/SO-101 (The Robot Company) restent liés à des plateformes matérielles spécifiques. Le Dobot CR5 retenu pour les tests est un cobot industriel d'entrée de gamme, aux alentours de 15 000 euros, ce qui délimite le périmètre cible. Le code source et les données collectées n'étaient pas encore publics au moment de la soumission arXiv.

UEImpact indirect pour les laboratoires européens utilisant le format LeRobot (HuggingFace) ; aucune institution française ou européenne n'est directement impliquée dans le développement du framework.

IA physiqueOpinion
1 source
NaviMaster : un modèle unifié pour la navigation dans les interfaces graphiques et dans les environnements physiques
263arXiv cs.RO 

NaviMaster : un modèle unifié pour la navigation dans les interfaces graphiques et dans les environnements physiques

NaviMaster (arXiv:2508.02046, version 4 du preprint) est un agent d'intelligence artificielle qui unifie dans un seul modèle deux types de navigation habituellement traités séparément : la navigation en interface graphique (GUI, pilotage d'applications et de menus) et la navigation embodied (déplacement d'un agent physique ou simulé dans un espace 3D). Le système repose sur l'observation que ces deux problèmes se formulent comme des Processus de Décision Markoviens (MDP), ce qui autorise une architecture et un entraînement communs. NaviMaster introduit trois contributions techniques : un pipeline de collecte de trajectoires à cible visuelle applicable aux deux domaines via une formulation unifiée, un cadre d'apprentissage par renforcement (RL) entraîné sur données mixtes pour améliorer la généralisation, et une récompense dite "distance-aware" conçue pour accélérer l'apprentissage à partir des trajectoires collectées. Évalué sur des benchmarks hors-domaine, il surpasse les agents spécialisés de l'état de l'art sur trois tâches : navigation GUI, prédiction d'affordance spatiale et navigation embodied. Les codes, données et checkpoints sont publiés en open source. L'intérêt de NaviMaster est moins dans ses performances brutes sur chaque tâche isolée que dans la démonstration que GUI et navigation physique peuvent partager une même représentation apprise. Jusqu'ici, ces deux domaines s'appuyaient sur des datasets distincts, des architectures incompatibles et des paradigmes d'entraînement divergents. Pour les équipes travaillant sur des modèles VLA (Vision-Language-Action) ou sur des systèmes multi-tâches, c'est une preuve de concept que la généralisation cross-domaine par RL mixte est faisable à cette échelle. Les études d'ablation publiées confirment que la stratégie de mélange de données et la récompense distance-aware contribuent toutes deux de manière mesurable aux gains finaux, ce qui renforce la crédibilité des choix architecturaux au-delà du résultat global. NaviMaster s'inscrit dans une dynamique de convergence croissante entre agents logiciels et agents physiques. Il se positionne face à des agents GUI spécialisés comme CogAgent ou SeeAct d'un côté, et à des modèles de navigation embodied comme RT-2 ou OpenVLA de l'autre. Les benchmarks de référence sont Web-Arena et OSWorld pour le versant GUI, Habitat pour le versant physique. La présence d'une version v4 sur arXiv signale un processus de révision actif, probablement en direction d'une conférence majeure (ICLR, NeurIPS ou ICRA). L'article ne mentionne aucun déploiement industriel ni partenariat, ce qui place NaviMaster au stade de la preuve de concept académique.

RechercheOpinion
1 source
Organisation robotique de bureau : une approche multi-primitive pour manipuler des objets hétérogènes via les contraintes environnementales
264arXiv cs.RO 

Organisation robotique de bureau : une approche multi-primitive pour manipuler des objets hétérogènes via les contraintes environnementales

Une équipe de recherche a déposé sur arXiv (référence 2605.02135, mai 2025) un framework de manipulation pour robots de service dédié à l'organisation de bureaux, capable de traiter simultanément des objets rigides et déformables posés à plat sur une surface. Le système repose sur trois primitives de manipulation exploitant l'environnement physique : un saisissement par contact direct pour les petits objets, un push-grasp assisté par le bord de la table pour les objets rigides plans, et un geste de levering (soulèvement par effet de levier) pour les objets déformables plans comme des feuilles de papier ou des pochettes. Un pipeline de perception géométrique, entraîné sur des datasets augmentés d'objets de bureau peu courants, assure l'estimation de pose et la détection des contraintes physiques disponibles, notamment les arêtes de table. Un planificateur de tâches orchestre ces primitives pour des séquences multi-objets incluant collecte et empilement. Les expériences en conditions réelles démontrent la robustesse de l'approche, et le code source ainsi que les vidéos sont publiés en accès libre. L'intérêt principal de ce travail est l'exploitation systématique des contraintes environnementales comme ressource de manipulation plutôt que comme obstacle, une inversion de perspective qui améliore la robustesse sans nécessiter de hardware dédié tel que ventouses ou pinces spécialisées. La gestion des objets déformables, longtemps considérée comme un verrou pour les robots de service, est ici abordée sans apprentissage end-to-end, ce qui favorise la traçabilité et le débogage en contexte d'intégration industrielle. Pour un intégrateur ou un COO logistique, ce type de framework à primitives explicites est plus directement industrialisable que les approches VLA (Vision-Language-Action) dont la robustesse en déploiement réel à grande échelle reste discutée dans la littérature. Ce travail s'inscrit dans le courant du task-and-motion planning (TAMP), qui cherche à combiner la robustesse des primitives classiques avec la flexibilité perceptive nécessaire aux environnements non structurés, en alternative aux méthodes d'imitation ou de reinforcement learning pur. Il se positionne sans atteindre encore leur généralisabilité sur de larges catalogues d'objets, ce qui constitue la limite principale de l'approche. Les acteurs actifs sur la manipulation fine de bureau incluent Google DeepMind avec ses travaux RT-2 et π0, Physical Intelligence, et côté académique des labos comme ETH Zurich ou CMU ; aucun acteur francophone ou européen n'est directement impliqué dans ce papier. Les suites naturelles seraient d'étendre ces primitives à des objets tridimensionnels non plans et d'évaluer le passage à l'échelle sur des manipulateurs commerciaux comme le Kinova Gen3 ou le Franka Research 3.

RecherchePaper
1 source
Latent Bridge : prédiction de delta de caractéristiques pour une inférence efficace des modèles VLA à double système
265arXiv cs.RO 

Latent Bridge : prédiction de delta de caractéristiques pour une inférence efficace des modèles VLA à double système

Une équipe de recherche publie sur arXiv (2605.02739) une méthode baptisée Latent Bridge, conçue pour accélérer l'inférence des modèles Vision-Language-Action (VLA) à double système, architecture qui combine un backbone de grand modèle de vision-langage (VLM) lent avec une tête d'action rapide. Le problème identifié : dans ce paradigme, le VLM doit s'exécuter à chaque pas de contrôle, même lorsque la scène visuelle évolue peu entre deux timesteps, ce qui crée un goulot d'étranglement computationnel majeur. Latent Bridge est un modèle léger entraîné pour prédire le delta des sorties du VLM entre deux appels, permettant à la tête d'action de fonctionner sur des features interpolées pendant que le backbone coûteux ne tourne que périodiquement. La méthode est validée sur deux VLAs architecturalement distincts : GR00T-N1.6 de NVIDIA (pont dans l'espace des features) et π0.5 de Physical Intelligence (pont sur le KV-cache). Sur quatre suites LIBERO, 24 tâches cuisine RoboCasa et la tâche ALOHA sim transfer-cube, Latent Bridge conserve 95 à 100 % des performances initiales tout en réduisant les appels VLM de 50 à 75 %, pour un gain net de 1,65x à 1,73x en vitesse d'exécution par épisode. Ce résultat est structurellement important pour quiconque envisage de déployer des VLAs sur du matériel réel : jusqu'ici, la richesse sémantique des VLM se payait en latence, rendant difficile un contrôle à haute fréquence sur robots à ressources embarquées limitées. Le fait que la méthode fonctionne sur deux familles architecturales différentes, l'une opérant dans l'espace des features, l'autre sur le KV-cache, suggère une généralisation potentiellement large plutôt qu'une optimisation opportuniste. Le pipeline d'entraînement DAgger utilisé est task-agnostic et transfert sans modification entre benchmarks, ce qui réduit le coût d'adaptation. Il reste à noter que toutes les évaluations sont conduites en simulation ; l'écart sim-to-real n'est pas adressé dans ce travail, et les gains de vitesse annoncés restent à confirmer sur hardware physique. GR00T-N1.6 est le modèle humanoïde de NVIDIA issu de la roadmap GR00T, tandis que π0.5 est la dernière itération du VLA de Physical Intelligence (ex-pi0), entreprise fondée par Sergey Levine et Chelsea Finn qui a levé 400 millions de dollars en 2024. Ces deux modèles représentent l'état de l'art des VLA duaux, face à des concurrents comme OpenVLA (Berkeley), RoboFlamingo ou les approches ACT/Diffusion Policy. La pression sur l'efficacité computationnelle devient un axe de différenciation croissant à mesure que les déploiements industriels à grande échelle approchent ; des travaux parallèles explorent la distillation et la quantification des VLM, mais Latent Bridge propose une voie orthogonale en exploitant la redondance temporelle plutôt qu'en compressant le modèle. La prochaine étape logique serait une validation sur plateforme physique, idéalement sur des robots comme Fourier GR-1 ou Figure 02 dont les équipes utilisent des pipelines VLA similaires.

IA physiqueOpinion
1 source
Perception multimodale, ancrage linguistique, contrôle et saisie d'objets en interaction humain-robot : étude d'ablation
266arXiv cs.RO 

Perception multimodale, ancrage linguistique, contrôle et saisie d'objets en interaction humain-robot : étude d'ablation

Une étude soumise en mai 2025 sur arXiv (référence 2605.00963) présente une analyse par ablation d'un système de manipulation robotique piloté par interaction homme-robot multimodale, appliqué à une tâche de détection et saisie d'objets. Les chercheurs ont ciblé trois modules du pipeline : le modèle de langage chargé d'extraire les actions à partir d'instructions verbales, le système de perception assurant l'ancrage visuel des objets cibles, et le contrôleur gérant l'exécution du mouvement. L'étude compare trois LLM distincts, cinq configurations de perception, et trois contrôleurs, avant de soumettre les meilleures combinaisons à une analyse factorielle croisée en seconde phase. L'objectif déclaré n'est pas de redessiner le pipeline, mais d'isoler la contribution de chaque composant sous un protocole expérimental commun. Cette approche répond à une question directement actionnable pour les intégrateurs et ingénieurs robotiques : quel module optimiser en priorité pour améliorer le taux de succès, et lequel pour réduire le temps d'exécution ? Dans un contexte industriel, ces deux métriques obéissent à des contraintes distinctes selon les postes de travail, et les confondre dans une évaluation globale masque les vrais leviers d'amélioration. La méthodologie par ablation reste encore rare dans les publications de manipulation robotique, où la tendance est d'évaluer un seul composant à la fois, ce qui rend les résultats difficiles à reproduire ou à transposer d'un système à l'autre. Les auteurs précisent que l'analyse vise aussi à orienter les choix d'ingénierie dans les prochaines versions du système. Ce travail s'inscrit dans un effort plus large de la communauté pour rendre opérationnels les pipelines de manipulation guidés par langage hors des environnements contrôlés de laboratoire. Sur le plan concurrentiel, deux écoles s'affrontent actuellement : les modèles unifiés de type VLA (Vision-Language-Action) entraînés à grande échelle, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, et les pipelines modulaires qui préservent la séparabilité des composants pour faciliter le débogage et l'adaptation sectorielle. L'étude n'annonce pas de déploiement industriel et reste pour l'instant au stade de la validation expérimentale. La prochaine étape logique serait de tester si les gains mesurés en laboratoire résistent au sim-to-real gap, qui demeure le principal obstacle à la mise en production des systèmes de manipulation guidés par instructions en langage naturel.

RecherchePaper
1 source
Apprendre à piloter en quelques minutes : Infoprop Dyna sur le Mini Wheelbot
267arXiv cs.RO 

Apprendre à piloter en quelques minutes : Infoprop Dyna sur le Mini Wheelbot

Des chercheurs ont publié en mai 2025 sur arXiv (2605.01096) les résultats d'une expérience dans laquelle le Mini Wheelbot, un robot unicycle sous-actionné aux dynamiques fortement non linéaires et instables, apprend à effectuer des tours de piste en seulement 11 minutes d'interactions dans le monde réel. Le système repose sur Infoprop Dyna, un framework de reinforcement learning basé sur des modèles (MBRL) intégrant une estimation explicite de l'incertitude. Aucun simulateur physique n'a été utilisé : l'entraînement se fait entièrement à partir de données collectées en conditions réelles, sans domain randomization. Ce résultat interpelle car la quasi-totalité des approches RL en robotique repose aujourd'hui sur des simulateurs haute-fidélité pour accélérer l'entraînement et garantir le transfert sim-to-real. Cette dépendance représente un coût d'ingénierie significatif et introduit un "reality gap" particulièrement difficile à combler pour des dynamiques rapides ou mal modélisées. Le fait qu'un robot à dynamique instable atteigne des performances de course en moins d'un quart d'heure de données réelles suggère qu'Infoprop Dyna peut court-circuiter cette étape, ce qui serait une avancée tangible pour les équipes sans les ressources nécessaires pour construire des simulateurs précis. À noter : l'abstract ne précise ni la longueur du circuit ni la complexité de la trajectoire, ce qui limite la comparabilité du chiffre des 11 minutes. Le cadre MBRL uncertainty-aware n'est pas nouveau en soi, mais son application à un unicycle sous-actionné, réputé parmi les plateformes les plus difficiles à stabiliser, constitue un test de robustesse sérieux. Les approches concurrentes en apprentissage réel incluent PETS, POLO ou DreamerV3, qui cherchent également à réduire la dépendance aux données simulées. La prochaine étape naturelle serait de tester Infoprop Dyna sur des plateformes plus rapides ou en présence de perturbations externes, pour déterminer si la convergence en 11 minutes reste reproductible hors conditions laboratoire contrôlées.

RecherchePaper
1 source
IA incarnée et interprétabilité causale : comprendre pour mieux généraliser dans les modèles VLA
268arXiv cs.RO 

IA incarnée et interprétabilité causale : comprendre pour mieux généraliser dans les modèles VLA

Une équipe de chercheurs a publié le 1er mai 2026 (arXiv:2605.00321) un travail introduisant deux outils de diagnostic pour les politiques de type Vision-Langage-Action (VLA) : l'Interventional Significance Score (ISS) et le Nuisance Mass Ratio (NMR). L'ISS est une procédure de masquage interventionnel qui estime l'influence causale de régions visuelles spécifiques sur les prédictions d'action d'un agent robotique. Le NMR est une métrique scalaire qui quantifie dans quelle mesure un modèle s'appuie sur des caractéristiques visuelles non pertinentes pour la tâche plutôt que sur des causes réelles. La méthode reformule l'attribution visuelle comme un problème d'estimation interventionnelle, au sens de la causalité de Pearl, et non comme une simple corrélation statistique. Des expériences sur des tâches de manipulation variées confirment que le NMR prédit le comportement de généralisation, et que l'ISS produit des attributions plus fidèles que les méthodes d'interprétabilité existantes. À noter : le preprint ne publie ni code ni benchmark public, et les métriques de performance sur tâches spécifiques restent peu détaillées dans l'abstract. L'enjeu est direct pour les intégrateurs et les décideurs industriels : les modèles VLA actuellement déployés, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Sanctuary AI, échouent régulièrement hors de leur distribution d'entraînement. Jusqu'ici, identifier pourquoi restait largement empirique. ISS et NMR offrent un test diagnostique pré-déploiement : un NMR élevé signale que le modèle prend ses décisions sur la base de corrélations visuelles parasites (couleur de fond, éclairage, texture du sol) plutôt que sur la structure causale de la tâche. C'est une avancée concrète vers l'analyse formelle du sim-to-real gap, l'un des verrous les plus cités par les équipes d'intégration robotique industrielle, et cela ouvre la voie à des critères de certification hors-distribution avant mise en production. Le problème de l'interprétabilité des politiques robotiques apprises restait largement ouvert. Les méthodes existantes, cartes de saillance par gradient ou rollout d'attention, reposent sur des observations corrélationnelles et ont tendance à surestimer l'importance de features visuelles non causales. Ce travail se positionne explicitement contre ces approches en adoptant un cadre interventionnel rigoureux. Aucune affiliation institutionnelle n'est mentionnée dans le preprint. Les suites naturelles incluent l'application systématique de ces métriques sur des architectures établies comme OpenVLA, Octo ou RoboVLMs, et potentiellement leur intégration comme signal de régularisation pendant l'entraînement. Le papier arrive au moment où Figure AI, 1X Technologies et Agility Robotics intensifient leurs déploiements en environnements industriels réels, rendant la robustesse hors-distribution critique pour la crédibilité commerciale du secteur.

UECes outils de diagnostic pourraient aider les intégrateurs industriels européens à évaluer la robustesse hors-distribution des modèles VLA avant déploiement, et à terme nourrir des critères de certification conformes à l'AI Act.

IA physiquePaper
1 source
Cartes de coût conditionnées à la tâche pour la locomotion sur pattes
269arXiv cs.RO 

Cartes de coût conditionnées à la tâche pour la locomotion sur pattes

Une équipe de recherche a publié sur arXiv (identifiant 2605.00261, mai 2025) une méthode permettant aux robots à pattes de naviguer plus fiablement sur des terrains non structurés en modélisant l'incertitude épistémique dans la prédiction des appuis. Le principe : un modèle appris, entraîné à prédire les points de contact viables au sol, intègre désormais une estimation de sa propre incertitude, conditionnée à la fois sur les relevés de hauteur du terrain et sur la commande de mouvement transmise au robot. Testé en simulation et en conditions réelles, le système distingue les zones de terrain "connues" (in-distribution) des zones hors distribution (OOD), c'est-à-dire absentes des données d'entraînement. Cette incertitude est intégrée dans un cadre unifié de génération de costmaps, directement exploitable par un planificateur de trajectoire. Résultat principal : jusqu'à 37 % de réduction de l'erreur de faisabilité en simulation, avec un comportement de planification plus robuste qu'un modèle reposant uniquement sur la géométrie du terrain. L'enjeu est concret pour les intégrateurs de robots à pattes en milieu industriel. La plupart des systèmes appris actuels échouent silencieusement sur des terrains hors distribution : le robot tente quand même le franchissement, avec des risques de chute ou de blocage. En rendant l'incertitude explicite et traduite en coût dans le planificateur, le système peut délibérément éviter les zones qu'il ne reconnaît pas. C'est une avancée pour le déploiement en environnements non contrôlés, là où il est impossible de couvrir exhaustivement tous les types de surface lors de l'entraînement. La méthode offre aussi une voie de sortie au problème des datasets limités : un modèle entraîné sur une distribution restreinte peut opérer en sécurité en sachant délimiter son propre domaine de compétence. Cette problématique s'inscrit dans un effort de recherche plus large visant à combler le gap sim-to-real en locomotion à pattes, défi qui mobilise des acteurs comme ANYbotics (dont l'ANYmal est déployé en inspection industrielle), Boston Dynamics (Spot) ou Unitree Robotics. La tendance dominante jusqu'ici consistait à accumuler davantage de données et à diversifier les terrains de simulation. L'approche par quantification d'incertitude offre une voie complémentaire, particulièrement adaptée aux déploiements à domaine restreint où la collecte de données exhaustive est coûteuse. Les auteurs ne mentionnent ni timeline de commercialisation ni partenariat industriel identifié : il s'agit d'un preprint académique, sans validation sur robot commercial nommé.

RecherchePaper
1 source
De la requête à l'actuation physique : modélisation holistique des menaces dans les systèmes robotiques pilotés par LLM
270arXiv cs.RO 

De la requête à l'actuation physique : modélisation holistique des menaces dans les systèmes robotiques pilotés par LLM

Une étude publiée sur arXiv (référence 2604.27267) propose la première modélisation unifiée des menaces de sécurité pour les systèmes robotiques autonomes pilotés par des grands modèles de langage (LLM). Les auteurs ont modélisé un robot autonome déployé en architecture edge-cloud sous la forme d'un Data Flow Diagram (DFD) hiérarchique, puis appliqué la méthode STRIDE-per-interaction sur six points de franchissement de frontières de confiance. Cette analyse identifie trois familles de menaces distinctes : les menaces cyber conventionnelles (injections réseau, falsification de données), les menaces adversariales (attaques sur la perception visuelle ou sensorielle) et les menaces conversationnelles (prompt injection, manipulation des sorties du LLM). Trois chaînes d'attaque cross-boundary sont tracées de l'entrée externe jusqu'à l'actionnement physique non sécurisé du robot. Ce travail est significatif parce qu'il démontre que ces trois catégories de menaces convergent aux mêmes points d'interface architecturale, ce qui invalide l'hypothèse implicite de nombreux intégrateurs selon laquelle les couches perception, planification et actuation peuvent être sécurisées indépendamment. L'étude expose trois failles structurelles distinctes : l'absence de validation sémantique indépendante entre l'entrée utilisateur et la commande d'actionneur, la translation cross-modale de la perception visuelle vers l'instruction LLM, et le franchissement non médié des frontières via les outils côté fournisseur (tool use). Pour un COO industriel ou un intégrateur déployant des robots LLM-enabled en production, ces résultats impliquent que le pipeline perception-planification-actuation constitue une surface d'attaque continue, et non un empilement de composants isolables. Le contexte est celui d'une intégration accélérée des LLM dans la robotique autonome, portée par des acteurs comme Figure AI, 1X Technologies, Boston Dynamics ou Physical Intelligence (pi0), qui utilisent des architectures VLA (Vision-Language-Action) pour le contrôle haut niveau. Les travaux antérieurs traitaient séparément la cybersécurité robotique, les attaques adversariales sur la perception et la sécurité des LLM, sans modèle architectural unifié. Cette étude, encore au stade preprint et non évaluée par les pairs, comble ce vide méthodologique et devrait alimenter les discussions dans les groupes de standardisation (ISO TC 299, IEC) sur la certification des systèmes robotiques cognitifs. Les auteurs ne précisent pas d'affiliations institutionnelles spécifiques ni de financements dans l'abstract.

UECette étude devrait alimenter les groupes de standardisation européens (IEC, ISO TC 299) travaillant sur la certification des systèmes robotiques cognitifs dans le cadre de l'AI Act, en fournissant une méthodologie unifiée manquante.

RechercheOpinion
1 source
Multiplexeur mécanique à embrayage électrostatique avec capacité de force accrue
271arXiv cs.RO 

Multiplexeur mécanique à embrayage électrostatique avec capacité de force accrue

Une équipe de chercheurs a publié sur arXiv (réf. 2501.08469) les résultats d'un système de transmission à embrayage électrostatique à cabestan, conçu pour le multiplexage mécanique d'actionneurs robotiques. Le principe : un seul moteur contrôle plusieurs articulations via des embrayages qui engagent ou désengagent sélectivement les tendons. Démontré sur une main robotique à quatre degrés de liberté (DoF) à entraînement par tendons, le système atteint des forces de sortie allant jusqu'à 212 N, multiplie la résistance en prise verticale par 4,09, et porte la capacité de charge horizontale à 111,2 N. Ce dernier chiffre constituerait un record parmi les mains robotiques à cinq doigts entraînées par tendons, selon les auteurs. L'architecture supporte deux modes : SISO (une entrée, une sortie) pour le contrôle séquentiel joint par joint, et SIMO (une entrée, plusieurs sorties) pour l'activation simultanée de plusieurs articulations depuis un seul moteur. Ces résultats ont des implications directes pour la conception de mains humanoïdes et de préhenseurs industriels à haute dextérité. Le principal goulot d'étranglement des systèmes multi-DoF réside dans l'obligation de dédier un moteur à chaque articulation, ce qui alourdit la masse embarquée, augmente la consommation et complique la gestion thermique. Les solutions d'embrayage existantes souffraient soit d'un encombrement excessif, soit d'un plafond de force trop bas, soit de l'impossibilité de piloter plusieurs sorties simultanément. Le fait que ce système SIMO autorise une commande multi-joint synchrone depuis un seul moteur tout en dépassant 100 N en charge horizontale remet en question l'hypothèse que multiplexage rime nécessairement avec compromis en force. Le multiplexage mécanique n'est pas nouveau : des approches pneumatiques, hydrauliques et magnétiques ont été explorées, chacune butant sur des contraintes de gabarit ou de durabilité. L'embrayage électrostatique à cabestan exploite les forces d'adhérence entre surfaces chargées pour bloquer ou libérer la transmission sans pièces mobiles complexes, ce qui réduit théoriquement l'usure et le bruit d'actionnement. Ce développement arrive dans un contexte de forte compétition autour de la dextérité manuelle humanoïde : Figure (Figure 03), Tesla (Optimus Gen 3), Agility Robotics et 1X Technologies investissent massivement dans ce domaine, et toute réduction du nombre d'actionneurs sans perte de force représente un avantage de masse et de coût significatif. Les prochaines étapes naturelles concerneront la validation en durée de vie prolongée et l'intégration dans une main complète cinq doigts à l'échelle préindustrielle.

RecherchePaper
1 source
FreeOcc : prédiction d'occupation en vocabulaire ouvert sans entraînement pour l'IA incarnée
272arXiv cs.RO 

FreeOcc : prédiction d'occupation en vocabulaire ouvert sans entraînement pour l'IA incarnée

Une équipe de chercheurs a publié début 2026 FreeOcc (arXiv:2604.28115), un framework de prédiction d'occupance 3D à vocabulaire ouvert fonctionnant sans aucune phase d'entraînement. Le système traite des séquences d'images monoculaires ou RGB-D et produit une carte voxelisée dense sans annotations 3D, sans poses caméra de référence et sans supervision au niveau du voxel. Son pipeline en quatre étapes enchaîne un backbone SLAM pour l'estimation des poses, une représentation 3D par Gaussian splatting géométriquement cohérent, l'association de sémantiques à vocabulaire ouvert via des modèles vision-langage (VLM) off-the-shelf, puis une projection probabiliste gaussiennes-vers-voxels. Sur le benchmark EmbodiedOcc-ScanNet, FreeOcc dépasse de plus du double les scores IoU et mIoU des meilleures méthodes auto-supervisées existantes, et transfère en zéro-shot vers des environnements inconnus sur le nouveau benchmark ReplicaOcc publié par les mêmes auteurs, surpassant à la fois les baselines supervisées et auto-supervisées. La prédiction d'occupance sémantique 3D est un prérequis fondamental pour la navigation, la manipulation et la planification dans les systèmes robotiques incarnés. La principale friction jusqu'ici était le coût prohibitif des annotations 3D : des jeux de données comme ScanNet exigent des dizaines de milliers de labels voxel par scène, rendant la généralisation hors domaine structurellement difficile. En s'appuyant intégralement sur des VLMs pré-entraînés (de type CLIP) pour la sémantique et sur le SLAM pour la géométrie, FreeOcc supprime ce goulot d'étranglement et ouvre la voie à des systèmes de perception adaptables sans pipeline de labeling continu. Le transfert zéro-shot est particulièrement stratégique pour les intégrateurs : un robot déployé dans un nouvel environnement n'a besoin ni de cycle d'annotation ni de fine-tuning. Les métriques restent néanmoins mesurées en conditions benchmark contrôlées, sans validation terrain annoncée à ce stade. FreeOcc s'inscrit dans la convergence entre Gaussian splatting, popularisé par 3DGS en 2023, et les grands modèles vision-langage pour produire des cartes sémantiques 3D sans supervision dédiée. Les méthodes supervisées concurrentes, parmi lesquelles OccNet, SurroundOcc et MonoScene, nécessitent des milliers d'heures d'annotation et généralisent mal hors de leur domaine d'entraînement. Il s'agit ici d'un preprint de recherche sans partenariat industriel déclaré ni timeline produit ; la prochaine étape naturelle serait une validation sur des plateformes mobiles réelles (AMR, bras manipulateurs) dans des conditions d'éclairage et de dynamisme non contrôlées.

RecherchePaper
1 source
LaST-R1 : renforcement de l'action par raisonnement latent physique adaptatif pour les modèles VLA
273arXiv cs.RO 

LaST-R1 : renforcement de l'action par raisonnement latent physique adaptatif pour les modèles VLA

Des chercheurs ont publié le 29 avril 2026 sur arXiv (2604.28192) un nouveau cadre pour les modèles Vision-Langage-Action (VLA) baptisé LaST-R1, accompagné d'un algorithme d'apprentissage par renforcement inédit appelé LAPO (Latent-to-Action Policy Optimization). Le système atteint un taux de succès moyen de 99,8 % sur le benchmark de manipulation robotique LIBERO, après un unique épisode d'imitation supervisée en guise d'amorçage. En déploiement réel sur quatre tâches complexes, dont des configurations monobranche et bras-double, LAPO améliore les performances de 44 % par rapport à la politique issue de cet amorçage initial. L'apport central de LaST-R1 est de relier explicitement le raisonnement sur la physique à la génération d'actions, là où les approches existantes traitaient ces deux étapes séparément. Les VLA actuels raisonnent soit en langage naturel (coûteux en latence et discret), soit dans un espace latent continu, mais dans les deux cas par imitation statique, sans capacité d'adaptation par essais-erreurs. LAPO co-optimise simultanément le processus de raisonnement latent et la production d'actions via du renforcement en ligne, ce qui améliore la modélisation du monde physique et la robustesse en environnement interactif. Un mécanisme de "latent Chain-of-Thought adaptatif" permet en outre au modèle d'ajuster dynamiquement son horizon de raisonnement selon la complexité de la situation, sans coût fixe à chaque pas. Il s'agit d'une annonce académique sous forme de preprint, pas encore d'un produit embarqué sur robot commercial. Ce travail s'inscrit dans la course à la généralisation des VLA, portée ces derniers mois par des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA. L'un des verrous récurrents du secteur est l'écart simulation-réalité (sim-to-real gap) et la difficulté à faire converger rapidement un modèle en conditions réelles sans millions d'épisodes supervisés. LaST-R1 revendique une convergence significativement accélérée grâce à l'optimisation jointe du raisonnement latent, une piste que suivent aussi des équipes européennes travaillant sur l'apprentissage par renforcement pour la manipulation, notamment dans l'orbite des laboratoires universitaires français. Les prochaines étapes naturelles seront la validation sur des benchmarks plus diversifiés (AgiBot World, RLBench) et l'intégration dans des plateformes matérielles commerciales.

UELes laboratoires français et européens travaillant sur la manipulation robotique par apprentissage par renforcement peuvent s'appuyer sur l'approche LAPO pour réduire leur dépendance aux grandes quantités de données supervisées, accélérant potentiellement leurs cycles de recherche.

IA physiqueOpinion
1 source
PRTS : un système de raisonnement et de planification primitifs via des représentations contrastives
274arXiv cs.RO 

PRTS : un système de raisonnement et de planification primitifs via des représentations contrastives

PRTS (Primitive Reasoning and Tasking System) est un modèle fondation Vision-Langage-Action (VLA) présenté dans un preprint arXiv (réf. 2604.27472, avril 2026). Il reformule le préentraînement des VLA en substituant le clonage comportemental supervisé classique par de l'apprentissage par renforcement conditionné sur des objectifs (Goal-Conditioned Reinforcement Learning, GCRL). Chaque instruction en langage naturel est traitée comme un but à atteindre : PRTS apprend un espace d'embedding unifié où le produit scalaire entre vecteurs état-action et vecteur objectif approxime la log-probabilité actualisée d'atteindre cet objectif depuis l'état courant, une quantité appelée log-discounted goal occupancy. Ce signal de supervision dense est extrait directement de trajectoires offline sans annotation de récompense, puis injecté dans le backbone multimodal via un masque causal adaptatif (role-aware causal mask), avec un surcoût computationnel marginal. Le modèle est préentraîné sur 167 milliards de tokens couvrant des données de manipulation et de raisonnement embodied. Il atteint l'état de l'art sur les benchmarks LIBERO, LIBERO-Pro, LIBERO-Plus et SimplerEnv, ainsi que sur une suite de 14 tâches physiques réelles, avec des gains particulièrement nets sur les tâches longue-horizon, riches en contacts, et sur les instructions zero-shot inédites. L'enjeu est structurant pour le domaine des politiques robotiques générales. Les VLA actuels les plus avancés, notamment Pi-0 et Pi-0.5 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA, reposent tous sur une logique de clonage comportemental : le modèle imite des démonstrations sans représentation explicite du progrès vers un objectif. PRTS introduit une conscience intrinsèque de l'atteignabilité des buts (goal reachability awareness), ce qui se traduit par des améliorations précisément là où les VLA peinent le plus en déploiement réel : planification longue-horizon, robustesse aux contacts et généralisation zéro-shot. Si ces résultats se confirment indépendamment, l'approche contrastive GCRL pourrait redéfinir le paradigme de préentraînement dominant dans le domaine. Le contexte compétitif est celui d'une convergence accélérée vers des fondations VLA à grande échelle capables de généralisation zéro-shot. Physical Intelligence, NVIDIA Robotics, Google DeepMind (RT-2, Octo) et de nombreuses équipes académiques travaillent simultanément sur ce segment. La contribution de PRTS est avant tout méthodologique : en n'exigeant aucune annotation de récompense et en tirant sa supervision de trajectoires offline déjà disponibles, l'approche est potentiellement reproductible avec des ressources plus modestes. Il s'agit toutefois d'un résultat de recherche à ce stade, non d'un déploiement commercial : les évaluations physiques portent sur 14 tâches dont les conditions expérimentales restent à vérifier indépendamment, et aucune timeline de productisation n'est mentionnée.

IA physiqueOpinion
1 source
TouchGuide : pilotage en temps réel des politiques visuomotrices par guidage tactile
275arXiv cs.RO 

TouchGuide : pilotage en temps réel des politiques visuomotrices par guidage tactile

Une équipe de chercheurs a mis en ligne sur arXiv (réf. 2601.20239, v4) TouchGuide, un cadre permettant d'intégrer le retour tactile dans une politique visuomotrice robotique à l'inférence, sans modifier la politique de base. Le système opère en deux temps : une politique préentraînée, fondée sur la diffusion ou le flow-matching, génère d'abord une action initiale à partir des seules entrées visuelles ; un module appelé Contact Physical Model (CPM), entraîné par apprentissage contrastif sur un nombre limité de démonstrations expertes, réoriente ensuite l'échantillonnage via un score de faisabilité tactile. Les auteurs introduisent également TacUMI, un dispositif de collecte de données à embouts rigides permettant d'obtenir un retour tactile direct à faible coût. Évalué sur cinq tâches à contact riche, dont le laçage de chaussures et le transfert de chips, TouchGuide surpasse de façon significative les politiques visuo-tactiles de référence. L'enjeu est structurant pour l'industrie : les politiques visuomotrices actuelles, y compris les VLA (Vision-Language-Action), s'appuient quasi exclusivement sur la vision, laissant de côté le toucher malgré son rôle central dans la manipulation de précision. TouchGuide propose une réponse pragmatique en greffant un module tactile à l'inférence sur n'importe quelle politique à base de diffusion, sans modifier les poids d'origine. Ce paradigme "cross-policy" réduit les coûts d'intégration pour les industriels. La démonstration sur le laçage de chaussures, tâche de référence en manipulation fine, apporte un signal encourageant sur la résolution partielle du fossé sim-to-real. Les performances dans des environnements non structurés restent à confirmer indépendamment. La tactilité en robotique fait l'objet de travaux depuis plus d'une décennie, notamment autour du GelSight du MIT, mais son intégration dans les politiques d'apprentissage par imitation reste un problème ouvert. Contrairement aux approches end-to-end développées chez Google DeepMind ou à CMU, TouchGuide sépare explicitement la politique visuelle du guidage tactile, une architecture modulaire qui se positionne directement face à des travaux comme Tactile Diffusion Policy. Il s'agit pour l'instant d'un preprint non évalué par des pairs, sans déploiement industriel ni timeline annoncés ; les prochaines étapes probables incluent une validation dans des environnements moins contrôlés et sur des robots polyarticulés.

RecherchePaper
1 source
M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions
276arXiv cs.RO 

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper
1 source
FASTER : repenser les VLA de flux en temps réel
277arXiv cs.RO 

FASTER : repenser les VLA de flux en temps réel

Des chercheurs ont publié sur arXiv (2603.19199v2) une méthode baptisée FASTER (Fast Action Sampling for ImmediaTE Reaction) visant à réduire la latence de réaction des modèles VLA (Vision-Language-Action) sur des robots physiques. Le problème ciblé est précis : dans les politiques génératives basées sur le flow matching, comme π₀.₅ de Physical Intelligence ou X-VLA, le système doit compléter l'intégralité des étapes d'échantillonnage avant de pouvoir déclencher le moindre mouvement. FASTER introduit un "Horizon-Aware Schedule" qui réorganise l'ordre de débruitage pour prioriser les actions immédiates, comprimant leur génération de dix étapes à une seule, soit une réduction d'un facteur dix. La méthode a été validée sur des robots réels, dont une tâche de tennis de table à haute dynamique, et s'exécute sur GPU grand public via une architecture client-serveur en streaming. L'apport central est analytique avant d'être technique : les auteurs formalisent le temps de réaction comme une distribution uniforme déterminée conjointement par le TTFA (Time to First Action) et l'horizon d'exécution. Cette modélisation démontre que la pratique standard d'un schedule constant dans les VLA basées sur le flow constitue un goulot d'étranglement structurel, et non un simple détail d'implémentation. En comprimant la génération des actions proches en une seule passe de débruitage tout en préservant la qualité des trajectoires longues, FASTER réduit effectivement la latence mesurée sur robot physique. Le test sur ping-pong, tâche reconnue pour son exigence en temps de boucle fermée, représente un signal de validation plus robuste que les benchmarks de manipulation statique habituellement retenus dans ce type de papier. Le contexte est celui d'une concurrence accrue entre architectures VLA depuis la publication de π₀ par Physical Intelligence fin 2024, rapidement suivie de π₀.₅, d'OpenVLA-OFT et de X-VLA. Ces modèles héritent tous du paradigme "action chunking" issu de ACT et Diffusion Policy, qui génère des segments d'actions plutôt que des commandes individuelles, introduisant mécaniquement de la latence. FASTER s'inscrit dans ce courant d'optimisation de l'inférence, aux côtés de travaux de distillation de policies, sans requérir de réentraînement du modèle de base. La démonstration sur GPU grand public est un signal d'accessibilité notable pour les intégrateurs sans infrastructure HPC, mais le stade reste celui d'une preuve de concept académique, sans déploiement industriel annoncé à ce stade.

RechercheOpinion
1 source
Relier la planification discrète à l'exécution continue pour les robots redondants
278arXiv cs.RO 

Relier la planification discrète à l'exécution continue pour les robots redondants

Des chercheurs publient sur arXiv (identifiant 2604.02021) un cadre de transition entre planification discrète et exécution continue pour bras manipulateurs redondants à 7 degrés de liberté. Le constat de départ est pratique : les trajectoires générées par apprentissage par renforcement sur grille voxel, exécutées directement via cinématique inverse numérique point par point, produisent du jitter de pas, des transitions articulaires brusques et des instabilités au voisinage de configurations singulières. La méthode proposée agit sur deux niveaux sans modifier le planificateur existant. Côté planification : des actions cartésiennes à 26 voisins normalisées en pas et un mécanisme de tie-breaking géométrique qui supprime les virages inutiles et les oscillations. Côté exécution : une couche TP-DLS (task-priority damped least-squares IK) où la position de l'effecteur terminal est traitée comme tâche primaire, le centrage articulaire et le contrôle de posture étant projetés dans l'espace nul comme tâches subordonnées, combinés à un clipping par région de confiance et des contraintes de vitesse articulaire. Sur un 7-DOF testé en environnements sparse, medium et dense générés aléatoirement : taux de succès en scène dense de 0,58 à 1,00, longueur de chemin de 1,53 m à 1,10 m, erreur d'effecteur inférieure à 1 mm, accélérations articulaires de pointe réduites de plus d'un ordre de grandeur. L'intérêt opérationnel est la modularité : la couche TP-DLS s'insère comme un module plug-in sans retoucher le planificateur sous-jacent, abaissant le coût d'adoption pour les équipes qui disposent déjà d'un planificateur RL voxel-grid. La réduction des accélérations de pointe d'un facteur supérieur à 10 se traduit directement par moins d'usure mécanique, une moindre sollicitation des servomoteurs et une meilleure compatibilité avec les normes cobotiques (ISO/TS 15066). Le passage de 58 % à 100 % de succès en scènes denses est surtout un signal de diagnostic : il indique que le goulot d'étranglement n'était pas le planificateur RL mais bien la couche de conversion discret-continu, une hypothèse rarement testée explicitement dans la littérature. Limite à noter : tous les résultats restent en simulation sur environnements générés aléatoirement, sans validation sur hardware réel ni benchmark standardisé de la communauté. La cinématique inverse DLS et la gestion par priorité de tâche sont des techniques classiques issues des travaux de Nakamura et Hanafusa (1986) et de Siciliano et Slotine (1991) ; la contribution ici est leur intégration calibrée dans un pipeline RL voxel-grid avec des heuristiques spécifiques à la discontinuité des actions discrètes. Les premiers concernés sont les intégrateurs et équipementiers utilisant des bras 7-DOF redondants tels que Franka Robotics (FR3), KUKA (LBR iiwa) ou Kinova (Gen3). Aucun partenariat industriel ni timeline de transfert technologique n'est annoncé dans le preprint. La suite logique serait une validation sur robot physique et une comparaison directe avec des planificateurs continus comme CHOMP ou TrajOpt, qui résolvent le problème de manière différente mais avec un coût computationnel nettement plus élevé.

UEKUKA (LBR iiwa) et Franka Robotics (FR3), deux fabricants européens de bras redondants 7-DOF explicitement ciblés, pourraient réduire leur coût d'intégration de planificateurs RL et améliorer leur conformité ISO/TS 15066 grâce à ce module plug-in, sous réserve de validation hardware.

RecherchePaper
1 source
R2RGEN : génération de données 3D réel-vers-réel pour une manipulation spatialement généralisée
279arXiv cs.RO 

R2RGEN : génération de données 3D réel-vers-réel pour une manipulation spatialement généralisée

Une équipe de chercheurs propose R2RGen, un cadre de génération de données pour l'apprentissage par imitation en manipulation robotique, publié sur arXiv (identifiant 2510.08547, version 2). Le principe : à partir d'un nombre minimal de démonstrations humaines réelles, le système génère automatiquement un grand volume de données d'entraînement spatialement diversifiées, sans jamais recourir à un simulateur. R2RGen traite les observations sous forme de nuages de points (pointcloud) et augmente les paires observation-action directement dans l'espace 3D réel. Le pipeline repose sur trois étapes : un module de parsing de scène et de trajectoire unifie les démonstrations issues de différentes configurations de caméras dans un espace 3D partagé ; une stratégie de backtracking par groupe augmente ensuite la position des objets et du robot lui-même ; enfin, un post-traitement adaptatif à la caméra aligne les données générées sur la distribution réelle des capteurs 3D. Le cadre est compatible avec les robots mobiles, ce qui le distingue des approches existantes, limitées aux bras fixes et à des angles de prise de vue prédéfinis. Ce résultat s'attaque à l'un des goulots d'étranglement les plus persistants de la robotique apprenante : le fossé sim-to-real. La plupart des pipelines de génération de données actuels passent par des moteurs physiques ou des rendus synthétiques, introduisant des artefacts visuels et des dynamiques inexactes qui dégradent les performances une fois transférés sur robot réel. R2RGen court-circuite entièrement cette chaîne en restant dans le domaine réel du début à la fin. En pratique, cela se traduit par une meilleure efficacité de la donnée sur l'ensemble des expériences rapportées, y compris sur des scénarios de manipulation mobile. Pour les équipes développant des politiques visuomotrices par imitation, cela signifie moins de démonstrations humaines nécessaires pour atteindre une généralisation spatiale robuste, c'est-à-dire la capacité du robot à opérer correctement quelle que soit la configuration relative des objets, de l'environnement ou de l'agent. La généralisation spatiale est le prérequis reconnu à toute manipulation robotique à usage général. Les travaux antérieurs, dans le sillage de RT-X et des pipelines sim-to-real basés sur Isaac Gym ou MuJoCo, avaient montré des gains mais restaient contraints à des bras fixes et à des angles de caméra prédéfinis. R2RGen se positionne comme une alternative plug-and-play sans infrastructure de simulation, abaissant la barrière d'entrée pour les laboratoires ou les équipes industrielles n'ayant pas accès à des environnements simulés robustes. La publication reste à ce stade une contribution académique sans déploiement industriel annoncé ; les auteurs indiquent comme prochaine étape naturelle la validation du passage à l'échelle sur des flottes de robots mobiles en environnement ouvert.

RecherchePaper
1 source
Modèles VLA robustes aux scènes encombrées par ancrage géométrique centré sur les objets
280arXiv cs.RO 

Modèles VLA robustes aux scènes encombrées par ancrage géométrique centré sur les objets

Des chercheurs ont publié sur arXiv (référence 2512.22519v2) un cadre baptisé OBEYED-VLA, acronyme de OBject-centric and gEometrY groundED VLA, conçu pour rendre les modèles Vision-Language-Action robustes aux environnements encombrés. L'évaluation a été conduite sur un bras UR10e d'Universal Robots en configuration tabletop réelle, selon quatre régimes de difficulté croissante : présence d'objets distracteurs, rejet de cible absente, variation d'arrière-plan, et manipulation en environnement encombré d'objets non vus à l'entraînement. Le modèle est entraîné exclusivement sur des démonstrations d'objets isolés, sans fouillis ni objets parasites lors de la collecte des données. L'architecture se décompose en deux étages : un module de grounding objet-centrique basé sur un VLM qui sélectionne les régions pertinentes sur plusieurs vues caméra, suivi d'un module de grounding géométrique qui encode la structure 3D de ces objets plutôt que leur apparence brute. L'intérêt industriel est direct : les VLA actuels, malgré leurs performances en conditions contrôlées, échouent de manière systématique dès que la scène s'éloigne du contexte d'entraînement. Le sur-graspinq en l'absence de la cible, la distraction par des objets voisins et l'overfitting à l'arrière-plan sont des défauts documentés qui bloquent le passage du laboratoire à la cellule de production. OBEYED-VLA démontre qu'en découplant explicitement la perception de la commande, au lieu de les fondre dans un pipeline monolithique optimisé pour l'action, il est possible d'améliorer substantiellement la généralisation sans réentraîner le modèle VLA sous-jacent depuis zéro. Les ablations confirment que ni le grounding sémantique ni le grounding géométrique ne suffisent seuls : les deux étages sont nécessaires. Ce travail s'inscrit dans la course à la robustesse des VLA post-entraînés, un chantier où s'affrontent des approches comme OpenVLA, Octo, ou Pi-0 de Physical Intelligence. La plupart des VLA actuels héritent d'un paradigme end-to-end qui maximise les performances sur benchmarks propres mais peine à gérer la variabilité du monde réel. OBEYED-VLA n'est pas un produit commercialisé mais une contribution de recherche publiée sur arXiv, dont le code et les protocoles d'évaluation restent à préciser pour une adoption industrielle. Les prochaines étapes naturelles seraient de valider le cadre sur des plateformes plus mobiles et des scènes plus denses, ainsi que de tester sa compatibilité avec des VLA récents de plus grande capacité.

UEL'évaluation sur bras UR10e (Universal Robots, entreprise danoise) confère une pertinence indirecte pour les intégrateurs européens qui déploient des robots UR en cellule de production et cherchent à industrialiser des VLA robustes.

IA physiqueOpinion
1 source
Simulé ou réel : robustesse des VLM au décalage de domaine en compréhension de scène robotique
281arXiv cs.RO 

Simulé ou réel : robustesse des VLM au décalage de domaine en compréhension de scène robotique

Une équipe de chercheurs a publié sur arXiv (identifiant 2506.19579, troisième révision, juin 2025) une évaluation systématique des modèles vision-langage (VLM) appliqués à la compréhension de scènes robotiques en vue unique. Le protocole expérimental cible des scènes de table captées par un bras manipulateur, avec un cadre de domain shift contrôlé : chaque outil réel est mis en parallèle avec un homologue imprimé en 3D, géométriquement identique mais différent en texture, couleur et matière. Plusieurs VLM déployables localement, parmi les plus récents du domaine, ont été soumis à un benchmark multicritères axé sur l'alignement sémantique et l'ancrage factuel des descriptions textuelles générées. Les résultats montrent que les VLM décrivent correctement les objets courants du monde réel, mais que leurs performances se dégradent sensiblement dès que ces objets sont remplacés par des pièces imprimées en 3D, malgré une forme structurelle identique. Le constat a une portée directe pour les intégrateurs robotiques et les équipes industrielles qui s'appuient sur des VLM pour la perception de scènes. En atelier, les gabarits, les pièces de fixation et les prototypes imprimés en 3D sont omniprésents : un système de perception qui confond la texture avec la fonction risque de produire des descriptions erronées, voire de déclencher de mauvaises instructions de préhension. Plus préoccupant encore, les chercheurs démontrent que les métriques d'évaluation standard présentent des vulnérabilités critiques : certaines ne détectent pas le domain shift, d'autres récompensent des descriptions linguistiquement fluides mais factuellement incorrectes. Ce double problème, défaillance du modèle et défaillance de la métrique simultanément, rend l'échec invisible pour les équipes qui s'appuient sur les indicateurs habituels. Cette publication s'inscrit dans un courant croissant de travaux questionnant la maturité des modèles fondationnels pour les applications physiques. Le sim-to-real gap est bien documenté dans la littérature robotique, mais ce papier pointe un défi distinct : le real-to-real domain shift entre catégories de matériaux. Alors que les pipelines robotiques modernes, comme ceux qui sous-tendent GR00T N2 (NVIDIA), Pi-0 (Physical Intelligence) ou les architectures VLA en général, intègrent de plus en plus des composants vision-langage, l'étude souligne que les protocoles d'évaluation doivent évoluer en parallèle. Les auteurs appellent à des architectures plus robustes et à des protocoles de validation adaptés aux contraintes physiques du déploiement réel, sans toutefois proposer de solution concrète dans ce travail préliminaire.

RecherchePaper
1 source
ExpressMM : des comportements de manipulation mobile expressifs dans les interactions humain-robot
282arXiv cs.RO 

ExpressMM : des comportements de manipulation mobile expressifs dans les interactions humain-robot

Des chercheurs ont présenté ExpressMM, un framework destiné aux manipulateurs mobiles déployés en environnements humains, capable de générer des comportements expressifs en temps réel pendant l'exécution de tâches collaboratives. Publié sur arXiv (2604.05320v3), le système repose sur une architecture à deux niveaux : un planificateur de haut niveau fondé sur un modèle vision-langage (VLM) prend en charge la perception et le raisonnement conversationnel, tandis qu'une politique vision-langage-action (VLA) de bas niveau produit les mouvements expressifs du robot. Élément distinctif : ExpressMM supporte les interactions interruptibles, c'est-à-dire que l'utilisateur peut modifier ou rediriger les instructions du robot en cours d'exécution. L'évaluation a été conduite sur un manipulateur mobile réel lors d'un scénario d'assemblage collaboratif, avec des démonstrations en direct devant un public et des questionnaires post-session. La majorité des travaux antérieurs sur les comportements expressifs des robots s'appuyaient sur des mouvements préprogrammés ou appris par démonstration, et n'anticipaient pas les interruptions en cours de tâche, un cas pourtant courant dès qu'un humain travaille aux côtés d'un robot. ExpressMM traite cette lacune en couplant une VLA capable de s'adapter dynamiquement aux nouvelles instructions avec un raisonnement langage-vision pour maintenir la cohérence sociale de l'interaction. Les résultats des questionnaires indiquent que les observateurs ont trouvé les actions du robot clairement interprétables, les interactions socialement appropriées, et le comportement prévisible et sûr. Pour les intégrateurs industriels et les équipes opérations, c'est un signal fort : les robots collaboratifs ne peuvent plus se contenter d'accomplir une tâche ; ils doivent être lisibles par les humains qui partagent l'espace de travail. Le sujet de l'expressivité robotique est activement exploré depuis plusieurs années dans la communauté HRI, mais les approches précédentes peinaient à généraliser au-delà de comportements scénarisés ou de démos contrôlées. L'utilisation conjointe d'un VLM et d'une VLA dans un seul pipeline interruptible représente une progression architecturale significative. Sur le plan concurrentiel, des acteurs comme Boston Dynamics (avec Spot) ou des startups HRI telles que Enchanted Tools en France (robot Miroki) travaillent également sur la dimension sociale des robots collaboratifs, mais peu publient des évaluations HRI aussi structurées en conditions réelles. Les prochaines étapes logiques pour ExpressMM seraient des déploiements en environnements industriels ou de service à plus grande échelle, où la variété des interactions humaines dépasse largement les scénarios d'assemblage contrôlés.

UELa recherche est directement pertinente pour Enchanted Tools (France, robot Miroki), qui travaille sur des problématiques similaires d'expressivité sociale et d'interaction humain-robot collaboratif.

IA physiqueOpinion
1 source
Hi-WM : un modèle du monde centré sur l'humain pour l'entraînement robotique à grande échelle
283arXiv cs.RO 

Hi-WM : un modèle du monde centré sur l'humain pour l'entraînement robotique à grande échelle

Une équipe de recherche présente Hi-WM (Human-in-the-World-Model), un cadre de post-entraînement pour politiques robotiques généralisées, publié sur arXiv (2604.21741). L'approche remplace l'exécution physique par un modèle du monde appris : la politique est d'abord déroulée en boucle fermée dans ce simulateur interne, et lorsqu'une trajectoire devient incorrecte ou risquée, un opérateur humain intervient directement dans le modèle pour fournir des actions correctives courtes. Hi-WM met en cache les états intermédiaires et supporte le rollback et le branchement, ce qui permet de réutiliser un seul état d'échec pour générer plusieurs continuations correctives distinctes. Les trajectoires ainsi produites sont réinjectées dans le jeu d'entraînement. Évalué sur trois tâches de manipulation réelle (objets rigides et déformables) avec deux architectures de politique différentes, le système affiche un gain de 37,9 points en taux de succès réel par rapport à la politique de base, et de 19,0 points par rapport à une ligne de base en boucle fermée dans le modèle du monde. La corrélation entre les évaluations dans le modèle et les performances réelles atteint r = 0,953. Ce résultat adresse un goulot d'étranglement structurel du déploiement robotique : le post-entraînement actuel exige du temps robot, des resets de scène, une supervision opérateur en continu, autant de contraintes qui rendent la correction itérative coûteuse à l'échelle. En décorrélant la phase corrective de l'exécution physique, Hi-WM densifie la supervision précisément là où la politique échoue, sans mobiliser le matériel. La forte corrélation sim-to-real (r > 0,95) est notable : elle suggère que le modèle du monde est suffisamment fidèle pour qualifier les politiques avant déploiement, ce qui contredit en partie l'hypothèse que l'évaluation dans le modèle reste trop éloignée des conditions réelles pour être exploitable. Les modèles du monde conditionnés sur les actions sont étudiés depuis plusieurs années principalement pour la génération de données synthétiques et l'évaluation de politiques, notamment dans les travaux autour des VLA (Vision-Language-Action models) et des politiques généralisées comme celles portées par Physical Intelligence (Pi-0) ou les recherches internes de Google DeepMind. Hi-WM repositionne ces modèles comme substrat correctif actif, une troisième fonction jusqu'ici peu explorée. Les suites naturelles incluent l'extension à des tâches de locomotion, la réduction du coût de construction du modèle du monde, et l'intégration dans des pipelines de fine-tuning continu pour robots déployés en environnement industriel variable.

RechercheOpinion
1 source
Navigating l'encombrement : planification bi-niveau par points de passage pour systèmes multi-robots
284arXiv cs.RO 

Navigating l'encombrement : planification bi-niveau par points de passage pour systèmes multi-robots

Des chercheurs de l'Université de Californie à Santa Barbara (UCSB, laboratoire NLP-Chang) ont publié sur arXiv (référence 2604.21138) un framework hybride de contrôle multi-robots capable de planifier simultanément à deux niveaux : la planification de tâches à haut niveau (quel robot fait quoi, dans quel ordre) et la planification de trajectoires à bas niveau (comment éviter les collisions). Le système repose sur une représentation compacte appelée "waypoints", des points de passage intermédiaires qui paramétrisent les trajectoires motrices de façon plus légère qu'une optimisation de trajectoire continue. Pour entraîner le tout, l'équipe utilise un algorithme RLVR (Reinforcement Learning with Verifiable Rewards) modifié, combiné à une stratégie de curriculum progressif qui remonte les retours de faisabilité physique du planificateur bas niveau vers le planificateur haut niveau. Les expériences sont conduites sur BoxNet3D-OBS, un benchmark multi-robots 3D à obstacles denses, avec des configurations allant jusqu'à neuf robots simultanément. Sur ce benchmark, l'approche surpasse de manière consistante les baselines "motion-agnostic" (qui ignorent les contraintes physiques) et les baselines fondées sur des VLA (Vision-Language-Action models). Ce résultat pointe un problème structurel souvent minimisé dans la littérature : l'affectation du crédit entre les deux niveaux de planification. Quand un système multi-robots échoue, est-ce que la tâche était mal assignée ou la trajectoire physiquement infaisable ? Cette ambiguïté rend les approches séquentielles (planifier les tâches, puis les trajectoires) fragiles dès que l'environnement est encombré. Le fait que les modèles VLA, pourtant en vogue depuis les travaux pi-0, GR00T N2 et Helix, sous-performent sur ce benchmark suggère que leur capacité de généralisation atteint ses limites dès qu'on ajoute des contraintes de collision à grande échelle : bonne nouvelle pour les approches d'optimisation hybride, mauvaise nouvelle pour ceux qui misent sur les VLA comme solution universelle en entrepôt. Ce travail s'inscrit dans une tendance de fond : appliquer les techniques de raisonnement par renforcement issues du traitement du langage naturel (notamment la famille DeepSeek-R1 et RLVR) à la robotique multi-agents. Les systèmes concurrents dans cet espace incluent les travaux sur TAMP (Task and Motion Planning) de MIT CSAIL et CMU, ainsi que les approches de planification décentralisée type MAPF (Multi-Agent Path Finding). Le code est disponible sur GitHub (UCSB-NLP-Chang/navigate-cluster). Les prochaines étapes probables incluent une validation sur robots physiques et une montée en charge au-delà de neuf agents, terrain où les questions de latence de planification deviendront critiques pour des déploiements industriels réels.

RecherchePaper
1 source
Apprentissage par renforcement avec priors fondation : vers un agent incarné qui apprend efficacement de manière autonome
285arXiv cs.RO 

Apprentissage par renforcement avec priors fondation : vers un agent incarné qui apprend efficacement de manière autonome

Des chercheurs ont publié sur arXiv (identifiant 2310.02635, cinquième révision) un cadre appelé RLFP, Reinforcement Learning with Foundation Priors, conçu pour rendre l'apprentissage par renforcement viable sur des robots réels, sans ingénierie manuelle des récompenses. Au coeur du système se trouve l'algorithme FAC (Foundation-guided Actor-Critic), qui s'appuie simultanément sur trois types de modèles fondationnels : un modèle de politique, un modèle de valeur, et un modèle de récompense de succès. Sur cinq tâches de manipulation dextère réalisées avec de vrais robots, FAC atteint un taux de succès moyen de 86 % après seulement une heure d'apprentissage en temps réel. Sur le benchmark simulé Meta-world, il obtient 100 % de succès sur 7 des 8 tâches évaluées, en moins de 100 000 frames d'interaction, là où les méthodes de référence avec récompenses manuelles nécessitent 1 million de frames pour des performances comparables. L'impact industriel potentiel est significatif. L'un des verrous majeurs du déploiement de la robotique apprenante en environnement réel est double : la quantité astronomique de données requise par le RL classique, et le coût humain de la conception des fonctions de récompense, qui exige des ingénieurs spécialisés pour chaque nouvelle tâche. RLFP adresse les deux simultanément, en multipliant par environ dix l'efficacité en données et en automatisant la génération de signal de récompense via des modèles pré-entraînés. Si les résultats se confirment hors conditions de laboratoire, ce type de cadre pourrait réduire drastiquement le temps de mise en service d'un bras industriel sur une nouvelle opération, un enjeu clé pour les intégrateurs. Ce travail s'inscrit dans une tendance de fond qui voit les grands modèles de langage et de vision (VLM/LLM) utilisés comme priors pour guider l'exploration robotique, une approche concurrente des méthodes par imitation pure (apprentissage à partir de démonstrations humaines) ou par curriculum appris. Parmi les travaux proches figurent SayCan (Google), Code as Policies (DeepMind) et les récents VLA comme pi-0 (Physical Intelligence) ou OpenVLA. L'équipe indique que RLFP est agnostique au type de modèle fondationnel utilisé et robuste aux priors bruités, ce qui est une affirmation forte qu'il faudra valider sur des benchmarks extérieurs. Le code et les visualisations sont disponibles publiquement, ce qui facilite la reproduction indépendante.

IA physiqueOpinion
1 source
Compréhension neuro-symbolique de la manipulation par chaînes d'événements sémantiques enrichies
286arXiv cs.RO 

Compréhension neuro-symbolique de la manipulation par chaînes d'événements sémantiques enrichies

Des chercheurs présentent eSEC-LAM, un cadre neuro-symbolique conçu pour permettre aux robots opérant dans des environnements humains de comprendre les manipulations d'objets en temps réel. Publié sur arXiv (2604.21053), ce travail s'appuie sur les enriched Semantic Event Chains (eSECs), une représentation symbolique relationnelle qui décrit comment les relations spatiales entre objets évoluent au fil d'une séquence de manipulation. eSEC-LAM augmente ces chaînes classiques avec cinq couches d'information supplémentaires : des prédicats pondérés par un score de confiance, des rôles fonctionnels d'objets (outil, patient, récipient), des priors d'affordance, une abstraction en primitives de mouvement, et des indicateurs de saillance pour l'explicabilité. Le système est évalué sur trois benchmarks vidéo reconnus : EPIC-KITCHENS-100, EPIC-KITCHENS VISOR, et Assembly101, couvrant la reconnaissance d'actions, la prédiction de la prochaine primitive, la robustesse au bruit perceptuel et la cohérence des explications. L'intérêt industriel réside dans la prédiction de la prochaine étape de manipulation, un verrou critique pour les robots collaboratifs et les systèmes d'assistance à l'assemblage. Les résultats montrent qu'eSEC-LAM améliore substantiellement cette capacité par rapport aux baselines symboliques classiques et aux modèles vidéo bout-en-bout, tout en restant plus robuste lorsque la perception est dégradée, un scénario fréquent en usine ou à domicile. L'architecture hybride évite la boîte noire des approches purement neuronales : chaque décision est ancrée dans des preuves relationnelles explicites, ce qui facilite l'audit et la certification, deux exigences croissantes pour les intégrateurs industriels soumis aux normes de sécurité fonctionnelle (ISO 10218, EN 13849). Ce n'est pas un modèle VLA qui apprend tout end-to-end depuis des vidéos brutes : c'est délibérément un système de raisonnement léger, conçu pour tourner sans GPU dédié au moment de l'inférence symbolique. Les eSECs ont émergé dans les laboratoires de robotique cognitive au début des années 2010 comme alternative interprétable aux réseaux de neurones pour la compréhension de gestes, mais ils restaient jusqu'ici principalement descriptifs. eSEC-LAM est une tentative de les transformer en états internes actifs pour un raisonnement décisionnel. Dans le paysage concurrent, les approches VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent sur l'apprentissage massif généraliste ; eSEC-LAM propose une voie opposée, plus modulaire et explicable, potentiellement plus adaptée aux certifications réglementaires ou aux domaines à données rares. Les prochaines étapes logiques seraient une validation sur robot réel en boucle fermée et une intégration avec des couches de planification symbolique (PDDL, HTN), pour aller au-delà de la reconnaissance vers l'exécution autonome de tâches multi-étapes.

UEL'architecture explicable d'eSEC-LAM et sa légèreté à l'inférence facilitent la certification selon les normes européennes de sécurité fonctionnelle (ISO 10218, EN 13849), un avantage concret pour les intégrateurs industriels européens soumis à l'AI Act.

RecherchePaper
1 source
Agent de sécurité guidé par LLM pour la robotique embarquée avec une architecture perception-calcul-contrôle conforme ISO
287arXiv cs.RO 

Agent de sécurité guidé par LLM pour la robotique embarquée avec une architecture perception-calcul-contrôle conforme ISO

Des chercheurs ont publié une architecture permettant d'intégrer un agent de sécurité guidé par un grand modèle de langage (LLM) dans des robots embarqués fonctionnant à la périphérie du réseau, tout en respectant les normes industrielles de sécurité fonctionnelle. Le système, présenté dans une prépublication arXiv (2604.20193), repose sur une architecture perception-calcul-contrôle conforme à la norme ISO 13849. Concrètement, il convertit des règles de sécurité formulées en langage naturel en prédicats exécutables, déployés sur un environnement d'exécution hétérogène et redondant. Pour garantir la tolérance aux pannes, les chercheurs adoptent une redondance duale symétrique : deux modules indépendants fonctionnent en parallèle pour la perception, le calcul et le contrôle. Le prototype tourne sur une plateforme à double processeur RK3588, une puce ARM développée par Rockchip, et a été évalué dans des scénarios typiques d'interaction humain-robot. L'enjeu est fondamental : la sécurité fonctionnelle industrielle exige des comportements déterministes, c'est-à-dire prévisibles et reproductibles à chaque exécution, alors que la perception par IA reste intrinsèquement probabiliste. Cette incompatibilité freine depuis des années le déploiement de robots intelligents dans des espaces où des humains circulent. En atteignant le niveau ISO 13849 Catégorie 3 et Performance Level d avec du matériel grand public peu coûteux, cette approche ouvre la voie à des systèmes robotiques certifiables sans processeurs spécialisés hors de prix. Pour les intégrateurs industriels et fabricants de cobots, c'est un signal clair : la sécurité certifiable pourrait bientôt s'appliquer à bien plus large échelle. La montée en puissance des robots collaboratifs dans les usines, entrepôts et environnements de soins a rendu urgente la question de la certification. Les normes ISO 13849 définissent des niveaux de performance de PL a à PL e selon la probabilité de défaillance dangereuse ; atteindre PL d est généralement requis pour des équipements opérant à proximité directe d'humains. L'utilisation d'un LLM pour interpréter et codifier automatiquement des règles de sécurité en langage naturel est une approche originale qui pourrait simplifier radicalement la configuration de ces systèmes. La prochaine étape décisive sera la validation formelle par des organismes de certification indépendants, condition indispensable à une adoption industrielle à grande échelle.

UELes fabricants européens de cobots et intégrateurs industriels pourraient accéder à une voie de certification ISO 13849 PL d à moindre coût, sous réserve de validation par des organismes notifiés européens.

IndustrielOpinion
1 source
Transformer de navigation multimodal sensible à l'incarnation physique
288arXiv cs.RO 

Transformer de navigation multimodal sensible à l'incarnation physique

Des chercheurs ont publié sur arXiv (2604.19267) ViLiNT, un modèle de navigation par objectif pour robots terrestres qui fusionne images RGB, nuages de points LiDAR 3D, un embedding de destination et un descripteur d'embodiment dans une architecture transformer. La sortie du transformer conditionne un modèle de diffusion chargé de générer des trajectoires navigables ; ces trajectoires sont ensuite scorées et classées par une tête de prédiction de dégagement de chemin (path clearance), entraînée sur des labels générés automatiquement hors ligne. Un token d'embodiment propre à chaque robot permet au modèle d'adapter la génération et la sélection des trajectoires aux dimensions physiques de la plateforme. Entraîné sur données hétérogènes issues de plusieurs plateformes et environnements, ViLiNT affiche une amélioration de 166 % du taux de succès (Success Rate) en moyenne sur trois environnements simulés par rapport à NoMaD, la baseline vision-only de référence. Ces résultats ont été confirmés en déploiement réel, sur un rover évoluant dans des champs d'obstacles. Le gain de 166 % sur NoMaD est frappant, mais à contextualiser : la comparaison porte sur des scénarios de navigation hors route où la dégradation sous distribution shift est précisément le problème ciblé, ce qui peut gonfler le delta. L'enjeu industriel est néanmoins réel : les AMR et robots de livraison outdoor subissent exactement ce type de régression dès qu'ils quittent leur environnement d'entraînement. L'apport clé de ViLiNT pour les intégrateurs est double. D'abord, la fusion RGB + LiDAR rend le modèle plus robuste aux variations de luminosité ou de texture de terrain. Ensuite, l'embodiment token ouvre la voie à un modèle unique déployable sur plusieurs plateformes de dimensions différentes, sans réentraînement complet, ce qui réduit significativement le coût de portage. La navigation par objectif pour robots mobiles terrestres est un chantier actif depuis les travaux fondateurs de NoMaD (Berkeley, 2023) et des politiques GNFactor/ViNT. ViLiNT s'inscrit dans la vague des politiques multimodales qui cherchent à combler le sim-to-real gap par enrichissement sensoriel plutôt que par augmentation de données synthétiques. Côté concurrence, des acteurs comme Boston Dynamics (Spot), Clearpath ou Anybotics travaillent sur des problématiques similaires de robustesse hors route, et des laboratoires comme ETH Zurich et CMU publient dans le même espace. ViLiNT reste pour l'instant un preprint sans déploiement industriel annoncé ; les prochaines étapes naturelles seraient une validation sur terrains non structurés plus diversifiés (végétation, boue) et une évaluation du coût computationnel embarqué pour confirmer la viabilité sur hardware contraint.

UEETH Zurich travaille sur des problématiques similaires de navigation hors route ; les fabricants d'AMR et robots outdoor européens pourraient bénéficier de l'embodiment token pour réduire les coûts de portage multi-plateformes, mais aucun partenariat ou déploiement européen n'est annoncé à ce stade.

IA physiquePaper
1 source
GenerativeMPC : contrôle prédictif corps entier guidé par VLM-RAG, impédance virtuelle et manipulation mobile bimanuelle
289arXiv cs.RO 

GenerativeMPC : contrôle prédictif corps entier guidé par VLM-RAG, impédance virtuelle et manipulation mobile bimanuelle

Des chercheurs ont soumis sur arXiv (arXiv:2604.19522) un framework baptisé GenerativeMPC, destiné aux robots manipulateurs mobiles bimanaux. Le système articule un modèle de vision-langage couplé à une génération augmentée par récupération (VLM-RAG) avec un contrôleur prédictif sur le corps entier (Whole-Body MPC). Concrètement, le module VLM-RAG analyse la scène en temps réel, visuellement et en langage naturel, puis génère des contraintes de contrôle numériques directement exploitables: limites de vitesse dynamiques et marges de sécurité injectées dans le MPC. Parallèlement, il module les gains de raideur et d'amortissement virtuels d'un contrôleur impédance-admittance unifié pour adapter la compliance du robot au contexte. Les expériences menées dans les simulateurs MuJoCo et IsaacSim, puis sur une plateforme physique bimanuale, font état d'une réduction de vitesse de 60% à proximité des humains. Le système s'appuie sur une base de données vectorielle alimentée par l'expérience passée, ce qui permet d'ancrer les paramètres de contrôle sans ré-entraînement du modèle. L'enjeu architectural est significatif pour les intégrateurs et les décideurs industriels. Les approches end-to-end de type VLA, comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), délèguent entièrement la traduction sémantique-physique au réseau neuronal, rendant les garanties de sécurité difficiles à certifier formellement. GenerativeMPC propose une architecture hybride explicite: le grand modèle raisonne sur le contexte (présence humaine, nature de la tâche) et produit des paramètres numériques interprétables qui alimentent un MPC classique au comportement auditable et déterministe. Pour les secteurs à forte contrainte réglementaire, c'est un argument de poids. La réduction de 60% reste cependant une métrique à contextualiser: le papier ne précise pas la vitesse de référence initiale ni les conditions exactes des essais physiques, un bémol courant dans les publications de ce type. La manipulation mobile bimanuale est l'un des problèmes ouverts les plus exigeants de la robotique collaborative, coincé entre contrôleurs classiques contextuellement aveugles et modèles end-to-end difficilement certifiables. L'utilisation du RAG pour paramétrer des contrôleurs physiques est une direction de recherche émergente, distincte de l'apprentissage par renforcement. Dans l'écosystème concurrent, Figure AI (Figure 03), Boston Dynamics (Atlas) et 1X Technologies explorent des architectures hybrides pour des tâches bimanales. En Europe, Enchanted Tools (France) et des laboratoires comme le LAAS-CNRS avancent sur des architectures de contrôle sûres pour la collaboration humain-robot. GenerativeMPC reste pour l'instant un résultat de recherche académique sans déploiement industriel annoncé, mais son approche explicitement certifiable ouvre des perspectives concrètes pour la logistique collaborative et la robotique médicale.

UELe LAAS-CNRS et Enchanted Tools (France) travaillent sur des architectures de contrôle sûres similaires ; l'approche hybride certifiable de GenerativeMPC pourrait renforcer le positionnement européen dans les débats réglementaires sur la certification des robots collaboratifs au titre de l'AI Act.

RechercheOpinion
1 source
Politique d'accès mémoire contrôlé
290arXiv cs.RO 

Politique d'accès mémoire contrôlé

Une équipe de chercheurs en robotique a publié fin avril 2026 sur arXiv (référence 2604.18933) la Gated Memory Policy (GMP), une architecture de politique visuomotrice pour les tâches de manipulation robotique. L'article cible un problème concret : certaines tâches sont markoviennes (la décision dépend uniquement de l'état courant), d'autres non-markoviennes (elles nécessitent de se souvenir d'interactions passées, parfois sur plusieurs essais). GMP intègre trois mécanismes distincts : une porte de mémoire apprise qui active sélectivement le contexte historique uniquement quand la tâche le requiert, un module de cross-attention léger pour construire des représentations latentes efficaces de la mémoire, et une injection de bruit de diffusion dans les actions historiques pour atténuer la sensibilité aux historiques bruités ou imprécis. Évaluée sur MemMimic, un benchmark non-markovien proposé par les auteurs eux-mêmes, GMP affiche une amélioration de 30,1 % du taux de succès moyen par rapport aux baselines à long historique, tout en maintenant des performances compétitives sur les tâches markoviennes du benchmark RoboMimic. L'enjeu pointe une limite structurelle des politiques visuomotrices actuelles : l'approche naïve consistant à étendre la fenêtre d'observation historique dégrade les performances en raison du décalage de distribution et du surajustement. GMP montre qu'apprendre quand mémoriser est plus efficace qu'empiler de l'historique brut. Pour les équipes de recherche en manipulation et les intégrateurs industriels, cela valide une direction de conception : les politiques robotiques polyvalentes devront intégrer une gestion contextuelle de la mémoire, notamment pour des scénarios multi-étapes comme l'assemblage séquentiel ou le tri conditionnel. Une nuance s'impose toutefois : MemMimic est un benchmark conçu par les auteurs eux-mêmes, ce qui limite l'indépendance de la validation et appelle une évaluation sur des référentiels tiers. Les politiques visuomotrices comme Diffusion Policy ou ACT opèrent principalement en mode réactif, sans mécanisme de mémoire épisodique explicite. Des architectures basées sur des transformers ont tenté d'incorporer l'historique, mais sans sélection adaptative. GMP s'inscrit dans une tendance plus large, aux côtés des VLA (Vision-Language-Action models) et des architectures de type state-space model comme Mamba, qui cherchent toutes à mieux gérer la temporalité en manipulation robotique. Le code, les données et les instructions de déploiement en conditions réelles sont disponibles sur le site du projet (gated-memory-policy.github.io), ce qui ouvre la voie à une reproduction indépendante et à une évaluation sur benchmarks extérieurs.

RechercheOpinion
1 source
Guidance stable par le langage pour les modèles vision-langage-action (VLA)
291arXiv cs.RO 

Guidance stable par le langage pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (réf. 2601.04052v2) une méthode baptisée Residual Semantic Steering (RSS), conçue pour corriger un défaut structurel des modèles Vision-Language-Action (VLA) utilisés en robotique manipulation : leur fragilité face aux variations de formulation des instructions textuelles. Le problème identifié, nommé "effondrement de modalité" (modality collapse), survient lorsque les signaux visuels, très denses, écrasent les signaux linguistiques, plus rares, forçant le modèle à mémoriser des tournures de phrases spécifiques plutôt qu'à comprendre l'intention sous-jacente. RSS propose deux mécanismes complémentaires : la Monte Carlo Syntactic Integration, qui génère un ensemble distribué de reformulations d'une même instruction via un LLM afin d'approximer le vrai postérieur sémantique, et le Residual Affordance Steering, un décodage à double flux qui isole explicitement la contribution causale du langage en soustrayant l'a priori visuel des affordances physiques. Les résultats publiés indiquent des performances state-of-the-art en robustesse sur plusieurs benchmarks de manipulation, y compris sous perturbations linguistiques adversariales. Le code est disponible en open source. Ce travail pointe un angle mort concret du pipeline VLA : un robot entraîné avec π0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) peut échouer à exécuter une tâche simplement parce que l'opérateur reformule l'ordre différemment, ce qui est rédhibitoire pour tout déploiement industriel réel. RSS apporte une réponse architecturale sans nécessiter de réentraînement complet du modèle de base, ce qui le rend potentiellement compatible avec les VLA existants. La démonstration sur benchmarks adversariaux est un signal positif, même si les benchmarks de manipulation académiques restent éloignés des conditions d'atelier réelles : cycles courts, éclairage variable, instructions opérateur non normalisées. Les VLA ont émergé comme paradigme dominant depuis les travaux de RT-2 (Google DeepMind, 2023), suivis par OpenVLA, π0 de Physical Intelligence et GR00T N2 de NVIDIA, tous confrontés au même sim-to-real gap linguistique. RSS s'inscrit dans une vague de travaux tentant de rendre ces modèles plus robustes sans sacrifier leur généralité. L'approche concurrente la plus proche est le data augmentation sémantique (paraphrase augmentation), moins élégante théoriquement mais déjà intégrée dans certains pipelines de fine-tuning. Les prochaines étapes logiques seraient une validation sur robot physique en environnement non contrôlé et une intégration dans un framework VLA open source comme OpenVLA, ce que les auteurs n'ont pas encore annoncé.

IA physiqueOpinion
1 source
Auto-reconnaissance sensorimotrice dans les robots pilotés par des LLM multimodaux
292arXiv cs.RO 

Auto-reconnaissance sensorimotrice dans les robots pilotés par des LLM multimodaux

Des chercheurs ont publié sur arXiv (référence 2505.19237) une étude portant sur la capacité des grands modèles de langage multimodaux (LLM multimodaux) à développer une forme de conscience proprioceptive lorsqu'ils sont embarqués sur un robot mobile autonome. L'équipe a intégré un LLM multimodal directement dans la boucle de contrôle d'un robot mobile, puis a évalué si le système pouvait construire une représentation interne de son propre corps dans l'environnement, sans programmation explicite de cette capacité. Les résultats montrent que le robot démontre trois propriétés distinctes : une conscience environnementale (perception cohérente du monde extérieur), une auto-identification (le système infère lui-même sa nature robotique et ses caractéristiques de mouvement), et une conscience prédictive (anticipation de ses propres états futurs). Les chercheurs ont utilisé la modélisation par équations structurelles (SEM) pour quantifier comment l'intégration sensorielle influence les différentes dimensions du "soi minimal", et ont conduit des tests d'ablation sur les entrées sensorielles pour isoler le rôle de la mémoire épisodique et structurée. Ces résultats ont des implications concrètes pour les intégrateurs et les équipes de développement travaillant sur des architectures d'agents incarnés. Jusqu'ici, la conscience de soi dans les systèmes robotiques reposait sur des modèles cinématiques codés en dur ou des estimateurs d'état dédiés. Démontrer qu'un LLM peut inférer sa propre nature physique à partir de l'expérience sensorimotrice ouvre la voie à des robots plus adaptatifs, capables de recalibrer leur comportement sans reconfiguration manuelle. Les tests d'ablation confirment que les capteurs se compensent mutuellement en cas de défaillance partielle, ce qui est un indicateur de robustesse opérationnelle réelle, pas seulement de performance en conditions idéales. La mémoire épisodique s'avère indispensable, ce qui renforce l'intérêt des architectures de type RAG (retrieval-augmented generation) pour la robotique embarquée. Ce travail s'inscrit dans un mouvement plus large visant à unifier les capacités cognitives des LLM avec l'action physique, un champ que des acteurs comme Physical Intelligence (Pi-0), Figure AI ou le projet GR00T de NVIDIA explorent depuis 2023-2024 sous l'angle des architectures VLA (Vision-Language-Action). La particularité ici est de remonter à une couche plus fondamentale : non pas "comment le robot agit" mais "comment le robot se sait robot", ce que les philosophes cognitifs appellent le "soi minimal". Aucun acteur européen n'est directement cité dans ce papier académique, mais des laboratoires comme celui de Wandercraft à Paris ou des groupes de recherche en robotique cognitive à l'INRIA travaillent sur des questions adjacentes. La prochaine étape naturelle sera de tester cette architecture sur des plateformes humanoïdes à degrés de liberté élevés, où l'auto-modélisation corporelle devient critique pour la sécurité et la planification de mouvement.

UEAucun acteur européen n'est impliqué directement, mais l'INRIA et des groupes de robotique cognitive français travaillent sur des problématiques adjacentes susceptibles de bénéficier de ces résultats sur l'auto-modélisation embarquée.

RechercheOpinion
1 source
Distillation de représentations tactiles simulées pour la manipulation dextérique (PTLD)
293arXiv cs.RO 

Distillation de représentations tactiles simulées pour la manipulation dextérique (PTLD)

Des chercheurs ont publié sur arXiv (référence 2603.04531) une méthode baptisée PTLD, pour "Privileged Tactile Latent Distillation", visant à résoudre l'un des verrous fondamentaux de la manipulation dextère robotique : intégrer le retour tactile dans des politiques de contrôle sans disposer de simulation réaliste de capteurs tactiles. L'approche repose sur un entraînement par renforcement en simulation, puis une phase de distillation en monde réel : des capteurs tactiles "privilégiés" (accessibles uniquement lors de la collecte de données réelles) servent à entraîner un estimateur d'état latent, qui est ensuite intégré dans la politique proprioceptive déjà apprise. Sur la tâche de référence de rotation en main (in-hand rotation), PTLD affiche une amélioration de 182 % par rapport à une politique basée uniquement sur la proprioception. Sur la tâche plus difficile de réorientation en main guidée par le toucher, le gain atteint 57 % en nombre d'objectifs atteints. L'enjeu industriel est direct : la manipulation fine avec des mains multi-doigts bute depuis des années sur deux obstacles simultanés, l'impossibilité de simuler fidèlement les capteurs tactiles et le coût prohibitif des démonstrations téléopérées de qualité suffisante. PTLD contourne les deux en découplant apprentissage en simulation (pour la dynamique) et distillation en monde réel (pour le sens du toucher), sans jamais exiger de simulation tactile. Ce résultat valide l'hypothèse que le sim-to-real n'implique pas nécessairement de simuler chaque modalité sensorielle, à condition de concevoir intelligemment la phase de transfert. Pour les intégrateurs et les équipes de R&D travaillant sur l'assemblage précis ou la manipulation d'objets déformables, c'est un signal fort : des politiques robustes sont atteignables sans infrastructure de téléopération lourde. La manipulation dextère avec retour tactile reste un chantier ouvert dans le champ robotique : des acteurs comme Sanctuary AI, Dexterous Robotics, ou encore Shadow Robot explorent des approches similaires, tandis que des laboratoires académiques (Stanford, CMU, MIT) publient régulièrement sur le sim-to-real pour mains multi-doigts. PTLD se distingue en évitant la simulation tactile là où d'autres groupes investissent dans des moteurs physiques spécialisés (ex. Isaac Gym avec contact enrichi). Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'un résultat académique publié sur preprint ; la reproductibilité sur des plateformes matérielles variées (Allegro, LEAP Hand, Dexterous Hand de Shadow) reste à démontrer.

RecherchePaper
1 source
ReconVLA : un cadre VLA guidé par l'incertitude et la détection des défaillances pour le contrôle robotique
294arXiv cs.RO 

ReconVLA : un cadre VLA guidé par l'incertitude et la détection des défaillances pour le contrôle robotique

Des chercheurs ont mis en ligne en avril 2026 sur arXiv (référence 2604.16677) un framework nommé ReconVLA, conçu pour doter les modèles vision-langage-action (VLA) d'une capacité jusque-là absente : estimer leur propre degré de confiance avant d'agir. ReconVLA applique la prédiction conforme (conformal prediction) directement sur les tokens d'action produits par un VLA pré-entraîné, sans modification ni réentraînement du modèle. Cette couche génère des intervalles d'incertitude calibrés, corrélés à la qualité d'exécution et au taux de succès de la tâche. Le même mécanisme est étendu à l'espace d'état du robot pour détecter des configurations anormales avant qu'une défaillance ne survienne. L'évaluation couvre des tâches de manipulation variées en simulation et sur robot réel. L'absence de mesure de confiance calibrée est aujourd'hui l'un des principaux verrous à l'industrialisation des VLA. Un modèle comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) peut produire une action avec une assurance apparente même lorsque la scène perçue sort de sa distribution d'entraînement. ReconVLA contourne ce problème sans toucher au modèle sous-jacent : les intégrateurs peuvent envelopper n'importe quel VLA existant avec cette surcouche de sécurité. En pratique, le framework réduit les erreurs catastrophiques et fournit un signal exploitable par les superviseurs humains ou les systèmes de fail-safe industriels. Il convient de souligner que les résultats présentés restent à l'échelle laboratoire, sans validation sur des lignes de production réelles. La prédiction conforme est une méthode statistique bien établie dans la communauté du machine learning certifié, mais son application aux VLA robotiques reste émergente. Ces architectures ont connu une accélération notable depuis 2023 avec RT-2 (Google DeepMind), puis OpenVLA, Pi-0 et GR00T N2, chacune promettant un contrôle généraliste sans garantie formelle de comportement hors distribution. ReconVLA s'inscrit dans une tendance visant à rendre ces modèles auditables et déployables dans des contextes à risque industriel ou réglementé. Les prochaines étapes naturelles incluent l'intégration avec des pipelines temps réel et la validation sur des horizons de tâches plus longs, domaines où la calibration de l'incertitude devient critique pour les décideurs industriels.

UEImpact indirect : si validé à l'échelle industrielle, ce framework faciliterait le déploiement de VLA dans des environnements réglementés européens (AI Act, sécurité machines), sans nécessiter de réentraînement des modèles existants.

RechercheOpinion
1 source
ST-π : VLA spatio-temporel structuré pour la manipulation robotique
295arXiv cs.RO 

ST-π : VLA spatio-temporel structuré pour la manipulation robotique

Une équipe de chercheurs a publié fin avril 2026 ST-π (ST-pi), un modèle vision-langage-action (VLA) conçu pour améliorer la manipulation robotique fine en introduisant une planification spatiotemporelle explicitement structurée. Contrairement aux VLA classiques qui projettent directement les observations visuelles vers des actions step-by-step, ST-π décompose la tâche en deux niveaux distincts : un VLM spatiotemporel qui encode des observations 4D (vidéo + profondeur) et génère une séquence ordonnée de "prompts d'action" au niveau chunk, incluant sous-tâches, ancrage spatial et ancrage temporel ; puis un "action expert" conditionné sur ces prompts, qui utilise un mécanisme de double générateur pour modéliser conjointement les dépendances spatiales et la causalité temporelle, produisant in fine les paramètres d'action step-level. Les auteurs ont également constitué un dataset réel avec annotations spatiotemporelles structurées pour le fine-tuning. Le code source est disponible sur GitHub (chuanhaoma/ST-pi). L'intérêt de cette approche réside dans l'explicitation du raisonnement spatiotemporal, un point aveugle documenté des VLA actuels. Les modèles existants comme Pi-0 (Physical Intelligence), OpenVLA ou RT-2 encodent implicitement ce raisonnement dans les représentations visuelles et d'action, ce qui les rend fragiles face à des séquences comportementales multiples avec des frontières temporelles précises, typiquement les tâches d'assemblage, de tri ou de manipulation en plusieurs étapes que les intégrateurs industriels cherchent à automatiser. ST-π propose une architecture où le VLM planifie globalement et l'action expert raffine localement, ce qui est une séparation de responsabilités plus proche de la façon dont les ingénieurs roboticiens structurent eux-mêmes les programmes de manipulation. Ce travail s'inscrit dans une dynamique de recherche active sur le sim-to-real et la généralisation des VLA, portée notamment par Physical Intelligence, Google DeepMind (avec GR00T N2 côté NVIDIA) et des laboratoires académiques en Chine. ST-π est un preprint arXiv (2604.17880), pas encore évalué en peer review, et les métriques de performance annoncées restent à confronter à des benchmarks indépendants comme LIBERO ou RLBench. Aucun partenaire industriel ni déploiement terrain n'est mentionné à ce stade, il s'agit d'une contribution de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles seraient une évaluation comparative sur des benchmarks standardisés et un test sur des robots réels en dehors du dataset des auteurs.

IA physiqueOpinion
1 source
Assemblage robotique à contacts multiples dans la construction par politique de diffusion
296arXiv cs.RO 

Assemblage robotique à contacts multiples dans la construction par politique de diffusion

Des chercheurs ont publié sur arXiv (arXiv:2511.17774, version 3) une étude portant sur l'application de l'apprentissage par diffusion à l'assemblage robotique dans le secteur de la construction. Le cas d'usage retenu est l'assemblage tenon-mortaise en bois, une jonction à contact riche soumise à des contraintes de friction et de géométrie strictes, avec des jeux inférieurs au millimètre. Les politiques de diffusion sensori-motrices ont été entraînées à partir de démonstrations téléopérées collectées sur un poste de travail robotique industriel équipé de capteurs force/couple. L'évaluation s'est déroulée en deux phases : une baseline en conditions nominales et un test de robustesse avec des perturbations positionnelles aléatoires allant jusqu'à 10 mm, soit un ordre de grandeur au-delà de la tolérance d'assemblage. La politique la plus performante atteint 100 % de taux de succès en conditions nominales et 75 % en moyenne sous perturbation. Ce résultat est notable car il adresse directement un verrou industriel structurel : l'accumulation de tolérances dans la construction empêche depuis longtemps l'automatisation fiable des tâches d'assemblage à contact. Le fait qu'une politique diffusion parvienne à compenser des désalignements de 10 mm pour des jeux sub-millimétriques suggère que ces architectures apprennent implicitement une stratégie de compliance active via le retour d'effort, sans modélisation géométrique explicite. Pour un intégrateur industriel ou un bureau de méthodes, cela signifie que le sim-to-real gap sur des tâches de précision en construction pourrait être en partie résorbé par l'apprentissage par imitation couplé à la force/couple, sans recalibration manuelle systématique. L'assemblage tenon-mortaise n'est pas un choix anodin : cette technique millénaire est revenue en force dans la construction bois massive (CLT, charpente lamellée-croisée), un segment en forte croissance en Europe avec des acteurs comme Sœur Bois ou Blumer-Lehmann. Les politiques de diffusion appliquées à la robotique manipulatrice ont été popularisées par des travaux comme le Diffusion Policy de Chi et al. (2023, Columbia/Toyota) et sont désormais explorées par des labos comme Physical Intelligence (pi) avec Pi-0, ou par Boston Dynamics Research. Cette étude se distingue en ciblant explicitement la construction industrielle plutôt que la cuisine ou la logistique. La prochaine étape logique serait un déploiement en conditions chantier réelles, avec variation de matériaux et de géométries, ce que les auteurs n'ont pas encore testé.

UELe segment construction bois massive (CLT, charpente lamellée-croisée) est en forte croissance en Europe avec des acteurs comme Sœur Bois ou Blumer-Lehmann ; une automatisation fiable des assemblages à contact ouvrirait une voie d'industrialisation directement applicable sur les chantiers européens.

RecherchePaper
1 source
ICAT : tests adaptatifs fondés sur des incidents réels pour la prédiction de risques physiques dans les modèles du monde incarnés
297arXiv cs.RO 

ICAT : tests adaptatifs fondés sur des incidents réels pour la prédiction de risques physiques dans les modèles du monde incarnés

Des chercheurs ont publié sur arXiv (référence 2604.16405) un système d'évaluation baptisé ICAT, Incident-Case-Grounded Adaptive Testing, ciblant une lacune précise des modèles de monde vidéo-génératifs : leur capacité à prédire les risques physiques dans des contextes d'action incarnée. Ces modèles, utilisés comme simulateurs neuronaux pour la planification et l'apprentissage de politiques en robotique embarquée, sont soumis à des scénarios de risque construits à partir de rapports d'incidents réels et de manuels de sécurité. ICAT structure ces sources en mémoires de risques, puis les récupère et les compose pour générer des cas de test avec chaînes causales et étiquettes de sévérité. Les expériences menées sur un benchmark dérivé de cette méthode révèlent que les modèles de monde courants omettent fréquemment les mécanismes déclencheurs des situations dangereuses et mal-calibrent systématiquement le niveau de sévérité des conséquences. Ce résultat a des implications directes pour quiconque envisage d'utiliser des world models comme substrat d'entraînement ou de planification pour des systèmes robotiques en environnement réel. Un modèle qui minimise ou ignore les signaux de danger dans ses rollouts imaginés peut inculquer des préférences comportementales non sûres à la politique apprise, sans que l'ingénieur ne le détecte en phase de simulation. Le gap sim-to-real prend ici une dimension nouvelle : ce n'est plus seulement une question de fidélité physique (textures, friction, dynamique), mais de fiabilité dans la représentation des conséquences graves. Pour les intégrateurs qui s'appuient sur des VLA (Vision-Language-Action models) entraînés sur des trajectoires synthétiques, c'est un signal d'alerte concret sur l'absence de métriques de sécurité standardisées dans les pipelines d'évaluation actuels. Les modèles de monde vidéo-génératifs, dont UniSim, DreamerV3, ou les approches issues de Genie et GameNGen, ont connu un regain d'intérêt comme alternatives aux simulateurs physiques classiques (MuJoCo, Isaac Sim), notamment pour leur capacité à généraliser à partir de vidéos brutes. Mais leur évaluation reste dominée par des métriques visuelles (FID, FVD) peu corrélées à la sécurité opérationnelle. ICAT propose un protocole ancré dans les données d'incidents industriels, ce qui le différencie des benchmarks synthétiques existants. Aucun déploiement ni partenariat industriel n'est annoncé à ce stade ; il s'agit d'une contribution académique, et la robustesse du benchmark lui-même reste à valider sur un périmètre de modèles plus large.

RechercheOpinion
1 source
Des contraintes de faisabilité physique explicites améliorent-elles l'apprentissage VLA ? Une étude empirique
298arXiv cs.RO 

Des contraintes de faisabilité physique explicites améliorent-elles l'apprentissage VLA ? Une étude empirique

Une étude publiée sur arXiv (2604.17896) examine une lacune structurelle dans l'entraînement des modèles VLA (Vision-Language-Action) : ces architectures, qui transforment des entrées multimodales (vision, langage) directement en commandes motrices pour robots, sont typiquement entraînées par imitation à grande échelle, sans aucune supervision explicite des contraintes physiques dures. Les auteurs intègrent un objectif de faisabilité géométrique dans la phase d'entraînement d'une politique VLA basée sur la diffusion, et évaluent l'impact sur des tâches de manipulation avec obstacles, utilisées comme banc d'essai contrôlé de la faisabilité physique. Les résultats montrent une amélioration de la fiabilité physique, de la performance globale, et de l'efficacité d'apprentissage en régime de faibles données. L'enjeu est significatif pour quiconque déploie des VLA en environnement industriel non contrôlé. Jusqu'ici, l'hypothèse implicite du paradigme d'imitation était que suffisamment de démonstrations permettraient au modèle d'inférer les contraintes géométriques (évitement d'obstacles, faisabilité cinématique) de façon latente. Cette étude apporte une preuve empirique que cette inférence reste incomplète : ajouter un signal de faisabilité explicite, même simple, améliore à la fois la robustesse physique et les performances sur la tâche. L'effet est particulièrement marqué en faible volume de données, ce qui est précisément le régime courant en déploiement réel où les démonstrations sont coûteuses à collecter. Le contexte est celui d'une compétition intense autour des politiques de manipulation généralisable : OpenVLA, pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou encore les travaux issus de RT-2/RT-X font tous le pari de l'imitation à grande échelle comme voie royale. Cette étude ne remet pas en cause ce paradigme, mais propose une correction ciblée, peu coûteuse à intégrer, sur le point précisément où les VLA actuels montrent leurs limites en production : la collision et la faisabilité cinématique. Aucun acteur commercial spécifique n'est impliqué ici, il s'agit d'une contribution académique, mais ses conclusions sont directement exploitables par les équipes d'intégration qui fine-tunent des VLA sur des postes de travail réels.

IA physiqueOpinion
1 source
Filtre de Kalman étendu itératif invariant pour l'odométrie des robots quadrupèdes
299arXiv cs.RO 

Filtre de Kalman étendu itératif invariant pour l'odométrie des robots quadrupèdes

Une équipe de chercheurs a publié sur arXiv (référence 2604.15449, avril 2026) un algorithme open-source d'estimation d'état pour robots à pattes, fondé sur le filtre de Kalman étendu invariant itéré, ou IterIEKF. L'algorithme s'applique aux robots quadrupèdes et repose exclusivement sur des mesures proprioceptives : il exploite les contraintes cinématiques sur la vitesse des pieds en phase de contact et la vitesse exprimée dans le référentiel du châssis, sans capteurs extéroceptifs (caméras, lidar). Les évaluations ont été conduites via simulations numériques approfondies et sur des jeux de données réels. Les résultats montrent que l'IterIEKF surpasse l'IEKF classique, le filtre de Kalman basé SO(3) et sa variante itérée, aussi bien en précision qu'en cohérence statistique. L'intérêt de cette contribution réside dans la rigueur mathématique apportée à l'odométrie des robots à pattes, un problème notoirement difficile à cause des contacts intermittents, des glissements et des dynamiques non linéaires. Les filtres de Kalman étendus standard souffrent de deux hypothèses rarement vérifiées en pratique : linéarité des dynamiques et linéarité du modèle de mesure, toutes deux avec bruit gaussien. L'IEKF avait partiellement résolu le premier problème en opérant sur des groupes de Lie à dynamiques group-affines. Le travail présenté ici généralise cette approche à l'étape de mise à jour, en montrant que l'itération de cette étape préserve des propriétés de compatibilité analogues à celles du filtre linéaire classique. Pour un intégrateur ou un ingénieur robotique, cela se traduit par une localisation plus robuste aux conditions terrain, sans dépendance à la perception visuelle ni à l'infrastructure externe. Le filtre de Kalman étendu invariant (IEKF) a été formalisé théoriquement dans les années 2010, notamment par Barrau et Bonnabel, et appliqué depuis à des plateformes variées allant des drones aux robots humanoïdes. Sa variante itérée (IterIEKF) avait été proposée récemment dans [1], mais son application à la locomotion quadrupède et la mise à disposition en open-source constituent des étapes concrètes vers l'adoption industrielle. Les concurrents directs sur ce segment incluent des approches basées sur des facteurs graphiques (GTSAM, iSAM2) et des estimateurs hybrides vision-inertie comme VILENS ou Pronto. La disponibilité open-source de ce filtre ouvre la voie à une intégration directe dans des stacks de navigation pour plateformes comme ANYmal, Spot ou Go2.

UELes chercheurs français Barrau et Bonnabel, à l'origine de la théorie IEKF, sont cités comme fondateurs de cette approche ; la disponibilité open-source de l'IterIEKF renforce la boîte à outils accessible aux équipes de recherche et startups européennes travaillant sur la locomotion de robots à pattes.

RecherchePaper
1 source
VeriGraph : graphes de scène pour la vérification de plans de robots
300arXiv cs.RO 

VeriGraph : graphes de scène pour la vérification de plans de robots

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées. Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements. VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

RechercheOpinion
1 source