Dossier Manipulation robotique

Attention à partir de l'action, pour l'action : goulots d'étranglement visuels émergents pour l'apprentissage de politiques

Des chercheurs publient sur arXiv (arXiv:2608.13422v1, mi-août 2026) Seeker, une méthode d'apprentissage de politiques visuomotrices pour la manipulation robotique. Le système s'appuie sur DINOv3, un extracteur de features visuelles figé, et apprend à générer des régions d'intérêt (ROI) évolutives dans le temps à partir du seul signal d'action, sans étiquette externe comme le regard, la classe d'objet ou une annotation d'affordance. Cette ROI sert de filtre spatial pour trois usages : recadrage RGB, augmentation d'arrière-plan guidée par masque, et filtrage de nuages de points. Testé en simulation et sur robots réels, Seeker porte le taux de succès moyen en conditions connues de 48,3% (meilleure baseline) à 76,7%, et le taux de succès sous variations d'éclairage et de décor de 20% à 60%. Le résultat vise un goulot d'étranglement connu de l'apprentissage par imitation visuomotrice : une politique reste imprécise quand l'indice visuel utile s'éloigne du gripper ou se déplace pendant la tâche, un cas que les recadrages fixes centrés sur l'effecteur terminal ne capturent pas. Pour les intégrateurs qui déploient des politiques vision-language-action à la manière de Pi-0, GR00T ou Helix, la robustesse aux changements de lumière et de fond est précisément ce qui sépare une démonstration de laboratoire d'un déploiement industriel fiable. Seeker montre qu'on peut gagner en efficacité de données et en résistance aux perturbations visuelles sans coût d'annotation supplémentaire, ce qui contredit l'idée reçue que la robustesse exige davantage de labels ou de données brutes. Seeker se positionne face à deux approches existantes : les interfaces ROI à base de labels externes, coûteuses à annoter, et les recadrages dits "action-derived" sans label, qui détectent un événement lié au gripper pour centrer une fenêtre fixe sur l'effecteur terminal projeté, une heuristique rigide dès que l'évidence visuelle utile se déplace. En repartant des features gelées de DINOv3 et en apprenant une requête itérative conditionnée par la tâche et l'état du robot, Seeker automatise cette sélection spatiale. Le travail reste au stade de preprint de recherche, sans annonce de produit ni de partenariat industriel à ce jour, mais s'inscrit dans la course plus large à des politiques VLA à la fois frugales en données et robustes aux variations d'environnement, un enjeu central pour les laboratoires travaillant sur la manipulation robotique généraliste.

JEPA-WAM : prédiction d'embeddings conjoints par étapes pour les modèles monde-action en manipulation robotique

Des chercheurs présentent JEPA-WAM (arXiv:2608.10780), qui ajoute a un World-Action Model fonde sur Motus un module Stage-JEPA, un prédicteur Joint-Embedding Predictive Architecture conditionne par objectif. L'architecture distingue un futur physique court terme, capturant l'évolution locale de la scene pour l'exécution du geste, d'un futur sémantique au niveau de l'étape, qui représente la progression de la tache d'une phase a la suivante. Stage-JEPA s'appuie sur un encodeur V-JEPA2 gelé pour extraire l'état courant a partir de l'observation et de l'instruction, puis prédit la cible latente de l'étape suivante inférée. Sur 50 taches du benchmark de simulation RoboTwin 2.0, en environnements propres et randomises, le système atteint 90,25 % de réussite globale et réduit de 5,97 % le nombre moyen d'étapes d'exécution dans les épisodes réussis par rapport a la meilleure base de comparaison testée. Ce travail cible une limite connue des politiques vision-langage-action généralistes : la plupart représentent le futur comme un court segment vidéo-action fixe, ce qui capture la dynamique locale mais ignore la progression d'une tache a plusieurs étapes. En séparant prédiction court terme et planification sémantique par étape, JEPA-WAM propose une piste pour réduire l'écart entre réactivité immédiate et raisonnement a plus long horizon, un enjeu partage par des architectures comme Pi-0, GR00T N2 ou Helix qui visent la généralisation entre taches. Le gain de 5,97 % en nombre d'étapes suggère une meilleure efficacité d'exécution sans perte de taux de réussite, un signal utile pour des intégrateurs cherchant a raccourcir les cycles, même si ces résultats restent obtenus en simulation et non en déploiement réel. L'approche s'inscrit dans la lignée des architectures Joint-Embedding Predictive popularisées par V-JEPA et V-JEPA2, des modèles du monde auto-supervises entraines sur vidéo et repris ici comme encodeur gelé plutôt que reentraine. Le choix d'un WAM fonde sur Motus situe la contribution dans la famille grandissante des modèles combinant prédiction du monde et génération d'action, en concurrence avec les approches VLA de Physical Intelligence (Pi-0), Nvidia (GR00T N2) ou Figure (Helix) ; aucun acteur européen n'apparait dans cette publication. L'article, publie sur arXiv sous la référence 2608.10780, ne fixe aucun calendrier de transfert vers des robots physiques ni de partenariat industriel, l'étape suivante habituelle pour ce type de recherche étant la validation hors simulation avant toute intégration commerciale.

OmniVTA : modélisation du monde visuo-tactile pour la manipulation robotique en contact riche

Une équipe de recherche présente sur arXiv (arXiv:2603.19201v3) OmniVTA, un framework de manipulation robotique visuo-tactile adosse a OmniViTac, un jeu de données de plus de 21 000 trajectoires couvrant 86 taches et plus de 100 objets repartis en six catégories d'interaction physique comme l'essuyage ou l'assemblage. Le système combine un encodeur tactile auto-supervise, un modèle du monde visuo-tactile a deux flux prédisant l'évolution du contact a court terme, une politique de fusion sensible au contact générant les actions, et un contrôleur réflexe a 60 Hz corrigeant en boucle fermée les écarts entre signal tactile prédit et observe. Teste sur robot réel dans les six catégories, OmniVTA dépasse les méthodes existantes et généralisé a des objets et configurations non vus ; les auteurs annoncent la publication future des données, modèles et code sur mrsecant.github.io/OmniVTA. Le résultat cible un angle mort connu de la manipulation industrielle : l'assemblage, le polissage ou le nettoyage exigent de percevoir des forces de contact, des changements de friction et des transitions d'état que la vision seule ne capture pas fiablement. La plupart des systèmes actuels traitent le tactile comme une observation passive, alors qu'OmniVTA en fait une variable prédictive exploitée en boucle fermée a haute fréquence, ce qui améliore la robustesse face a des objets inconnus. Pour les intégrateurs visant des bras ou des mains capables de gestes fins comme l'insertion de connecteurs, cette généralisation hors distribution répond a un point faible récurrent des démonstrations de manipulation, souvent performantes seulement sur les objets vus a l'entrainement. Ce travail s'inscrit dans un intérêt croissant pour la manipulation visuo-tactile, jusque-la freine par des jeux de données restreints en échelle et en diversité de taches, limite que le dataset OmniViTac vise a combler. Il s'agit d'une publication académique, pas d'un produit commercial ni d'un déploiement industriel annonce : le papier, une version révisée sur arXiv, ne cite ni date de disponibilité ni partenaire intégrateur, et l'ouverture promise du code et des données reste pour l'instant une intention. L'article ne précise pas le matériel exact (bras, main, capteurs tactiles) utilise pour les expériences, ce qui limite l'évaluation de sa portée industrielle immédiate.

Efficacité de l'apprentissage par renforcement en ligne pour la manipulation robotique via entraînement centralisé et décomposition du critique

Une équipe de recherche présente HIL-HARC, une méthode d'apprentissage par renforcement en ligne appliquée directement sur des bras robotiques réels, sans phase de simulation préalable et avec intervention humaine ponctuelle pendant l'entraînement. Le système combine un entraînement centralisé à exécution décentralisée (CTDE) avec une architecture de récompense hybride (HRA) : plusieurs bras partagent un même critique multi-tête, décomposé en une tête "tâche" liée à une récompense éparse et une tête "préhension" fondée sur un potentiel de saisie. Les objectifs du critique et de l'acteur ont été reformulés pour exploiter ces valeurs Q décomposées, en tenant compte de la distribution catégorielle propre au contrôle discret de la pince. La méthode a été testée sur deux bras robotiques réels et sur un robot humanoïde simulé, pour des tâches de préhension-dépôt d'une balle de tennis et d'une banane, de repositionnement d'une casserole, et de déplacement de blocs en simulation, avec une plage de randomisation de domaine 5 à 25 fois plus large que dans les travaux antérieurs. Comparée à une référence de l'état de l'art, la méthode fait passer le taux de réussite de 60% à 80% sur la balle de tennis, de 60% à 90% sur la banane, et de 25% à 95% sur le déplacement de blocs simulé, tout en réussissant une tâche sur laquelle la référence échoue systématiquement. Ce résultat s'attaque à deux limites connues du RL en ligne avec intervention humaine : la faible tolérance aux variations d'environnement, jusqu'ici restreinte à de petites plages de randomisation, et l'instabilité provoquée par l'entraînement simultané de plusieurs agents, qui rend les cibles d'apprentissage non stationnaires. En montrant qu'un critique centralisé partagé absorbe une randomisation bien plus large tout en améliorant l'efficacité d'échantillonnage, ces travaux nuancent l'idée selon laquelle seule une simulation massive permettrait d'obtenir des politiques robustes aux variations physiques. Pour les intégrateurs et équipes de R&D en manipulation robotique, cela ouvre une piste pour affiner des politiques directement sur site industriel, sans dépendre d'un pipeline sim-to-real coûteux à calibrer, un enjeu d'autant plus actuel que les architectures vision-langage-action cherchent à généraliser au-delà de démonstrations scriptées. Le travail s'inscrit dans la lignée du RL avec intervention humaine en temps réel, en réutilisant des briques issues du RL multi-agent, l'entraînement centralisé à exécution décentralisée et la décomposition de récompense, pour les appliquer à un contexte mono-robot multi-tâche. Aucun système commercial n'est nommé dans la comparaison, et l'ensemble reste à ce stade un résultat de recherche publié en préprint sur arXiv plutôt qu'un produit déployé : les essais réels se limitent à un nombre restreint de tâches de préhension, et le volet humanoïde n'a été validé qu'en simulation. Les auteurs mettent à disposition vidéos et détails complémentaires sur un site dédié, sans annoncer de calendrier de transfert vers un humanoïde physique ni de partenariat industriel.

Compétences en poids, mémoire en code : apprentissage hybride pour la manipulation robotique dépendante de la mémoire

Une équipe de recherche a publié le 11 août 2026 sur arXiv (référence 2608.09410) un article intitulé "Skills in Weights, Memory in Code", présentant HyMeS, un framework hybride destiné à la manipulation robotique dépendant de la mémoire à long terme. Le système associe une politique vision-langage-action (VLA) markovienne, qui apprend les compétences motrices de bas niveau par imitation learning basée sur le gradient, à un agent de codage chargé de la gestion de la mémoire de haut niveau. Cet agent apprend par heuristique, en mettant à jour de façon itérative un système de règles exécutables à partir des retours d'essais (rollouts). Une vérification multimodale de l'achèvement des étapes, combinant signaux proprioceptifs et jugements d'un modèle vision-langage sur plusieurs images, permet de rafraîchir la mémoire en boucle fermée. Sur le benchmark RoboMemArena, HyMeS fait grimper le taux de succès cumulé moyen de 52,5% à 66,2% et le taux de succès par tâche de 41,3% à 60,1% par rapport au modèle de référence pi0.5, tout en dépassant le système concurrent PrediMem de 4,5 points en succès cumulé et 14,5 points en succès par tâche. L'enjeu dépasse la simple performance chiffrée: la plupart des politiques VLA actuelles génèrent chaque action à partir de l'observation courante ou d'un historique court et fixe, ce qui les rend inadaptées aux tâches non markoviennes où le robot doit se souvenir d'informations glanées bien plus tôt dans la séquence. En séparant les compétences motrices, apprises par imitation et figées dans les poids du réseau, de la logique de mémoire, gérée en code exécutable et adaptable sans nouvelles démonstrations, HyMeS promet une généralisation compositionnelle plus économe en données: seules les compétences motrices réutilisables nécessitent des démonstrations, pas chaque configuration de tâche dépendante de l'historique. Pour les intégrateurs et laboratoires travaillant sur des tâches industrielles multi-étapes (tri, assemblage séquentiel), c'est un argument direct contre le coût prohibitif de collecte de données propre aux approches VLA de bout en bout. Le travail s'inscrit dans la lignée des modèles VLA généralistes tels que pi0.5 (Physical Intelligence), utilisé ici comme référence, et se positionne face à d'autres approches de mémoire augmentée comme PrediMem. Il s'agit à ce stade d'un préprint arXiv validé uniquement sur le benchmark RoboMemArena, sans validation annoncée sur robot physique ni pilote industriel.

RoboSeg : reconstruction sémantique en ligne au niveau des pièces pour la manipulation robotique via une seule caméra montée sur pince

RoboSeg est un système de perception robotique présenté dans un article déposé sur arXiv (arXiv:2608.09778v1) qui vise à reconnaître non pas des objets entiers mais leurs parties actionnables : poignées, bords, gâchettes, embouts d'outils. Le système interroge un modèle vision-langage (VLM) sur une première image RGB pour identifier des invites de parties fonctionnelles, puis combine deux flux asynchrones : un thread géométrique haute fréquence pour l'odométrie RGB-D et la fusion TSDF, et un thread sémantique déclenché par images clés utilisant SAM3 pour segmenter les parties. Les masques projetés sont fusionnés par vote temporel au niveau voxel pour construire une carte de points étiquetée, persistante, sans nécessiter de modèle CAD ni de maillage pré-scanné. Cette carte sert ensuite à assigner les candidats de prise à 6 degrés de liberté générés par AnyGrasp à la partie sémantique pertinente pour la tâche demandée. Les résultats rapportés atteignent 83,4% de mIoU (intersection sur union moyenne) sur des objets annotés manuellement, et lors d'un pilote physique de 24 essais couvrant quatre objets et huit tâches, la prise sélectionnée a touché la partie demandée dans tous les essais, pour 21 réussites sur 24 au total. L'intérêt de ce travail pour les intégrateurs et chercheurs en robotique tient au fait qu'il traite un angle mort classique des pipelines de manipulation : la plupart des systèmes de préhension raisonnent au niveau de l'objet entier, sans distinguer la partie fonctionnellement pertinente pour une tâche donnée. En s'appuyant uniquement sur une caméra montée sur l'effecteur (eye-in-hand) et sur des modèles de fondation existants plutôt que sur des CAO préalables, RoboSeg propose une couche d'indexation sémantique généralisable à des environnements non structurés. Le papier reste toutefois prudent sur la portée de la validation : le pilote physique ne couvre que quatre objets et 24 essais, un échantillon restreint qui limite la généralisation des taux de réussite annoncés. Ce travail s'inscrit dans la tendance actuelle combinant modèles vision-langage et générateurs de prises pré-entraînés plutôt que de réentraîner des systèmes de bout en bout. Les auteurs positionnent explicitement RoboSeg comme une couche complémentaire à AnyGrasp, conservé comme générateur de propositions de préhension, et non comme un remplacement. Il s'agit d'un article de recherche académique récemment publié, sans mention d'un déploiement industriel ni d'un partenaire commercial ; les prochaines étapes concernant une éventuelle extension à davantage d'objets, de tâches ou de plateformes robotiques ne sont pas précisées dans le résumé.

MANGO-Grasp : champs de Mahalanobis sur gaussiennes 3D orientées géométrie pour la préhension dextérique inter-incarnations

Des chercheurs publient MANGO-Grasp, une nouvelle méthode de préhension dextre "cross-embodiment", c'est-à-dire capable de fonctionner sur des mains robotiques multi-doigts très différentes sans réglage spécifique à chacune. Le système représente les objets sous forme de primitives gaussiennes 3D orientées selon la géométrie locale de la surface (des sortes de petites plaques alignées avec des normales sortantes), tandis que chaque main robotique est décrite par des points clés de surface encodés dans un descripteur "morpho-kinématique" combinant forme et articulation. L'innovation centrale est l'usage de champs de Mahalanobis entre ces points clés et les primitives d'objet : ils servent à la fois de cible d'apprentissage et de guide d'optimisation au moment de la préhension, en montant fortement le long de la normale à la surface mais restant plats dans le plan tangent, ce qui colle à la physique réelle du contact. Sur les benchmarks CMAP et MultiGripperGrasp, MANGO-Grasp dépasse la meilleure méthode concurrente entraînée sur la même main de jusqu'à 8,24 points de pourcentage en simulation, et transfère en zéro-shot vers une main jamais vue (SharpaWave) avec un gain de 16,57 points sur le meilleur baseline zero-shot, pour un taux de réussite de 86 % en conditions réelles. Ce résultat s'inscrit dans un enjeu clé pour les intégrateurs de robotique dextre : la généralisation d'une politique de préhension à de nouveaux effecteurs sans reprendre tout l'entraînement, un frein majeur au déploiement commercial de mains robotiques variées. Le fait qu'une seule formulation d'optimisation, avec les mêmes hyperparamètres, fonctionne sur toutes les morphologies testées suggère que le goulot d'étranglement historique (représentations d'objets trop pauvres en géométrie locale, descripteurs de main incomplets) peut être résolu sans architecture ad hoc par robot, un argument utile face au scepticisme habituel sur l'écart démo/réalité en manipulation robotique. Le papier (arXiv:2608.02014v1) se positionne face aux méthodes "interaction-centric" existantes, jugées insuffisantes sur la représentation fine de la géométrie de surface et l'encodage combiné de la morphologie et de la cinématique des mains. Le code et les matériaux complémentaires sont annoncés pour publication ultérieure sur la page du projet, mais ne sont pas encore disponibles à ce stade : il s'agit d'un preprint, pas encore d'une solution intégrée ou commercialisée.

Un aéronef à rotors basculants doté d'une pince pour tâches de contact stables par ancrage environnemental

Des chercheurs ont présenté un nouveau type de drone conçu pour ancrer physiquement sa base dans son environnement afin de réaliser des tâches de contact stables, selon une publication arXiv du 1er août 2026 (2608.01736v1). La plateforme combine un multirotor à rotors inclinables, capable de découpler le tangage du mouvement d'avancement pour maintenir un vol stationnaire stable même à des angles de tangage non nuls, et une pince prismatique sous-actionnée entraînée par câbles, dotée d'une compliance mécanique lui permettant de s'adapter à des géométries irrégulières pour s'agripper à une structure. Les essais en vol sur robot réel montrent que cet ancrage réduit de plus de 95 % l'erreur quadratique moyenne (RMSE) de dérive positionnelle par rapport à un vol libre de référence, y compris dans des conditions venteuses. Une fois ancré, le système résiste à des forces de réaction longitudinales allant jusqu'à 75 newtons tout en conservant une pose stable, et sa dérive positionnelle ne dépasse jamais 3 millimètres sur l'ensemble des géométries et orientations de cibles testées. Cette avancée s'attaque à une limite structurelle des drones classiques: leur instabilité dès qu'ils entrent en contact physique avec une surface, ce qui restreint aujourd'hui leur usage à l'observation à distance plutôt qu'à l'intervention directe. En transformant un aéronef en plateforme de travail temporairement fixe, cette approche ouvre la voie à des tâches nécessitant une force et une précision impossibles en vol libre, comme le perçage ou l'installation de capteurs. Pour les intégrateurs industriels et les opérateurs d'inspection d'infrastructures, cela représente une alternative crédible aux nacelles élévatrices ou aux interventions humaines en zones difficiles d'accès, à condition que la robustesse démontrée en essais contrôlés se confirme sur le terrain. Le papier s'inscrit dans le champ plus large de la manipulation aérienne, où plusieurs équipes de recherche explorent des mécanismes de perchage ou d'ancrage pour stabiliser les drones lors d'interactions physiques. Les auteurs présentent leurs résultats comme une preuve de viabilité plutôt qu'un produit commercial: ils citent explicitement comme applications futures l'échantillonnage de la santé des arbres par forage et l'installation de capteurs en environnements difficiles d'accès, sans annoncer de calendrier de déploiement ni de partenaire industriel à ce stade.

Robot : la nouvelle main robotique de Foundation attrape une balle de baseball en plein vol avec une précision quasi humaine

Foundation Robotics vient de dévoiler une vidéo démontrant la capacité de sa nouvelle main robotique à attraper une balle de baseball en plein vol avec une précision quasi humaine. Basée à San Francisco, l'entreprise a conçu cette main selon une architecture à tendons dont les moteurs sont déportés dans l'avant-bras plutôt que logés dans les doigts, ce qui allège considérablement la structure tout en conservant la force nécessaire aux mouvements rapides. Des tendons de flexion ferment les doigts et des tendons d'extension les rouvrent, reproduisant la coordination des tendons d'une main humaine. Un mécanisme additionnel permet de légers mouvements latéraux des doigts, leur donnant la capacité de former une prise en coupe pour envelopper des objets sphériques comme une balle, ou d'adopter une pince plus fine pour de petits objets. Le système estime la position de chaque doigt en croisant les données de rotation des moteurs avec un modèle géométrique des tendons, sans dépendre uniquement de capteurs physiques ; des capteurs à magnétorésistance tunnel (TMR) viennent ensuite affiner ces estimations avec une précision inférieure au degré, en servant de redondance plutôt que de source principale. Cette main est destinée aux robots humanoïdes Phantom de Foundation, conçus pour l'industrie. Cette démonstration, même si le lancer était planifié à l'avance, illustre un enjeu central de la robotique humanoïde actuelle : la capacité à manipuler des objets irréguliers avec rapidité et fiabilité, sans recourir à des pinces spécialisées. Contrairement aux mains de type gripper de générations précédentes chez Foundation, ce prototype introduit des doigts actionnés indépendamment, des articulations d'inspiration anatomique et une estimation d'état avancée. Pour les intégrateurs industriels, l'intérêt réside moins dans l'exploit spectaculaire que dans la fiabilité promise en environnement contraint : la redondance capteur/logiciel vise justement les cas où des capteurs tombent en panne ou s'endommagent, un point critique en usine. Cela dit, comme pour beaucoup de démonstrations du secteur, le geste reste chorégraphié et il convient de distinguer cette vitrine technologique d'un déploiement en conditions réelles de production. Foundation Robotics s'inscrit dans la course grandissante aux mains robotiques dextres, aux côtés d'acteurs comme Figure, Tesla (Optimus) ou des laboratoires travaillant sur des modèles VLA tels que Pi-0 ou GR00T N2, où la manipulation fine reste l'un des goulots d'étranglement majeurs face à la locomotion. L'entreprise mise sur cette architecture à tendons et moteurs déportés pour équiper ses robots Phantom destinés aux environnements industriels, où la variété des outils et composants à manipuler exige une polyvalence que les grippers classiques ne permettent pas. Les prochaines étapes attendues concernent le passage de cette démonstration contrôlée à des déploiements pilotes en conditions réelles, un test que la plupart des acteurs du secteur humanoïde doivent encore franchir pour valider leurs promesses de dextérité à l'échelle industrielle.

Combiner des modèles de langage et le raisonnement symbolique pour la planification temporelle multi-robots via des bases de connaissances explicables

Un groupe de chercheurs propose PLANTOR, un framework qui transforme une description en langage naturel d'une tâche multi-robots en un plan d'exécution complet, en s'appuyant sur un grand modèle de langage pour construire une base de connaissances structurée au format Prolog. Le pipeline enchaîne plusieurs étapes : le LLM génère la base de connaissances, des vérifications de cohérence détectent et corrigent les erreurs de modélisation, un planificateur symbolique produit un plan de haut niveau, celui-ci est raffiné en actions robotiques de bas niveau, puis un ordonnancement temporel optimisé est calculé et converti en arbre de comportement (behavior tree) exécutable. Les auteurs ont testé l'approche sur des scénarios inspirés des benchmarks classiques Blocks World et Grippers, avec plusieurs modèles de langage différents, en mesurant la qualité des bases de connaissances générées et le temps d'exécution du pipeline. Ils démontrent aussi une exécution de bout en bout sur un scénario réel d'assemblage impliquant plusieurs bras robotiques. L'intérêt de PLANTOR tient à sa position hybride : plutôt que de confier au LLM la totalité du raisonnement de planification, ce qui pose des problèmes de fiabilité et de traçabilité bien documentés, le framework cantonne le modèle de langage à la synthèse d'artefacts structurés, tandis que le calcul du plan et de l'ordonnancement reste entièrement symbolique et inspectable. Pour des intégrateurs ou des équipes de recherche en robotique multi-agents, cela répond à une critique récurrente des approches purement génératives : l'impossibilité de vérifier pourquoi un plan a été choisi ou de garantir sa correction avant exécution. Les résultats montrent que la génération automatique de bases de connaissances réduit sensiblement l'effort de modélisation manuelle, un goulot d'étranglement classique en planification symbolique, mais les auteurs reconnaissent que les sorties du LLM nécessitent encore, dans certains cas, une correction humaine. Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à combiner l'interprétation du langage naturel des LLM avec la rigueur de la planification symbolique classique, plutôt que de miser sur des architectures VLA de bout en bout ou sur des LLM utilisés seuls comme planificateurs. Contrairement aux démonstrations qui misent sur des vidéos sélectionnées, PLANTOR est évalué sur des benchmarks reproductibles et sur un cas d'usage d'assemblage réel avec plusieurs bras robotiques, ce qui donne une mesure plus concrète de sa robustesse. La publication, une version révisée d'un article initialement soumis en février 2025 sur arXiv, ouvre la voie à des travaux futurs sur l'automatisation complète de la correction des bases de connaissances et sur l'extension à des flottes robotiques plus hétérogènes.

FIRMGrasp : une marge de risque tenant compte du frottement pour une synthèse de prise robuste

Une équipe de recherche présente FIRMGrasp, une nouvelle famille de métriques de qualité de préhension robotique fondée sur la mesure de risque CVaR (Conditional Value-at-Risk), dans un article publié le 25 juillet sur arXiv. Contrairement aux métriques classiques comme l'epsilon de Ferrari-Canny, qui supposent un coefficient de friction unique et déterministe, FIRMGrasp évalue la marge de force-closure au point le plus défavorable de la distribution de friction, produisant une marge ajustée au risque notée epsilon^(bêta). Les chercheurs démontrent sa monotonie selon le niveau de confiance bêta, sa différentiabilité par rapport aux paramètres de préhension, et un certificat probabiliste garantissant la fermeture de force avec une probabilité au moins égale à bêta. Sur un jeu de 1599 préhensions testées avec des mains robotiques LEAP Hand et Allegro Hand, 53% des prises jugées fiables par la métrique Ferrari-Canny perdent en réalité leur fermeture de force dans les conditions de friction défavorables. Ce résultat est significatif pour l'industrie de la préhension robotique car il expose une faille méthodologique répandue dans l'évaluation des grippers et mains articulées : les métriques standards surestiment systématiquement la robustesse des prises face à l'incertitude réelle des surfaces de contact. Concrètement, epsilon^(bêta) prédit mieux les échecs observés que la métrique nominale, avec des probabilités de discrimination de 0,63 et 0,78 contre 0,53 et 0,67 pour distinguer respectivement les échecs de secousse (shake) et de prise (pick) réussis. Dans des essais de levage simulés avec gravité activée et un coefficient de friction dégradé à 0,2, les prises validées par epsilon^(bêta) atteignent un taux de réussite de 70% sous traction latérale, contre seulement 25% pour les prises validées uniquement par la marge classique. Pour les intégrateurs et concepteurs de systèmes de préhension, cela suggère qu'intégrer une marge de risque friction-dépendante dès la phase de planification de prise réduirait sensiblement les échecs en conditions réelles, où la friction des surfaces varie selon l'usure, l'humidité ou les matériaux manipulés. Le travail s'inscrit dans la lignée des recherches sur la synthèse de préhension robuste, un domaine où les métriques analytiques historiques comme celle de Ferrari-Canny font référence depuis des décennies mais peinent à capturer l'incertitude physique réelle. Les auteurs comparent leur approche à des méthodes différentiables récentes, positionnant FIRMGrasp comme une alternative directement intégrable dans des pipelines d'optimisation de préhension existants, sans changement matériel requis.

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

RoboInter1.5 : une suite de représentations intermédiaires holistiques pour la modélisation du monde incarné et la manipulation robotique

Les chercheurs à l'origine du projet RoboInter publient RoboInter1.5, une suite de données et de modèles conçue pour standardiser les représentations intermédiaires utilisées dans la robotique manipulatrice, selon un article déposé sur arXiv (arXiv:2607.18709v1) le 24 juillet 2026. Ce travail prolonge une version antérieure, RoboInter1.0. Le cœur du système, RoboInter-Data, rassemble plus de 230 000 épisodes de manipulation répartis sur 571 scènes, chacun annoté image par image selon plus de dix types de représentations intermédiaires : sous-tâches, compétences élémentaires, ancrage des objets et du gripper, segmentation, cartes d'affordance, poses de préhension, points de contact et trajectoires de mouvement. Sur cette base, RoboInter-VQA introduit des tâches de question-réponse spatiales et temporelles pour évaluer et entraîner un modèle vision-langage dédié, RoboInter-VLM. RoboInter-VLA étudie ensuite comment ces représentations améliorent l'exécution d'actions, via trois approches distinctes : implicite, explicite, et modulaire en plan-puis-exécution. Enfin, RoboInter-World exploite ces mêmes annotations comme signaux de conditionnement pour prédire l'évolution future d'un environnement. L'enjeu dépasse la simple publication d'un jeu de données. Les modèles vision-langage-action (VLA) actuels, qu'il s'agisse de Pi-0, de GR00T N2 ou de Helix, souffrent d'un manque de données annotées finement et généralisables au-delà d'un robot ou d'un environnement précis, ce qui freine leur passage à l'échelle industrielle. En proposant une structure unifiée de représentations intermédiaires plutôt qu'un simple signal interprétable en sortie de modèle, RoboInter1.5 vise à combler l'écart entre démonstration en laboratoire et déploiement réel : ces annotations serviraient à la fois à contraindre les espaces d'action de bas niveau et à limiter les dérives des simulateurs physiques en monde ouvert, deux points de friction identifiés dans la course actuelle à l'IA embarquée pour la robotique. Le projet s'inscrit dans une tendance de recherche qui cherche à mutualiser les coûts de collecte de données robotiques, historiquement chers et spécifiques à chaque plateforme matérielle. En documentant explicitement l'ensemble des sous-composants (Data, VQA, VLM, VLA, World) et en publiant des benchmarks associés, les auteurs positionnent RoboInter1.5 comme une infrastructure de référence potentielle plutôt qu'un modèle isolé, ouvrant la voie à des comparaisons systématiques avec d'autres approches de représentations intermédiaires pour la manipulation.

Frottement clé pour améliorer les modèles du monde des robots

Un nouveau papier technique propose une architecture appelée VμA pour corriger un angle mort des modèles du monde en robotique : l'absence du coefficient de frottement statique (μ) parmi les signaux de conditionnement. Aujourd'hui, la quasi-totalité des systèmes conditionnent leurs prédictions sur deux sources seulement, les images de caméras et la position des effecteurs mesurée par les encodeurs articulaires, ce qui suffit pour des tâches en espace libre mais devient insuffisant dès qu'un robot entre en contact avec un objet. Dans de nombreuses implémentations, le contact n'est même pas mesuré directement : il est déduit du courant moteur, un signal proxy éloigné de la physique réelle qui se joue au bout du doigt du gripper. Certains systèmes ajoutent des capteurs tactiles, comme ceux commercialisés par l'entreprise australienne Contactile pour équiper mains et pinces robotiques, avec des gains mesurables sur la préhension adaptative en temps réel et la correction de glissement. Mais ces capteurs restent limités à des cartes de pression, des images de déformation ou, au mieux, une distribution de force sur trois axes : ils disent qu'un contact a lieu et avec quelle intensité, pas si ce contact va tenir. C'est précisément cette lacune que VμA cherche à combler en injectant μ comme entrée de premier ordre. Le coefficient de frottement statique est la grandeur physique qui détermine si un objet saisi reste saisi, en fonction du couple de matériaux, de l'état de surface, de la température ou de la contamination. Il ne peut être ni vu par une caméra, ni déduit du courant moteur, ni reconstruit à partir d'une carte de pression. Pour l'industrie de la manipulation robotique, l'enjeu dépasse la subtilité académique : sans μ, un modèle du monde n'apprend que des corrélations statistiques entre motifs de contact et résultats observés dans ses données d'entraînement, ce qui explique pourquoi ces systèmes échouent souvent à généraliser sur des surfaces ou des objets inédits. Un modèle conditionné sur la friction change de nature, puisqu'il manipule directement la cause physique du glissement plutôt qu'un proxy appris, ce qui intéresse au premier chef les intégrateurs travaillant sur la manipulation en environnement non structuré, de la logistique à l'assemblage fin. Cette proposition s'inscrit dans la course plus large aux modèles du monde généralistes, présentés par une partie du secteur comme la prochaine étape après les architectures vision-langage-action de type Pi-0 ou GR00T N2, censées permettre à un robot de raisonner sur des situations jamais rencontrées plutôt que de mémoriser des tâches. L'argument du papier est en réalité une critique de cette trajectoire : tant que le conditionnement tactile reste incomplet, la promesse de généralisation reste largement théorique pour toute manipulation en contact riche. Les suites concrètes, à savoir une intégration de VμA sur du matériel comme les capteurs Contactile ou des essais chez des intégrateurs industriels, ne sont pas précisées dans le document source.

Robot en trompe d'éléphant : une caméra interne pour un sens du toucher

Les chercheurs du Japan Advanced Institute of Science and Technology (JAIST) ont développé un nouveau type de pince robotique souple baptisée EleTac, dont la conception s'inspire directement de l'extrémité préhensile de la trompe d'éléphant. Contrairement aux pinces industrielles classiques équipées de capteurs de force externes, EleTac intègre une caméra miniature directement à l'intérieur de sa structure souple en silicone. Cette caméra observe en continu les déformations internes du matériau lorsque celui-ci entre en contact avec un objet, permettant au système de reconstituer, par traitement d'image, la forme, la texture et la fermeté de ce qu'il saisit, un peu comme le fait un vrai appendice d'éléphant grâce à ses terminaisons nerveuses. Le dispositif s'inscrit dans la famille des capteurs tactiles dits "vision-based", une approche déjà popularisée par des systèmes comme GelSight, mais appliquée ici à un actionneur souple et non à un doigt rigide. Pour l'industrie robotique, cette approche confirme une tendance de fond: remplacer des réseaux de capteurs de force coûteux et fragiles par une simple caméra interne couplée à du traitement d'image, ce qui réduit le coût et la complexité de câblage tout en conservant une sensibilité fine au toucher. Pour les intégrateurs travaillant sur la préhension d'objets fragiles, irréguliers ou déformables (fruits, textiles, composants électroniques), un tel gripper biomimétique promet une manipulation plus adaptative que les pinces rigides classiques, sans nécessiter de modèle physique complexe de l'objet saisi. Cette recherche s'inscrit dans une lignée plus large de robotique bio-inspirée, où l'on retrouve aussi des robots capables de s'enrouler comme des tatous pour se protéger. EleTac reste à ce stade un prototype de laboratoire; les prochaines étapes attendues concernent la validation sur des tâches de préhension réelles et une possible intégration à des bras robotiques industriels ou des systèmes AMR.

VTAP : combiner détection au bout des doigts et paume active visuo-tactile pour la manipulation dextérique en main

Une équipe de recherche présente le VTAP, un gripper robotique à trois doigts doté d'une paume visuo-tactile active combinée à des doigts compliants et reconfigurables équipés de capteurs tactiles matriciels. La paume actionnée associe localisation visuelle longue portée et retour tactile riche en contacts, ce qui étend nettement les capacités de manipulation par rapport aux pinces classiques. Pour piloter cette structure à trois doigts, différente de la main humaine, les chercheurs proposent un cadre de retargeting téléopérationnel par étapes, conditionné par gestes, traduisant les mouvements de la main d'un opérateur vers le gripper. Les expériences couvrent plusieurs tâches exigeantes : saisie réactive d'objets du jeu YCB et d'objets fragiles, réorientation en main d'une seringue avec actionnement du piston, séparation d'objets agglomérés jusqu'à 3 mm de diamètre, et insertion de type peg-in-hole guidée par vision et tact. Le papier est publié sur arXiv (2607.15448) avec une page projet dédiée. Cette démonstration intéresse directement les équipes de R&D en manipulation dextre, car elle contredit l'hypothèse selon laquelle une manipulation fine exige des mains anthropomorphiques à haut nombre de degrés de liberté. En combinant seulement trois doigts compliants et une paume active multimodale, l'équipe montre qu'une synergie structurée doigts-paume peut suffire pour des tâches de précision comme la manipulation d'objets millimétriques ou l'insertion guidée. Pour les industriels, l'architecture proposée sert surtout de référence pratique pour la conception de grippers et la collecte de données riches en contacts, un enjeu central pour entraîner des politiques de manipulation par apprentissage, qui manquent aujourd'hui de jeux de données tactiles à grande échelle. Ce travail s'inscrit dans la continuité des recherches sur les capteurs tactiles matriciels et la fusion vision-tact, un axe exploré par des laboratoires travaillant sur des mains tactiles ainsi que par des fabricants de mains anthropomorphiques à haut DOF comme Shadow Robot ou les mains humanoïdes de Tesla et Figure. Contrairement à ces approches privilégiant le nombre d'articulations, le VTAP mise sur la coordination doigts-paume et la perception multimodale plutôt que sur la complexité mécanique. Le projet ne mentionne pour l'instant aucun partenariat industriel ni calendrier de transfert commercial : il s'agit d'une preuve de concept en laboratoire destinée à informer la conception future de préhenseurs dextres et la collecte de données pour l'apprentissage robotique.

Structure continûment stable par déformation plastique

Des chercheurs présentent une nouvelle structure de préhenseur souple baptisée CSSPD (continuously stable structure through plastic deformation), décrite dans une prépublication arXiv (2607.15659). Le dispositif exploite la déformation plastique pour maintenir une configuration stable sans apport d'énergie continu, contrairement aux préhenseurs pneumatiques classiques. L'équipe y intègre un coussinet bioinspiré, calqué sur des pattes animales, qui améliore la stabilité et permet une saisie rapide pilotée par capteurs. La structure repose sur une couche métallique en kirigami, optimisée mathématiquement pour équilibrer souplesse et rigidité. Les essais montrent une force de maintien passive allant jusqu'à 16 newtons sans aucune alimentation, une performance comparable à celle d'un actionnement pneumatique à 0,3 MPa. Couplé à une assistance pneumatique, le préhenseur reste stable sous des accélérations pulsées atteignant 400 m/s². Il peut aussi se percher passivement sur une branche d'arbre pendant une durée prolongée, sans consommation électrique. L'enjeu dépasse la simple démonstration de laboratoire. Les robots souples séduisent par leur compliance et leur capacité d'adaptation, mais cette souplesse se paie généralement en stabilité: sous accélération ou perturbation externe, un préhenseur souple classique risque de lâcher sa prise, un problème critique pour toute application dynamique ou mobile. En obtenant une tenue mécanique comparable à l'actionnement pneumatique sans consommer d'énergie en continu, cette approche pourrait réduire la dépendance des grippers souples à des systèmes d'air comprimé embarqués, un frein connu pour les plateformes mobiles ou aériennes. La capacité de perchage passif ouvre notamment des perspectives pour des robots volants ou grimpants devant économiser leur énergie entre deux tâches. Le travail s'inscrit dans un courant de recherche en robotique souple cherchant à résoudre le compromis historique entre adaptabilité et rigidité, généralement traité par actionnement pneumatique ou électroactif énergivore. En misant sur la déformation plastique et une structure kirigami plutôt que sur des matériaux actifs, les auteurs proposent une alternative low-tech et low-power. S'agissant d'une prépublication, aucune date d'intégration industrielle n'est annoncée; les prochaines étapes concerneront vraisemblablement la validation sur des plateformes robotiques mobiles réelles au-delà des essais en laboratoire.

Robot industriel d'évaluation de dextérité : une plateforme matérielle et logicielle pour le benchmarking de la manipulation dextre industrielle

La revue arXiv a publié ce 14 juillet un article intitulé "Industrial Dexterity Benchmark: A Hardware-Software Benchmarking Platform for Industrial Dexterous Manipulation" (référence 2607.14021v1), qui propose un nouveau cadre de test pour l'automatisation industrielle fine. Les auteurs introduisent trois éléments : une série de plateaux de test baptisés Industrial Dexterity Benchmark (IDB), conçus pour reproduire trois scénarios concrets, le câblage de datacenters, les harnais de câbles automobiles et l'assemblage de boîtes de vitesses ; un framework d'apprentissage par imitation nommé DAG-ROS ; et une politique de contrôle basée sur la diffusion, AG-iDP3, qui fusionne images RGB, nuages de points, positions articulaires et données de force au poignet. Les tests se concentrent sur une tâche précise, le nettoyage d'un câble unique sur le plateau datacenter, évaluée sur 48 essais par configuration. La meilleure configuration, une Diffusion Policy multimodale combinant plusieurs caméras RGB via un encodeur R3M, atteint 78% de réussite combinée sur la prise et l'insertion, contre 36% pour la version à caméra unique. Chaque configuration n'a nécessité qu'environ 100 démonstrations téléopérées par phase de tâche. Ce résultat intéresse directement les intégrateurs industriels parce qu'il touche un point resté largement non résolu malgré des décennies de recherche en robotique : le câblage, l'insertion de connecteurs et l'assemblage de précision continuent de dépendre du travail manuel. L'écart de performance entre la version mono-caméra et la version multi-vues suggère que la robustesse des politiques apprises tient autant à la richesse des capteurs qu'à l'algorithme lui-même, un point utile pour quiconque évalue des solutions VLA ou d'apprentissage par imitation pour des lignes à haute disponibilité. Reste que l'échantillon de validation demeure limité, une seule tâche testée sur 48 essais par configuration, ce qui invite à la prudence avant d'extrapoler ces chiffres à d'autres cas d'usage. Ce travail s'inscrit dans une transition plus large observée dans la recherche en robotique industrielle, celle du passage des pipelines modulaires classiques, perception puis planification puis contrôle codés séparément, vers des architectures de bout en bout entraînées par imitation. Les benchmarks IDB visent à combler un manque identifié par les auteurs : l'absence de plateformes standardisées pour comparer objectivement les méthodes de manipulation dextre en environnement industriel. Aucun calendrier de déploiement commercial n'est mentionné à ce stade, l'article reste un travail de recherche publié en prépublication, sans partenariat industriel ni date de mise en production annoncés.

DECO : transformateur de diffusion multimodal découplé pour la manipulation dextre bimanuelle avec adaptateur tactile enfichable

DECO (Decoupled multimodal Diffusion transformer for bimanual dExterous manipulatiOn) est un nouveau modèle de politique robotique présenté dans un papier arXiv (2602.05513v3) qui sépare explicitement le traitement de la vision, de la proprioception et du tactile via des voies de conditionnement dédiées, plutôt que de fusionner ces signaux en amont comme le font la plupart des architectures existantes. Un adaptateur tactile léger permet d'injecter le signal de toucher de façon paramétrique-efficace, sans réentraîner l'ensemble du réseau. Les auteurs publient aussi DECO-50, un jeu de données de 50 heures et plus de 5 millions de frames, collecté par téléopération sur de vrais robots à deux bras équipés de capteurs tactiles. Sur plus de 2 000 essais réels (pas de simulation), DECO atteint un taux de réussite moyen de 72,25%, soit 21 points de mieux que la meilleure référence testée. L'ajout de l'adaptateur tactile apporte 10,25 points de réussite supplémentaires en moyenne, et jusqu'à 20 points sur les tâches à contact riche, tout en ne réajustant que moins de 10% des paramètres du modèle. Ce résultat compte parce qu'il s'attaque à un point de friction connu des politiques de manipulation bimanuelle: la fusion multimodale brute dégrade souvent les performances quand un des signaux (typiquement le tactile) est bruité ou absent, et le réentraînement complet pour intégrer un nouveau capteur reste coûteux. Découpler les modalités et rendre l'ajout de signaux modulaire via un adaptateur va dans le sens d'une approche plus industrialisable pour les intégrateurs qui veulent équiper des mains ou pinces existantes de tactile sans repartir d'un modèle de zéro. Le volume d'essais réels (2 000+) et le jeu de données ouvert de 50 heures renforcent aussi la crédibilité par rapport aux annonces qui ne reposent que sur quelques démonstrations sélectionnées. Le travail s'inscrit dans la vague des transformeurs de diffusion appliqués aux politiques robotiques (diffusion policy), une famille d'approches également explorée par des modèles vision-langage-action comme Pi-0 ou GR00T N2, mais ici recentrée spécifiquement sur la dextérité bimanuelle et l'intégration tactile plutôt que sur la généralisation multi-tâches à grande échelle. La publication conjointe du dataset DECO-50 laisse présager des comparaisons à venir avec d'autres politiques entraînées sur les mêmes données, un terrain encore rare dans la manipulation dextre où chaque laboratoire collecte ses propres démonstrations.

L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle

Une équipe de recherche publie une étude systématique sur l'adaptation à faible rang (LoRA) appliquée à π0, un modèle Vision-Language-Action (VLA) à correspondance de flux, testé sur quatre tâches d'assemblage de précision avec un bras robotique UR5e. Les chercheurs ont balayé des rangs LoRA de 8 à 256, plusieurs stratégies d'allocation des paramètres, et testé le gel sélectif de composants du modèle. Résultat principal : aucune différence statistiquement significative de performance entre le fine-tuning complet (FFT), qui exige des GPU de datacenter, et certaines configurations LoRA. Les performances plafonnent dès un rang de 32, avec une allocation uniforme des paramètres entraînables entre le backbone vision-langage (VLM) et l'expert d'action qui suffit à égaler le FFT. Geler le VLM ou limiter le LoRA au seul encodeur visuel dégrade nettement les résultats. Avec cette configuration optimale (rang 32, encodeur visuel entièrement ajustable), la mémoire VRAM statique de pointe chute de 36,2 à 10,8 Gio, hors mémoire d'activation, sans perte de performance mesurable. Pour l'industrie robotique, ce résultat a une portée pratique directe : il abaisse fortement la barrière matérielle pour spécialiser un modèle VLA préentraîné à un cas d'usage industriel précis, sans avoir besoin d'un cluster GPU dédié à l'entraînement complet. C'est un signal utile pour les intégrateurs et PME qui veulent déployer des politiques de manipulation fine sans les moyens des grands laboratoires. L'étude apporte aussi un contrepoint méthodologique à l'hypothèse selon laquelle seul un réentraînement complet permettrait de combler le "gap d'incarnation" entre un modèle généraliste et un robot physique donné : ici, un ajustement ciblé mais bien réparti sur les couches sémantiques et visuelles suffit. π0 est le modèle VLA développé par Physical Intelligence, l'un des laboratoires de référence sur les politiques de manipulation par apprentissage à grande échelle, aux côtés d'acteurs comme NVIDIA (GR00T N2) ou Figure AI. Cette publication, un preprint arXiv, s'inscrit dans une tendance plus large de recherche sur l'efficacité des VLA plutôt que sur leur seule capacité brute. Aucun acteur français ou européen n'apparaît dans ce travail, mais ses conclusions concernent directement les intégrateurs européens qui évaluent l'adoption de VLA préentraînés sur du matériel limité.

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique

Une équipe de recherche propose PRIMO R1 (Process Reasoning Induced Monitoring), un framework de 7 milliards de paramètres qui transforme les modèles vidéo multimodaux (MLLM) en "critiques" actifs capables d'évaluer la progression d'une tâche de manipulation robotique, plutôt qu'en simples "observateurs" qui se contentent de reconnaître les actions en cours. La méthode s'appuie sur de l'apprentissage par renforcement basé sur le résultat final pour inciter le modèle à générer un raisonnement explicite en chaîne de pensée (chain-of-thought) lors de l'estimation de la progression. L'architecture ancre la séquence vidéo entre une image de l'état initial et une image de l'état courant, une construction temporelle structurée soutenue par un nouveau jeu de données et benchmark, le PRIMO Dataset. Les résultats annoncés sont significatifs : une réduction de 50% de l'erreur absolue moyenne par rapport aux meilleures références spécialisées, des gains face à des MLLM généralistes de 72 milliards de paramètres malgré une taille dix fois inférieure, et 67,0% de précision sur le benchmark RoboFail, dépassant le modèle o1 d'OpenAI de 6 points. Cette avancée cible un vrai point de friction du secteur : pour les tâches de manipulation longues, les robots doivent non seulement reconnaître ce qu'ils font, mais estimer où ils en sont par rapport à l'objectif final, une capacité clé pour la détection autonome d'échecs sans supervision humaine. Qu'un modèle de 7B batte des systèmes bien plus lourds, y compris o1, sur ce type de raisonnement suggère que le renforcement orienté résultat peut compenser la taille, un argument important pour un déploiement embarqué sur des robots humanoïdes où latence et coût de calcul comptent. Le travail s'inscrit dans la vague de modèles de raisonnement entraînés par RL appliquée spécifiquement à la robotique, avec des tests validés aussi bien en environnements simulés qu'en scénarios réels sur humanoïdes. Il s'agit à ce stade d'une publication de recherche (preprint arXiv, version révisée) accompagnée d'un dataset et d'un benchmark ouverts, pas d'un produit déployé, mais elle pose une référence explicite face aux modèles généralistes et aux systèmes propriétaires comme o1 sur la détection d'échec robotique.

Tesollo lance le processus d'introduction en bourse tout en développant des mains humanoïdes

Tesollo Inc., société sud-coréenne basée à Incheon spécialisée dans les mains robotiques et effecteurs terminaux, a lancé les préparatifs de son introduction en bourse prévue pour l'an prochain et a bouclé son tour de série B. Les actionnaires existants POSCO Technology Investment, KB Investment et Enlight Ventures ont suivi lors de ce tour, rejoints par des investisseurs industriels stratégiques, Daesung Hi-Tech et HL Mando. Fondée en 2019, l'entreprise revendique des exportations vers 19 pays et affirme que ses ventes à l'international dépassent désormais ses ventes domestiques. Son PDG, Young-Jin Kim, présente l'IPO comme un moyen de crédibiliser l'entreprise auprès de clients internationaux et de renforcer sa capacité de production de masse. Sur le plan produit, Tesollo a présenté en mars le gripper à trois doigts DG-3 lors du salon AW 2026, complétant une gamme allant du parallèle DG-2F à la main à cinq doigts DG-5F. La version DG-5F-S, dotée d'actionneurs propriétaires, pèse moins d'un kilo et serait proposée à environ 60% du coût de son prédécesseur, tout en visant un niveau de précision comparable. L'entreprise a aussi montré ses mains DG-5F-M et DG-5F-S au Robotics Summit & Expo de Boston et à ICRA Vienne, avec des démonstrations de téléopération, de bin picking, de manipulation fine et d'un modèle vision-langage-action (VLA) dédié aux humanoïdes. Cette annonce s'inscrit dans un moment charnière pour la filière des mains robotiques, considérée comme le principal goulot d'étranglement des humanoïdes. La main humaine reste l'organe le plus complexe à répliquer mécaniquement, et les intégrateurs rapportent des taux de casse élevés sur les doigts et articulations en usage industriel. Le pari de Tesollo, la réparabilité modulaire plutôt que la seule performance brute, cible directement ce problème de fiabilité plutôt que la course à la dextérité pure. Pour les décideurs B2B et intégrateurs, la baisse de coût annoncée sur le DG-5F-S est significative si elle se confirme en conditions réelles, la publicité produit restant à vérifier hors démonstrations sélectionnées. Le contexte sectoriel reste dominé par l'absence de standard fiable: aucun fabricant n'a encore atteint un MTBR certifié de 10 000 heures, seuil considéré comme déterminant pour l'adoption industrielle et commerciale des mains robotiques. Une analyse d'ENGtechnica souligne que la densité de points de défaillance, actionneurs, capteurs, câbles tendineux, explique cette difficulté structurelle commune à tous les acteurs du secteur, dont Tesollo elle-même reconnaît avoir conçu ses produits en anticipant ce problème dès l'origine.

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes

Une équipe de chercheurs présente RoboDojo, un banc d'essai unifié combinant simulation et monde réel pour évaluer les politiques génératives de manipulation robotique, celles capables d'exécuter des tâches variées à partir d'instructions en langage naturel. Le système comprend 42 tâches en simulation et 18 tâches en conditions réelles, couvrant des capacités complémentaires. Le volet simulation mesure cinq dimensions : la généralisation, la mémoire, la précision, l'exécution de tâches longues, et la compréhension d'instructions en vocabulaire ouvert. Le volet réel expose les politiques aux difficultés concrètes du déploiement physique. La plateforme s'appuie sur Isaac Sim pour la simulation parallèle à grande échelle, et sur RoboDojo-RealEval, un système d'évaluation réelle accessible à distance via le cloud, avec matériel standardisé, réinitialisation automatisée des scènes et protocole reproductible. Trente politiques ont été intégrées via XPolicyLab et testées sur ce banc d'essai, donnant lieu à un classement public consultable sur robodojo-benchmark.com. L'initiative répond à un problème structurel du secteur : la prolifération de politiques génératives de manipulation (VLA) ces deux dernières années s'est faite sans étalon de mesure commun, chaque laboratoire publiant ses propres métriques sur ses propres tâches. Les évaluations en simulation seule ignorent les aléas physiques du réel (éclairage, frottements, imprécisions de préhension), tandis que les tests réels restent coûteux, lents et rarement reproductibles d'un labo à l'autre. En forçant une comparaison directe entre simulation et déploiement physique sur les mêmes politiques, RoboDojo permet de quantifier l'écart entre performance démontrée et robustesse réelle, un point sensible pour tout intégrateur ou décideur industriel cherchant à choisir une politique de contrôle avant un déploiement en usine ou en entrepôt. Le projet s'inscrit dans une dynamique où plusieurs équipes de recherche ont développé des systèmes de contrôle génératifs concurrents sans cadre d'évaluation partagé. En proposant à la fois l'infrastructure logicielle (XPolicyLab) et le protocole de test standardisé, RoboDojo vise à devenir une référence commune, avec un classement public appelé à s'enrichir au fur et à mesure que de nouvelles politiques y seront soumises.

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines

Wandercraft, Exotec, Pollen et Enchanted Tools ne sont pas mentionnés dans le papier, donc aucune mention forcée. Voici l'article : Une équipe de recherche publie CHORD (Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation), un framework d'apprentissage par renforcement pour la manipulation dextre à long horizon d'objets rigides et articulés, dans un preprint arXiv daté du 2 juillet 2026 (arXiv:2607.00033v1). L'idée centrale consiste à représenter les mouvements humains et robotiques non pas par des trajectoires articulaires brutes, mais par les forces et couples (wrench) qu'ils induisent sur l'objet manipulé, ce qui permet de comparer directement leur effet plutôt que leur cinématique. Les chercheurs ont construit un benchmark de simulation de 4 739 tâches de manipulation bimanuelle dextre, issu de jeux de données de capture de mouvement et de vidéos reconstruites en interne. Sur 1 831 tâches évaluées, CHORD atteint un taux de réussite moyen de 82,12 %. La méthode se généralise aussi à la manipulation corps entier à partir de démonstrations limitées aux mains ou filmées à la troisième personne, avec 90,77 % de réussite, et les politiques apprises se transfèrent vers le réel en boucle ouverte comme en boucle fermée. L'enjeu dépasse la simple prouesse académique : l'apprentissage par renforcement pour la manipulation riche en contacts est réputé difficile à faire passer à l'échelle, car les démonstrations humaines se transposent mal aux mains robotiques dont la cinématique diffère. En ancrant le signal de guidage dans la physique des forces plutôt que dans les gestes eux-mêmes, CHORD contourne en partie ce fossé d'incarnation. Un benchmark de près de 5 000 tâches, avec transfert vérifié sur robot réel et non seulement en simulation, constitue un test de scalabilité plus rigoureux que la plupart des démonstrations ponctuelles habituelles du secteur. Ce travail s'inscrit dans une tendance plus large exploitant la capture de mouvement et la vidéo humaine pour entraîner des politiques robotiques, en parallèle des approches par imitation ou des modèles vision-langage-action comme Pi-0 ou GR00T N2. Étant un preprint, il reste à valider par relecture par les pairs, avec une portée réelle encore limitée aux conditions de laboratoire décrites.

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

LDHP : planification hiérarchique pilotée par bibliothèque pour la manipulation dextérique non préhensile

LDHP, pour Library-Driven Hierarchical Planning, est un nouveau planificateur pour la manipulation non-préhensile, c'est-à-dire la manutention d'objets fins, larges ou difficiles à saisir avec une prise ferme classique (tissus, plaques, pièces plates). L'architecture proposée fonctionne en deux niveaux : un planificateur de haut niveau, dit "contact-state", propose des trajectoires de pose d'objet via des primitives appelées MoveObject, tandis qu'un planificateur de bas niveau génère des séquences de prise réalisables grâce à des primitives AdjustGrasp. La faisabilité de chaque mouvement est certifiée par des vérifications de collision et des calculs de mécanique quasi-statique, et les segments les plus sensibles au contact sont affinés par une méthode de dichotomie bornée. Les auteurs ont testé leur système sur robot réel, sur deux tâches : le levage d'objets sans mobilité (zero-mobility lifting) et l'insertion dans une fente (slot insertion), avec une exécution jugée cohérente et une robustesse démontrée face aux changements de forme et d'environnement. L'intérêt de ce travail tient à sa position par rapport aux deux grandes familles d'approches existantes. D'un côté, les planificateurs classiques ignorent souvent les contraintes réelles du gripper et produisent des mouvements théoriquement valides mais physiquement inexécutables sur un robot réel, un écueil fréquent derrière les démonstrations qui échouent hors labo. De l'autre, les approches par apprentissage, dont les modèles VLA à la GR00T N2, Pi-0 ou Helix, nécessitent d'immenses volumes de données et peinent à généraliser à des tâches hors distribution. En faisant de l'exécutabilité un critère de conception dès le départ, plutôt qu'une contrainte ajoutée après coup, LDHP découple le mouvement de l'objet de la faisabilité de la prise, ce qui permet à la même pipeline de transférer d'une tâche à l'autre et d'une géométrie d'objet à l'autre sans redéveloppement. Pour les intégrateurs et ingénieurs en robotique industrielle, c'est un signal que des pipelines structurées et certifiables peuvent rivaliser avec les approches data-hungry sur des tâches de manipulation fine, sans les coûts de collecte de données associés. La manipulation non-préhensile reste un problème de recherche ouvert de longue date, distinct du paradigme pick-and-place qui domine encore la robotique industrielle. Le champ s'est historiquement divisé entre méthodes de planification et de recherche formelles d'un côté, et méthodes d'apprentissage entraînées sur de larges jeux de démonstrations de l'autre. LDHP se positionne comme un pont entre les deux : une pipeline de planification structurée et vérifiable, mais conçue pour exposer des points d'accroche permettant d'y greffer, en option, des a priori appris. Publié sur arXiv en version mise à jour (v2), le travail reste à ce stade purement académique, sans produit ni déploiement industriel associé ; les suites logiques concerneraient l'extension à des tâches et des géométries d'objets plus complexes, ainsi qu'une intégration effective de composants appris dans les crochets prévus à cet effet.

Eval-Actions : évaluation fine de la qualité d'exécution en manipulation robotique

Des chercheurs ont publié sur arXiv (2601.18723v2) Eval-Actions, une méthodologie d'évaluation diagnostique et un benchmark en conditions réelles pour mesurer la qualité d'exécution des politiques de manipulation robotique de type Vision-Action (VA) et Vision-Language-Action (VLA). Le corpus rassemble plus de 13 000 épisodes téléopérés et générés par des politiques apprises, couvrant 150 tâches et environ 52 heures d'enregistrements avec vidéos RGB-D, trajectoires d'état robot et labels succès/échec. Trois niveaux d'annotation structurent le benchmark : un Expert Grading (EG) basé sur des critères explicites, des labels Rank-Guided (RG) alignant indicateurs cinématiques et classements experts, et des annotations Chain-of-Thought (CoT) qui explicitent les différences d'exécution observables entre épisodes. Les auteurs fournissent également AutoEval, un évaluateur multimodal de référence : AutoEval-S atteint une corrélation de rang Spearman (SRCC) de 0,81 sous EG et 0,84 sous RG, avec une précision de détection du succès de 90,6 % et 91,0 % respectivement ; AutoEval-P obtient 0,70 SRCC sous CoT. L'apport principal est de combler un angle mort persistant dans le domaine : les benchmarks robotiques mesurent quasi exclusivement le taux de succès binaire, une métrique grossière qui masque des différences profondes entre exécutions réussies. Deux politiques peuvent accomplir la même tâche de préhension avec des trajectoires radicalement différentes en termes de fluidité, de sécurité des mouvements ou d'efficacité. Pour les intégrateurs industriels et les équipes de déploiement, ce niveau de granularité est critique : il conditionne la robustesse en production, la détection précoce des dégradations de performance, et la comparaison fiable de politiques concurrentes hors ligne, sans enregistrement supplémentaire sur robot physique. Les modèles VLA ont connu une accélération marquée depuis 2024, notamment avec Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI) côté architectures de politiques, mais leur évaluation rigoureuse restait un point faible reconnu du domaine, freinant reproductibilité et décisions d'achat. Eval-Actions s'inscrit dans un effort de standardisation aux côtés de RoboMimic, LIBERO et Open X-Embodiment, sans cibler un concurrent direct. Les suites logiques incluent l'extension aux manipulateurs bi-bras, la validation sur systèmes humanoïdes complets et l'intégration potentielle comme critère officiel dans des challenges robotiques standardisés.

Ancrage de la généralisation simulation-réel en manipulation robotique : étude empirique avec des modèles VLA

Une équipe de chercheurs a publié sur arXiv (référence 2603.22876, version 2 en juin 2026) une étude empirique de grande ampleur sur le transfert simulation-vers-réel dans le domaine de la manipulation robotique, en ciblant spécifiquement les modèles Vision-Language-Action (VLA). L'étude porte sur plus de 10 000 essais réels et analyse quatre variables clés : la randomisation de domaine multi-niveaux, le rendu photoréaliste, la modélisation physique réaliste, et les mises à jour par apprentissage par renforcement (RL). Pour mesurer les performances, les auteurs ont conçu un protocole d'évaluation couvrant les variations de fond, d'éclairage, de distracteurs visuels, de types d'objets et de configurations spatiales. Les données simulées, les plateformes robotiques utilisées et l'intégralité du protocole sont mis à disposition en accès libre pour permettre la reproductibilité indépendante. Ce travail répond à un angle mort persistant dans la recherche robotique : les algorithmes de réduction du Sim-to-Real gap abondent dans la littérature, mais peu ont été validés de façon systématique sur des politiques généralistes comme les VLA, qui apprennent à partir de vastes corpus de données mixtes texte-image-action. En isolant empiriquement les quatre déterminants de la généralisation, l'étude permet aux intégrateurs et aux équipes R&D de prioriser leurs investissements en infrastructure de simulation plutôt que d'empiler des heuristiques non testées. La mise à disposition d'un benchmark standardisé constitue une rupture : le secteur manquait d'une référence commune pour comparer les approches sim-to-real sur des tâches de manipulation représentatives, un vide que cette publication comble directement. Le Sim-to-Real gap est l'un des obstacles structurels au déploiement des robots en environnement non contrôlé, et la montée en puissance des VLA (Pi-0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, GR00T N2 de NVIDIA) rend la question encore plus urgente : ces modèles sont entraînés massivement sur des données synthétiques, et leur robustesse réelle reste souvent opaque. Plusieurs laboratoires, dont ceux liés à Figure AI, Agility Robotics ou 1X Technologies, investissent dans des moteurs de simulation propriétaires précisément pour réduire ce coût. En publiant protocole et plateformes, les auteurs offrent un socle de comparaison neutre qui devrait accélérer la convergence des pratiques, à condition que des équipes tierces reproduisent et étendent les résultats sur d'autres morphologies robotiques.

Erreur quadratique sur intervalle critique : vers une validation hors ligne fiable des politiques de manipulation robotique

Une équipe de chercheurs publie sur arXiv (réf. 2606.29898) une métrique d'évaluation hors ligne baptisée Critical Interval MSE (CI-MSE), conçue pour combler un angle mort majeur dans le développement des politiques de manipulation robotique. Le problème de départ est bien connu : l'évaluation en conditions réelles reste la seule mesure fiable de la performance d'un modèle, mais elle est coûteuse, difficile à reproduire et trop lente pour comparer itérativement des variantes proches. Le proxy historique, la perte de validation MSE sur des démonstrations d'experts, présente une corrélation trop faible avec les performances en déploiement réel pour être utile en pratique. CI-MSE propose une approche différente : restreindre le calcul d'erreur aux segments temporels jugés critiques pour la tâche, et l'associer à des procédures d'alignement d'actions qui reproduisent mieux le comportement au moment du rollout. Les auteurs mesurent une corrélation de rang de Spearman de -0,87 entre leur métrique et les performances réelles, contre -0,61 pour la MSE brute, sur un large panel de checkpoints de politiques, validés en simulation et en environnement physique. L'enjeu industriel est direct : le goulot d'étranglement de l'itération sur les politiques robotiques n'est pas le calcul, c'est le temps de test physique. Si une métrique hors ligne prédit fiablement laquelle de deux variantes d'un modèle est meilleure, les équipes peuvent filtrer les mauvais candidats avant même de mobiliser un robot. Pour les intégrateurs et les labs qui travaillent sur des politiques de type VLA (Vision-Language-Action), ce gain de cycle de R&D peut se traduire en semaines économisées par itération. Le résultat de -0,87 est notable, mais à nuancer : les auteurs délimitent eux-mêmes des conditions limites d'utilisation, notamment en cas de shifts de distribution à l'évaluation. CI-MSE s'inscrit dans un effort plus large de la communauté pour résoudre le "sim-to-real gap" par des proxies d'évaluation plus fidèles, sans nécessiter de rollouts physiques systématiques. Les travaux sur les métriques comportementales (action chunking, diffusion policies) ont mis en évidence que la MSE brute ne capturait pas les moments décisifs d'une tâche de manipulation. Ce papier formalise cette intuition avec une analyse de sensibilité qui montre la robustesse de CI-MSE sur un large spectre d'hyperparamètres. Le code et les détails sont accessibles sur le site du projet (ci-mse.github.io). Prochaine étape attendue : validation à plus grande échelle sur des benchmarks multi-tâches et des architectures de politiques hétérogènes.

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

WatchAct : un benchmark de manipulation robotique fondée sur le comportement

Une équipe de chercheurs a publié WatchAct (arXiv:2606.26443), un nouveau benchmark pour la manipulation robotique fondé sur l'observation du comportement humain. Contrairement aux évaluations existantes, qui associent une instruction textuelle à une image statique, WatchAct impose aux systèmes robotiques de raisonner à partir d'une vidéo montrant un humain accomplir une tâche, puis d'en déduire un plan d'action exécutable. Le benchmark comprend 3 000 instances réparties sur 14 tâches dans quatre domaines cognitifs : compréhension des événements (Event Grounding), récupération de la structure procédurale (Procedural Reasoning), inférence d'intentions implicites (Implicit Intent Inference) et suivi des modifications de scène (Episodic Reasoning). Chaque instance couple une vidéo réelle, une instruction en langue naturelle, une scène simulée dans le framework LIBERO et une tâche exécutable sur un robot Franka Research 3. Le meilleur pipeline testé, associant Gemini-3.1-Pro et le modèle π₀.₅ de Physical Intelligence, atteint seulement 16,3 % de taux de réussite en simulation et 14,0 % sur robot réel. Ces chiffres révèlent un fossé considérable entre capacités humaines et systèmes actuels. Sur la seule composante de planification vidéo-vers-plan, Gemini-3.1-Pro obtient 36,8 % de Plan SR, contre 97,1 % pour les humains, soit un écart de plus de 60 points de pourcentage. Même avec un plan oracle fourni directement, sans recours à un VLM, π₀.₅ ne dépasse pas 21,5 % de Task SR, et chute à 10,6 % sur des scénarios hors domaine. Le protocole d'évaluation décomposé de WatchAct, qui mesure séparément le raisonnement VLM, l'exécution de la politique robotique et la performance bout-en-bout, est méthodologiquement précieux : il permet d'identifier précisément où chaque composant échoue, plutôt que d'observer un taux global difficile à interpréter. Pour les intégrateurs et les équipes R&D industrielles, ce résultat indique que ni les grands modèles vision-langage actuels ni les politiques de manipulation ne sont prêts pour des scénarios de collaboration humain-robot en environnement non structuré. WatchAct s'inscrit dans une tendance de fond visant à dépasser les benchmarks « instruction + image unique » qui ne capturent pas la complexité temporelle du travail réel en atelier ou en logistique. Les évaluations existantes comme LIBERO (utilisé ici comme substrat de simulation), RoboSuite ou BridgeData évaluent principalement l'exécution sous contraintes statiques. WatchAct introduit une dimension de video-grounding qui rapproche l'évaluation des conditions réelles, où un robot doit comprendre ce qu'un collègue humain vient de faire pour enchaîner correctement. Le modèle π₀.₅ est développé par Physical Intelligence, l'une des startups VLA les plus suivies du secteur aux côtés de Figure AI, Agility Robotics et 1X Technologies. Aucun acteur européen n'est impliqué dans ce benchmark. Le dataset et le code sont disponibles publiquement ; les prochaines étapes naturelles incluent l'intégration de modèles de raisonnement vidéo plus récents et l'extension à des scénarios multi-agents.

Amélioration du fine-tuning des modèles VLA par supervision structurée des étapes et des images clés

Des chercheurs ont publié sur arXiv (arXiv:2606.26801, juin 2026) un framework auxiliaire baptisé StaKe, conçu pour améliorer le fine-tuning des modèles Vision-Language-Action (VLA) en manipulation robotique. Le problème ciblé est précis : lors du fine-tuning standard, la supervision sur les actions s'applique uniformément à chaque pas de temps, sans distinguer les phases critiques de manipulation ni anticiper les transitions de préhenseur (gripper events). La quasi-totalité des échecs se concentre autour de ces moments de transition, ouverture ou fermeture du préhenseur. StaKe introduit deux têtes auxiliaires légères entraînées en parallèle du modèle VLA sans modifier son architecture ni sa boucle d'inférence : un classifieur de phase (stage classifier) qui identifie l'étape courante de manipulation, et un prédicteur de keyframe qui estime l'action articulaire cible au prochain événement de préhenseur. Les deux signaux sont extraits automatiquement depuis les états du gripper dans les démonstrations, sans annotation manuelle. Sur tâches bimanual en simulation, StaKe améliore le taux de succès de 14 % en relatif ; sur robot réel Franka à un bras, le gain atteint 56 % en relatif. Les améliorations sont plus marquées sur les tâches long-horizon impliquant de nombreuses transitions. L'enjeu pour l'industrie robotique est direct : les VLA (Pi-0 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA) sont aujourd'hui les modèles de référence pour la généralisation en manipulation, mais leur fine-tuning sur des tâches spécifiques reste fragile dès que les séquences s'allongent. StaKe comble un angle mort structurel de l'entraînement supervisé classique, en pondérant implicitement les moments critiques. Le gain de 56 % mesuré sur robot réel Franka est le résultat le plus significatif : les validations sur hardware réel restent rares dans la littérature VLA, et ce chiffre suggère que l'amélioration ne se limite pas à la simulation. Le fait que le framework soit purement plug-in, sans toucher à l'inférence, facilite son intégration par des équipes qui fine-tunent déjà des backbones existants. Les VLA ont émergé comme paradigme dominant après RT-2 (Google DeepMind, 2023) et se sont accélérés avec Pi-0 (Physical Intelligence, fin 2024) et ses successeurs. Le défi du fine-tuning efficace sur tâches longues est aujourd'hui l'un des principaux points de friction pour le déploiement industriel de bras manipulateurs polyvalents. StaKe se positionne comme contribution générique applicable à tout backbone VLA. Un site projet est annoncé (hi-yuanxu.github.io/StaKe-Web) ; à ce stade, aucun partenariat industriel ni déploiement terrain n'est mentionné. Il s'agit d'une publication académique, pas d'un produit en disponibilité commerciale.

💬 Les VLA craquaient toujours au même endroit, et tout le monde le savait sans trop savoir quoi faire : les transitions du préhenseur, ouverture et fermeture, concentrent l'essentiel des échecs, mais la supervision standard les traite comme n'importe quel autre pas de temps. StaKe ajoute deux têtes légères qui ciblent exactement ces moments critiques, sans toucher à l'architecture ni à l'inférence. +56% sur robot Franka réel (pas en simulation), c'est le genre de chiffre qui va faire réfléchir les équipes qui fine-tunent Pi-0 ou OpenVLA en ce moment.

Représentations centrées sur l'objet pour une meilleure généralisation en manipulation robotique

Des chercheurs ont publié sur arXiv (2601.21416v2) une étude comparative sur les représentations visuelles utilisées pour entraîner des politiques de manipulation robotique. Le problème central : les robots peinent à généraliser lorsque les conditions visuelles changent, éclairage, textures ou présence d'objets parasites dans la scène. L'équipe a évalué trois familles de représentations extraites d'encodeurs pré-entraînés : les features globales (image résumée en un seul vecteur agrégé), les features denses (embedding par patch issu de la dernière couche de l'encodeur), et une approche intermédiaire baptisée SBOCR (Slot-Based Object-Centric Representations), qui regroupe ces features denses en un nombre fini d'entités "objet-like" via un mécanisme de slots. Testées sur une batterie de tâches de manipulation en simulation et en conditions réelles, allant de scénarios simples à complexes, les politiques SBOCR surpassent les deux autres familles en termes de généralisation, sans pré-entraînement spécifique à la tâche. Ce résultat intéresse directement les intégrateurs et équipes R&D en robotique : la principale cause d'échec en déploiement n'est pas la commande moteur, mais la robustesse perceptuelle aux conditions non vues à l'entraînement. Les features globales sacrifient le détail spatial ; les features denses transmettent trop d'information non pertinente (fond, reflets, distracteurs), dégradant la politique hors distribution. SBOCR agit comme un filtre structuré : en segmentant implicitement la scène en objets discrets, la représentation réduit le bruit transmis à la politique sans perdre les informations nécessaires à l'exécution de la tâche. C'est un signal significatif pour les architectures VLA (Vision-Language-Action), et cela valide empiriquement que la structure objet-centrique améliore la robustesse aux shifts visuels sans supervision supplémentaire. Ce travail s'inscrit dans la lignée des Slot Attention (Locatello et al., Google Brain, 2020). Dans le paysage concurrent, les politiques VLA majeures comme Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA) s'appuient majoritairement sur des features denses issues de ViT ou CLIP, sans structuration objet explicite. La question de l'intégration de SBOCR dans des architectures transformer de grande taille reste ouverte, notamment sur le plan du coût computationnel. Il s'agit d'un preprint arXiv sans évaluation par les pairs publiée à ce jour ; la scalabilité à des environnements industriels complexes, multi-objets et à fortes occlusions, reste à confirmer.

💬 Le problème de généralisation en robotique, c'est pas les moteurs, c'est la perception hors distribution. SBOCR montre qu'en structurant la scène en objets discrets plutôt qu'en features brutes, on gagne en robustesse visuelle sans aucun ré-entraînement spécifique. Pi-0 et GR00T N2 s'appuient encore sur des features denses, et si ce résultat tient à plus grande échelle, c'est un angle mort de design qu'il va falloir corriger.

Apprentissage de priors d'action pour la manipulation robotique multi-morphologies

Des chercheurs ont soumis le 25 juin 2026 sur arXiv (réf. 2606.26095) un cadre d'entraînement en deux étapes pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique cross-embodiment. Le problème est structurel : dans l'architecture dominante, le module d'action est greffé sur un backbone Vision-Language Model (VLM) et co-optimisé dès le départ, ce qui contraint le modèle à découvrir simultanément la dynamique physique du mouvement et l'alignement visuo-linguistique. Les auteurs proposent de préentraîner d'abord le module d'action sur des trajectoires brutes via un encodeur-décodeur léger basé sur le flow-matching, sans aucune entrée visuelle ni linguistique, puis de transférer ce prior moteur à l'entraînement VLA par réutilisation du décodeur et distillation latente en début d'entraînement. La méthode est évaluée sur 13 tâches cross-embodiment en simulation et sur plateformes réelles. Le bénéfice principal est de découpler deux apprentissages que les VLA actuels co-optimisent de front : la structure temporelle du mouvement et la sémantique visuo-linguistique. Selon les résultats présentés, la méthode accélère la convergence, améliore les taux de succès globaux et génère des gains particulièrement nets sur les tâches à faible volume de données réelles, là où les pipelines existants décrochent. Le module encodeur joue par ailleurs le rôle de compresseur d'historique, résumant l'historique état-action en un unique token de contexte temporel à coût négligeable. Fait notable : augmenter le volume de données d'action en étape 1 améliore directement les performances downstream, sans requérir de nouvelles démonstrations robotiques coûteuses à collecter. Ce travail s'inscrit dans la compétition autour des politiques robotiques généralistes capables d'opérer sur des morphologies hétérogènes : Pi-0 (Physical Intelligence), OpenVLA, Octo (UC Berkeley) et RT-2 (Google DeepMind) constituent les références directes. La rareté des données réelles annotées et le sim-to-real gap restent les freins communs à l'ensemble du secteur, et une meilleure initialisation du prior moteur en offre une réponse partielle. Il s'agit d'un preprint non évalué par les pairs, sans déploiement industriel annoncé ; les suites naturelles seraient une intégration dans des frameworks open-source comme LeRobot (Hugging Face) ou une adoption par des équipes développant des humanoïdes généralistes.

Contrôle prédictif événementiel piloté par les données via apprentissage par renforcement profond pour un bras souple à câbles 3D

Des chercheurs ont publié sur arXiv (arXiv:2606.26048v1) un framework de contrôle hybride baptisé RL-ET-DeePC, combinant apprentissage par renforcement (RL) sans modèle et contrôle prédictif basé sur les données (DeePC) avec déclenchement événementiel, appliqué à un bras souple câblé à trois dimensions. L'approche repose sur une politique RL entraînée à décider dynamiquement quand activer le solveur d'optimisation DeePC, plutôt que de le lancer à chaque pas d'échantillonnage comme le fait le DeePC périodique classique. En simulation, le framework réduit la fréquence d'appel au solveur jusqu'à 66 % sans dégradation mesurable de la précision de suivi de trajectoire. Sur le banc physique, le transfert s'effectue en zero-shot, c'est-à-dire sans réentraînement ni adaptation, avec une réduction de 34 % des appels d'optimisation, une précision de suivi comparable au DeePC périodique, et des performances plus régulières qu'un déclenchement événementiel à seuil statique. L'enjeu est directement industriel : le DeePC standard, qui évite la modélisation explicite en exploitant les trajectoires entrée-sortie mesurées, bute sur le coût computationnel de son optimisation en horizon glissant à chaque cycle. Sur des plateformes embarquées à ressources limitées, ce verrou bloque le déploiement temps réel. En déléguant la décision de déclenchement à une politique RL légère, RL-ET-DeePC rend le contrôle prédictif viable sur matériel contraint, tout en validant un transfert sim-to-real zero-shot sur un système souple, dont les dynamiques non linéaires et variant dans le temps constituent précisément le défi classique du gap simulation-réalité. C'est un résultat notable : les robots souples sont réputés récalcitrants au sim-to-real, et une réduction de 34 % des appels solveur sur hardware sans recalibration ouvre la voie à des architectures plus légères. Le DeePC, introduit autour de 2019 comme alternative data-driven aux MPC classiques, souffre depuis de son coût en ligne. Les travaux sur le déclenchement événementiel (event-triggered control) cherchent depuis plusieurs années à conditionner l'appel au solveur à des critères d'état système, mais les seuils statiques manquent d'adaptabilité. L'usage du RL pour apprendre ce critère de déclenchement constitue la nouveauté architecturale centrale de ce papier. Dans le paysage des robots souples, les approches concurrentes incluent les contrôleurs basés sur des réseaux de neurones récurrents (LSTM, Echo State Networks) et les méthodes Koopman pour la linéarisation. Ce travail positionne RL-ET-DeePC comme une alternative sans modèle et computationnellement frugale, avec des perspectives de déploiement sur des bras chirurgicaux, des grippers adaptatifs, ou des exosquelettes souples où la puissance de calcul embarquée reste contrainte.

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

L'affinage des modèles vision-langage-action (VLA) nécessite moins de couches qu'on ne le pense

Des chercheurs ont publié le 19 juin 2026 (arXiv:2606.20246) une méthode de compression structurelle pour les modèles VLA (Vision-Language-Action) tels que pi-0 (Physical Intelligence) et GR00T N1.5 (NVIDIA). Le constat de départ : ces architectures de plusieurs milliards de paramètres, pré-entraînées sur de vastes corpus vidéo-robot, imposent des coûts de calcul prohibitifs lors du fine-tuning et de l'inférence temps-réel. La méthode proposée est entièrement sans entraînement (training-free) : un unique passage forward via la Centered Kernel Alignment (CKA) suffit à identifier les couches redondantes du backbone VLM et de la tête de contrôle continu. En supprimant ces "couches jumelles", le pipeline compresse la profondeur du modèle jusqu'à 50 %. Les gains mesurés sont de 40 à 50 % sur le temps de fine-tuning et jusqu'à 30 % sur la vitesse d'inférence, tout en conservant des performances équivalentes ou supérieures au modèle complet. Les validations couvrent trois benchmarks de simulation (LIBERO, RoboCasa, SimplerEnv) et dix tâches de manipulation réelle sur quatre embodiments robotiques distincts. Ce résultat remet en question un présupposé structurant du domaine : la profondeur des VLA serait proportionnelle à leurs capacités. Démontrer qu'une redondance massive existe dans ces architectures malgré un entraînement sur des trajectoires physiques diversifiées est non trivial. Pour les intégrateurs et les équipes MLOps industrielles, l'impact pratique est direct : des cycles de fine-tuning deux fois plus courts réduisent le coût d'adaptation à de nouveaux environnements, nouveaux grippers ou nouvelles tâches, sans matériel supplémentaire. L'absence d'entraînement dans la phase de compression est particulièrement critique : les méthodes concurrentes (distillation, token pruning dynamique) exigent de charger le modèle complet, ce qui reste un goulot d'étranglement sur GPU A100/H100. Les VLA comme pi-0 (Physical Intelligence, fondée en 2023 par d'anciens de Google, DeepMind et Stanford) et GR00T N1.5 (NVIDIA, annoncé en mars 2025) représentent actuellement la frontière technique des politiques de manipulation généraliste. La compression de modèles pour robots est un axe de recherche actif : des travaux récents explorent la distillation (OpenVLA-OFT), la quantification et le pruning à la volée. Cette approche se distingue par sa simplicité opérationnelle : aucun dataset de calibration étendu, aucune phase d'optimisation. Les auteurs ne mentionnent pas de partenaire industriel ni de pipeline de déploiement à l'échelle, ce qui en fait pour l'instant une contribution de recherche prometteuse plutôt qu'un produit prêt à l'intégration.

💬 La moitié des couches de pi-0 ou GR00T seraient redondantes, et une seule passe forward suffit à les identifier : c'est le genre de résultat qui va faire mal aux équipes qui ont commandé des clusters H100 pour du fine-tuning robotique. Sans phase d'entraînement, sans dataset de calibration, juste une analyse de similarité entre couches (la CKA, si tu veux creuser). Reste à voir si ça tient hors benchmarks de simulation, mais l'idée que la profondeur des VLA soit largement du gras plutôt que du muscle, c'est une vraie remise en question du consensus actuel.

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante

Des chercheurs ont publié Mem-World sur arXiv (réf. 2606.18960, juin 2026), un modèle du monde multi-vues augmenté par mémoire pour la manipulation robotique. Le problème adressé est fondamental aux modèles du monde conditionnés par l'action (action-conditioned world models) : lors d'une tâche de manipulation, l'effecteur terminal occulte fréquemment la scène, et les mouvements rapides de la caméra embarquée au poignet rendent l'observation courante insuffisante pour prédire les vues futures, poussant les modèles à halluciner ou oublier des détails observés antérieurement. L'innovation centrale est W-VMem, une mémoire indicée par surfels (éléments de surface 3D) en 4D, centrée sur la vue poignet, qui ancre les observations historiques à des éléments de surface évoluant dans le temps. Cette structure permet une récupération de contexte conditionnée sur les actions futures et consciente de la géométrie de scène, via rendu et scoring basés sur les surfels. Sur les tâches de long horizon, le taux de réussite progresse de 58 % à 72 % grâce à la génération de données synthétiques, et la corrélation de Pearson entre évaluations simulées et performances réelles s'améliore de 14,5 % par rapport à Ctrl-World, le modèle de référence. Ce gain en corrélation est directement actionnable pour les équipes robotique : il indique qu'on peut davantage faire confiance aux rollouts simulés pour prédire le comportement réel d'une politique, réduisant la dépendance aux expérimentations physiques coûteuses. L'hallucination de scène était jusqu'ici un verrou majeur à l'utilisation des world models pour l'entraînement de politiques dextres ; en séparant explicitement quand et où chaque élément a été observé, W-VMem produit un contexte historique non-redondant et pertinent. Il convient toutefois de noter que les scénarios de test et les métriques d'évaluation ne sont pas détaillés dans le résumé disponible, ce qui limite l'interprétation directe des chiffres annoncés. Les world models conditionnés par l'action sont apparus d'abord en jeu vidéo et conduite autonome (DreamerV3, GAIA-1) avant d'être adaptés à la manipulation, domaine plus exigeant en raison des occlusions proches et de la dynamique de caméra embarquée. Ctrl-World est la référence directe contre laquelle Mem-World se positionne. Cette publication reste un preprint, non encore évalué par des pairs, sans partenaire industriel ni timeline de déploiement annoncé. Les suites naturelles incluent une évaluation sur des benchmarks standardisés comme RLBench et une intégration dans des pipelines de modèles Visual Language Action (VLA), où la cohérence temporelle des rollouts est un prérequis à l'entraînement à grande échelle.

Sanctuary AI valide les performances de son IA physique chez un équipementier automobile de rang 1

Sanctuary AI (Sanctuary Cognitive Systems Corp.), basée à Vancouver, vient de valider une performance industrielle significative chez un équipementier automobile de rang 1 mondial, non nommé. La tâche consiste en l'insertion d'un connecteur filaire souple dans une cible en mouvement sur un convoyeur actif, un problème classique de manipulation dite "contact-rich" qui résiste depuis longtemps à l'automatisation traditionnelle. Le résultat annoncé est un taux de succès supérieur à 99,5% pour un temps de cycle de 2,54 secondes, aligné sur les cadences de production réelle du client. À noter que les métriques sont présentées sans détail sur la durée de l'essai ni le volume de cycles validés, ce qui invite à traiter ce résultat comme un proof-of-concept industriel plutôt qu'un déploiement en série. La démonstration s'inscrit dans la continuité de la présentation en avril 2026 de capacités de manipulation en zero-shot learning pour la préhension dextère. Ce résultat illustre une tendance de fond dans le secteur : face à l'horizon encore incertain de la commercialisation de masse des robots humanoïdes, certains acteurs pivotent vers une approche hardware-agnostique, en injectant leur couche d'IA physique sur des plateformes industrielles existantes. Pour un intégrateur ou un directeur de production, cela représente un chemin à valeur immédiate sans attendre la maturité mécanique des humanoïdes, tout en capitalisant sur des modèles d'IA qui seront ensuite portables vers les systèmes de prochaine génération. Le vrai verrou que Sanctuary prétend avoir levé est le couplage performance/cycle time : les projets de physical AI échouent souvent non par manque de précision mais par débit insuffisant. Si le taux de 99,5% à 2,54 secondes est confirmé en production continue, c'est un signal crédible que les VLA (vision-language-action models) commencent à franchir le seuil de l'exigence industrielle, pas seulement du laboratoire. Fondée au Canada, Sanctuary AI développe depuis plusieurs années une approche centrée sur l'IA généraliste pour corps robotiques, incluant des mains hydrauliques propriétaires haute dextérité. La société avait jusqu'ici communiqué davantage autour de son robot humanoïde Phoenix, mais le pivot stratégique annoncé aujourd'hui signale un repositionnement vers le déploiement accéléré sur bras industriels standards. Dans l'espace concurrent, Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et 1X (Helix) continuent d'investir massivement dans la voie humanoïde complète. Côté manipulation pure, Festo a testé ce mois-ci son GripperAI et lancé un préhenseur pneumatique léger, tandis que PSYONIC s'est associé à ABB Robotics. Sanctuary semble parier que la voie la plus rapide vers le chiffre d'affaires en manufacturing et logistique passe par l'intégration logicielle sur hardware existant, avant le déploiement des prochains systèmes industriels humanoïdes qu'elle annonce vouloir adresser également.

💬 99,5% à 2,54 secondes sur une cible mobile, c'est le genre de résultat qui sort enfin du labo. Le pivot de Sanctuary est net: plutôt que d'attendre que le robot humanoïde soit prêt, ils injectent leur IA sur les bras industriels existants, ce qui ouvre un chemin court vers la valeur pour pas mal d'intégrateurs. Sans durée ni volume de cycles communiqués, on reste sur du pilote, pas du déploiement série.

Rapport technique Qwen-RobotManip : l'alignement permet le passage à l'échelle des modèles fondation pour la manipulation robotique

L'équipe Qwen d'Alibaba a publié le 22 juin 2026 un rapport technique décrivant Qwen-RobotManip, un modèle fondation Vision-Langage-Action (VLA) conçu pour la manipulation robotique généraliste. Construit sur l'architecture Qwen-VL, le modèle introduit un cadre d'alignement unifié couvrant trois dimensions : la représentation sensorielle, le mouvement, et le comportement. Son corpus d'entraînement atteint environ 38 100 heures de données, constitué exclusivement de jeux de données open source et de vidéos en vue subjective des mains humaines, sans aucune collecte propriétaire. Un pipeline de synthèse convertit ces démonstrations égocentrées en trajectoires robot compatibles avec 15 plateformes matérielles différentes, dont AgileX ALOHA, Franka, UR et ARX. Évalué sur six benchmarks out-of-distribution (RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, RoboTwin-XE), Qwen-RobotManip surpasse les modèles précédents sur l'ensemble des configurations et remporte la première place du RoboChallenge avec une amélioration relative de 20 % par rapport à l'état de l'art antérieur. Ce résultat est significatif parce qu'il répond directement à une question centrale du secteur : peut-on appliquer aux données de manipulation robotique la même recette de scaling qui a propulsé les grands modèles de langage ? Jusqu'ici, la réponse restait négative, en raison de l'hétérogénéité structurelle des données de manipulation (formats, espaces d'action, embodiments incompatibles), qui rendait l'entraînement multi-sources incohérent plutôt que synergique. Qwen-RobotManip avance que l'alignement préalable des données résout ce problème, permettant l'absorption à grande échelle sans dégradation. Les capacités émergentes documentées (suivi d'instructions zero-shot, récupération d'erreurs réactive, transfert cross-embodiment) constituent, si elles se confirment en conditions industrielles réelles, un changement de paradigme pour les intégrateurs : moins de fine-tuning spécifique par robot, généralisation à de nouvelles tâches sans redéploiement complet du pipeline. Il convient toutefois de noter que les résultats reposent sur des benchmarks académiques et des validations en laboratoire réel ; aucun déploiement industriel n'est encore documenté, et l'écart sim-to-real reste une inconnue à l'échelle. Qwen-RobotManip s'inscrit dans une course serrée autour des VLA pour la manipulation, où Physical Intelligence (pi0 et pi0.5), Google DeepMind (RT-2, pi-0), et Hugging Face (LeRobot) occupent déjà des positions fortes. Le modèle de Qwen se distingue en revendiquant la performance la plus élevée sur les benchmarks OOD publiés à ce jour, et surtout en n'utilisant aucune donnée propriétaire, ce qui ouvre théoriquement la voie à une adoption plus large. La publication est un preprint arXiv (arXiv:2506.17846v1), pas encore soumis à peer review, et aucune date de disponibilité du modèle ni annonce de pilote industriel n'accompagne ce rapport. Les prochaines étapes probables incluent une intégration dans l'écosystème Hugging Face ou ModelScope et des évaluations indépendantes en conditions réelles.

💬 L'obstacle au scaling en robotique, c'était pas le manque de données, c'était leur incohérence structurelle. Qwen le prouve ici : aligner avant de scaler, et les benchmarks OOD s'envolent de 20%. Bon, c'est encore du labo et je ne vois aucun déploiement industriel documenté, mais avec zéro donnée propriétaire dans le corpus, les intégrateurs sur Franka ou UR ont une vraie porte d'entrée.

AnnotateAnything : annotation automatique d'objets 3D pour la manipulation robotique

Des chercheurs ont publié sur arXiv le 17 juin 2026 un framework baptisé AnnotateAnything (arXiv:2606.17446) pour annoter automatiquement des assets 3D bruts et les rendre exploitables dans des pipelines d'entraînement robotique. Le système convertit des modèles 3D passifs en assets "manipulation-ready" enrichis de labels sémantiques, physiques et interactifs sans intervention humaine, en s'appuyant sur deux pipelines complémentaires : un module de raisonnement visio-linguistique (VLM) infère les sémantiques d'objet et les contraintes d'interaction ; un second pipeline de physique, massivement parallèle, ancre ces priors dans la géométrie de chaque asset pour générer automatiquement poses de préhension, contacts dextres, waypoints d'articulation, directions d'insertion, affordances de suspension et cibles de navigation. Un système de collecte de données de simulation asynchrone s'appuie ensuite sur ces annotations pour couvrir objets, tâches et morphologies robotiques variés. L'enjeu est central : les assets 3D bruts ne contenant que de la géométrie, annoter manuellement des bibliothèques à l'échelle reste coûteux et non scalable. AnnotateAnything automatise cette étape en combinant priors sémantiques VLM et optimisation géométrique pour produire des labels physiques exécutables. Les auteurs rapportent des gains en efficacité d'annotation, en efficacité de collecte et en taux de réussite de tâches face aux pipelines existants, des résultats à prendre avec précaution puisque les benchmarks comparatifs sont ceux des auteurs eux-mêmes. Le support natif du VQA robotique et du fine-tuning d'instructions visuelles ouvre une intégration directe dans des pipelines VLA (Vision-Language-Action), paradigme dominant pour l'apprentissage de politiques généralisables à l'échelle. Ce travail s'inscrit dans une vague de recherche sur la scalabilité des données synthétiques, aux côtés de MimicGen (NVIDIA), RoboGen ou UniSim, tous ciblant la réduction du sim-to-real gap par voie simulée. La pénurie d'annotations structurées dans les assets 3D existants est un problème documenté depuis plusieurs années, faute d'alternative viable aux approches manuelles. AnnotateAnything se positionne comme infrastructure de données en amont de tout pipeline de simulation, sans cibler un robot ou un déploiement industriel précis. Les auteurs annoncent la publication du code complet, des annotations et d'un benchmark, un engagement qui, s'il est tenu, pourrait en faire une ressource partagée par la communauté ; aucun partenaire industriel ni déploiement terrain n'est mentionné à ce stade.

EAGG : génération de saisie alignée sur l'embodiment par conditionnement géométrique sur graphe

Des chercheurs présentent EAGG (Embodiment-Aligned Grasp Generation via Geometry-Aware Graph Conditioning), un modèle de génération de prises robotiques multi-effecteur publié en prépublication sur arXiv (arXiv:2506.18092). L'architecture représente chaque effecteur terminal via un graphe topologique et un espace de contrôle bas-dimensionnel propre à chaque morphologie, qu'il s'agisse de pinces parallèles classiques ou de mains dextères à plusieurs doigts. Un module backbone figé convertit l'état articulé courant en tokens géométriques réutilisables, qui sont rafraîchis de façon itérative tout au long du processus d'échantillonnage via un mécanisme baptisé iterative geometry injection. Sur le benchmark MultiGripperGrasp, EAGG atteint 56,17 % de taux de succès moyen sur six effecteurs d'entraînement, soit un écart de seulement 1,10 point de pourcentage par rapport à des modèles spécialisés entraînés séparément pour chaque préhenseur. L'injection géométrique itérative réduit par ailleurs la distance médiane de contact de 0,239 cm à 0,189 cm. Le code est disponible en open source sur GitHub. Ce résultat s'attaque à l'un des verrous les plus concrets pour les intégrateurs industriels : la nécessité de réentraîner ou d'affiner un modèle de saisie à chaque changement de préhenseur. L'approche dominante consiste aujourd'hui soit à entraîner un modèle par géométrie d'effecteur (coûteux en données et en compute), soit à encoder l'identité de l'effecteur via un descripteur statique, ce qui dégrade le transfert dès que la topologie ou le couplage d'actionnement diverge significativement. EAGG montre qu'encoder explicitement la structure morphologique dans un générateur partagé, plutôt que de masquer les différences inter-effecteurs, améliore à la fois la performance générale et la transférabilité zero-shot vers des préhenseurs non vus lors de l'entraînement. C'est un argument de poids pour les équipes robotiques cherchant à mutualiser les politiques de saisie sur une flotte multi-effecteurs. Ce travail s'inscrit dans la dynamique plus large de politiques robotiques universelles que poursuivent simultanément Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, ou Figure AI avec Helix, tous confrontés au même défi de transfert inter-morphologie. EAGG se concentre sur le sous-problème de la saisie et propose une solution fondée sur les graphes, là où d'autres approches misent sur des encodages continus ou des plongements latents partagés. Il s'agit pour l'instant d'une contribution académique sans déploiement industriel annoncé ni partenariat applicatif déclaré, et les chiffres de performance sont à lire dans le cadre contrôlé du benchmark MultiGripperGrasp, ce qui laisse ouverte la question du sim-to-real gap en conditions réelles.

SimTO : un cadre d'optimisation topologique en deux étapes, piloté par simulation, pour pinces robotiques souples sur mesure

Des chercheurs présentent SimTO, un cadre en deux étapes pour concevoir automatiquement des grippers souples sur-mesure, publié sur arXiv (2601.19098v2). Les grippers souples existants peinent à manipuler des objets à haute variabilité topologique: engrenages dentés sur lignes d'assemblage automobile, coraux aux excroissances fragiles, brocolis aux ramifications irrégulières. Face à ces géométries sans surface de contact "optimale" évidente, les designs généralistes risquent d'endommager la pièce ou d'échouer la prise. SimTO répond en deux phases: une simulation dynamique riche en contacts extrait automatiquement les cas de charge réalistes générés lors de la préhension, sans spécification manuelle; ces cas alimentent ensuite un algorithme d'optimisation topologique classique qui génère la morphologie finale du gripper. Les expériences physiques confirment que les grippers SimTO atteignent des forces de préhension supérieures aux designs généralistes conventionnels, avec un taux de succès élevé sur des positions variées et une bonne généralisation à des objets non vus durant l'entraînement. L'enjeu industriel réside dans l'automatisation d'un goulot de conception: adapter un gripper à une pièce complexe requiert aujourd'hui une expertise manuelle pour définir les forces de contact, un travail itératif et coûteux. SimTO supprime cette étape en déléguant la caractérisation des charges à la simulation. Pour un intégrateur en automobile ou en agroalimentaire, c'est une piste vers des outillages personnalisés sans expertise spécialisée à chaque nouveau composant. La généralisation aux objets non vus suggère que les grippers produits capturent des propriétés morphologiques larges plutôt que de sur-apprendre une géométrie précise. Nuance importante: les résultats sont entièrement en laboratoire; aucun déploiement industriel ni partenaire industriel ne sont mentionnés dans l'article. L'optimisation topologique est une méthode mature en ingénierie structurelle, qui génère des géométries minimisant la masse sous contraintes de rigidité. Son adaptation aux grippers souples était freinée par l'indétermination des forces de contact, par nature distribuées et dépendantes de la posture de la pièce. Ce travail s'inscrit dans la tendance sim-to-real qui traverse la robotique de manipulation: caractériser le problème physique en simulation avant de concevoir ou d'entraîner. Dans le paysage concurrentiel, les approches rivales incluent les méthodes d'apprentissage par renforcement pour le contrôle adaptatif, les grippers généralistes à morphologie universelle, et les travaux de co-design simulation-fabrication portés par des groupes comme le MIT CSAIL ou l'EPFL. Les prochaines étapes naturelles, non annoncées dans le preprint, seraient une validation sur lignes pilotes industrielles et une intégration dans un pipeline de fabrication additive.

T-Rex : manipulation dextérique à réaction tactile

Une équipe de chercheurs vient de publier T-Rex (Tactile-Reactive Dexterous Manipulation), un système d'apprentissage robotique qui intègre le retour tactile dans un modèle Vision-Language-Action (VLA) pour la manipulation dextre. Pour entraîner le système, les auteurs ont constitué un dataset de 100 heures de données tactiles à haute fréquence, collectées via une méthode centrée sur des primitives motrices élémentaires afin de maximiser l'efficacité de la collecte. L'architecture proposée, baptisée variable-rate Mixture-of-Transformers (MoT), est couplée à un encodeur tactile temporel de type VQ-VAE qui compresse les signaux tactiles à fréquence élevée sans saturer le flux de traitement du VLA de base. Validé sur 12 tâches de manipulation nécessitant un contrôle de force précis ou la gestion d'objets déformables, T-Rex affiche un taux de succès supérieur de plus de 30 % à celui du meilleur modèle concurrent testé. Ce résultat est significatif parce que les VLA actuels, dont Pi-0 de Physical Intelligence, OpenVLA ou les variantes de GR00T de NVIDIA, ignorent généralement le canal tactile ou se limitent à des encodeurs statiques incapables de capter la dynamique du contact en temps réel. Or, c'est précisément cette réactivité tactile qui distingue la dextérité humaine : ajuster la prise sur un objet glissant, détecter un défaut de surface, moduler la force sur un emballage souple. T-Rex démontre qu'il est possible de greffer un flux tactile à haute fréquence sur un VLA préentraîné sans dégrader ses capacités visuolinguistiques, ce qui ouvre la voie à une intégration progressive dans des pipelines d'apprentissage existants plutôt qu'à une refonte complète de l'architecture. La raison pour laquelle le tactile restait sous-exploité dans les VLA tient à trois obstacles cumulatifs : rareté des données tactiles diversifiées, contraintes architecturales des transformeurs optimisés pour la vision, et absence de benchmarks standardisés. T-Rex s'attaque aux trois simultanément, ce qui distingue ce travail des contributions précédentes comme DIGIT ou GelSight couplées à des politiques RL classiques. Dans le paysage concurrentiel, les acteurs spécialisés en capteurs tactiles (Contactile, Tac Sensing, BioTac) pourraient trouver dans ce framework un argument pour accélérer l'adoption hardware. Le code, le dataset et les poids du modèle ne sont pas encore mentionnés comme publics au moment de la soumission arXiv ; leur disponibilité conditionne la reproductibilité et l'impact réel de ce travail au-delà du laboratoire.

DragMesh-2 : interaction main-objet dextérique physiquement plausible avec des objets articulés

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.15133v1) DragMesh-2, un framework de manipulation dextre d'objets articulés destiné aux mains multi-doigts. L'objectif est de permettre à un robot de manipuler des objets dont une partie est mobile (tiroir, poignée de porte, levier) sans pouvoir l'actionner directement, le mouvement devant émerger exclusivement du contact physique soutenu entre la main et la surface. Le système introduit PICA (Physically Informed Contact-Aware), un mécanisme d'entraînement qui injecte des signaux physiques dans l'apprentissage de politique sans capteur tactile ni retour de force, simplifiant ainsi l'instrumentation matérielle nécessaire. Évalué sur sept objets issus du dataset GAPartNet, DragMesh-2 a été soumis à plusieurs conditions de damping pour mesurer sa robustesse à la variation de charge de contact, sur lesquelles il surpasse les méthodes comparées. La distinction que DragMesh-2 cherche à établir est précise : la plupart des approches existantes en manipulation articulée s'appuient sur une génération centrée objet (object-centric), où les trajectoires sont calculées à partir de la géométrie de la cible. Rejouer ces trajectoires en boucle ouverte (open-loop) ne modélise pas la dynamique de contact nécessaire pour déplacer effectivement la partie articulée. Le problème devient critique quand la charge de contact varie, ce qui arrive fréquemment en conditions réelles : une porte mal alignée, un tiroir dilaté, un levier à résistance variable. PICA adresse ce point sans capteur additionnel, un avantage concret pour les intégrateurs voulant déployer des mains dextres sur des robots humanoïdes en environnement domestique ou assistif, où l'ajout de capteurs de force reste coûteux et fragile. Ce travail s'inscrit dans une tendance plus large qui cherche à dépasser le préhenseur parallèle (parallel-jaw gripper) pour les tâches de manipulation fine en milieu non structuré. GAPartNet, le benchmark utilisé, répertorie des parties articulées standardisées issues de la robotique domestique et constitue la référence commune de ce sous-domaine. La communauté humanoïde, dont les projets de Figure, Agility Robotics ou 1X Technologies, identifie la manipulation d'objets articulés comme un verrou majeur pour les déploiements en cuisine, atelier ou assistance à la personne. DragMesh-2 publie également une ressource en géométrie pure pour la manipulation dextre main-objet, destinée à alimenter les recherches futures en loco-manipulation. Aucun partenariat industriel ni timeline de déploiement n'est mentionné : c'est une contribution académique, pas un produit expédié.

PhysVLA : vers un modèle VLA physiquement ancré pour la manipulation robotique

Des chercheurs ont publié sur arXiv (arXiv:2606.13886, juin 2026) PhysVLA, un module d'inférence plug-and-play conçu pour corriger en temps réel les actions générées par n'importe quel modèle VLA (Vision-Language-Action) existant, sans rétro-entraînement ni accès aux poids. Le système intercepte les commandes produites par le backbone VLA et applique deux couches de correction successives : une machine à états finis sensible à la phase de la tâche (approche, saisie, transport, dépôt), puis un filtre sélectif basé sur les équations d'Euler-Lagrange qui ne s'active que lorsqu'un oracle de dynamique détecte une incohérence cinodynamique. Le surcoût de calcul est inférieur à 1 ms par pas de contrôle. Évalué sur quatre architectures distinctes (OpenVLA, OpenVLA-OFT, Force-VLA, Generalist-VLA) sur le benchmark LIBERO-Spatial avec un bras Franka Panda 7-DOF, PhysVLA améliore le taux de succès absolu jusqu'à 17 points, la stabilité jusqu'à 19 points, et l'efficacité de trajectoire jusqu'à 15 %, sans régression sur aucune tâche. Sur un sweep cross-simulateur (Robosuite Lift), la robustesse au jerk de trajectoire progresse d'un facteur 10. La validation sur un bras physique Agilex Piper (tâche pick-and-place réelle) confirme le transfert sim-to-real sans rétro-entraînement, avec une amélioration du taux de succès allant jusqu'à 50 %. L'intérêt industriel de cette approche tient à son caractère composable et backbone-agnostique. Les VLA actuels apprennent à imiter des démonstrations comportementales sans contraindre explicitement la physique des corps rigides ni les contacts, ce que les chercheurs nomment un "physics gap". Les correcteurs temporels classiques (temporal smoothing) masquent le problème sans le résoudre, et introduisent leurs propres échecs. PhysVLA propose une solution d'intégration légère pour les équipes qui déploient des VLA existants en production : pas de réentraînement, pas d'accès aux poids, un wrapper autour du modèle gelé. Pour un intégrateur ou un OEM, cela signifie potentiellement améliorer des systèmes déjà en ligne sans toucher aux pipelines de formation, ce qui réduit le risque et le coût de mise à niveau. PhysVLA s'inscrit dans la montée en puissance des approches de contrôle physique fondé pour les VLA généralistes, une problématique que des laboratoires comme Physical Intelligence (avec π0), Stanford (OpenVLA) ou Google DeepMind travaillent activement. Le papier positionne explicitement son framework comme complémentaire à ces backbones plutôt que concurrent. Il reste à ce stade un prototype de recherche validé en laboratoire sur deux plateformes matérielles (Franka Panda et Agilex Piper) ; aucun déploiement industriel ni partenariat commercial n'est annoncé. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges (RoboMimic, DROID) et sur des robots à plus haute cinématique, notamment des humanoïdes où la gestion des contacts et de la dynamique des corps rigides est critique.

ReactVLA : manipulation robotique rapide et légère par génération d'actions Mean Flow améliorée

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.14255) présentant ReactVLA, un framework VLA (Vision-Language-Action) conçu pour réduire drastiquement la latence d'inférence des politiques de manipulation robotique. Le problème ciblé est précis : les architectures VLA basées sur la diffusion, comme π₀ (Physical Intelligence) ou SmolVLA (HuggingFace/LeRobot), génèrent des distributions d'action expressives mais exigent un échantillonnage itératif coûteux, qui plombe leur utilisabilité en boucle fermée temps-réel. ReactVLA propose deux mécanismes complémentaires pour y remédier : un générateur d'actions iMF (improved Mean Flow) qui ramène la diffusion multi-étapes à une ou quelques passes seulement, et AttnRes (Attention Residuals), un mécanisme de routage dynamique des features par couche d'attention censé mieux préserver les représentations multimodales liées à la tâche. Sur les benchmarks de simulation LIBERO et RoboIMI, ainsi que sur des tâches de manipulation physique, ReactVLA affiche jusqu'à 1,65× de gain en taux de succès sur les tâches de précision et plus de 4× d'accélération à l'inférence par rapport aux VLA de référence de taille comparable. La latence de politique en conditions réelles tombe sous 38,6 ms. Ce seuil de 38,6 ms est le chiffre à retenir pour un intégrateur ou un ingénieur robotique : il passe sous la barre des 40 ms généralement considérée comme nécessaire pour un contrôle réactif crédible en manipulation dynamique, là où les modèles de diffusion standards restent souvent au-delà de 150 à 300 ms. Si les résultats se confirment hors contexte académique, cela répond à l'une des critiques récurrentes contre les VLA pour l'industrie : la qualité d'action est là, mais la cadence ne suit pas. L'approche Mean Flow (accélération de la diffusion par réduction du nombre d'étapes via un flux de probabilité direct) n'est pas nouvelle en vision générative, mais son application aux espaces d'action robotiques avec maintien des performances sur tâches de précision reste un résultat non trivial. Il faut cependant nuancer : il s'agit d'un preprint non relu, les benchmarks LIBERO et RoboIMI sont des environnements académiques standardisés loin des contraintes industrielles réelles, et les vidéos de démonstration présentées sur le site projet ne constituent pas une validation de déploiement. ReactVLA s'inscrit dans une course dense à l'efficacité des VLA depuis 2024. π₀ (Physical Intelligence) reste la référence en qualité d'action sur tâches bimanuelle complexes mais souffre précisément de cette latence. SmolVLA, publié par HuggingFace début 2025, vise la légèreté et l'accessibilité open-source. Côté industriel, GR00T N2 de NVIDIA et Helix (co-développé par Figure et d'autres partenaires) intègrent leurs propres pipelines VLA dans des architectures humanoïdes avec des contraintes de déploiement très différentes. Aucune affiliation institutionnelle ni source de financement n'est mentionnée dans le preprint, ce qui limite l'évaluation du contexte de transfert technologique. Les prochaines étapes naturelles seraient une validation sur des manipulateurs industriels (6-DOF, scénarios de pick-and-place variables) et une soumission en conférence de référence comme CoRL ou ICRA pour validation par les pairs.

ORCA : une plateforme open source pour la recherche en dextérité

Une équipe de chercheurs présente ORCA, une pile logicielle open-source dédiée à la manipulation dextre par mains anthropomorphes, publiée sur arXiv (2606.14561) en juin 2026. La plateforme unifie en une seule interface le contrôle bas niveau, la simulation, la téleopération depuis des dispositifs grand public, et le retargeting de main, c'est-à-dire la conversion des mouvements d'une main humaine vers les actionneurs d'une main robotique. ORCA s'intègre nativement avec LeRobot, le framework de robot learning open-source de Hugging Face devenu référence dans la communauté. Les auteurs ont validé le système sur une tâche de réorientation objet en main (in-hand reorientation), en collectant des démonstrations par téleopération via un casque VR grand public, en entraînant une politique autonome avec LeRobot, puis en évaluant les résultats dans un environnement entièrement reproductible. Aucun chiffre de performance quantifié (taux de succès, temps de cycle) n'est communiqué dans l'abstract. Ce travail s'attaque à un verrou structurel du domaine : les mains dextres restent quasi-absentes des benchmarks de robot learning, non par manque de hardware accessible, mais parce que les couches logicielles, simulation, téleopération, retargeting, sont dispersées dans des dépôts non maintenus, sans connexion aux pipelines de données et d'entraînement standards. Résultat, les chercheurs travaillant sur les pinces parallèles à deux doigts (two-finger grippers) bénéficient d'un écosystème mature, tandis que les équipes mains anthropomorphes repartent de zéro à chaque projet. ORCA propose une fondation partagée pour homogénéiser cet effort, permettant de réutiliser les mêmes datasets, les mêmes recettes d'entraînement et les mêmes protocoles d'évaluation entre plateformes dextres et non-dextres. C'est un pari d'infrastructure communautaire, pas une avancée algorithmique. Le contexte immédiat est la montée en puissance de LeRobot comme socle commun du robot learning open-source, accélérant la demande pour des intégrations matérielles homogènes. La recherche en manipulation dextre reste dominée par quelques labos bien équipés (Stanford, CMU, Berkeley), souvent sur des mains propriétaires comme la Dexterous Hand d'Allegro ou la Shadow Hand. Côté européen, Pollen Robotics (Bordeaux) et Enchanted Tools intègrent des mains polydigitales dans leurs plateformes, et pourraient bénéficier directement d'une couche d'abstraction standardisée comme ORCA. La prochaine étape naturelle serait l'adoption par la communauté LeRobot et l'extension à des tâches multi-objets ou de manipulation bimanuelle, domaines où les grippers classiques atteignent leurs limites mécaniques.

WEAVER, meilleur, plus rapide, plus long : un modèle du monde efficace pour la manipulation robotique

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.13672) WEAVER (World Estimation Across Views for Embodied Reasoning), une architecture de modèle de monde (world model, WM) dédiée à la manipulation robotique. Le système, multi-vue, est entraîné à prédire des représentations latentes futures et des valeurs de récompense via une perte de flow-matching. Sur robot physique, WEAVER atteint une corrélation ρ = 0,870 entre trajectoires simulées et taux de succès réel en évaluation de politique (policy evaluation). Appliqué à l'amélioration de politique (policy improvement), il produit un gain de 38 % de taux de succès réel au-dessus du modèle de fondation robotique π₀.₅ de Physical Intelligence. En planification à l'inférence (test-time planning), il ajoute 14 % de succès supplémentaires, avec une vitesse de génération 5 à 10 fois supérieure aux WMs précédents. Le code, les modèles et les vidéos sont publiquement accessibles. Les modèles de monde représentent un levier structurant pour la robotique : évaluer ou améliorer des politiques de contrôle, planifier à l'exécution, sans multiplier les interactions coûteuses en environnement réel. Le verrou technique est triple, fidélité (les trajectoires simulées doivent refléter la réalité), cohérence sur longue horizon (les simulations ne doivent pas diverger dans le temps), et efficacité computationnelle. WEAVER satisfait simultanément ces trois critères là où les architectures précédentes échouaient généralement sur au moins l'un d'eux, en particulier sur la cohérence à long horizon pour des tâches de manipulation dynamique complexes. Le gain de 38 % sur π₀.₅ est particulièrement significatif : il démontre qu'un WM peut améliorer un modèle de fondation déjà performant sans collecte de données additionnelles en conditions réelles, réduisant ainsi les coûts de déploiement pour les intégrateurs industriels. Ce travail s'inscrit dans une compétition accélérée autour des world models pour la robotique embodied. Physical Intelligence avec π₀ et π₀.₅, Google DeepMind avec ses variantes RT et RoboDreamer, ainsi que des équipes académiques de Berkeley, CMU et Stanford ont chacun proposé des approches partielles. WEAVER se positionne comme une synthèse architecturale, avec un soin particulier apporté à la gestion de la mémoire et au traitement multi-vue. Aucun partenariat industriel ni calendrier commercial n'est annoncé à ce stade, et la validation reste circonscrite à des environnements de laboratoire contrôlés. La question centrale du sim-to-real gap à l'échelle, dans des environnements industriels non structurés, reste entièrement ouverte.

💬 38 % de gain sur π₀.₅ sans ajouter une seule donnée en conditions réelles, c'est du concret. Ce qui est rare, c'est qu'ils résolvent les trois verrous en même temps : fidélité, cohérence à long horizon, vitesse de génération. Le sim-to-real à l'échelle industrielle reste entier, mais pour l'instant c'est l'architecture la plus sérieuse que j'ai vue sur le sujet.