Représentation partagée pour la manipulation…

1arXiv cs.RO

KRVF : représentation du monde en voxels sémantiques sensible à la source pour la manipulation mobile embarquée

Des chercheurs ont déposé sur arXiv (identifiant 2606.26321) un rapport technique décrivant KRVF, un système de représentation sémantique du monde en voxels conçu pour les manipulateurs mobiles soumis à des contraintes de calcul embarqué. L'architecture attribue à chaque voxel cinq propriétés: occupation de l'espace, couleur, évidence sémantique, fraicheur temporelle de la donnée et source d'origine de la mesure. Ce dernier attribut, la "conscience de la source", est le trait distinctif du système: il trace l'origine de chaque information, qu'elle provienne d'un capteur direct, d'une hypothèse a priori ou d'une inférence. L'implémentation repose sur ROS 2 et traite des flux RGB-D en temps réel pour construire une mémoire du robot orientée tâche, centrée sur la localisation des objets saisissables et des candidats à la préhension. L'acronyme KRVF n'est pas développé dans l'abstract disponible. L'enjeu technique central est la robustesse aux défaillances des capteurs de profondeur, problème récurrent en déploiement réel (occlusions, surfaces spéculaires, zones hors portée). Les pipelines de reconstruction classiques, optimisés pour la fidélité géométrique globale, corrompent silencieusement leur modèle persistant quand les mesures de profondeur sont absentes ou erronées. KRVF répond en séparant explicitement l'occupation mesurée des hypothèses sémantiques a priori: le robot peut raisonner sur un objet probable sans altérer la géométrie de référence. La carte existante sert également à générer une profondeur synthétique pour combler les lacunes capteur, fermant une boucle de rétroaction entre cartographie et perception. Ces choix ciblent directement les déploiements sans infrastructure cloud: la cognition spatiale s'exécute entièrement à bord du robot, sans latence réseau. Ce travail s'inscrit dans une dynamique de recherche active sur la représentation du monde pour robots mobiles, aux côtés de systèmes comme ConceptFusion ou LERF qui explorent des cartes neuronales 3D interrogeables en langage naturel. Sur le marché des manipulateurs mobiles, des acteurs comme Boston Dynamics (Spot ARM), Hello Robot (Stretch) ou des startups comme Agility Robotics et 1X Technologies cherchent précisément ce type de module de perception embarqué à faible empreinte de calcul. KRVF reste un préprint non évalué par les pairs, sans benchmark comparatif public ni annonce de mise à disposition du code: c'est une contribution architecturale cohérente, mais dont la portée industrielle dépendra d'une validation expérimentale sur des plateformes réelles et dans des scénarios adversariaux.

RecherchePaper

1 source

2arXiv cs.RO

BiRoAD : apprentissage de représentations partagées et adaptatives par rôle pour la manipulation bimanuelle

Publiée en septembre 2026 sur arXiv sous la référence 2609.23445v1, BiRoAD (Bimanual Role-Adaptive Decomposition) est une méthode d'apprentissage par imitation pour robots à deux bras. Elle s'attaque à un défaut courant des politiques bimanuelles: celles-ci prédisent des actions dans des espaces fixes bras gauche et bras droit, sans indiquer comment un comportement doit changer quand les rôles s'échangent selon la scène, alors que les démonstrations d'entraînement sont souvent déséquilibrées entre rôles. BiRoAD décompose les représentations de trajectoire en une composante symétrique, qui capture la coordination invariante entre les deux bras, et une composante antisymétrique, propre à chaque rôle, recombinées ensuite en mises à jour résiduelles des représentations d'origine. Le module ne modifie ni les entrées de la politique ni l'objectif d'apprentissage par imitation, et se passe d'étiquetage manuel des rôles. Le problème visé est concret: un opérateur humain privilégie souvent un bras pour une sous-tâche donnée, et les politiques bimanuelles classiques généralisent mal quand un objet apparaît du côté opposé à celui majoritairement vu à l'entraînement, un cas fréquent hors environnement contrôlé. En se greffant sur des politiques déjà entraînées plutôt qu'en exigeant une nouvelle architecture, BiRoAD propose une correction peu coûteuse pour les équipes qui entraînent des robots humanoïdes ou des bras doubles fixes. Les auteurs rapportent des gains de robustesse par rapport aux politiques de base, particulièrement marqués sur les configurations de rôles sous-représentées, un enjeu directement lié à l'écart entre performance en démonstration et généralisation réelle qui préoccupe tout le secteur des politiques de manipulation apprises. Le travail s'inscrit dans la recherche sur l'apprentissage par imitation bimanuelle, où la paramétrisation bras gauche/bras droit hérite directement des interfaces de téléopération sans mécanisme dédié à l'échange de rôles. BiRoAD est présenté comme un module additionnel comparé à des politiques de base, et non comme une architecture concurrente autonome. L'article, classé comme nouvelle soumission arXiv, ne précise ni la plateforme robotique utilisée pour les évaluations ni la disponibilité d'un code source: il s'agit pour l'instant d'une contribution méthodologique, à un stade de recherche, plutôt que d'un système prêt à être déployé.

RecherchePaper

1 source

3arXiv cs.RO

MessyMem : une mémoire acquise par la pratique pour la manipulation mobile

Un système baptisé MessyMem, décrit dans un article publié sur arXiv (identifiant 2609.15976v1, version initiale de septembre 2026), s'attaque à un problème concret de la manipulation mobile : les robots qui interviennent dans plusieurs pièces et à plusieurs reprises n'accumulent aujourd'hui aucune connaissance persistante d'une visite à l'autre, par exemple qu'un placard est verrouillé ou qu'un objet se trouve dans un tiroir précis. MessyMem construit et maintient un graphe de scène 3D spatialement ancré, listant objets et emplacements, qu'il enrichit avec des propriétés et des résultats appris par interaction, et qu'il relie à des observations visuelles pour permettre un rappel précis. Les auteurs l'ont testé en simulation, sur une séquence continue de 25 tâches s'étalant sur plus de 3 heures, où le système atteint 80,0 % de progression des tâches, soit 14,8 points de pourcentage de mieux que la meilleure variante ablationnée du système et 28,9 points de mieux que la meilleure méthode externe comparée. Le système parvient à retrouver des preuves pertinentes parmi des milliers d'images clés stockées, remontant à plus d'une heure dans le passé. Un test complémentaire a également été mené sur un manipulateur mobile réel, sans que l'abstract ne détaille de métriques chiffrées équivalentes pour cette partie. Ce travail répond directement à une limite connue des architectures actuelles : les représentations de scène compactes utilisées par les planificateurs pilotés par modèles vision-langage omettent les connaissances tirées de l'interaction, les historiques vidéo bruts sont difficiles à interroger, et les modèles raisonnent au moment de l'inférence sans jamais mettre à jour durablement ce que le robot sait. Pour les intégrateurs et décideurs qui envisagent des flottes de robots opérant en continu sur de longues périodes, dans des environnements domestiques, commerciaux ou industriels, ce type de mémoire structurée laisse espérer une réduction du temps perdu à ré-explorer ou refaire des erreurs déjà rencontrées. Il faut toutefois noter que les chiffres les plus spectaculaires proviennent d'un banc d'essai simulé construit par les auteurs eux-mêmes, ce qui limite pour l'instant leur portée face à une validation à grande échelle sur robot physique. L'approche s'inscrit dans un effort de recherche plus large visant à doter les manipulateurs mobiles d'une mémoire à long terme complémentaire des modèles de planification génératifs, plutôt qu'un simple contexte réinitialisé à chaque tâche. S'agissant d'une publication de recherche fraîche et non d'un produit commercialisé, les suites logiques attendues sont l'extension à un plus grand nombre de tâches et d'environnements, ainsi qu'une validation renforcée sur robots physiques déployés en conditions réelles.

RecherchePaper

1 source

4arXiv cs.RO

Représentation tactile factorisée et contrôle pour la manipulation en transfert simulation-réel

Des chercheurs proposent, dans un preprint arXiv (2610.10510v1), un cadre de représentation tactile « factorisée » et de contrôle destiné au transfert sim-to-real en manipulation. L'idée est de projeter la force normale et la zone de contact vers une « réponse de contact effective », récupérable à partir des lectures du capteur, plutôt que de tenter de reproduire fidèlement la physique propre à chaque capteur. Cette réponse est ensuite scindée en trois composantes: la géométrie du contact, la distribution des forces et la variation temporelle du contact. Chacune dispose de son propre encodage et de sa propre randomisation de domaine. Le contrôleur, baptisé Tactile Gated Policy, conserve ces trois représentations séparées tout au long de la chaîne de contrôle. Il fonctionne sur toutes les configurations de masques, c'est-à-dire toutes les combinaisons de composantes activées, sans réentraînement. L'évaluation porte sur la reconstruction de la réponse, l'alignement spatial, la régulation de force et l'insertion de cheville adversariale riche en contacts, en simulation comme sur robot réel. Les auteurs annoncent une localisation du contact inférieure à 1 mm, une erreur de suivi de force de 1,69 N sur des géométries inédites et un gain de 35 % en insertion réelle par rapport à la réponse non factorisée. L'intérêt dépasse le seul benchmark. Le tactile reste le maillon faible du sim-to-real: la vision et la proprioception se transfèrent de mieux en mieux, mais les signaux de contact dépendent fortement du capteur, ce qui limite la réutilisation des politiques d'un dispositif à l'autre. En séparant géométrie, force et dynamique, le travail permet d'évaluer indépendamment l'utilité et la fiabilité de transfert de chaque représentation. Il montre aussi que ces représentations n'aident pas toutes les mêmes interactions, ce qui nuance l'idée d'un signal tactile unique et générique. Pour un intégrateur, la conséquence pratique est qu'un choix de capteur pourrait compter moins que la manière d'exposer l'information de contact à la politique. Quelques réserves s'imposent. Il s'agit d'un preprint non évalué par les pairs. Le gain de 35 % est mesuré contre une base de référence interne, et non contre des méthodes concurrentes. Le résumé ne précise ni le matériel, ni le nombre d'essais, ni les tolérances d'insertion. Rien ne permet d'extrapoler à des cadences industrielles ou à des pièces variées. Ce travail s'inscrit dans l'effort général pour donner un toucher exploitable aux politiques apprises, alors que les modèles généralistes (VLA) restent surtout visuels. Les capteurs tactiles optiques de type GelSight et leurs dérivés ont popularisé les approches de simulation tactile, mais chaque équipe doit en général recalibrer son pipeline pour son capteur. L'approche factorisée vise à contourner ce verrou en s'appuyant sur une couche intermédiaire commune. Les suites logiques seraient une validation sur plusieurs capteurs et plusieurs plateformes, des tâches plus longues que l'insertion de cheville et une intégration dans des politiques généralistes. Aucun calendrier, code ni partenaire industriel n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Représentation partagée pour la manipulation mobile en laboratoire avec OpenArm

À lire aussi

KRVF : représentation du monde en voxels sémantiques sensible à la source pour la manipulation mobile embarquée

BiRoAD : apprentissage de représentations partagées et adaptatives par rôle pour la manipulation bimanuelle

MessyMem : une mémoire acquise par la pratique pour la manipulation mobile

Représentation tactile factorisée et contrôle pour la manipulation en transfert simulation-réel