RecherchearXiv cs.RO 26 juin 2026

KRVF : représentation du monde en voxels sémantiques sensible à la source pour la manipulation mobile embarquée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont déposé sur arXiv (identifiant 2606.26321) un rapport technique décrivant KRVF, un système de représentation sémantique du monde en voxels conçu pour les manipulateurs mobiles soumis à des contraintes de calcul embarqué. L'architecture attribue à chaque voxel cinq propriétés: occupation de l'espace, couleur, évidence sémantique, fraicheur temporelle de la donnée et source d'origine de la mesure. Ce dernier attribut, la "conscience de la source", est le trait distinctif du système: il trace l'origine de chaque information, qu'elle provienne d'un capteur direct, d'une hypothèse a priori ou d'une inférence. L'implémentation repose sur ROS 2 et traite des flux RGB-D en temps réel pour construire une mémoire du robot orientée tâche, centrée sur la localisation des objets saisissables et des candidats à la préhension. L'acronyme KRVF n'est pas développé dans l'abstract disponible.

L'enjeu technique central est la robustesse aux défaillances des capteurs de profondeur, problème récurrent en déploiement réel (occlusions, surfaces spéculaires, zones hors portée). Les pipelines de reconstruction classiques, optimisés pour la fidélité géométrique globale, corrompent silencieusement leur modèle persistant quand les mesures de profondeur sont absentes ou erronées. KRVF répond en séparant explicitement l'occupation mesurée des hypothèses sémantiques a priori: le robot peut raisonner sur un objet probable sans altérer la géométrie de référence. La carte existante sert également à générer une profondeur synthétique pour combler les lacunes capteur, fermant une boucle de rétroaction entre cartographie et perception. Ces choix ciblent directement les déploiements sans infrastructure cloud: la cognition spatiale s'exécute entièrement à bord du robot, sans latence réseau.

Ce travail s'inscrit dans une dynamique de recherche active sur la représentation du monde pour robots mobiles, aux côtés de systèmes comme ConceptFusion ou LERF qui explorent des cartes neuronales 3D interrogeables en langage naturel. Sur le marché des manipulateurs mobiles, des acteurs comme Boston Dynamics (Spot ARM), Hello Robot (Stretch) ou des startups comme Agility Robotics et 1X Technologies cherchent précisément ce type de module de perception embarqué à faible empreinte de calcul. KRVF reste un préprint non évalué par les pairs, sans benchmark comparatif public ni annonce de mise à disposition du code: c'est une contribution architecturale cohérente, mais dont la portée industrielle dépendra d'une validation expérimentale sur des plateformes réelles et dans des scénarios adversariaux.

Dans nos dossiers

1X Technologies Boston Dynamics Agility Robotics — Digit arXiv cs.RO

À lire aussi

1arXiv cs.RO

STORM : représentation par slots centrée objet et sensible à la tâche pour la manipulation robotique

Des chercheurs ont publié STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), un module d'adaptation léger conçu pour augmenter les modèles visuels de fondation figés avec des représentations centrées sur les objets. Plutôt que de réentraîner de grands backbones visuels, coûteux en calcul et en données étiquetées, STORM insère un ensemble restreint de "slots", des vecteurs appris qui capturent chaque objet de la scène de manière distincte. L'entraînement se déroule en deux phases : un préentraînement visuo-sémantique qui stabilise les slots via des embeddings de langage, puis une adaptation conjointe avec la politique de manipulation. Les expériences, menées sur des benchmarks de découverte d'objets et des tâches de manipulation simulée, montrent des gains de robustesse face aux distracteurs visuels et une meilleure performance de contrôle par rapport à l'utilisation directe des features figées ou à l'entraînement end-to-end de représentations object-centriques. L'enjeu est structurel pour la robotique de manipulation. Les modèles visuels de fondation comme DINOv2 ou SigLIP fournissent des features perceptuelles puissantes, mais leurs représentations denses traitent la scène comme une grille de pixels sans distinguer explicitement les objets. Pour une tâche du type "saisir la boîte rouge parmi plusieurs objets", cette absence de structure oblige le réseau de politique à apprendre lui-même la décomposition de la scène, ce qui nuit à la généralisation hors distribution. STORM contourne ce problème sans toucher au backbone. Le résultat valide l'hypothèse que l'adaptation multi-phase (stabilisation sémantique d'abord, alignement tâche ensuite) évite la dégénérescence des slots, phénomène où plusieurs slots capturent le même objet ou des régions non pertinentes pour la tâche. La ligne de recherche sur les représentations object-centriques remonte à Slot Attention (Locatello et al., 2020, DeepMind) et à MONet. L'originalité de STORM est d'ancrer ces slots dans la sémantique linguistique et de les greffer sur des fondations pré-entraînées plutôt que de repartir de zéro. Dans un écosystème où les VLA (Vision-Language-Action models) comme pi0 de Physical Intelligence ou OpenVLA cherchent à intégrer langage et action de bout en bout, STORM propose une alternative modulaire et économe. Les résultats restent limités à la simulation, ce qui laisse entière la question du sim-to-real gap. Les prochaines étapes logiques incluent la validation sur robots physiques et le test face à des perturbations visuelles plus agressives que les benchmarks actuels.

RecherchePaper

1 source

2arXiv cs.RO

Stratégies de préhension pratiques pour la manipulation mobile en environnement réel

Des chercheurs ont publié en avril 2025 sur arXiv (référence 2504.12512) une étude de terrain portant sur SHOPPER, une plateforme de manipulation mobile conçue pour évaluer des stratégies de préhension dans un supermarché réel. L'environnement choisi n'est pas anodin : un magasin d'alimentation impose une diversité extrême d'objets (formes irrégulières, emballages souples, produits réfléchissants), de configurations d'étagères et de layouts changeants. L'équipe a conduit des centaines de tentatives de saisie distinctes et documente en détail les modes de défaillance observés, sans annoncer de taux de réussite global, ce qui tranche avec la communication habituelle du secteur. Ce travail apporte une valeur rare dans la littérature robotique actuelle : une analyse honnête des échecs en conditions non structurées réelles, plutôt qu'une démonstration soigneusement sélectionnée en laboratoire. Le fossé demo-to-reality reste le principal obstacle au déploiement commercial des manipulateurs mobiles, et les auteurs cherchent précisément à le cartographier. Pour un intégrateur ou un décideur industriel, ce type d'inventaire des cas limites est plus exploitable qu'un benchmark contrôlé : il permet de calibrer les attentes sur ce que les pipelines VLA (Vision-Language-Action) et les approches de grasp planning généraliste peuvent réellement délivrer aujourd'hui hors laboratoire. La recherche en manipulation mobile s'est intensifiée ces deux dernières années, portée par des acteurs comme Apptronik, Agility Robotics (Digit) ou Boston Dynamics (Spot avec bras), mais aussi par des startups spécialisées dans le picking retail comme Symbotic ou des robots de supermarché tels que ceux de Focal Systems. Les approches fondées sur l'apprentissage end-to-end (pi0 de Physical Intelligence, RT-2 de Google DeepMind) promettent une généralisation, mais leur robustesse en environnement chaotique reste peu documentée de façon indépendante. SHOPPER s'inscrit dans une démarche de recherche ouverte visant à fournir à la communauté robotique un référentiel de problèmes concrets non résolus, ce qui suggère des publications de suivi et potentiellement un benchmark partagé.

RecherchePaper

1 source

3arXiv cs.RO

Champs de risque sémantique guidés par un modèle fondation et sensibles à la topologie pour la manipulation

Des chercheurs proposent un champ de risque sémantique 3D pour la planification de mouvement en manipulation, publié sur arXiv (2609.36640v1). Le système attribue à chaque paire objet manipulé / objet de la scène six poids de risque directionnels, ainsi qu'une échelle de décroissance spatiale propre à la paire, tous produits par un modèle de fondation. Ces a priori sont fusionnés avec la géométrie 3D voxelisée de la scène par un « shielding » sensible à la topologie (un obstacle protège l'objet sensible) et par une décroissance spatiale géodésique, c'est-à-dire mesurée le long des chemins réellement praticables. Un backend parallélisé sur GPU regroupe les calculs de distance et de risque par objet pour construire un champ 3D dense, utilisable comme terme de coût modulaire par n'importe quel planificateur en aval. L'évaluation porte sur trois scénarios domestiques en simulation, sur le comportement du shielding face à des barrières complètes ou partielles, et sur la comparaison avec une base de référence à a priori sémantiques calculés pixel par pixel. Les auteurs évaluent aussi le coût de calcul et la fiabilité du pipeline. Le résumé ne donne aucun chiffre précis (temps de calcul, taux de réduction d'exposition), et il n'indique ni le modèle de fondation utilisé ni de test sur robot réel. L'enjeu est de dépasser l'évitement de collision, qui traite tous les contacts et toutes les proximités de façon équivalente. Dans un foyer, passer un couteau au-dessus d'un ordinateur portable ou d'une assiette n'a pas le même risque que le passer près d'un mur. Les modèles de fondation peuvent fournir ce jugement contextuel, mais leurs sorties restent difficiles à intégrer dans un planificateur qui exige des garanties géométriques strictes. Ce travail répond à cette tension en séparant les deux niveaux. Les contraintes dures restent géométriques, et le risque sémantique entre comme un coût doux, ce qui préserve la modularité. Pour les intégrateurs, c'est une piste vers des manipulateurs de service plus acceptables en environnement non structuré. Il faut toutefois rester prudent : les résultats sont uniquement simulés, et la mesure principale, une « exposition sémantique » plus faible que celle de trajectoires sans risque sémantique, dépend de la définition choisie par les auteurs. Rien ne prouve encore que les poids produits par le modèle soient fiables ou reproductibles hors simulation. Ce travail s'inscrit dans la vague des approches qui associent modèles vision-langage et planification, comme les champs de valeur 3D de type VoxPoser ou les contraintes spécifiées par langage naturel. La plupart projettent la sémantique en 2D ou l'ignorent dans la topologie de la scène, ce que la base de comparaison pixel par pixel illustre ici. Les prochaines étapes probables sont une validation sur bras réel, un test sur des scènes encombrées et dynamiques, et une intégration avec des politiques VLA (vision-langage-action) de type Pi-0 ou GR00T. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé, et il s'agit d'un préprint non évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Représentation partagée pour la manipulation mobile en laboratoire avec OpenArm

Un rapport technique publié sur arXiv (arXiv:2608.07154v1, début août 2026) décrit un prototype de manipulation mobile destiné à l'automatisation de tâches en laboratoire, construit autour de deux bras manipulateurs OpenArm (plateforme robotique open source) montés sur une base mobile équipée d'une glissière verticale, de capteurs RGB-D, d'une cartographie par lidar et d'une exécution des mouvements via ROS2/MoveIt. L'architecture repose sur ce que les auteurs appellent des "transferts de représentation" : les requêtes en langage naturel sont converties en appels à des compétences ("skills") préenregistrées, les observations des capteurs sont ancrées dans des cartes et des poses d'objets, des connaissances a priori sur les objets contraignent les rôles et compétences disponibles, et des liaisons d'exécution compilent ces compétences validées en objectifs de mouvement concrets. L'évaluation s'appuie sur des essais à blanc (dry-run) et des vérifications de démarrage, sans exécution réelle de tâches complètes en laboratoire. L'intérêt de ce travail tient moins à une performance chiffrée qu'à sa transparence méthodologique. Alors que les modèles de fondation et l'open source ont considérablement abaissé la barrière d'entrée pour construire des démonstrations de robots dits "intelligents", relier de façon fiable une instruction en langage naturel à une action sûre reste un problème largement non résolu en pratique. Plutôt que d'annoncer un système fonctionnel de bout en bout, les auteurs documentent explicitement les blocages rencontrés : calibration manquante, bibliothèque d'objets incomplète, et ancrage visuel en scène réelle inachevé. Cette honnêteté sur les limites contraste avec la rhétorique habituelle du secteur et offre aux intégrateurs une vision réaliste des points de rupture des pipelines langage vers action, plutôt qu'une vitrine marketing. Le projet s'inscrit dans la mouvance plus large des modèles vision-langage-action open source, aux côtés d'initiatives comme Pi-0, GR00T N2 ou Helix, qui cherchent à démocratiser l'accès au matériel et aux logiciels de robotique incarnée. Contrairement aux annonces commerciales de humanoïdes de sociétés comme Figure ou Tesla, il s'agit ici d'une contribution de recherche en méthodologie d'intégration système, sans pilote commercial ni calendrier de déploiement annoncé. Le texte se présente comme une base pour de futurs travaux visant à finaliser la calibration, étoffer les bibliothèques d'objets et combler l'écart d'ancrage visuel identifié comme frein principal.

RecherchePaper

1 source