Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RoboSeg : reconstruction sémantique en ligne au niveau des pièces pour la manipulation robotique via une seule caméra montée sur pince
RecherchearXiv cs.RO 

RoboSeg : reconstruction sémantique en ligne au niveau des pièces pour la manipulation robotique via une seule caméra montée sur pince

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

RoboSeg est un système de perception robotique présenté dans un article déposé sur arXiv (arXiv:2608.09778v1) qui vise à reconnaître non pas des objets entiers mais leurs parties actionnables : poignées, bords, gâchettes, embouts d'outils. Le système interroge un modèle vision-langage (VLM) sur une première image RGB pour identifier des invites de parties fonctionnelles, puis combine deux flux asynchrones : un thread géométrique haute fréquence pour l'odométrie RGB-D et la fusion TSDF, et un thread sémantique déclenché par images clés utilisant SAM3 pour segmenter les parties. Les masques projetés sont fusionnés par vote temporel au niveau voxel pour construire une carte de points étiquetée, persistante, sans nécessiter de modèle CAD ni de maillage pré-scanné. Cette carte sert ensuite à assigner les candidats de prise à 6 degrés de liberté générés par AnyGrasp à la partie sémantique pertinente pour la tâche demandée. Les résultats rapportés atteignent 83,4% de mIoU (intersection sur union moyenne) sur des objets annotés manuellement, et lors d'un pilote physique de 24 essais couvrant quatre objets et huit tâches, la prise sélectionnée a touché la partie demandée dans tous les essais, pour 21 réussites sur 24 au total.

L'intérêt de ce travail pour les intégrateurs et chercheurs en robotique tient au fait qu'il traite un angle mort classique des pipelines de manipulation : la plupart des systèmes de préhension raisonnent au niveau de l'objet entier, sans distinguer la partie fonctionnellement pertinente pour une tâche donnée. En s'appuyant uniquement sur une caméra montée sur l'effecteur (eye-in-hand) et sur des modèles de fondation existants plutôt que sur des CAO préalables, RoboSeg propose une couche d'indexation sémantique généralisable à des environnements non structurés. Le papier reste toutefois prudent sur la portée de la validation : le pilote physique ne couvre que quatre objets et 24 essais, un échantillon restreint qui limite la généralisation des taux de réussite annoncés.

Ce travail s'inscrit dans la tendance actuelle combinant modèles vision-langage et générateurs de prises pré-entraînés plutôt que de réentraîner des systèmes de bout en bout. Les auteurs positionnent explicitement RoboSeg comme une couche complémentaire à AnyGrasp, conservé comme générateur de propositions de préhension, et non comme un remplacement. Il s'agit d'un article de recherche académique récemment publié, sans mention d'un déploiement industriel ni d'un partenaire commercial ; les prochaines étapes concernant une éventuelle extension à davantage d'objets, de tâches ou de plateformes robotiques ne sont pas précisées dans le résumé.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable
1arXiv cs.RO 

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable

Des chercheurs présentent un système qui relie raisonnement en langage naturel et exécution physique sûre pour la manipulation robotique, décrit dans un article publié le 29 août 2026 sur arXiv (2608.29379v1). Le pipeline part d'observations RGB-D pour construire un modèle de scène explicite tenant compte des collisions, puis contraint les décisions d'un grand modèle de langage via des appels d'outils validés par schéma selon le Model Context Protocol (MCP), rejetant les commandes mal formées avant qu'elles n'atteignent le robot. Chaque appel validé est ensuite traduit de façon déterministe dans un pipeline MoveIt Task Constructor, où les mouvements candidats sont vérifiés contre la scène reconstruite avant exécution, une étape de type "vérifier puis agir". Testé sur un bras robotique physique UFactory 850, le système atteint jusqu'à 80% de réussite sur dix essais par tâche pour des opérations de versement impliquant liquides, matières granulaires et solides discrets, et 90% de réussite sur une tâche de saisie-et-dépose avec la même architecture. L'intérêt de ces travaux tient à la démonstration chiffrée d'un problème bien identifié dans la robotique pilotée par LLM: un plan verbalement cohérent peut être physiquement infaisable si la cinématique et les collisions ne sont pas vérifiées avant exécution. Les auteurs montrent qu'une politique scriptée classique surpasse légèrement leur méthode sur la tâche la plus simple, mais chute à seulement 10% de réussite sur la tâche la plus difficile, contre 60% pour leur approche contrainte. Pour les intégrateurs industriels et les équipes robotique, ce résultat suggère qu'ajouter une couche de validation formelle entre le langage et l'action améliore surtout la robustesse sur les cas complexes, plutôt que la performance brute sur les cas faciles où des solutions scriptées suffisent déjà. Ce travail s'inscrit dans la lignée des recherches sur le "language-action gap", l'écart entre la capacité des LLM à décomposer des instructions en séquences d'actions et leur incapacité native à garantir la faisabilité physique de ces actions dans un environnement encombré et perçu de façon imparfaite. La solution proposée combine plusieurs briques existantes, le MCP pour la validation structurée des appels d'outils côté langage, et MoveIt Task Constructor pour la planification de mouvement sous contraintes cinématiques et de collision côté robot, plutôt que d'introduire une nouvelle architecture de bout en bout. Les tests restent limités à un seul bras robotique et un nombre réduit d'essais par tâche, ce qui invite à la prudence avant toute extrapolation vers des déploiements industriels à plus grande échelle.

RecherchePaper
1 source
Retrouver la vue : évaluation de la vision active physique pour surmonter les occlusions en manipulation robotique
2arXiv cs.RO 

Retrouver la vue : évaluation de la vision active physique pour surmonter les occlusions en manipulation robotique

Des chercheurs publient sur arXiv (2609.37292) BAVO-Bench, un benchmark de vision active bimanuelle (Bimanual Active Vision under Occlusion), accompagné d'une politique de contrôle baptisée A-FAR (Active Future-Aware Recovery). Le benchmark contrôle systématiquement la visibilité externe selon trois conditions : Clean (sans occultation), Stage Occlusion (occultation liée à une étape de la tâche) et Random-time Occlusion (occultation à un instant aléatoire). Il permet ainsi d'évaluer à la fois la performance de manipulation et la capacité du robot à retrouver une vue exploitable en déplaçant sa caméra. A-FAR pilote conjointement le point de vue et la manipulation. Elle exprime les observations d'une caméra mobile dans un repère 3D unique centré sur le robot. Elle distille ensuite, depuis un modèle 4D pré-entraîné, la structure relationnelle de la scène et son évolution future. La politique bénéficie donc d'un guidage géométrique anticipatif sans avoir besoin d'observations futures au déploiement. Les auteurs annoncent, sur plusieurs tâches de manipulation, une meilleure robustesse face aux occultations structurées et décalées dans le temps, avec des performances maintenues en conditions propres. Le résumé ne chiffre pas ces gains. Le point de départ est un angle mort des évaluations actuelles. La plupart des benchmarks de manipulation supposent une caméra fixe ou des vues fiables. Ils testent donc peu la façon dont une politique se rétablit quand une observation utile disparaît en cours d'exécution, par exemple derrière un bras, un objet ou un opérateur. Or c'est fréquent en atelier ou en logistique, où les caméras montées sur le robot ou sur des poteaux sont régulièrement masquées. Un cadre reproductible qui sépare occultation liée à la tâche et occultation aléatoire donne aux équipes VLA et imitation learning un moyen comparable de mesurer cette robustesse. Le choix d'un dispositif bimanuel, proche des plateformes de téléopération à bas coût et des humanoïdes, en accroît la pertinence. Il faut toutefois rester prudent : il s'agit d'un travail académique, apparemment évalué en simulation ou en environnement contrôlé, sans déploiement industriel ni chiffres de taux de réussite dans le résumé. Il ne dit rien de l'écart entre démonstration et réalité. Ce travail s'inscrit dans le courant de la perception active et des politiques conditionnées par la géométrie, qui cherche à dépasser les VLA entraînés sur des vues quasi statiques. L'usage d'un modèle 4D pré-entraîné comme « enseignant » relève d'une logique de distillation : la connaissance de la dynamique spatio-temporelle est intégrée à l'entraînement pour éviter un coût de calcul supplémentaire à l'inférence. Les suites logiques sont la publication du code et des données du benchmark, la comparaison avec des politiques généralistes comme Pi-0 ou GR00T, puis la validation sur robot réel avec caméra poignet ou tête mobile. Cette dernière étape déterminera si l'approche dépasse le cadre de l'évaluation académique.

RecherchePaper
1 source
Reconstruction ou sémantique ? Ce qui rend un espace latent utile pour les modèles du monde en robotique
3arXiv cs.RO 

Reconstruction ou sémantique ? Ce qui rend un espace latent utile pour les modèles du monde en robotique

Une étude soumise sur arXiv le 8 mai 2025 (arXiv:2605.06388) remet en question le choix dominant des espaces latents dans les modèles de monde pour la robotique. Les auteurs comparent six encodeurs, répartis en deux familles, selon un protocole d'évaluation commun sur le dataset BridgeV2, référence de manipulation robotique généraliste. Les encodeurs de reconstruction testés sont VAE (standard actuel) et Cosmos (NVIDIA) ; les encodeurs sémantiques incluent V-JEPA 2.1 (Meta), Web-DINO et SigLIP 2 (Google). Le cadre évalué est celui des modèles de diffusion latente conditionnés par l'action (LDM), utilisés comme proxy de simulation pour tester des politiques de contrôle robot sans déploiement physique. L'évaluation repose sur trois axes : fidélité visuelle pixel-level, performance en planification et évaluation de politiques en aval, et qualité intrinsèque des représentations latentes. Les résultats invalident une hypothèse implicite courante dans le domaine : une bonne reconstruction pixel ne suffit pas à produire un bon modèle de monde opérationnel. VAE et Cosmos atteignent les meilleurs scores de fidélité visuelle, mais V-JEPA 2.1 domine sur l'axe le plus critique, la performance des politiques, tandis que Web-DINO et SigLIP 2 excellent sur les deux axes restants, et ce à toutes les échelles de modèles testées. Pour un intégrateur ou un labo qui construit des pipelines sim-to-real, cela implique que le choix de l'encodeur dans la stack LDM n'est pas un détail d'implémentation : il conditionne directement la qualité des politiques apprises. La fidélité visuelle, souvent retenue comme métrique de validation principale, s'avère un indicateur trompeur du potentiel d'un modèle de monde pour le contrôle robotique. Ce travail s'inscrit dans une course de fond autour des modèles de monde pour la robotique, impliquant des acteurs comme Physical Intelligence (pi-0), Figure AI et des équipes académiques autour des RoboVLMs. L'adoption des LDMs comme infrastructure d'évaluation de politiques s'est accélérée depuis 2023 avec l'essor des VLAs (Vision-Language-Action models). Le VAE reste l'encodeur par défaut dans la majorité des implémentations ouvertes, héritage direct des pipelines de diffusion image (Stable Diffusion, LDM de Rombach et al., 2022). Ce preprint, non encore évalué par des pairs, plaide pour un pivot vers les encodeurs à représentations sémantiques, une direction qui converge avec les travaux de Meta sur V-JEPA 2 et de Google sur SigLIP. Les étapes suivantes naturelles incluraient une validation sur des datasets robotiques plus diversifiés et des expériences en déploiement physique réel pour confirmer le transfert sim-to-real.

RechercheOpinion
1 source
RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique
4arXiv cs.RO 

RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique

RoboAug est un cadre d'augmentation de données génératif pour l'apprentissage robotique, décrit dans un article arXiv (2602.14032, version 2). Son principe tient en une contrainte minimale : une seule image annotée de bounding boxes suffit pour construire le jeu de données. À partir de cette supervision réduite, le système s'appuie sur des modèles génératifs préentraînés pour produire des variations sémantiques précises de la scène. Il y ajoute une perte contrastive par région (région-contrastive loss), utilisable en plug-and-play, qui oriente l'attention de la politique vers les zones utiles à la tâche. Les auteurs ont testé la méthode sur trois plateformes physiques : le bras UR-5e d'Universal Robots, une plateforme AgileX et le robot humanoïde Tian Gong 2.0. Selon eux, RoboAug dépasse systématiquement les méthodes d'augmentation de l'état de l'art face à trois types de décalages : l'arrière-plan, les objets distracteurs et l'éclairage. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni nombre de démonstrations. Le titre évoque « des centaines de scènes » générées depuis une annotation, sans plus de détail dans le texte disponible. L'enjeu est la généralisation d'une politique d'imitation ou d'une politique vision-langage-action (VLA) à des environnements jamais vus, l'un des principaux freins au passage de la démonstration au déploiement. Deux voies dominent aujourd'hui. La première est le préentraînement à grande échelle, coûteux en collecte de données et en temps. La seconde est l'augmentation sémantique, qui suppose une détection d'objets sans faille en amont, hypothèse fragile en conditions réelles. RoboAug cherche à contourner ces deux obstacles, ce qui, si les résultats tiennent, ferait baisser le coût de préparation d'un nouveau site pour un intégrateur : une image annotée plutôt qu'une campagne de captures. Les validations sur trois robots de natures différentes, dont un humanoïde, sont un point positif. Quelques réserves s'imposent toutefois. Le résumé ne précise ni les tâches, ni la taille des échantillons d'essais, ni les baselines comparées. Les gains ne sont pas chiffrés, et la robustesse face à des changements de géométrie ou de pose des objets n'est pas évoquée. Il s'agit d'un résultat de laboratoire, non d'un déploiement industriel. Ce travail s'inscrit dans une lignée de méthodes qui utilisent des modèles de diffusion ou d'édition d'images pour multiplier les observations d'entraînement : ROSIE, GenAug ou, plus récemment, des pipelines qui s'appuient sur la segmentation pour isoler l'objet manipulé. Leur point faible commun est la dépendance à un détecteur fiable, que RoboAug dit relâcher. La concurrence passe aussi par les gros modèles fondation (Pi-0, GR00T, Helix), qui misent sur l'échelle des données plutôt que sur l'augmentation ciblée. L'usage de Tian Gong 2.0, plateforme humanoïde chinoise, confirme l'activité des laboratoires asiatiques sur ce sujet. La publication d'une page de projet (x-roboaug.github.io) devrait permettre d'examiner vidéos et protocoles. Les prochaines étapes à surveiller sont la publication de chiffres détaillés, le code ouvert et des tests sur des tâches plus longues ou plus dextres.

UEUniversal Robots (Danemark) équipe de nombreuses lignes européennes avec son bras UR-5e, et si RoboAug tient ses promesses, une seule image annotée suffirait aux intégrateurs européens pour adapter leurs politiques d'apprentissage à un nouveau site, ce qui réduirait le coût de déploiement, même si ce résultat de laboratoire n'est pas encore validé en conditions industrielles.

RecherchePaper
1 source