RecherchearXiv cs.RO 21 juillet 2026

Seg2Grasp : une préhension par succion modulaire et robuste pour le bin picking

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente Seg2Grasp, un pipeline modulaire de préhension par succion conçu pour le bin picking en environnement industriel encombré et dynamique. Contrairement aux approches end-to-end qui échouent souvent face à des objets inconnus ou complexes, Seg2Grasp découpe le problème en trois étapes distinctes : segmentation, préhension et classification. Le module de segmentation s'appuie sur un modèle Transformer pour générer des masques d'objets agnostiques à la classe à partir d'images RGB-D, garantissant une détection fiable quelles que soient les conditions. Le module de préhension exploite les normales de surface et les propositions de masques pour déterminer les points de succion optimaux, améliorant le taux de réussite des prises. Le module de classification repose sur une version affinée de Mask-CLIP, un modèle à vocabulaire ouvert, permettant d'identifier précisément une grande diversité d'objets. Des expériences robotiques en conditions réelles montrent que Seg2Grasp dépasse les méthodes existantes en taux de réussite et en capacité d'adaptation.

Cette architecture modulaire répond à une limite bien connue des systèmes de bin picking actuels : la fragilité des modèles end-to-end lorsqu'ils rencontrent des objets hors distribution d'entraînement. En séparant explicitement perception, planification de prise et reconnaissance, Seg2Grasp gagne en robustesse et en interprétabilité, un atout pour les intégrateurs qui doivent déployer ces systèmes sur des flux d'objets hétérogènes et changeants, typiques de la logistique et du e-commerce. L'usage d'un modèle ouvert-vocabulaire pour la classification évite aussi le réentraînement coûteux à chaque nouvel objet, ce qui facilite l'adaptation en production. Cela illustre une tendance de fond dans la robotique de manipulation : revenir à des pipelines modulaires et interprétables plutôt qu'à des réseaux monolithiques, quand la fiabilité en usine prime sur la performance brute en benchmark.

Le bin picking par succion reste un défi central en logistique automatisée, où AMR et bras robotiques doivent traiter des objets de formes, matières et poids variés sans connaissance préalable. Seg2Grasp s'inscrit dans la lignée des travaux combinant modèles de segmentation génériques et CLIP pour la reconnaissance ouverte, une approche de plus en plus répandue face aux limites des systèmes fermés entraînés sur catalogues fixes. L'article, publié en preprint sur arXiv, ne précise pas encore de partenariat industriel ni de calendrier de déploiement commercial ; il s'agit pour l'instant d'une démonstration en laboratoire dont la portée reste à confirmer par des tests à plus grande échelle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Cadre de contrôle par vision monoculaire pour la préhension

Des chercheurs présentent un système de préhension robotique piloté uniquement par une caméra RGB monoculaire, capable de manipuler aussi bien des objets rigides que déformables avec un seul pipeline de contrôle, sans capteur tactile ni pince spécialisée. Le framework combine détection d'objets en vocabulaire ouvert, segmentation d'image, assignation de points sensible aux contours, suivi de points en temps réel et estimation de profondeur monoculaire pour reconstruire la géométrie et le mouvement des objets à partir de la seule vision. Son élément central est un modèle qui estime la raideur attendue d'un objet à partir de sa description sémantique, fournissant un a priori pour choisir la stratégie de préhension avant tout contact. Pour les objets déformables, l'adaptation de la prise s'appuie sur une mesure de dissimilarité de type Procrustes calculée sur des points-clés suivis, utilisée comme indicateur visuel de déformation. Pour les objets rigides, l'écartement de la pince est réglé par la mise à l'échelle des distances entre points suivis. Le système a été testé sur un bras Franka Emika Research 3, en conditions réelles de prise et dépose, sur de la salade, de la mozzarella fraîche, des croissants, du papier essuie-tout et des bouteilles en plastique rigide. L'intérêt pratique tient à l'unification: la plupart des approches existantes traitent séparément le rigide et le souple, en s'appuyant souvent sur des capteurs tactiles, des modèles spécifiques par objet ou des pinces dédiées. Démontrer une préhension stable sur les deux catégories avec une seule pipeline vision, sans tactile, ouvre une piste économique et généralisable pour la manutention alimentaire et la manipulation domestique, deux domaines où la variabilité des objets rend coûteuse toute solution sur mesure. Le travail s'inscrit dans la lignée des recherches en préhension robotique cherchant à réduire la dépendance au capteur tactile au profit de la vision seule, à l'heure où les modèles vision-langage-action gagnent en popularité pour la manipulation généraliste. Les auteurs positionnent leur approche comme une alternative sensor-efficient à ces pipelines multimodaux plus lourds, la validation restant pour l'instant limitée à un jeu restreint d'objets en laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

Vers un cadre modulaire de bin-picking pour gérer l'incertitude de pose des objets

Une équipe de chercheurs propose un framework modulaire pour le bin-picking robotique, la tâche qui consiste à saisir des objets en vrac dans un bac, capable de gérer simultanément deux sources d'erreur jusqu'ici traitées séparément: l'incertitude sur l'estimation de la pose de l'objet et les erreurs de préhension elles-mêmes. Le système repose sur une estimation de distribution de pose plutôt qu'une pose unique, utile quand l'observation est ambiguë et qu'aucune orientation correcte ne peut être déterminée avec certitude. Un module de second point de vue calcule une distribution complémentaire, fusionnée avec la première pour réduire l'incertitude globale, complété par deux modules indépendants de compensation des erreurs de préhension. L'architecture modulaire permet de combiner ces briques ou de les utiliser isolément selon la configuration physique du poste. Les tests, menés en conditions réelles sur trois objets différents et sans erreurs induites artificiellement, montrent que chaque module améliore l'efficacité du système. Précision utile: le framework est pour l'instant limité aux rotations dans le plan (SO(2)) et n'aborde pas encore les six degrés de liberté complets (SE(3)). Pour l'industrie du bin-picking, la promesse n'est pas un gain de précision brut mais une meilleure gestion du cas le plus fréquent en usine: l'ambiguïté de pose sur des objets partiellement occlus ou symétriques, là où la plupart des pipelines de vision se contentent de retourner une pose unique, souvent fausse en silence. En raisonnant sur des distributions de probabilité plutôt que sur des estimations ponctuelles, l'approche s'attaque à un vrai point de friction pour les intégrateurs, qui doivent aujourd'hui compenser ces erreurs par des capteurs de force, des reprises de saisie ou un sur-dimensionnement des pinces. La preuve de concept reste toutefois modeste, trois objets, un environnement contrôlé, et l'extension annoncée à SE(3) conditionne largement l'intérêt industriel réel du framework. Le travail s'inscrit dans une littérature déjà fournie sur la robustesse du bin-picking, où les approches existantes traitent généralement soit l'incertitude de pose, soit les erreurs de préhension, rarement les deux ensemble selon les auteurs. La contribution revendiquée est précisément cette unification dans une architecture à modules interchangeables, pensée pour absorber de futurs blocs sans réécriture complète. Les auteurs évoquent des extensions possibles vers la 3D complète (SE(3)) et l'ajout d'autres modules correctifs, sans calendrier ni partenaire industriel mentionné à ce stade: il s'agit pour l'instant d'un résultat de recherche publié sur arXiv, pas d'un système déployé ou commercialisé.

RecherchePaper

1 source

3arXiv cs.RO

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

RecherchePaper

1 source

4arXiv cs.RO

Préhension orientable et réactive grâce à une conception modulaire à interface trois points

Un article publié sur arXiv (référence 2609.24896v1) présente une architecture modulaire de préhension dextre organisée autour d'une interface à trois points, qui relie planification géométrique globale et contrôle local du contact. À partir de la géométrie de l'objet et de commandes en langage optionnelles, le système échantillonne des triplets de points de contact dans une carte de chaleur d'affordance de prise précalculée, puis un contrôleur réactif basé sur un modèle suit l'objet, évite les collisions et guide la main vers ces points. Dans les derniers centimètres avant le contact, une politique entraînée par apprentissage par renforcement affine et stabilise la prise en n'utilisant que le retour proprioceptif des articulations des doigts et ses actions récentes, sans image, sans géométrie de l'objet ni points cibles, ce qui permet à une seule politique d'être partagée entre tous les objets et configurations de main. Les auteurs valident l'approche en simulation face à des références de type squeeze et bout en bout, puis sur un robot physique avec deux objets vus à l'entraînement et un objet inédit. Pour l'industrie robotique, l'intérêt tient à la séparation entre décision géométrique, qui détermine où saisir, et contrôle réactif local, qui gère la stabilisation fine, ce qui évite de devoir entraîner une politique bout en bout massive comme le font les approches vision-langage-action. Une politique RL compacte, aveugle à la forme exacte de l'objet et capable de corriger les erreurs de perception et d'approche, suggère une voie pour réduire les besoins en données des intégrateurs travaillant sur des mains et bras robotiques. La validation reste toutefois restreinte à trois objets en conditions réelles, ce qui en fait une démonstration de principe plutôt qu'une preuve de robustesse à l'échelle d'un déploiement industriel. Ce travail s'inscrit dans la lignée des recherches qui cherchent à combiner contrôle classique basé modèle et apprentissage par renforcement, plutôt que de miser uniquement sur des politiques bout en bout entraînées sur de vastes jeux de démonstrations ou sur du RL pur pour le transfert sim-to-réel. Le résumé ne mentionne ni affiliation industrielle, ni partenaire, ni date de déploiement. Les prochaines étapes attendues portent sur l'extension à davantage d'objets, de morphologies de main et de scénarios réels, afin de confirmer au-delà du laboratoire la généralisation observée en simulation.

RecherchePaper

1 source