Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers une manipulation d'objets de haute précision : politique visuomotrice guidée par SAM3, avec mémoire persistante et conditionnement visuel ciblé
RecherchearXiv cs.RO 

Vers une manipulation d'objets de haute précision : politique visuomotrice guidée par SAM3, avec mémoire persistante et conditionnement visuel ciblé

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente FOM-SAM3, un système de manipulation robotique combinant le modèle de segmentation SAM3 avec une mémoire persistante d'objets, décrit dans un article publié sur arXiv (référence 2609.21621v1). Le système cible la manipulation fine d'objets, c'est-à-dire la capacité d'un robot à saisir un objet précis parmi d'autres visuellement similaires. La méthode, baptisée FOM-SAM3, apprend des jetons de mémoire réutilisables à partir d'un nombre limité d'images d'enregistrement multi-vues, tout en gardant le modèle SAM3 entièrement gelé, via un apprentissage de type "un contre tous" qui encode la reconnaissance de l'objet cible et le rejet des objets similaires. Ces jetons sont stockés dans une banque de mémoire réutilisable. Les chercheurs y associent un module nommé Focused Spatial-Appearance Encoding (FSAE), qui combine les caractéristiques d'apparence locale de l'objet avec les coordonnées de sa boîte englobante pour piloter des politiques d'action existantes, Diffusion Policy et Action Chunking with Transformers. Le dispositif a été validé sur un jeu de données maison, FO-30, comprenant 30 objets physiques répartis en quatre catégories larges, et testé sur trois tâches de manipulation avec un robot réel.

L'enjeu pointé par les auteurs est un angle mort connu des politiques visuomotrices actuelles: un conditionnement au niveau de la scène ne permet pas de sélectionner explicitement un objet, tandis qu'un conditionnement au niveau de la catégorie ne distingue pas deux objets similaires appartenant à la même catégorie. Pour l'industrie, cela concerne directement les cas d'usage où un robot doit saisir une référence précise au milieu de produits quasi identiques, un problème récurrent en logistique et en tri industriel. Les résultats rapportés montrent une robustesse aux objets distracteurs, une capacité de discrimination entre objets proches, et une extensibilité à de nouveaux objets sans réentraîner le modèle de segmentation de base.

Ce travail s'inscrit dans la lignée des recherches qui cherchent à coupler des modèles de segmentation générique comme SAM3 à des politiques d'action robotique, plutôt qu'à entraîner des architectures visuomotrices de bout en bout. Il reste à ce stade un article de recherche déposé sur arXiv, non encore revu par les pairs, validé en laboratoire sur un jeu de données restreint de 30 objets et trois tâches, sans annonce de déploiement industriel ni de partenaire commercial associé.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante
1arXiv cs.RO 

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante

Des chercheurs ont publié Mem-World sur arXiv (réf. 2606.18960, juin 2026), un modèle du monde multi-vues augmenté par mémoire pour la manipulation robotique. Le problème adressé est fondamental aux modèles du monde conditionnés par l'action (action-conditioned world models) : lors d'une tâche de manipulation, l'effecteur terminal occulte fréquemment la scène, et les mouvements rapides de la caméra embarquée au poignet rendent l'observation courante insuffisante pour prédire les vues futures, poussant les modèles à halluciner ou oublier des détails observés antérieurement. L'innovation centrale est W-VMem, une mémoire indicée par surfels (éléments de surface 3D) en 4D, centrée sur la vue poignet, qui ancre les observations historiques à des éléments de surface évoluant dans le temps. Cette structure permet une récupération de contexte conditionnée sur les actions futures et consciente de la géométrie de scène, via rendu et scoring basés sur les surfels. Sur les tâches de long horizon, le taux de réussite progresse de 58 % à 72 % grâce à la génération de données synthétiques, et la corrélation de Pearson entre évaluations simulées et performances réelles s'améliore de 14,5 % par rapport à Ctrl-World, le modèle de référence. Ce gain en corrélation est directement actionnable pour les équipes robotique : il indique qu'on peut davantage faire confiance aux rollouts simulés pour prédire le comportement réel d'une politique, réduisant la dépendance aux expérimentations physiques coûteuses. L'hallucination de scène était jusqu'ici un verrou majeur à l'utilisation des world models pour l'entraînement de politiques dextres ; en séparant explicitement quand et où chaque élément a été observé, W-VMem produit un contexte historique non-redondant et pertinent. Il convient toutefois de noter que les scénarios de test et les métriques d'évaluation ne sont pas détaillés dans le résumé disponible, ce qui limite l'interprétation directe des chiffres annoncés. Les world models conditionnés par l'action sont apparus d'abord en jeu vidéo et conduite autonome (DreamerV3, GAIA-1) avant d'être adaptés à la manipulation, domaine plus exigeant en raison des occlusions proches et de la dynamique de caméra embarquée. Ctrl-World est la référence directe contre laquelle Mem-World se positionne. Cette publication reste un preprint, non encore évalué par des pairs, sans partenaire industriel ni timeline de déploiement annoncé. Les suites naturelles incluent une évaluation sur des benchmarks standardisés comme RLBench et une intégration dans des pipelines de modèles Visual Language Action (VLA), où la cohérence temporelle des rollouts est un prérequis à l'entraînement à grande échelle.

RechercheOpinion
1 source
TransDex : pré-entraînement d'une politique visuo-tactile par reconstruction de nuage de points pour la manipulation dextérique d'objets transparents
2arXiv cs.RO 

TransDex : pré-entraînement d'une politique visuo-tactile par reconstruction de nuage de points pour la manipulation dextérique d'objets transparents

Des chercheurs présentent TransDex, une politique de contrôle moteur pour mains robotiques dextres capable de manipuler des objets transparents, un défi connu où la transparence provoque un bruit de profondeur sévère et une perte d'information 3D pour les capteurs optiques classiques. La méthode repose sur un pré-entraînement auto-supervisé par reconstruction de nuages de points, basé sur une architecture Transformer, qui reconstruit la structure 3D d'un objet à partir des points de contact générés par les doigts de la main robotique en interaction, même en présence de bruit aléatoire ajouté et d'un masquage à grande échelle des données d'entrée. Sur cette base pré-entraînée, TransDex ajoute un encodage perceptif hiérarchique fin et un mécanisme d'attention multi-tours qui fusionne de façon adaptative les caractéristiques du bras robotique et de la main dextre, permettant une prédiction de mouvement différenciée entre les deux systèmes. Les auteurs valident l'approche par des expériences de manipulation d'objets transparents sur un système robotique réel, où TransDex surpasse les méthodes de référence existantes, avec des analyses complémentaires portant sur la généralisation du modèle et la contribution de chaque composant. L'enjeu dépasse la simple prouesse académique: la manipulation d'objets transparents ou réfléchissants reste l'un des points faibles récurrents des politiques de manipulation dextre basées uniquement sur la vision, un problème très concret pour les intégrateurs industriels confrontés à des verres, flacons, emballages plastiques ou pièces en verre sur les lignes de production et en logistique. En s'appuyant sur le tactile en complément du visuel plutôt que sur la seule reconstruction de profondeur optique, TransDex illustre une tendance de fond dans la recherche en manipulation dextre: les fusions visuo-tactiles gagnent du terrain là où les approches purement basées vision (type VLA ou reconstruction RGB-D) échouent sur les surfaces transparentes ou spéculaires. Cela dit, il s'agit d'un résultat de laboratoire sur banc réel, pas d'un déploiement industriel: les auteurs eux-mêmes cadrent leurs résultats comme une validation de généralisation et de composants, sans indication de volumes de test, de taux de succès chiffré ni de comparaison sur objets industriels standardisés, ce qui appelle à la prudence sur la portée réelle des gains annoncés face aux baselines. Le papier s'inscrit dans la lignée des travaux combinant pré-entraînement auto-supervisé et manipulation dextre multi-doigts, un axe de recherche actif depuis l'essor des politiques visuo-tactiles pour la robotique de préhension fine, à côté d'approches comme les VLA génériques (Pi-0, GR00T N2, Helix) qui misent principalement sur la vision et le langage sans traitement dédié à la transparence. La publication, une version révisée (v2) d'un prétirage arXiv, ne mentionne pas d'acteur industriel ni de laboratoire commercial associé, ce qui la positionne comme une contribution de recherche fondamentale plutôt qu'une annonce produit; aucune timeline de transfert vers un système commercial ou un pilote industriel n'est indiquée à ce stade.

RecherchePaper
1 source
Prompt visuel pour la manipulation robotique : prise-et-dépose guidée par annotations avec ACT
3arXiv cs.RO 

Prompt visuel pour la manipulation robotique : prise-et-dépose guidée par annotations avec ACT

Un article publié sur arXiv (2508.08748v2, version révisée) décrit un pipeline de perception-action pour des tâches de préhension et de dépose en magasin de proximité, environnement marqué par une forte densité d'objets, des occlusions fréquentes et une grande variabilité de couleur, forme, taille et texture. La méthode repose sur un prompting visuel guidé par annotation : des boîtes englobantes désignent à la fois les objets saisissables et les emplacements de dépose, offrant un guidage spatial structuré au bras robotique. Plutôt qu'une planification de trajectoire classique étape par étape, les auteurs emploient Action Chunking with Transformers (ACT), un algorithme d'apprentissage par imitation qui prédit des séquences d'actions groupées à partir de démonstrations humaines. Le système est évalué sur le taux de réussite des prises et une analyse visuelle du comportement de préhension, sans que le résumé ne publie de chiffres précis. Cette approche cible un verrou concret de la manipulation en environnement non structuré : la planification classique peine face au désordre et aux occlusions typiques d'un rayon de magasin, tandis que les modèles vision-langage-action massifs restent coûteux à entraîner et à déployer. Combiner un guidage visuel léger, par simples boîtes englobantes, avec une politique d'imitation entraînée par chunks d'actions offre une alternative peu gourmande en données pour des intégrateurs visant l'automatisation du picking en retail, sans reconstruction 3D complète de la scène ni lourd transfert sim-to-real. Pour des décideurs B2B, l'intérêt reste surtout méthodologique : l'absence de métriques chiffrées dans le résumé invite à la prudence avant d'en tirer des conclusions de performance industrielle. ACT, brique centrale de l'étude, a été introduite par le projet ALOHA de Stanford pour la manipulation bimanuelle fine à partir de démonstrations téléopérées à bas coût matériel, et s'est depuis imposée comme méthode de référence en apprentissage par imitation, aux côtés d'approches plus généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. Contrairement à ces modèles fondation multi-tâches, l'étude reste circonscrite à un pipeline spécialisé pick-and-place, sans nom de robot, de fabricant ni de site de déploiement mentionné : il s'agit d'une contribution de recherche publiée en preprint, non d'un produit commercialisé ni d'un pilote industriel annoncé, et aucune date de déploiement réel n'est précisée.

RecherchePaper
1 source
FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage
4arXiv cs.RO 

FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage

Une équipe de recherche présente FRAM (Future Representation Action Model), un modèle vision-langage-action compact pour la manipulation robotique, dans une prépublication arXiv (2609.30965, fin septembre 2026). FRAM relie la trajectoire future de l'effecteur terminal à l'image courante : les coordonnées prédites servent de pointeurs spatiaux pour extraire les caractéristiques visuelles locales liées au mouvement. Les étiquettes de trajectoire sont générées automatiquement à partir des démonstrations et de la géométrie caméra, sans annotation manuelle. Avec 138,7 millions de paramètres, encodeur de langage figé compris, FRAM atteint 92,2 % de réussite moyenne sur les quatre suites LIBERO, contre 94,2 % pour Pi-0 de Physical Intelligence (3,3 milliards de paramètres, soit 24 fois plus), et 67,3 % sur LIBERO-Plus sans entraînement additionnel. Sur un robot réel à deux bras UR5e, il empile des gobelets avec les seules caméras de poignet, en choisissant et en changeant de bras selon les besoins. Ce résultat contredit l'idée reçue que la performance des modèles vision-langage-action dépend d'abord de leur taille : FRAM approche les scores de Pi-0 avec une fraction de ses paramètres, ce qui allège le calcul embarqué et facilite un déploiement sur du matériel moins coûteux, un point clé pour les intégrateurs cherchant à s'affranchir du cloud. L'étiquetage automatique des trajectoires supprime aussi une annotation manuelle coûteuse, frein habituel au passage à l'échelle des données de démonstration. Les scores sur LIBERO-Plus et la démonstration sur robot réel apportent un élément de réponse, mesuré toutefois sur un nombre restreint de tâches, à la question récurrente de l'écart entre démonstrations en laboratoire et robustesse réelle. FRAM s'inscrit dans un champ dominé par la course à l'échelle, incarnée par Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, et par des humanoïdes comme Optimus de Tesla ou Figure 03, qui misent sur des milliards de paramètres pour généraliser. Cette prépublication, dont le statut de relecture par les pairs n'est pas précisé, défend la direction inverse de politiques compactes et spécialisées. Aucun partenaire industriel ni plan de déploiement commercial n'est mentionné : les résultats restent limités à des benchmarks simulés et à un seul bras collaboratif en laboratoire. L'étape suivante logique consisterait à étendre l'approche à davantage de tâches, de robots et de configurations de caméras avant d'envisager une intégration en production.

RechercheActu
1 source