RecherchearXiv cs.RO 30 juillet 2026

Speech2Grasp : transfert efficace de la détection de préhension conditionnée par le texte vers la parole chez les robots humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (référence 2607.26567v1) Speech2Grasp, un framework qui transfère vers la parole une capacité jusque-là limitée au texte : la détection de préhension (grasp detection) chez les robots humanoïdes. Le point de départ est ALBEF, un modèle vision-langage établi utilisé comme cas d'étude. Les auteurs montrent par des analyses diagnostiques qu'un simple projecteur léger, un perceptron multicouche (MLP), suffit à adapter ALBEF à des entrées vocales, en conservant sa capacité de discrimination sémantique et sa robustesse. Sur cette base, l'équipe construit Speech2Grasp, un système entraîné de façon économe en données. Testé sur un robot humanoïde réel, il surpasse un pipeline classique en cascade, où la parole est d'abord transcrite par reconnaissance vocale (ASR) puis traitée comme du texte, tout en réduisant la latence d'inférence.

Ce résultat comble un décalage fréquent dans l'interaction homme-robot : la plupart des systèmes de perception et de manipulation restent conditionnés par du texte, alors que la parole est le canal naturel pour un humain donnant des instructions. Passer par un pipeline ASR classique ajoute de la latence et propage les erreurs de transcription vers l'étape de compréhension. Pour les intégrateurs qui conçoivent des interfaces vocales pour humanoïdes, la démonstration qu'une adaptation légère et peu coûteuse en données suffit à conserver les performances d'un modèle texte est un signal pratique : elle suggère qu'il n'est pas nécessaire de réentraîner des modèles vision-langage entiers pour les rendre exploitables en environnement vocal réel.

Le travail s'inscrit dans la vague plus large des modèles vision-langage-action (VLA), à l'image de GR00T N2, Pi-0 ou Helix, qui conditionnent tous leurs actions sur des instructions en langage naturel, généralement écrites. ALBEF, lui, vient de la recherche en pré-entraînement vision-langage, hors robotique. Speech2Grasp propose ainsi un paradigme de transfert potentiellement réutilisable pour d'autres systèmes texte-conditionnés du secteur, plutôt qu'une architecture figée. Les auteurs présentent leurs résultats comme une preuve de concept ; les prochaines étapes attendues porteraient sur l'extension à d'autres tâches de manipulation et à d'autres modèles VLA.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Optimisation du transfert simulation-réel chez le robot humanoïde NICO

Une équipe de recherche a présenté une nouvelle méthode pour améliorer la préhension d'objets par le robot humanoïde NICO, en s'appuyant sur des travaux antérieurs de calibration haptique qui avaient déjà réduit les erreurs de positionnement lors de mouvements de type "reaching" en 2D. Dans cette nouvelle étude, publiée sur arXiv, les chercheurs étendent cette approche à la saisie d'objets posés sur une table. Le système combine une détection d'objets et de mains par YOLO, une localisation par vision stéréo exploitant les caméras fisheye basse résolution déjà intégrées au robot, et des corrections spécifiques à la tâche de préhension. L'ensemble forme un pipeline de calibration qui ne nécessite ni caméra RGB-D, ni capture de mouvement, ni système de tracking externe. Un modèle de feedback visuel a également été implémenté pour aligner la main du robot sur l'objet détecté juste avant la saisie. Les résultats montrent que le modèle de calibration pleinement non linéaire obtient les meilleures performances dans la zone calibrée, tandis que le modèle à feedback visuel affiche le meilleur taux de réussite global sur l'ensemble de l'espace de travail. Ce travail illustre une approche alternative au problème classique du "sim-to-real gap" en robotique humanoïde, qui empêche souvent des mouvements planifiés en simulation de réussir sur le robot physique. Plutôt que de s'appuyer sur des capteurs coûteux (RGB-D, motion capture) ou sur de grands modèles vision-langage-action entraînés sur des données massives, comme le font des systèmes tels que Pi-0 ou GR00T, cette méthode mise sur une calibration low-cost combinée à un feedback visuel léger. Pour les plateformes de recherche et d'enseignement en robotique, disposant de capteurs limités, cette piste offre une voie économique pour améliorer la fiabilité de la préhension sans investissement matériel lourd. NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche déjà utilisée dans des travaux antérieurs sur la calibration haptique du reaching. Cette publication, encore un preprint arXiv non revu par les pairs, constitue une extension directe de ces travaux vers la manipulation d'objets, et s'inscrit dans un paysage dominé par les approches basées sur l'apprentissage à grande échelle plutôt que sur la calibration classique.

UECette recherche est menée sur la plateforme humanoïde NICO développée par une équipe universitaire allemande, illustrant une contribution européenne a la robotique de manipulation low-cost.

RecherchePaper

1 source

2arXiv cs.RO

Prédiction efficace de gestes iconiques tenant compte des émotions pour les robots en co-parole

Des chercheurs ont publié sur arXiv (preprint 2604.11417) un transformer léger pour prédire le placement et l'intensité des gestes iconiques synchronisés à la parole des robots, à partir du texte et de l'émotion seuls, sans audio à l'inférence. Évalué sur le jeu de données BEAT2, référence du domaine pour la génération de gestes co-parlés, le système surpasse GPT-4o en classification du placement de gestes sémantiques et en régression d'intensité, tout en restant suffisamment compact pour un déploiement temps réel sur agents incarnés. La majorité des systèmes robotiques actuels se limitent à des gestes rythmiques (beat gestures), peu porteurs de sens. Intégrer des gestes iconiques, qui illustrent ou soulignent le contenu du discours, améliore l'engagement et la compréhension de l'interlocuteur humain. Le fait qu'un transformer spécialisé et léger surpasse GPT-4o sur cette tâche précise confirme que des architectures ciblées peuvent rivaliser avec de grands modèles généralistes en interaction homme-robot (HRI), à fraction du coût computationnel. L'absence d'audio à l'inférence simplifie également le pipeline de déploiement sur plateformes sans microphone embarqué ou soumises à des contraintes de latence strictes. La génération de gestes co-parlés est un axe actif en HRI, structuré depuis quelques années par des benchmarks communs dont BEAT2. Ce travail s'inscrit dans une tendance plus large d'allégement des modèles pour agents embarqués, des robots de service aux humanoïdes sociaux. Des plateformes comme Pepper (SoftBank) ou les projets de robotique sociale développés en Europe constituent des cibles naturelles pour ce type de module. Le preprint ne mentionne ni partenariat industriel ni validation hors laboratoire, ce qui reste à confirmer avant tout déploiement opérationnel.

UELes plateformes de robotique sociale européennes comme Pepper (SoftBank Robotics, héritière d'Aldebaran) sont citées comme cibles naturelles pour ce module, mais aucun partenariat ni validation hors laboratoire n'est confirmé.

RecherchePaper

1 source

3arXiv cs.RO

Robots humanoïdes : planification de préhension guidée par affordance sémantique via VLM

Une équipe de recherche présente SAGP (Semantic Affordance-Guided Grasp Planning), une méthode de planification de prise robotique qui combine raisonnement sémantique et géométrie pure, décrite dans un preprint arXiv (2607.29374). Le constat de départ : les planificateurs de prise classiques, purement géométriques, génèrent des prises physiquement valides (antipodales, sans collision) mais parfois absurdes du point de vue fonctionnel, comme saisir une tasse par le bord, un couteau par la lame ou une bouteille près du bouchon. SAGP fonctionne sans apprentissage supplémentaire (training-free) : le nuage de points de l'objet est d'abord découpé en zones grossières (haut, milieu, bas, côtés latéraux, protubérances) via un alignement par PCA suivi d'un clustering DBSCAN basé sur la distance, sans recourir à une segmentation apprise. Un modèle vision-langage (VLM) pré-entraîné évalue ensuite la qualité de prise de chaque zone via une requête structurée en zero-shot, et ces scores sont fusionnés avec des signaux géométriques, d'accessibilité et d'adéquation à la tâche pour reclasser les candidats de prise antipodaux. Les tests, menés sur des objets du jeu YCB en simulation PyBullet avec un bras Franka Panda, montrent que SAGP conserve le taux de réussite élevé de la planification purement géométrique tout en améliorant nettement la pertinence fonctionnelle des prises sélectionnées, notamment sur les objets asymétriques munis d'une poignée, où la géométrie seule ne suffit pas. L'intérêt pour l'industrie tient au problème ciblé : l'écart entre "prise valide" et "prise utile" est une source connue d'échecs en aval dans le pick-and-place, la logistique et la manipulation fine, même quand les métriques géométriques classiques sont satisfaites. En évitant à la fois la segmentation fine par catégorie d'objet et l'inférence directe de pose par VLM (sujette aux hallucinations spatiales), SAGP propose une voie intermédiaire potentiellement plus robuste et moins coûteuse à déployer que les approches entièrement apprises. Le travail s'inscrit dans la lignée des planificateurs de prise antipodaux classiques, qu'il cherche à augmenter plutôt qu'à remplacer, et dans la vague plus récente d'approches VLM appliquées à la manipulation. À ce stade, la validation reste limitée à la simulation ; aucune expérimentation sur robot réel n'est rapportée, ce qui laisse ouverte la question du transfert sim-to-real.

RecherchePaper

1 source

4arXiv cs.RO

Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée

Des chercheurs viennent de publier sur arXiv (référence 2607.12732v1) une nouvelle méthode baptisée SteinSQP, pour Stein Variational Sequential Quadratic Programming, destinée à la planification de mouvement robotique. Le constat de départ est simple: les planificateurs classiques ne renvoient généralement qu'une seule trajectoire, alors que le problème est par nature multimodal, avec plusieurs solutions à faible coût possibles. Les approches probabilistes existantes tentent de maintenir une distribution de mouvements plutôt qu'une trajectoire unique, mais peinent à garantir que chaque échantillon respecte les contraintes strictes propres à la robotique: évitement de collisions, limites articulaires, conditions de contact et cohérence dynamique. SteinSQP fait évoluer un ensemble de particules en interaction, à la manière des méthodes Stein variationnelles classiques, tout en intégrant directement ces contraintes dans un sous-problème de programmation quadratique séquentielle en espace noyau. Ce sous-problème contraint de type Stein-Newton est résolu via un algorithme primal-dual sans matrice explicite, optimisé pour le GPU, ce qui permet des mises à jour groupées de l'ensemble de particules. Sur cinq tâches de planification sous contraintes, la méthode produit des ensembles entièrement faisables tout en conservant des alternatives de mouvement diversifiées. L'enjeu dépasse la seule performance algorithmique. Pour les intégrateurs et les équipes de recherche en robotique, disposer de plusieurs trajectoires faisables plutôt que d'une seule change la donne pour le replanning en temps réel, la gestion des échecs d'exécution ou l'arbitrage entre plusieurs stratégies de mouvement selon le contexte. La méthode s'attaque frontalement à un écart connu du secteur: beaucoup de techniques d'échantillonnage diversifié fonctionnent bien sans contraintes, mais s'effondrent dès qu'il faut garantir la faisabilité physique de chaque particule à l'échelle du robot. Les auteurs affirment une convergence plus rapide et plus robuste, une meilleure faisabilité par particule, et un temps de résolution par lot inférieur à celui obtenu avec des bases Stein de premier ordre ou du multistart séquentiel en programmation non linéaire. Ce travail s'inscrit dans la lignée des méthodes d'inférence variationnelle de Stein (SVGD) appliquées à la planification de mouvement, un champ qui cherche à dépasser les limites des planificateurs mono-solution historiques comme CHOMP ou TrajOpt. Il s'agit ici d'une publication de recherche, sans déploiement matériel ni partenaire industriel annoncé; les auteurs comparent leur approche à des méthodes concurrentes de premier ordre et à des solveurs NLP classiques, sans préciser de calendrier vers une intégration en conditions réelles.

RecherchePaper

1 source