Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Prédiction efficace de gestes iconiques tenant compte des émotions pour les robots en co-parole
RecherchearXiv cs.RO 

Prédiction efficace de gestes iconiques tenant compte des émotions pour les robots en co-parole

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (preprint 2604.11417) un transformer léger pour prédire le placement et l'intensité des gestes iconiques synchronisés à la parole des robots, à partir du texte et de l'émotion seuls, sans audio à l'inférence. Évalué sur le jeu de données BEAT2, référence du domaine pour la génération de gestes co-parlés, le système surpasse GPT-4o en classification du placement de gestes sémantiques et en régression d'intensité, tout en restant suffisamment compact pour un déploiement temps réel sur agents incarnés.

La majorité des systèmes robotiques actuels se limitent à des gestes rythmiques (beat gestures), peu porteurs de sens. Intégrer des gestes iconiques, qui illustrent ou soulignent le contenu du discours, améliore l'engagement et la compréhension de l'interlocuteur humain. Le fait qu'un transformer spécialisé et léger surpasse GPT-4o sur cette tâche précise confirme que des architectures ciblées peuvent rivaliser avec de grands modèles généralistes en interaction homme-robot (HRI), à fraction du coût computationnel. L'absence d'audio à l'inférence simplifie également le pipeline de déploiement sur plateformes sans microphone embarqué ou soumises à des contraintes de latence strictes.

La génération de gestes co-parlés est un axe actif en HRI, structuré depuis quelques années par des benchmarks communs dont BEAT2. Ce travail s'inscrit dans une tendance plus large d'allégement des modèles pour agents embarqués, des robots de service aux humanoïdes sociaux. Des plateformes comme Pepper (SoftBank) ou les projets de robotique sociale développés en Europe constituent des cibles naturelles pour ce type de module. Le preprint ne mentionne ni partenariat industriel ni validation hors laboratoire, ce qui reste à confirmer avant tout déploiement opérationnel.

Impact France/UE

Les plateformes de robotique sociale européennes comme Pepper (SoftBank Robotics, héritière d'Aldebaran) sont citées comme cibles naturelles pour ce module, mais aucun partenariat ni validation hors laboratoire n'est confirmé.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Adaptation efficace au moment du test pour les politiques de robots
1arXiv cs.RO 

Adaptation efficace au moment du test pour les politiques de robots

Des chercheurs proposent TEMPO, une méthode d'adaptation au moment du test (test-time adaptation, TTA) pour les politiques de locomotion issues de l'apprentissage par renforcement. Le principe est d'ajuster une politique déjà entraînée pendant son exécution, de manière auto-supervisée et sans accès à la récompense. Le point de départ est une base légère qui ne met à jour que l'acteur et utilise un critique gelé comme indicateur de performance. TEMPO ajoute deux mécanismes. Un régularisateur d'entropie sur la distribution prédictive du critique limite les extrapolations trop confiantes. Une mémoire à score, inspirée du prioritized replay, retient en priorité les observations de faible valeur, jugées difficiles, et les rééchantillonne par importance pour concentrer le calcul limité sur les conditions les plus informatives. Les tests portent sur trois robots (Go1, Go2 et l'humanoïde G1) dans MuJoCo Playground, avec quatre types de décalage et plusieurs architectures. Les gains sont constants et vont jusqu'à 80 % dans un cadre mono-appareil. Une validation physique a été faite sur un Unitree Go2 muni d'une charge au mollet, avec une adaptation entièrement embarquée. Les politiques de locomotion apprises échouent souvent quand le terrain devient glissant ou accidenté, quand la charge change ou que les capteurs se dégradent. Réentraîner ou recalibrer à la main n'est guère possible sur site, et les contraintes de latence et de mémoire embarquée sont réelles. Ces travaux visent donc un manque pratique : corriger une politique sans récompense ni retour en simulation. Il faut toutefois tempérer. Le chiffre de 80 % est un maximum, et l'article ne donne ni la valeur de la charge ni le nombre d'épisodes réels. Le résultat reste un résultat de laboratoire, pas un déploiement. L'adaptation en ligne est un sujet ancien en robotique, entre randomisation de domaine, identification de système en ligne et méta-apprentissage. TEMPO s'en distingue par son coût réduit et son absence de signal de récompense. Les prochaines étapes naturelles seraient des charges plus lourdes, des terrains variés, des mesures de consommation et de latence sur matériel réel, et l'extension aux humanoïdes, que l'étude n'a validée qu'en simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail
2arXiv cs.RO 

GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail

Des chercheurs publient sur arXiv GestAdapt, un cadre de génération de gestes d'accompagnement de la parole (co-speech gestures) conditionné par l'espace de travail disponible pour les poignets du robot. L'idée de départ est que, pour une même phrase, plusieurs gestes sont plausibles. Un robot placé près d'un mur, par exemple, doit choisir un geste adapté à cette contrainte, et non produire un geste libre qu'on déformerait ensuite. Le système s'entraîne sur six corpus de gestes co-verbaux, réunis grâce à une représentation commune du mouvement, ce qui permet de retransposer les gestes vers différents robots. Dans l'étude utilisateurs, les gestes générés sous contraintes d'espace modifiées obtiennent une note moyenne de 3,24/5. La variante sans conditionnement d'espace obtient 2,43/5 et les mouvements de référence 3,68/5. Sur le robot humanoïde Reachy2, les mouvements issus de GestAdapt arrivent en tête dans 69,7 % des comparaisons. Tous les mouvements comparés sont soumis aux mêmes contraintes d'espace, y compris les mouvements humains de référence, retransposés puis contraints après coup. Le résultat touche à un point peu visible des démonstrations d'humanoïdes : la gestuelle d'un robot de service ou d'accueil se déploie dans des lieux réels, avec des comptoirs, des cloisons, des passants, et pas dans une pièce dégagée. L'étude indique que contraindre le geste pendant sa génération donne de meilleurs résultats que de corriger a posteriori une trajectoire libre, au risque d'en dégrader le naturel. Pour les intégrateurs d'humanoïdes interactifs, cela plaide pour intégrer la géométrie de l'environnement dans le modèle de génération plutôt que dans une couche de filtrage en aval. Il faut toutefois relativiser. Avec 3,24/5, le système reste nettement sous les gestes humains de référence, et l'écart avec la variante sans contrainte (0,81 point) est mesuré dans une étude utilisateurs dont la taille d'échantillon n'est pas précisée dans le résumé. Le classement sur robot ne porte que sur un seul modèle. Le choix de Reachy2 est notable pour l'écosystème européen. Ce bras-torse humanoïde est développé par Pollen Robotics, société française de la région bordelaise, et il sert de plateforme d'évaluation dans ce travail. Cela confirme sa place dans la recherche en interaction homme-robot, même si le résumé ne dit pas si l'équipe est liée à Pollen. GestAdapt s'inscrit dans la génération de gestes pilotée par la parole, qui repose surtout sur des modèles entraînés sur des données humaines, avec peu de prise en compte des limites physiques de l'espace de travail. Il s'agit d'une publication de recherche, sans produit, sans déploiement ni calendrier annoncés. Les prochaines étapes probables sont des évaluations sur d'autres morphologies et en conditions d'usage réelles, avec des contraintes d'espace plus variées.

UEReachy2, bras-torse humanoïde de la société française Pollen Robotics, sert de plateforme d'évaluation, ce qui confirme son rôle dans la recherche européenne en interaction homme-robot.

RecherchePaper
1 source
Exploration des espaces de préhension robotique tenant compte de la connectivité
3arXiv cs.RO 

Exploration des espaces de préhension robotique tenant compte de la connectivité

Des chercheurs publient sur arXiv (arXiv:2609.22983v1, prépublication non encore évaluée par les pairs) une étude sur la structure spatiale des prises robotiques réussies dans l'espace SE(3), c'est-à-dire l'ensemble à six degrés de liberté des positions et orientations possibles d'un préhenseur. Plutôt que de traiter chaque pose de saisie comme un problème binaire isolé (valide ou non), les auteurs s'intéressent à la façon dont les prises réussies s'organisent entre elles au sein de cet espace. En exploitant un jeu de données de saisie à grande échelle, ils montrent que les ensembles de prises valides forment, pour un objet donné, une structure de connectivité hétérogène mais reproductible d'un objet à l'autre. Ils introduisent ensuite une stratégie d'échantillonnage dite « connectivity-aware », qui explore de façon incrémentale l'espace de prise observé en priorisant quatre types de candidats : les ponts potentiels entre composantes déconnectées, les frontières structurelles, les extensions de bordure et la nouveauté géométrique. Dans des expériences de reconstruction contrôlées, cette méthode retrouve la topologie des ensembles de prises réussies nettement plus vite que les deux références standard du domaine, l'échantillonnage aléatoire et le farthest-point sampling. Pour l'industrie de la manipulation robotique, bin-picking, pick-and-place industriel, l'enjeu est la réduction du nombre d'essais physiques ou simulés nécessaires pour cartographier les prises viables d'un nouvel objet, un poste de coût récurrent pour les intégrateurs. Les auteurs testent aussi si la structure de connectivité apprise sous viabilité partiellement masquée accélère la découverte de nouvelles prises, et si l'expérience structurelle acquise sur des objets déjà explorés se transfère à des objets inédits, une piste pertinente pour généraliser sans réentraîner à chaque nouvelle référence produit. Il s'agit toutefois de résultats de recherche en environnement contrôlé, pas d'un système déployé en usine. Ce travail s'inscrit dans la lignée des détecteurs de prise par apprentissage et des planificateurs par échantillonnage, qui évaluent traditionnellement des poses candidates indépendamment les unes des autres sans modéliser leur organisation géométrique collective. En pointant une structure exploitable au-delà de la viabilité individuelle de chaque pose, l'étude ouvre la voie à des méthodes d'exploration sensibles à la géométrie de l'espace d'action, avec des travaux futurs attendus sur le passage à des objets réels et des scènes de manipulation plus complexes.

RecherchePaper
1 source
Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM
4arXiv cs.RO 

Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM

Des chercheurs proposent un cadre de « Risk-Aware Semantic Grounding » (ancrage sémantique sensible au risque) pour fiabiliser les robots de navigation pilotés par un grand modèle de langage (LLM), et publient sur arXiv (2609.37554v1) un banc d'essai associé, TRUST-NAV. Le problème visé est connu : lorsqu'un LLM sert de planificateur de haut niveau, ses sorties deviennent peu fiables si l'instruction est ambiguë, sans support dans l'environnement ou incohérente sur le plan sémantique. L'architecture estime donc, avant toute planification, trois risques distincts : l'ambiguïté, l'hallucination et le conflit sémantique. Selon ce score, le système choisit entre trois issues : exécuter l'instruction, demander une clarification ou la rejeter. TRUST-NAV réunit des tâches de navigation standard et des scénarios d'instructions volontairement piégées. Les résultats rapportés indiquent que les planificateurs LLM classiques performent bien sur les tâches valides, alors que le cadre proposé améliore nettement la détection d'ambiguïté et le rejet des conflits sémantiques. Le résumé ne fournit ni chiffres, ni modèles testés, ni robot réel : il s'agit d'un travail académique évalué sur benchmark, sans déploiement ni produit. L'intérêt tient au déplacement de la métrique. Jusqu'ici, la plupart des travaux sur les planificateurs LLM et les modèles vision-langage-action (VLA) optimisent la génération de plans et se jugent sur le taux de réussite des tâches. Les auteurs soutiennent qu'un robot fiable se mesure aussi à sa capacité à reconnaître qu'il ne doit pas agir. Pour un intégrateur ou un responsable d'exploitation, c'est un critère de sécurité concret : un AMR ou un humanoïde qui exécute avec assurance une consigne ambiguë ou impossible est un risque opérationnel, pas seulement une erreur de performance. L'approche est aussi modulaire, puisque le filtrage précède la planification et pourrait en principe se greffer sur des planificateurs existants. Il faut toutefois rester prudent : l'absence de chiffres publiés, l'évaluation sur un benchmark créé par les mêmes auteurs et l'écart habituel entre simulation et terrain limitent la portée des conclusions, en particulier sur le coût en fausses alertes, c'est-à-dire les refus ou demandes de clarification inutiles qui ralentissent une exploitation. Ce travail s'inscrit dans la vague des LLM employés comme planificateurs de haut niveau en navigation et en manipulation, où les hallucinations et l'ancrage dans l'environnement restent des points faibles reconnus. Les approches concurrentes reposent sur l'estimation d'incertitude, la prédiction conforme pour déclencher des demandes d'aide, ou des couches de vérification et de garde-fous, tandis que les grands modèles fondation robotiques cherchent surtout à augmenter le taux de réussite. La suite dépendra de la disponibilité de TRUST-NAV pour la communauté, de la reproduction des résultats par des tiers et d'un test sur robot physique, étape que la version 1 du préprint ne mentionne pas.

RecherchePaper
1 source