Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robot semi-humanoïde NICO imite des gestes du bras par démonstration
RecherchearXiv cs.RO 

Robot semi-humanoïde NICO imite des gestes du bras par démonstration

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Le robot semi-humanoïde NICO peut désormais imiter des gestes du bras humain à partir d'une simple caméra RGB monoculaire, selon un article publié sur arXiv (2607.18197). Le système combine géométrie analytique et le modèle pré-entraîné MediaPipe pour l'estimation de pose. Pour chaque image vidéo, MediaPipe extrait les coordonnées 3D des points clés du corps humain pertinents (articulations du bras, poignets, mains). Ces coordonnées sont ensuite converties en angles articulaires via des relations géométriques dérivées mathématiquement, puis transposées vers la configuration moteur de NICO pour exécuter une séquence de mouvement prédéfinie. Les chercheurs ont testé la méthode sur plusieurs gestes du bras représentatifs avec six participants de tailles différentes, afin de vérifier la robustesse du système face à la morphologie variable des utilisateurs.

Ce travail s'inscrit dans un enjeu central de l'interaction homme-robot (HRI) : la capacité d'un robot à reproduire des gestes humains de façon fluide et naturelle, un prérequis pour des usages comme l'apprentissage par démonstration, l'assistance sociale ou la collaboration physique. L'intérêt de l'approche tient à sa simplicité matérielle: pas de capteurs de mouvement, pas de caméra de profondeur, une seule caméra RGB suffit grâce à MediaPipe. C'est un signal utile pour les intégrateurs cherchant des solutions d'imitation gestuelle à faible coût, sans dépendre de capteurs spécialisés coûteux. Les auteurs restent toutefois transparents sur les limites: les gestes complexes et les mouvements du poignet posent problème, ce qui rappelle que l'imitation gestuelle générique et robuste reste un défi ouvert, loin d'être résolu par cette seule démonstration préliminaire.

NICO est une plateforme robotique semi-humanoïde de taille enfant, utilisée en recherche pour explorer le développement cognitif et l'interaction sociale robot-humain. L'utilisation de MediaPipe, framework open source de Google pour l'estimation de pose en temps réel, s'inscrit dans une tendance plus large de recherche en robotique consistant à réutiliser des modèles de vision par ordinateur grand public plutôt qu'à développer des systèmes de perception propriétaires coûteux. Les auteurs présentent ce travail comme une étude préliminaire; les prochaines étapes attendues concerneraient l'amélioration de la précision sur les poses complexes et les mouvements fins du poignet, ainsi qu'une possible extension à l'imitation bimanuelle ou à des interactions plus dynamiques.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Générer des mains robotiques à partir de démonstrations humaines
1arXiv cs.RO 

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK). Deux catégories de designs ont été produites: une main à 6 degrés de liberté (DoF) à usage général, et des mains spécialisées à 3 DoF équipées de joints "mimic" à quadrilatère articulé (four-bar spatial). Un acteur entraîné par apprentissage par renforcement (RL) accélère la recherche morphologique, réduisant le temps de calcul de plusieurs heures à quelques minutes; les structures finales sont fabriquées en impression 3D print-in-place, en une seule pièce articulée sans assemblage. En expériences réelles, la main 6-DoF dépasse des mains robotiques commerciales non identifiées sur la précision de suivi télé-opéré, tandis que les mains 3-DoF reproduisent des trajectoires structurées avec une complexité mécanique réduite. L'apport principal est la résolution d'un verrou de fond en co-design: en imposant la même politique IK simple pendant l'optimisation et après fabrication, les auteurs découplent la recherche morphologique de l'apprentissage d'un contrôleur complexe, rendant l'exploration de l'espace de design tractable à grande échelle. Ce résultat soutient une hypothèse émergente: des données massives de mouvement humain non conçues pour la robotique peuvent informer l'optimisation de l'embodiment physique d'un robot, et pas seulement son contrôleur. La comparaison avec des mains commerciales reste difficile à évaluer, le preprint ne précisant ni les références comparées ni les conditions d'évaluation; prudence sur ce point en l'absence de benchmark standardisé. Ce travail prolonge une tendance croissante qui vise à utiliser des données humaines non seulement pour entraîner des politiques robotiques (VLA, imitation learning), mais pour co-générer le hardware lui-même. Les approches concurrentes en evolutionary robotics et en simulation différentiable existent depuis des années mais restent coûteuses en calcul ou peu généralisables; l'originalité de cette contribution réside dans la décorrélation design/contrôle et dans l'usage du RL comme heuristique de recherche morphologique efficace. À ce stade, il s'agit d'un preprint non encore peer-reviewed, sans déploiement industriel ni partenaire commercial annoncé; les suites naturelles seraient une validation sur un spectre plus large de tâches de manipulation et une comparaison rigoureuse avec des benchmarks établis. Aucun acteur européen n'est impliqué dans ces travaux.

RecherchePaper
1 source
Optimisation du transfert simulation-réel chez le robot humanoïde NICO
2arXiv cs.RO 

Optimisation du transfert simulation-réel chez le robot humanoïde NICO

Une équipe de recherche a présenté une nouvelle méthode pour améliorer la préhension d'objets par le robot humanoïde NICO, en s'appuyant sur des travaux antérieurs de calibration haptique qui avaient déjà réduit les erreurs de positionnement lors de mouvements de type "reaching" en 2D. Dans cette nouvelle étude, publiée sur arXiv, les chercheurs étendent cette approche à la saisie d'objets posés sur une table. Le système combine une détection d'objets et de mains par YOLO, une localisation par vision stéréo exploitant les caméras fisheye basse résolution déjà intégrées au robot, et des corrections spécifiques à la tâche de préhension. L'ensemble forme un pipeline de calibration qui ne nécessite ni caméra RGB-D, ni capture de mouvement, ni système de tracking externe. Un modèle de feedback visuel a également été implémenté pour aligner la main du robot sur l'objet détecté juste avant la saisie. Les résultats montrent que le modèle de calibration pleinement non linéaire obtient les meilleures performances dans la zone calibrée, tandis que le modèle à feedback visuel affiche le meilleur taux de réussite global sur l'ensemble de l'espace de travail. Ce travail illustre une approche alternative au problème classique du "sim-to-real gap" en robotique humanoïde, qui empêche souvent des mouvements planifiés en simulation de réussir sur le robot physique. Plutôt que de s'appuyer sur des capteurs coûteux (RGB-D, motion capture) ou sur de grands modèles vision-langage-action entraînés sur des données massives, comme le font des systèmes tels que Pi-0 ou GR00T, cette méthode mise sur une calibration low-cost combinée à un feedback visuel léger. Pour les plateformes de recherche et d'enseignement en robotique, disposant de capteurs limités, cette piste offre une voie économique pour améliorer la fiabilité de la préhension sans investissement matériel lourd. NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche déjà utilisée dans des travaux antérieurs sur la calibration haptique du reaching. Cette publication, encore un preprint arXiv non revu par les pairs, constitue une extension directe de ces travaux vers la manipulation d'objets, et s'inscrit dans un paysage dominé par les approches basées sur l'apprentissage à grande échelle plutôt que sur la calibration classique.

UECette recherche est menée sur la plateforme humanoïde NICO développée par une équipe universitaire allemande, illustrant une contribution européenne a la robotique de manipulation low-cost.

RecherchePaper
1 source
Manipulation robotique par imitation de vidéos générées, sans démonstrations physiques
3arXiv cs.RO 

Manipulation robotique par imitation de vidéos générées, sans démonstrations physiques

Une équipe de chercheurs a publié sur arXiv (2507.00990) un système baptisé RIGVid (Robots Imitating Generated Videos) permettant à un robot de réaliser des tâches de manipulation complexe, comme verser un liquide, essuyer une surface ou mélanger des ingrédients, en imitant uniquement des vidéos générées par IA, sans aucune démonstration physique ni données d'entraînement spécifiques au robot. Le pipeline fonctionne en trois étapes : à partir d'une commande en langage naturel et d'une image de la scène initiale, un modèle de diffusion vidéo génère des vidéos de démonstration candidates, un VLM (vision-language model) filtre automatiquement celles qui ne correspondent pas à la commande, puis un tracker de pose 6D extrait les trajectoires d'objets. Ces trajectoires sont ensuite retargetées vers le robot de manière agnostique à l'embodiment, c'est-à-dire sans nécessiter de recalibration spécifique à la morphologie du bras utilisé. L'impact est notable pour les intégrateurs et les équipes de recherche en manipulation robotique : supprimer la collecte de démonstrations physiques, étape longue et coûteuse dans les pipelines d'imitation learning, est un verrou industriel majeur. Les évaluations en conditions réelles montrent que les vidéos générées et filtrées atteignent une efficacité équivalente aux démonstrations humaines réelles, et que la performance progresse avec la qualité du modèle génératif utilisé. Le système surpasse également des alternatives plus compactes comme la prédiction de keypoints via VLM, et le tracking 6D de pose s'avère supérieur au tracking dense de points de features. Ces résultats valident expérimentalement l'hypothèse que les générateurs vidéo state-of-the-art constituent une source de supervision viable pour la manipulation robotique, au moins sur des tâches de difficulté modérée. Ce travail s'inscrit dans un champ de recherche en effervescence autour du "learning from video" sans interaction physique, en concurrence directe avec des approches comme les VLA (vision-language-action) de Physical Intelligence (pi-0), les politiques de diffusion type Diffusion Policy, ou encore l'usage de données synthétiques issues de simulateurs. L'approche RIGVid se distingue par son absence totale de données robot et son pipeline entièrement basé sur des modèles généralistes off-the-shelf. À noter que ce papier est une prépublication arXiv (v3, donc ayant déjà subi plusieurs révisions), sans validation par peer-review complet à ce stade, et que les tâches évaluées restent relativement contraintes en termes de variabilité de scène et de généralisation out-of-distribution.

RechercheOpinion
1 source
Personnalisation sans entraînement des gestes de co-parole du robot
4arXiv cs.RO 

Personnalisation sans entraînement des gestes de co-parole du robot

Des chercheurs ont publié le 15 septembre 2026 sur arXiv (2609.13876) une méthode de personnalisation sans réentraînement pour les gestes co-verbaux des robots sociaux, c'est-à-dire les mouvements du corps qui accompagnent la parole. Le système combine un modèle de diffusion audio-conditionné figé avec un encodeur de style et de légers adaptateurs de conditionnement : l'encodeur, d'abord entraîné à distinguer les identités des locuteurs, est ensuite affiné conjointement avec les adaptateurs via l'objectif de diffusion. Résultat concret, une empreinte de style réutilisable s'extrait en une seule passe à partir d'environ 10 secondes de mouvement d'enrôlement. Les auteurs publient aussi une application de capture sur casque Meta Quest 3 et un jeu de données de gestes co-verbaux spontanés recueillis auprès de dix participants. Sur des locuteurs jamais vus à l'entraînement, la précision de reconnaissance de style (SRA) passe de 27,6 % avec le modèle figé de base à 69,5 % avec la méthode proposée, tandis que la qualité du mouvement reste stable (distance de Fréchet des gestes, FGD, de 34,2 contre 34,8). Remplacer l'empreinte d'enrôlement par celle d'une autre personne fait chuter la SRA à 11,4 %, confirmant que le gain provient bien d'une capture réelle du style individuel. Les gestes générés ont ensuite été retransférés sur un robot NAO physique et testés avec cinq voix de synthèse vocale différentes, conservant 67,3 % de SRA en conditions de déploiement. L'enjeu pour l'industrie des robots sociaux est le coût de la personnalisation à l'échelle : jusqu'ici, adapter le style gestuel d'un robot à chaque nouvel utilisateur supposait généralement un réentraînement dédié, impraticable pour un déploiement en retail, accueil ou domicile où les interlocuteurs changent en permanence. Une personnalisation opérationnelle en 10 secondes et sans mise à jour de poids change cette équation économique et rend plus réaliste à court terme l'idée d'un robot qui adapte son style gestuel à chaque utilisateur. Le contrôle par empreinte substituée est méthodologiquement important : il écarte l'hypothèse que l'amélioration ne soit qu'un artefact de bruit du modèle plutôt qu'une vraie capture d'identité. La démonstration sur un robot NAO réel, et pas seulement en simulation ou en rendu d'avatar virtuel, réduit l'écart habituel entre démonstration académique et faisabilité physique, même si le NAO reste une plateforme modeste, peu représentative des humanoïdes bipèdes plus ambitieux du marché. Les auteurs restent transparents sur l'échelle limitée de leur validation, dix participants et un jeu de données propriétaire, ce qui appelle confirmation sur des cohortes plus larges. Ce travail s'inscrit dans la lignée des modèles de diffusion conditionnés par l'audio pour la génération de gestes, une piste déjà explorée pour l'animation d'avatars virtuels et de robots sociaux, où la personnalisation par locuteur restait jusqu'ici coûteuse en calcul et en données. L'approche par adaptateurs légers greffés sur un prior gelé rappelle les techniques d'adaptation paramétrique légère utilisées en génération d'image et de texte, transposées ici au mouvement robotique. Aucune entreprise commerciale n'est associée à cette publication, purement académique, mais les auteurs facilitent la reproductibilité en diffusant leur application de capture Quest 3 et leur jeu de données. Les suites évoquées sont l'extension à un plus grand nombre de locuteurs et à d'autres plateformes robotiques, avec un potentiel d'intégration dans des robots sociaux commerciaux comme Pepper ou Furhat, où la personnalisation de l'interaction constitue un argument de différenciation face à des offres encore largement scriptées.

RecherchePaper
1 source