Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Optimisation du transfert simulation-réel chez le robot humanoïde NICO
RecherchearXiv cs.RO 

Optimisation du transfert simulation-réel chez le robot humanoïde NICO

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a présenté une nouvelle méthode pour améliorer la préhension d'objets par le robot humanoïde NICO, en s'appuyant sur des travaux antérieurs de calibration haptique qui avaient déjà réduit les erreurs de positionnement lors de mouvements de type "reaching" en 2D. Dans cette nouvelle étude, publiée sur arXiv, les chercheurs étendent cette approche à la saisie d'objets posés sur une table. Le système combine une détection d'objets et de mains par YOLO, une localisation par vision stéréo exploitant les caméras fisheye basse résolution déjà intégrées au robot, et des corrections spécifiques à la tâche de préhension. L'ensemble forme un pipeline de calibration qui ne nécessite ni caméra RGB-D, ni capture de mouvement, ni système de tracking externe. Un modèle de feedback visuel a également été implémenté pour aligner la main du robot sur l'objet détecté juste avant la saisie. Les résultats montrent que le modèle de calibration pleinement non linéaire obtient les meilleures performances dans la zone calibrée, tandis que le modèle à feedback visuel affiche le meilleur taux de réussite global sur l'ensemble de l'espace de travail.

Ce travail illustre une approche alternative au problème classique du "sim-to-real gap" en robotique humanoïde, qui empêche souvent des mouvements planifiés en simulation de réussir sur le robot physique. Plutôt que de s'appuyer sur des capteurs coûteux (RGB-D, motion capture) ou sur de grands modèles vision-langage-action entraînés sur des données massives, comme le font des systèmes tels que Pi-0 ou GR00T, cette méthode mise sur une calibration low-cost combinée à un feedback visuel léger. Pour les plateformes de recherche et d'enseignement en robotique, disposant de capteurs limités, cette piste offre une voie économique pour améliorer la fiabilité de la préhension sans investissement matériel lourd.

NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche déjà utilisée dans des travaux antérieurs sur la calibration haptique du reaching. Cette publication, encore un preprint arXiv non revu par les pairs, constitue une extension directe de ces travaux vers la manipulation d'objets, et s'inscrit dans un paysage dominé par les approches basées sur l'apprentissage à grande échelle plutôt que sur la calibration classique.

Impact France/UE

Cette recherche est menée sur la plateforme humanoïde NICO développée par une équipe universitaire allemande, illustrant une contribution européenne a la robotique de manipulation low-cost.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Optimisation du débit de communication adaptatif pour la téléopération XR sans fil de robots humanoïdes en transfert simulation-réel
1arXiv cs.RO 

Optimisation du débit de communication adaptatif pour la téléopération XR sans fil de robots humanoïdes en transfert simulation-réel

Une équipe publie sur arXiv (identifiant 2605.19293, mai 2026) un framework pour optimiser le taux de communication lors de la téléopération sans fil de robots humanoïdes en réalité étendue (XR). Le système enchaîne quatre modules : échantillonnage, transmission, interpolation et reconstruction des trajectoires motrices. L'objectif est de minimiser la consommation d'énergie radio tout en maintenant la précision de reconstruction, via un contrôle du taux d'échantillonnage par dimension (dimension-wise sampling-rate control). Collecter du feedback physique en temps réel étant coûteux à grande échelle, les auteurs entraînent en simulateur et corrigent le décalage sim-to-real via un algorithme PPO (proximal policy optimization) enrichi d'une pondération par ratio de densité et d'une régularisation par région de confiance (trust-region). Le tout repose sur une caractérisation théorique PAC-Bayes qui formalise les effets du biais d'encodeur, de la déviation en échantillons finis et de l'estimation du ratio de densité. Les expériences s'appuient sur un dataset public de téléopération humanoïde, testées sur différents canaux sans fil et profils de trajectoires dynamiques. La téléopération XR est aujourd'hui le principal vecteur de collecte de démonstrations humanoïdes, données indispensables à l'entraînement des politiques VLA et de diffusion. L'overhead radio des transmissions haute fréquence constitue un frein réel à la scalabilité de ces pipelines. En réduisant la consommation énergétique du lien sans fil sans dégrader la qualité des trajectoires reconstruites, ce travail adresse un problème opérationnel concret : déployer des cellules de téléopération en grand nombre dans des environnements à bande passante contrainte, entrepôts ou ateliers de production. La caractérisation PAC-Bayes représente une première formalisation théorique de l'adaptation sim-to-real appliquée spécifiquement à la couche communication, offrant aux équipes une base pour calibrer ces systèmes à l'échelle. La collecte de démonstrations est devenue l'enjeu stratégique central de la robotique humanoïde depuis 2024-2025. Physical Intelligence (pi0), Figure, Unitree et leurs concurrents investissent massivement dans des setups de téléopération, casques VR, exosquelettes et Apple Vision Pro inclus, pour alimenter leurs modèles VLA. L'adaptation sim-to-real reste un verrou ouvert que traitent aussi des équipes chez DeepMind, Stanford (Mobile ALOHA) et Carnegie Mellon. Ce papier est une contribution algorithmique et théorique sur couche communication, ni un produit ni un déploiement : les résultats sont validés sur dataset public, sans partenariat industriel annoncé. La prochaine étape logique serait une intégration dans un pipeline de collecte existant chez un fabricant d'humanoïdes, pour mesurer les gains réels en conditions opérationnelles.

RecherchePaper
1 source
H2RBench : un benchmark réel-vers-simulation pour évaluer le transfert humain-robot
2arXiv cs.RO 

H2RBench : un benchmark réel-vers-simulation pour évaluer le transfert humain-robot

Des chercheurs présentent H2RBench, un benchmark Real2Sim (réel vers simulation) destine a évaluer les méthodes de transfert humain-vers-robot (H2R), publie sur arXiv le 22 septembre 2026 sous la référence 2609.24778. Le problème vise est méthodologique: apprendre des politiques de manipulation a partir de vidéos de démonstrations humaines est une piste prometteuse pour l'apprentissage robotique a grande échelle, mais les méthodes existantes sont évaluées dans des conditions disparates, taches, scènes, objets et niveaux de supervision robotique différents, rendant toute comparaison rigoureuse impossible. H2RBench standardise ce protocole en combinant vidéos humaines réelles et démonstrations robotiques simulées sur quatre taches de manipulation aux exigences variées. Plusieurs méthodes représentatives, chacune avec sa stratégie propre pour combler l'écart d'incarnation entre humain et robot, y sont comparées. Resultat central: la performance simulée prédit fortement la performance réelle, avec une corrélation de Pearson de 0,89, une corrélation de Spearman de 0,85 et une violation de rang maximale moyenne (MMRV) de 0,06. Pour l'industrie robotique, ce travail comble un vide méthodologique: sans étalon commun, impossible de savoir quelle stratégie d'apprentissage par vidéo humaine généralisé le mieux avant un déploiement couteux sur robot réel. En montrant que le classement des méthodes en simulation reproduit fidèlement leur classement réel, H2RBench autorise une phase de sélection quasi entièrement simulée, réduisant le temps et le cout des essais physiques pour les intégrateurs. L'étude montre aussi que les méthodes ne tirent pas toutes parti également de données humaines supplémentaires: certaines scalent bien avec davantage de vidéos, d'autres plafonnent vite, une distinction directement utile pour prioriser les investissements en collecte de données. Ce travail s'inscrit dans une tendance de la recherche en robotique visant a remplacer la téléopération, lente et couteuse a collecter, par des corpus de vidéos humaines abondantes, une direction suivie par les laboratoires développant des modèles généralistes vision-langage-action. Le champ du transfert H2R restait toutefois fragmente, chaque équipe publiant ses résultats sur des bancs d'essai maison non comparables entre eux. L'article ne mentionne ni partenaire industriel ni calendrier de publication du code ou des données, ce qui en fait une contribution académique plutôt qu'un outil prêt a l'emploi pour les intégrateurs.

RecherchePaper
1 source
RoboRender : génération de vidéos orientée robot pour le transfert visuel simulation-réel
3arXiv cs.RO 

RoboRender : génération de vidéos orientée robot pour le transfert visuel simulation-réel

RoboRender, un framework décrit dans un preprint arXiv (2610.09254v1), convertit des trajectoires simulées en vidéos RGB photoréalistes afin d'entraîner des politiques robotiques déployables en zéro-shot dans le monde réel. Le cœur du système est un modèle de génération vidéo orienté robot, conditionné par trois entrées : des vidéos de profondeur issues du simulateur, des instructions en langage naturel et des vidéos de masques RGB du robot. La géométrie de la scène, les mouvements du robot et les étiquettes d'actions du simulateur restent intacts, tandis que le modèle synthétise textures, arrière-plans et objets distracteurs réalistes. Ces vidéos sont ensuite appariées aux états et actions fournis par le simulateur pour entraîner la politique. Sur des jeux de test vidéo robotiques, le modèle surpasse les références de génération conditionnée par la profondeur. En conditions réelles, sur des tâches de pick-and-place, de manipulation d'objets articulés et de manipulation mobile, les politiques entraînées sur ces données atteignent 71 % de réussite moyenne, soit environ 7,1 fois mieux que les rendus bruts du simulateur et 3,6 fois mieux que la randomisation de domaine visuelle classique. Pour les équipes qui produisent des données en simulation, ce travail attaque l'un des points de friction les plus coûteux : l'écart visuel sim-to-real. Les approches existantes passent souvent par des représentations intermédiaires (segmentations, profondeur seule), qui écartent une partie de l'information sémantique ou imposent des modules de perception supplémentaires au moment du déploiement. Ici, la politique consomme directement du RGB et aucun module additionnel n'est requis à l'inférence, ce qui simplifie la chaîne de production. Les auteurs montrent aussi que la performance croît avec le nombre de vidéos générées par trajectoire simulée : sur la tâche d'ouverture, le taux de succès gagne 65 points de pourcentage. La simulation devient ainsi un levier de multiplication des données, une trajectoire alimentant plusieurs rendus visuellement variés. Il faut toutefois rester prudent : les résultats viennent d'un preprint non évalué par les pairs, le nombre de tâches est limité, et le ratio de 7,1x s'appuie sur une base de rendu brut très faible, ce qui gonfle mécaniquement le gain relatif. Le coût de calcul de la génération vidéo à grande échelle n'est pas détaillé dans le résumé. Ce travail s'inscrit dans la recherche sur le sim-to-real visuel, historiquement dominée par la randomisation de domaine, qui varie textures et éclairages en espérant que le monde réel se retrouve dans la distribution couverte, et par les approches de traduction d'image à image de type GAN. L'arrivée de modèles vidéo génératifs de grande taille ouvre une troisième voie, où la cohérence temporelle et le conditionnement géométrique deviennent exploitables pour des trajectoires entières. Le projet dispose d'un site dédié (robo-render.github.io), mais aucune échéance de déploiement industriel ni pilote commercial n'est annoncé. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus dextres, la comparaison avec les approches de données réelles ou de modèles du monde, et la mesure du coût de génération par trajectoire, critère décisif pour les intégrateurs qui évalueraient cette brique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables
4arXiv cs.RO 

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

Des chercheurs proposent un cadre « Real-to-Sim-to-Real » (RSR), publié sur arXiv dans sa troisième version (2503.10118v3), qui vise à réduire l'écart entre simulation et monde réel lors du transfert de politiques de contrôle robotique. Sa contribution centrale est une fonction de coût d'inspiration théorique de l'information. Elle pèse deux objectifs : accomplir la tâche, et orienter la politique vers la collecte d'échantillons réels les plus informatifs possible pour améliorer le transfert. Cette fonction s'intègre dans des algorithmes d'apprentissage par renforcement existants, comme PPO ou SAC, et vise une exploration équilibrée des zones critiques du domaine réel. Le cadre a été implémenté avec la plateforme MuJoCo MJX et testé sur deux familles de tâches : de la manipulation avec un bras robotique à 6 DOF, et de la locomotion avec un robot à pattes. Les auteurs annoncent une acquisition de données plus efficace et une nette amélioration des performances en conditions réelles. Le résumé ne chiffre ni les gains ni le nombre d'essais, et ne nomme ni robots ni laboratoires. L'intérêt est de traiter le sim-to-real comme un problème de choix des données réelles à collecter, et non seulement de réglage de la simulation. Les échantillons réels coûtent cher, surtout sur des robots à pattes ou des bras industriels où chaque essai use le matériel et mobilise des opérateurs. Une politique qui cherche activement l'information manquante sur l'écart de dynamique pourrait réduire le nombre d'itérations réel-simulation nécessaires avant déploiement. Le simulateur différentiable est facultatif. Quand il existe, les données servent aussi à calibrer ses paramètres. Sinon, le cadre reste utilisable, ce qui élargit son champ d'application aux équipes sans pipeline différentiable. Il faut toutefois rester prudent : il s'agit d'un travail académique évalué sur deux plateformes, sans comparaison chiffrée visible dans le résumé, et loin d'une validation à l'échelle industrielle ou sur des tâches longues et variées. Ce travail s'inscrit dans l'effort général pour fermer l'écart sim-to-real, qui freine le passage de l'entraînement massif en simulation aux robots déployés. La randomisation de domaine, l'identification de paramètres et les simulateurs différentiables en sont les approches classiques. Le choix de MuJoCo MJX, version accélérée sur GPU via JAX, reflète la place de ces outils dans la recherche actuelle. Les grands acteurs de l'humanoïde et des modèles de fondation robotiques s'appuient eux aussi fortement sur la simulation, ce qui rend ces méthodes d'exploration guidée potentiellement pertinentes pour eux. La suite dépendra de la publication du code, de l'évaluation sur des systèmes plus complexes et de comparaisons directes avec les méthodes existantes.

RecherchePaper
1 source