RechercheInteresting Engineering 27 août 2026

Nouvel algorithme de vision stéréo donne aux robots humanoïdes une perception de la profondeur plus humaine

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe dirigée par des chercheurs de l'Université York, à Toronto, a développé CBS (convergent binocular stéréo), un algorithme de vision stéréoscopique pour têtes robotiques dont les deux caméras convergent vers un même point plutôt que de rester parallèles, à l'image des yeux humains. Contrairement aux systèmes stéréo classiques qui ne mesurent que les disparités horizontales entre caméras parallèles, CBS exploite aussi les disparités verticales issues de la convergence, via une pyramide gaussienne à cinq niveaux, une détection de points SIFT sous contraintes épipolaires et des filtres de Gabor pour affiner la mise en correspondance des pixels. L'équipe a testé la méthode sur un nouveau jeu de données, CBS-BM : 49 scènes (tables ordinaires, motifs répétés, surfaces sans texture, objets occlus), chacune avec des images parallèles et 5 à 12 paires en fixation convergente. Sur les scènes à motifs répétés, où les méthodes classiques échouent le plus souvent, CBS réduit l'erreur de profondeur d'environ 0,8 mètre et l'erreur de disparité horizontale d'environ 100 pixels par rapport à la meilleure méthode concurrente, mais le traitement prend environ 69 secondes par scène sur un processeur AMD Ryzen 7 7700X.

Pour l'industrie robotique, l'enjeu dépasse la seule photogrammétrie : une perception de profondeur plus proche du fonctionnement binoculaire humain aiderait les humanoïdes à mieux juger les distances, estimer l'orientation des objets et naviguer en environnement encombré, des capacités utiles à la manipulation comme au déplacement. Mais l'annonce doit être relativisée : il ne s'agit ni d'un produit commercial ni d'un système temps réel, un temps de calcul de 69 secondes par scène étant incompatible avec un usage embarqué, la précision se dégradant en outre avec la distance et restant dépendante d'un calibrage caméra très précis. Les chercheurs présentent eux-mêmes CBS comme un complément, non un remplacement, des systèmes stéréo parallèles pour les applications qui n'exigent pas une vision de type humain.

La publication relève de la recherche académique plutôt que d'une annonce produit : aucun partenariat, pilote ou calendrier de commercialisation n'est mentionné. Elle s'inscrit dans une tendance du secteur des humanoïdes qui traite la perception visuelle comme un prérequis aussi critique que la manipulation ou la locomotion, avec une approche différente des modèles vision-langage-action appris de bout en bout : ici, ce sont les mouvements physiques des caméras et le traitement d'image qui coopèrent, à la manière du système oculaire humain. Les auteurs reconnaissent une large marge d'optimisation avant tout usage pratique, notamment pour réduire le temps de calcul, ce qui situe CBS comme une preuve de concept plutôt qu'une technologie prête à l'intégration.

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

Contact-UAN : réseaux d'actionneurs non supervisés comme modèle du monde résiduel pour le contrôle de robots humanoïdes

Des chercheurs présentent Contact-UAN, un « modèle du monde résiduel » qui corrige les écarts de dynamique des actionneurs entre simulation et robot réel pour les humanoïdes, décrit dans un preprint arXiv (2610.18991). L'approche conserve les a priori physiques du simulateur et n'apprend que la correction de la dynamique des actionneurs, de façon non supervisée (UAN, pour Unsupervised Actuator Network). Le modèle est entraîné sur seulement 6,5 minutes de marche enregistrée sur matériel réel, à partir de la seule proprioception embarquée. Selon les auteurs, les politiques entraînées ensuite en simulation avec ce modèle se transfèrent au robot avec 20 % de couple en moins à la course et 43 % d'erreur de suivi de force en moins. Ils annoncent aussi une compliance extrême, un contrôle d'impédance précis et des sauts dynamiques et robustes. Le preprint ne précise pas, dans son résumé, la plateforme humanoïde utilisée ni la taille des échantillons d'essais. Il s'agit de résultats de laboratoire, pas d'un produit ni d'un déploiement. Le problème visé est connu des équipes qui entraînent des politiques de locomotion par apprentissage par renforcement. Une politique apprise en simulation peut reproduire qualitativement le bon mouvement sur le robot tout en échouant sur les interactions de force : couple gaspillé, mauvaise régulation de la charge, faible robustesse aux impacts. Or les forces de contact dépendent directement des couples des actionneurs, donc des écarts de modélisation des moteurs, réducteurs et frottements. Cela compte pour les intégrateurs et les décideurs industriels, car les tâches utiles en usine ou en logistique (porter, pousser, interagir avec un environnement) exigent un contrôle des forces, pas seulement de la posture. Le fait que 6,5 minutes de données suffisent à généraliser à des tâches très différentes de la marche (sauts, impédance) suggère un coût d'adaptation faible. Ce résultat reste à confirmer sur d'autres robots, d'autres actionneurs et en dehors du banc d'essai des auteurs. Le contexte est celui d'un champ où les « actuator nets », réseaux appris pour modéliser les moteurs, sont apparus avec la locomotion quadrupède, avant d'être étendus à l'humanoïde. La randomisation de domaine, l'identification de système et les modèles résiduels concurrents répondent au même défaut, mais ne garantissent pas la cohérence des forces de contact. La contribution propre de Contact-UAN est le rejeu cohérent en contact. Si la lecture des données réelles dans le simulateur démarre avec des torseurs de contact mal alignés, le modèle apprend à corriger des artefacts de réinitialisation plutôt que les vrais écarts d'actionneurs. Pour l'éviter, il estime, à partir de la proprioception seule, la pose du pied d'appui côté simulateur. La suite logique passe par la validation sur d'autres humanoïdes, des tâches de manipulation et un code ou des données publiés. Les résultats actuels reposent sur le seul résumé du preprint, sans relecture par les pairs.

RecherchePaper

1 source

2arXiv cs.RO

PolygMap : un cadre de locomotion perceptive pour la montée d'escaliers des robots humanoïdes

Traversée d'escaliers pour robots humanoïdes: des chercheurs présentent PolyMap, un système de navigation qui construit en temps réel une carte sémantique polygonale des marches à partir de la fusion de plusieurs capteurs, LiDAR, caméra RGB-D et centrales inertielles. Le robot segmente chaque plan de marche sous forme de polygones puis calcule où poser le pied grâce à un planificateur qui exploite directement ces segments plans. L'ensemble tourne sur une carte NVIDIA Orin embarquée, avec une sortie de planification de mouvement corps entier à 20-30 Hz, une cadence suffisante pour ajuster la trajectoire du robot en marchant sans interrompre la locomotion. Les auteurs, dont les travaux sont documentés dans un article déposé sur arXiv (2510.12346, version 2, remplaçant une publication antérieure), rapportent des essais réels en intérieur et en extérieur validant la robustesse et l'efficacité de l'approche pour la montée d'escaliers. L'enjeu dépasse la simple prouesse technique: la marche humanoïde actuelle reste largement conçue pour des sols plats et prévisibles, un schéma de marche générique qui ne demande pas au robot de regarder où il pose le pied. Grimper un escalier inconnu exige au contraire une perception précise et une planification de pas en temps réel, exactement le type de tâche où les démonstrations spectaculaires en environnement contrôlé échouent souvent une fois confrontées à un terrain réel non calibré. En combinant cartographie sémantique et planification de pas sur du matériel embarqué à cadence élevée, PolyMap répond directement à ce fossé entre démonstration et déploiement, un point sensible pour tout intégrateur envisageant des humanoïdes en environnement industriel ou logistique comportant des dénivelés. Cette approche s'inscrit dans une lignée de recherche plus large sur la locomotion perceptive, qui cherche à remplacer les mouvements scriptés par une perception active de l'environnement, un axe également exploré par d'autres laboratoires académiques et industriels travaillant sur la marche humanoïde. Le papier étant une publication arXiv de recherche et non une annonce produit, aucun calendrier de commercialisation n'est communiqué; il s'agit ici d'une contribution méthodologique destinée à alimenter les futurs systèmes de contrôle plutôt que d'un déploiement commercial annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Vers un style de tennis professionnel pour robots humanoïdes grâce à une planification et un suivi de mouvement adaptatifs

Des chercheurs ont publié le 21 août 2026 sur arXiv (référence 2608.20087v1) AdaPT, un système de planification et de suivi de mouvement adaptatif qui apprend à des robots humanoïdes à servir et échanger au tennis avec un style proche de celui des joueurs professionnels, directement à partir de vidéos de retransmissions télévisées. L'architecture est hiérarchique : un planificateur génère la trajectoire cinématique stylisée, tandis qu'un module de suivi (tracker) l'exécute en interférant le moins possible avec le plan initial. Validée en simulation, l'approche a ensuite révélé un écart important entre simulation et réel sur le robot Unitree G1, la précision du suivi se dégradant à cause de la planification autorégressive et du bruit de perception ; pour corriger cela, les auteurs ont entraîné le tracker à suivre des vitesses d'exécution randomisées et conditionné le planificateur via un adaptateur de vitesse appris. Les politiques AdaPT ont ensuite été déployées sur le robot humanoïde grand format Dobot Atom (1,7 mètre), capable de servir en conditions réelles sans capture de mouvement, avec vidéos et code publiés sur le site du projet. Ce résultat illustre concrètement la possibilité de transférer un mouvement stylisé et physiquement exigeant, appris depuis de simples vidéos, vers un robot humanoïde grande taille opérant sans motion capture ni environnement contrôlé, un enjeu central pour l'industrie face au fossé habituel entre démonstrations et performance réelle. Il faut toutefois le lire comme un résultat de recherche académique et non comme un produit commercialisé : aucune annonce de volumes, de prix ni de partenariat industriel n'accompagne la publication, et les essais restent limités en nombre. La méthode elle-même dépasse le seul tennis, puisqu'elle traite un problème plus général, générer des mouvements stylistiques complexes sans sacrifier la performance de la tâche, pertinent pour toute application humanoïde exigeant dextérité et fluidité. Ce travail s'inscrit dans une vague récente de recherches sur des humanoïdes jouant à des sports de balle, un domaine où plusieurs laboratoires ont récemment montré des frappes ou services au tennis, badminton ou ping-pong, souvent via des architectures de type VLA ou du renforcement pur. AdaPT se distingue par la combinaison d'une imitation de style issue de vidéos de diffusion et d'une architecture planificateur/tracker pensée spécifiquement pour limiter la dégradation lors du transfert simulation-réel. Les tests ont porté sur deux plateformes, le Unitree G1, standard courant en recherche sur la locomotion, et le Dobot Atom, humanoïde grand format du fabricant chinois Dobot. Les auteurs n'annoncent aucun calendrier de pilote commercial, se limitant à publier code et vidéos et à souligner des enseignements algorithmiques et d'ingénierie pour de futurs systèmes humanoïdes sportifs.

RecherchePaper

1 source

4arXiv cs.RO

OA-NBV : planification de vues sensible aux occlusions pour la perception active centrée sur l'humain de robots mobiles

Des chercheurs présentent OA-NBV (Occlusion-Aware Next-Best-View Planning), un pipeline de planification de point de vue pour robots mobiles confrontés à une personne partiellement masquée par des obstacles, publié sur arXiv sous la référence 2603.11072, en version 2 remplaçant une publication antérieure. Le système évalue les points de vue candidats accessibles au robot à l'aide d'un modèle de visibilité centré sur la cible, qui intègre l'occlusion, l'échelle de la personne dans le champ visuel et la complétude de l'observation. Les auteurs rapportent un taux de réussite supérieur à 90% en simulation comme en essais réels, alors que les méthodes NBV de référence se dégradent nettement dès qu'une occlusion survient. Comparé au meilleur de ces baselines, OA-NBV augmente la surface normalisée occupée par la cible d'au moins 81% et la visibilité des points clés du corps, utilisés pour l'estimation de posture, d'au moins 58%, selon les configurations testées. L'enjeu dépasse la démonstration en laboratoire: recherche et sauvetage, triage d'urgence et intervention post-catastrophe se déroulent justement dans des environnements encombrés où la visibilité partielle dégrade la détection de personnes ou l'estimation de pose en aval. Or la plupart des méthodes NBV existantes optimisent une exploration générique ou une couverture à long horizon, sans viser l'objectif immédiat d'obtenir une seule vue exploitable d'une personne cachée sous des contraintes de mouvement réelles. En ciblant ce cas d'usage plus étroit, OA-NBV se présente comme un module de sélection de point de vue intégrable à diverses tâches de perception centrées sur l'humain sans refonte de la chaîne d'autonomie, un argument qui parle directement aux intégrateurs confrontés au même écart entre couverture générique et besoin réel de perception. Le travail s'inscrit dans la lignée des recherches sur le Next-Best-View, historiquement tournées vers l'exploration ou la reconstruction 3D générique, dont OA-NBV se démarque en ciblant la perception active centrée sur l'humain. Ses méthodes de référence sont explicitement présentées comme des approches NBV standards qui échouent dès que l'occlusion s'installe, l'écart précis que la contribution cherche à combler. Il s'agit pour l'instant d'une publication de recherche, un preprint arXiv en version 2, sans plateforme, entreprise ni calendrier de déploiement mentionnés dans le texte, son adoption dépendant d'une intégration dans des piles logicielles existantes et de validations sur d'autres morphologies de robots et des occlusions plus denses que celles testées.

RecherchePaper

1 source