Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers une cognition incarnée chez les robots grâce à des mondes synthétiques ancrés dans l'espace
RecherchearXiv cs.RO 

Vers une cognition incarnée chez les robots grâce à des mondes synthétiques ancrés dans l'espace

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Résumé traduit en français, à publier :

Une équipe de recherche présente un cadre conceptuel destiné à entraîner des modèles vision-langage (VLM) à réaliser de la prise de perspective visuelle, une capacité jugée essentielle à la cognition incarnée dans l'interaction homme-robot. Pour amorcer ce travail, les auteurs publient un jeu de données synthétique généré dans NVIDIA Omniverse, conçu pour l'apprentissage supervisé de tâches de raisonnement spatial. Chaque exemple associe une image RGB, une description en langage naturel et une matrice de transformation 4x4 servant de vérité terrain pour la pose d'un objet. La première étape se limite à l'inférence de la distance sur l'axe Z ; les auteurs annoncent vouloir étendre l'approche à un raisonnement complet sur les 6 degrés de liberté (DOF) dans de futurs travaux. Le jeu de données est mis à disposition publiquement pour la communauté de recherche.

La prise de perspective visuelle est une brique jugée fondamentale pour qu'un robot comprenne non pas seulement ce que voit sa propre caméra, mais ce qu'un humain perçoit depuis son propre point de vue, une condition posée comme nécessaire à une interaction homme-robot naturelle. Le choix de générer les données dans un simulateur plutôt que de les collecter en conditions réelles répond à un problème classique du secteur : produire des annotations 3D précises (pose exacte d'un objet) est coûteux et peu fiable dans le monde réel, alors qu'un environnement synthétique comme Omniverse fournit une vérité terrain exacte par construction. Ce travail illustre aussi une limite persistante des VLM génériques actuels, plutôt performants en reconnaissance sémantique 2D mais fragiles dès qu'il s'agit de raisonnement spatial 3D précis, une distinction que les auteurs eux-mêmes reconnaissent en limitant leur preuve de concept au seul axe Z plutôt qu'aux 6 DOF complets. Il s'agit donc d'un jalon de recherche exploratoire, pas d'un système prêt à être intégré par des équipes robotique en production.

Ce travail s'inscrit dans une tendance de fond où les plateformes de simulation comme NVIDIA Omniverse et Isaac Sim deviennent des outils centraux de génération de données pour la robotique incarnée, dans un paysage où d'autres laboratoires (Physical Intelligence avec Pi-0, NVIDIA avec GR00T, Figure avec Helix) développent en parallèle des modèles vision-langage-action visant à doter les robots humanoïdes d'un raisonnement spatial et manipulatoire directement exploitable. La suite annoncée par les auteurs consiste à faire passer leur approche de l'estimation d'une simple distance à un raisonnement complet sur les 6 degrés de liberté d'une pose d'objet, une extension nécessaire avant d'envisager une application concrète en interaction homme-robot.

Dans nos dossiers

IA physique & VLANVIDIA GR00TNVIDIA Isaac & CosmosPhysical Intelligence — π0

À lire aussi

Collaboration hétérogène entre robots dans des environnements non structurés grâce à l'IA générative ancrée
1arXiv cs.RO 

Collaboration hétérogène entre robots dans des environnements non structurés grâce à l'IA générative ancrée

Les chercheurs a l'origine de SPINE-HT ont publie une version mise a jour de leur article sur arXiv (référence 2510.26915v2) présentant un framework de collaboration pour des équipes de robots hétérogènes évoluant dans des environnements non structures. Le système s'appuie sur des grands modèles de langage (LLM) et des modèles vision-langage (VLM) pour déduire les sous-taches nécessaires a partir d'une spécification de mission formulée en langage naturel et du contexte de l'environnement. Le processus se déroule en trois étapes: un LLM infère d'abord les sous-taches requises a partir de la mission et des capacités déclarées de l'équipe, ces sous-taches sont ensuite validées pour vérifier leur faisabilité avant d'être assignées aux robots selon des critères comme la franchissabilite du terrain ou les capacités de perception, puis le framework les met a jour en continu grâce aux retours collectes sur le terrain (cartes sémantiques, résultats des taches). En simulation, avec perception et contrôle en boucle fermée, SPINE-HT obtient un taux de réussite près de deux fois supérieur aux approches antérieures de teaming hétérogène basées sur des LLM. En conditions réelles, l'équipe a teste le système sur une flotte composée d'un robot a roues Clearpath Jackal, d'un robot a roues Clearpath Husky, du quadrupède Spot de Boston Dynamics et d'un drone volant a haute altitude, atteignant un taux de réussite de 87,5% sur des missions exigeant un raisonnement sur les capacités de chaque robot et un ajustement des sous-taches via retour d'information en ligne. Ce résultat s'attaque directement a une limite récurrente des méthodes de teaming multi-robots pilotées par LLM: la plupart supposent des environnements bien structures et connus a l'avance, ce qui dégradé leurs performances des que le terrain devient incertain ou changeant. Pour les intégrateurs travaillant sur des flottes mixtes (drones, robots a roues, robots a pattes) destinées a l'inspection, la recherche et sauvetage ou la surveillance de sites industriels, la démonstration montre qu'une spécification de mission en langage naturel peut remplacer une bonne partie de l'ingénierie manuelle de taches, a condition que le système puisse vérifier la faisabilité et se corriger en temps réel plutôt que de suivre un plan fige. Il s'agit toutefois d'un prototype de recherche, teste sur un nombre limite de plateformes et de scenarios de mission, et non d'un produit commercialise ni d'un déploiement opérationnel a grande échelle. Aucune entreprise ni financement n'est mentionne dans l'article; les auteurs renvoient vers un site dédié au projet pour plus de détails. La progression par rapport aux méthodes antérieures de teaming hétérogène base sur LLM situe ce travail dans un courant de recherche actif visant a ancrer le raisonnement des modèles génératifs dans le contexte physique et évolutif de robots réels, plutôt que dans des simulations idéalisées.

RecherchePaper
1 source
Les VLM sont des modèles d'action natifs : libérer leurs capacités de manipulation grâce à un ancrage explicite dans l'espace d'action
2arXiv cs.RO 

Les VLM sont des modèles d'action natifs : libérer leurs capacités de manipulation grâce à un ancrage explicite dans l'espace d'action

Des chercheurs proposent EASG (Explicit Action-Space Grounding), un cadre publié sur arXiv (2610.12832) qui permet à des modèles vision-langage (VLM) préentraînés de piloter directement un bras robotique, sans préentraînement sur des données d'actions robot ni module d'action supplémentaire. Le principe consiste à projeter dans l'image de la caméra de poignet un repère d'action centré sur le point central de l'outil (TCP), puis à faire exprimer les actions par le VLM sous forme de texte, via son interface de génération native. La sémantique de l'espace d'action continu devient ainsi visible dans le contexte perceptif du modèle. Les auteurs revendiquent de la manipulation zéro-shot, une généralisation à différentes positions d'objets, catégories d'objets et morphologies de robots, ainsi qu'un affinage possible sur des trajectoires robot dans ce même espace d'action continu. Le résumé ne fournit ni taux de réussite, ni modèles testés, ni nombre de tâches, ce qui empêche pour l'instant de juger l'ampleur réelle des gains. L'enjeu est de lever un compromis qui structure le secteur. Les modèles vision-langage-action (VLA) offrent une politique unifiée et entraînable, mais exigent des jetons d'action appris, des têtes d'action ou des « experts d'action » dont la signification doit être acquise par un préentraînement coûteux sur des données robot. À l'inverse, les approches modulaires fondées sur des modèles de fondation exploitent les capacités des VLM en zéro-shot, mais s'appuient sur des couches externes de planification et de contrôle, non entraînables de bout en bout. Si EASG tient ses promesses, un VLM généraliste pourrait servir de politique de manipulation sans corpus robot massif, ce qui réduirait la barrière d'entrée pour les laboratoires et les intégrateurs. Le fait que la même interface supporte l'affinage suggère aussi une trajectoire d'amélioration continue plutôt qu'un plafond fixé par le zéro-shot. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, et les benchmarks, la fréquence de contrôle (la génération de texte est lente comparée à une tête d'action) et la robustesse hors laboratoire restent à démontrer. Ce travail s'inscrit dans le débat entre politiques VLA de bout en bout, comme Pi-0, Helix ou GR00T, et pipelines modulaires pilotés par des VLM. Les premiers ont montré leur efficacité, mais au prix d'importants volumes de données de téléopération et de préentraînement spécifiques à chaque embodiment. EASG cherche à conserver les atouts des deux familles en rendant l'espace d'action lisible par le modèle lui-même, plutôt qu'en apprenant une représentation d'action nouvelle. Les prochaines étapes à surveiller sont la publication du code et des résultats détaillés, les comparaisons directes avec des VLA préentraînés sur des données robot, ainsi que des tests sur matériel varié et en conditions de production, seuls capables de dire si l'approche dépasse le stade de la démonstration académique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Les robots apprennent à se relever après des chutes dans les escaliers grâce à un système de stabilisation intelligent
3Interesting Engineering 

Les robots apprennent à se relever après des chutes dans les escaliers grâce à un système de stabilisation intelligent

Des chercheurs du ROAR Laboratory (Robotics and Automation Research) de l'Université de Technologie et de Design de Singapour (SUTD) ont publié une étude sur la mitigation des chutes de robots en escalier, présentant un système basé sur l'apprentissage par renforcement couplé à un bras mécanique à trois degrés de liberté (3 DOF). Le dispositif est monté à l'arrière d'une plateforme mobile à chenilles et intervient activement pendant la chute, au lieu de se limiter à la prévention. Entraîné entièrement en simulation sur cinq modes de chute répertoriés (chute arrière droite, pivotements latéraux, effondrements de côté), le contrôleur atteint un taux de succès moyen de 69,4 % pour stopper et stabiliser le robot, contre 38,6 % pour une méthode de contrôle codée à la main. Lorsqu'il réussit, le système stabilise la plateforme en 4,25 secondes en moyenne, bien en deçà du seuil interne fixé à 10 secondes. Testé sur des robots 10 % plus grands ou plus petits et sur des escaliers aux dimensions variables, le meilleur contrôleur atteint 87 % de succès sur une plateforme plus grande. Le résultat le plus significatif n'est pas le taux de succès en lui-même mais le changement de paradigme qu'il représente : le secteur s'est longtemps concentré sur la prévention des chutes via la planification de trajectoire et la détection d'obstacles, en présupposant que le risque résiduel était marginal. Une étude de terrain sur plusieurs années citée par l'équipe indique pourtant que les robots conçus pour les escaliers tombent au moins 35 fois plus souvent sur ce type de surface qu'en terrain plat. Le professeur Mohan Rajesh Elara, directeur du ROAR Lab, formule l'enjeu en termes d'adoption industrielle : tant que les opérateurs ne disposent pas d'une réponse crédible au risque résiduel, ces plateformes resteront perçues comme une source de responsabilité plutôt que comme un outil. Le fait que le contrôleur généralise à des géométries non vues pendant l'entraînement est également notable pour les intégrateurs : il suggère qu'un seul modèle pourrait couvrir une flotte hétérogène sans réentraînement par plateforme. Le système n'est pas prêt pour un déploiement commercial : les chercheurs reconnaissent explicitement qu'il ne satisfait pas la norme de sécurité fonctionnelle IEC 61508, qui impose des niveaux d'intégrité stricts pour les systèmes embarqués en environnement humain. Les prochaines étapes portent sur l'amélioration de la fiabilité, l'ajout de sécurités mécaniques redondantes et la validation expérimentale hors simulation. Dans le paysage concurrentiel, Boston Dynamics (Spot, Atlas), Agility Robotics (Digit) et les acteurs humanoïdes (Figure AI, 1X, Unitree) investissent massivement dans la stabilité dynamique, mais peu publient des données quantifiées sur la récupération post-chute. Ce travail de la SUTD se positionne davantage comme recherche fondamentale que comme annonce produit, mais il fournit une baseline méthodologique utile pour comparer les approches à venir.

UEAucun acteur européen impliqué, mais la référence explicite à la norme IEC 61508 (certification fonctionnelle européenne) positionne ce travail comme une étape préliminaire obligatoire avant tout déploiement commercial en UE de robots mobiles en environnement humain.

RecherchePaper
1 source
Vers une navigation créative de trajectoires : la navigation des robots par l'interaction incarnée
4arXiv cs.RO 

Vers une navigation créative de trajectoires : la navigation des robots par l'interaction incarnée

Des chercheurs proposent la « Path-Creative Navigation » (PCN), un paradigme où le robot ne se contente pas de chercher un chemin dans l'espace libre existant, mais le crée en coordonnant locomotion et interaction physique avec son environnement. Le travail, publié sur arXiv (2610.11072), part d'un constat simple : une route peut être obstruée par une structure articulée (une porte, par exemple), un objet déplaçable ou un piéton, et atteindre le but exige alors d'agir sur l'obstacle. Les auteurs traitent une classe de tâches PCN avec un cadre sans carte préalable (mapless) qui fusionne vision, LiDAR et odométrie. Ce système unifié combine observations locales, géométrie des obstacles et estimation de l'état du robot pour fournir une information sémantique et géométrique stable à la navigation comme à l'interaction. Une méthode de décision sensible à la traversabilité exploite les distances visuelles et LiDAR pour déterminer si un blocage est « actionnable » et s'il peut être contourné en sécurité. Le robot ne interagit ainsi que lorsque c'est nécessaire. Quatre comportements sont couverts : pousser une structure articulée, pousser un objet mobile, éviter un obstacle et solliciter un piéton. L'évaluation combine des scénarios de simulation conçus pour l'occasion et deux tâches réelles qu'une navigation conventionnelle ne peut pas accomplir sans interaction. Le résumé ne précise ni la plateforme robotique, ni les taux de réussite chiffrés, ni les méthodes de référence comparées. L'enjeu est pratique pour tout déploiement en environnement non structuré : bureaux, hôpitaux, entrepôts ou sites logistiques. La plupart des piles de navigation autonome (AMR, robots de service) traitent l'environnement comme figé et déclarent l'échec, ou attendent, dès qu'une porte semi-ouverte, un chariot ou une personne bloque le passage. Intégrer la décision « dois-je agir sur cet obstacle ? » dans la boucle de navigation vise à réduire ces blocages, qui pèsent sur la disponibilité réelle des flottes. L'approche sans carte est aussi un atout pour les intégrateurs, car elle limite la dépendance à une cartographie préalable qui vieillit vite dans des lieux changeants. Les résultats restent toutefois à prendre avec prudence : le résumé annonce un « taux de complétion supérieur » aux références sans donner de chiffres, la validation réelle se limite à deux tâches, et le code est publié sur un dépôt anonymisé, signe d'une soumission en relecture. Rien n'indique encore une robustesse sur de longues durées ni sur des morphologies variées. Ce travail s'inscrit dans le rapprochement entre navigation et manipulation mobile, longtemps traitées séparément. Les travaux de « navigation parmi des obstacles déplaçables » (NAMO) existent depuis des années, mais reposaient souvent sur des cartes complètes et une planification coûteuse. La vague actuelle de modèles vision-langage-action et de robots humanoïdes ou quadrupèdes à locomotion robuste rend l'interaction opportuniste plus accessible, ce qui rapproche cette recherche des ambitions de plateformes généralistes comme Figure, Tesla Optimus ou Agility. La suite logique serait une validation sur davantage de scénarios et de plateformes, des comparaisons chiffrées publiées, puis une intégration à des politiques apprises plus générales. Pour l'instant, il s'agit d'une contribution académique en prépublication, sans pilote industriel annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source