RecherchearXiv cs.RO 17 juillet 2026

Hallucinations dans les affordances : vers une compréhension globale à 360° des environnements intérieurs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Voici la traduction/résumé demandé.

PanoAffordanceNet cible une lacune précise de la perception robotique : la détection d'affordances (les zones d'une scène où une action est possible, comme s'asseoir ou saisir) reste aujourd'hui limitée aux vues perspective classiques et centrée sur des objets isolés. Une équipe de recherche propose donc une nouvelle tâche, l'ancrage holistique d'affordances en environnements intérieurs à 360 degrés, et un framework dédié pour la traiter. Le système combine deux modules techniques : un Distortion-Aware Spectral Modulator (DASM), qui corrige les déformations géométriques propres à la projection équirectangulaire selon la latitude, et une Omni-Spherical Densification Head (OSDH), chargée de restaurer la continuité topologique à partir d'activations éparses. L'entraînement s'appuie sur des contraintes multi-niveaux (pixel, distribution, contraste région-texte) pour limiter la dérive sémantique en contexte de faible supervision. Les auteurs publient également 360-AGD, présenté comme le premier jeu de données de haute qualité pour l'ancrage d'affordances panoramiques, ainsi que le code source, promis en accès libre sur GitHub.

Pour les agents robotiques embarqués, la perception à 360 degrés est un prérequis pour naviguer et interagir dans des environnements réels sans multiplier les capteurs ou les prises de vue successives. Les méthodes d'affordance actuelles, conçues pour des images perspective standard, échouent face aux distorsions extrêmes des projections omnidirectionnelles, ce qui limite leur usage en navigation autonome ou en manipulation mobile. En démontrant des gains significatifs par rapport aux approches existantes, ce travail pose une référence pour la perception au niveau de la scène entière, plutôt qu'objet par objet, un enjeu clé pour les systèmes d'intelligence embarquée devant raisonner sur un espace complet plutôt que sur des fragments de champ visuel.

Ce travail s'inscrit dans une double lignée de recherche : d'une part la vision omnidirectionnelle, qui peine historiquement avec la dispersion sémantique et l'alignement multi-échelle propres aux images équirectangulaires ; d'autre part l'affordance grounding, jusqu'ici cantonné aux benchmarks perspective centrés objet. En les combinant, les auteurs positionnent PanoAffordanceNet comme un jalon plutôt qu'un produit fini : il s'agit d'une publication de recherche (arXiv, version 2, catégorie replace-cross) sans déploiement industriel annoncé. La mise à disposition prévue du dataset 360-AGD et du code sur GitHub devrait permettre à la communauté de reproduire et d'étendre ces résultats, notamment vers des applications robotiques concrètes en navigation et manipulation dans des scènes complexes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Thor : vers des réactions corporelles globales de niveau humain dans des environnements intenses à fort contact

Des chercheurs présentent Thor, un framework de contrôle par apprentissage par renforcement permettant aux robots humanoïdes de maintenir leur stabilité corps entier lors d'interactions physiques intenses avec leur environnement. Le système a été déployé sur la plateforme Unitree G1 et repose sur deux innovations : une fonction de récompense dite "force-adaptive torso-tilt" (FAT2), qui incline le buste du robot pour reproduire une réaction humaine naturelle face à un effort de traction, et une architecture qui découple le contrôle du haut du corps, de la taille et du bas du corps tout en partageant les observations globales entre ces trois modules. Les résultats chiffrés sont significatifs : le G1 atteint un pic de force de traction de 167,7 N en reculant, soit environ 48 % de son propre poids, et 145,5 N en avançant, des progressions respectives de 68,9 % et 74,7 % par rapport à la meilleure méthode de référence testée. Le robot est également capable de tirer un chariot chargé de 130 N et d'ouvrir une porte coupe-feu à une main en exerçant 60 N. Ce travail s'attaque à un angle mort persistant de la robotique humanoïde : la plupart des démonstrations publiques montrent de la marche, de l'équilibre ou de la manipulation légère d'objets, rarement des interactions à force soutenue comme tirer un objet lourd ou pousser contre une résistance. Or ces gestes sont précisément ceux attendus dans les usages industriels, logistiques ou de secours visés par les intégrateurs. En démontrant qu'une architecture de contrôle découplée permet de gérer la haute dimensionnalité du corps humanoïde sans perdre la coordination globale, Thor apporte un élément de réponse concret au problème du contrôle force-adaptatif, souvent relégué au second plan derrière la locomotion pure. Il s'agit d'une publication de recherche arXiv (version révisée), sans annonce commerciale ni communiqué d'entreprise associé : aucun calendrier de déploiement produit n'est évoqué. Le choix du Unitree G1, plateforme chinoise à bas coût largement utilisée dans la recherche académique en robotique humanoïde, en fait un banc d'essai représentatif plutôt qu'un produit fini. Les comparaisons sont faites face à des baselines de contrôle RL existantes, sans mention d'acteurs français ou européens dans ce travail.

RecherchePaper

1 source

2arXiv cs.RO

Intégration de contraintes environnementales dans la préhension de matériaux flexibles type papier avec une pince souple

Une équipe de chercheurs a publié sur arXiv (référence 2605.11714) une étude systématique consacrée à la préhension robotique de matériaux flexibles de type papier, feuilles, documents, cartons fins, à l'aide d'un préhenseur souple universel. L'approche centrale consiste à exploiter les contraintes environnementales du poste de travail (surfaces planes, arêtes de table, bords d'obstacle) comme appuis passifs pour faciliter la saisie, plutôt que de compter uniquement sur les capacités intrinsèques du gripper. Les chercheurs ont défini un ensemble de primitives de manipulation, formalisé leurs modèles mécaniques et cinématiques, puis mis en place un banc d'évaluation mesurant force de préhension et taux de succès sur différents matériaux et conditions opérationnelles. Les résultats caractérisent les espaces de travail spécifiques et les conditions de validité de chaque stratégie, avec pour cible déclarée les robots de service à domicile devant manipuler des objets plats et flexibles. L'article ne fournit pas de chiffres absolus de taux de succès dans le résumé disponible, ce qui limite l'évaluation externe des performances revendiquées. Le verrou technique adressé est réel : les matériaux de type papier se distinguent des textiles par une sensibilité élevée aux contraintes de compression, et de faibles variations de grammage ou d'humidité peuvent faire échouer une prise. Les approches classiques par aspiration (ventouse) ou par pincement rigide échouent sur des géométries planes et déformables. L'exploitation des contraintes environnementales, approche connue sous le nom d'extrinsic dexterity en manipulation robotique, permet de compenser les limitations d'un gripper à degrés de liberté réduits, ce qui est directement pertinent pour les intégrateurs cherchant des solutions à faible coût mécanique. Si les résultats se confirment sur un spectre matériaux large, cela ouvre une voie pour automatiser des tâches de manutention documentaire ou d'emballage léger sans recourir à des effecteurs complexes. Le domaine de la manipulation d'objets déformables (Deformable Object Manipulation, DOM) est en pleine expansion, porté par des groupes comme le Stanford IRIS Lab, le MIT CSAIL ou le DLR, qui travaillent principalement sur les textiles. Les matériaux plans de type papier restent comparativement sous-étudiés malgré leur omniprésence en logistique et en bureautique. Les préhenseurs souples universels, notamment ceux à actionnement pneumatique ou par câbles, sont au coeur des développements de plusieurs startups (Soft Robotics, acquise par Applied Robotics, ou Festo Bionic) et des bras collaboratifs grand public. La prochaine étape naturelle serait une validation sur robot mobile de service en environnement non structuré, condition nécessaire pour passer de la démonstration académique à un déploiement industriel ou domestique crédible.

RecherchePaper

1 source

3arXiv cs.RO

AFUN : vers un modèle fondation d'affordances pour la compréhension fonctionnelle

Une équipe de recherche a publié le 2 juin 2026 sur arXiv (réf. 2606.02551) un modèle baptisé AFUN, conçu pour la compréhension fonctionnelle des affordances en robotique. À partir d'une unique observation RGB-D et d'une instruction en langage naturel, AFUN produit simultanément deux sorties : un masque fonctionnel conditionné par la tâche (où interagir) et une courbe de mouvement 3D post-contact (comment interagir). Les auteurs ont construit un pipeline de données standardisé à grande échelle, fusionnant des sources hétérogènes : données robotiques, humaines, issues de simulations et de scans réels, converties en un schéma d'affordance commun incluant des labels de langue, des masques et des mouvements 3D centrés sur les objets. Sur 8 jeux de test issus de 4 benchmarks, AFUN surpasse tous les modèles de référence avec un gain de +23,9 / +26,3 en gIoU/cIoU moyen pour la segmentation d'affordances, une amélioration du hit-rate de 12,7 à 61,3 % pour la prédiction du point de contact, et les meilleures performances sur les trois jeux de test pour la prédiction de mouvement 3D. L'enjeu dépasse la performance brute. Le verrou historique en manipulation robotique n'est pas le bras mais la décision : savoir où poser la pince et comment la déplacer ensuite dans un environnement non structuré. Les approches existantes traitent ces deux problèmes séparément, soit en localisant une région d'intérêt sans spécifier le geste, soit en prédisant un mouvement avec une généralisation limitée. AFUN adresse les deux en une seule passe, et surtout le fait sans finetuning spécifique à l'embodiment cible, ce qui constitue un argument fort pour des intégrateurs cherchant à déployer sur plusieurs plateformes matérielles. Le déploiement zero-shot en environnement réel démontré dans le papier soulage une contrainte d'adaptation qui représente souvent plusieurs semaines d'ingénierie. Le problème de l'affordance est étudié depuis les années 1980 (Gibson), mais sa formalisation computationnelle pour la robotique reste un chantier ouvert. Dans l'écosystème actuel, des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) intègrent des capacités d'affordance dans des pipelines VLA (Vision-Language-Action) plus larges, tandis que des travaux académiques comme AnyGrasp ou UniDexGrasp 3.0 ciblent la préhension spécifiquement. AFUN se positionne comme fondation explicable et modulaire, avec une page projet publique, mais reste à ce stade un preprint non encore évalué par les pairs : les métriques annoncées devront être validées sur des plateformes robotiques variées et en conditions industrielles avant de conclure à une percée opérationnelle.

UELes équipes R&D et intégrateurs européens travaillant sur des déploiements multi-plateformes pourraient bénéficier de la capacité zero-shot d'AFUN, mais aucun acteur français ou européen n'est impliqué.

RechercheOpinion

1 source

4arXiv cs.RO

Imaginer puis vérifier : perception active ciblée sur les affordances pour la préhension orientée tâche en environnement encombré

Des chercheurs présentent ATAP (Affordance-Targeted Active Perception), un nouveau framework de perception active pour la préhension orientée tâche (task-oriented grasping, TOG) en scènes encombrées, détaillé dans un article arXiv (2609.23504v1) publié en septembre 2026. Le problème visé : un robot doit saisir la partie fonctionnelle d'un objet, par exemple l'anse d'une tasse pour verser plutôt que le corps de la tasse, mais cette zone d'affordance est souvent cachée par d'autres objets. Les méthodes existantes de planification de prochaine meilleure vue (next-best-view, NBV) optimisent le point de vue pour saisir l'objet dans son ensemble, sans distinguer la partie utile, ou scannent exhaustivement l'objet avant de prédire l'affordance, ce qui gaspille le budget de vues sur des surfaces non pertinentes. ATAP procède différemment : il hypothétise la géométrie occluse via un prior de forme génératif, prédit la distribution d'affordance sur cette surface imaginée, puis pilote la caméra avec un planificateur tenant compte de l'incertitude, qui arbitre entre réduction d'entropie sur les hypothèses concurrentes et gain de vérification par observation réelle, jusqu'à validation suffisante pour l'exécution de la prise. En simulation comme sur des scènes réelles encombrées, ATAP améliore sensiblement le taux de succès de préhension fonctionnelle par rapport à des baselines TOG à vue fixe, et réduit de plus de 57% le nombre d'étapes NBV nécessaires comparé aux approches de perception active basées sur la reconstruction complète de l'objet. Pour l'industrie robotique, ce travail attaque un goulot d'étranglement concret du bin picking et de la manipulation en environnement non structuré : l'occlusion partielle qui rend la localisation des zones de prise fonctionnelle ambiguë. En montrant qu'une vérification ciblée de l'affordance bat une reconstruction exhaustive, ATAP remet en cause l'hypothèse répandue selon laquelle il faut "tout voir" avant de décider où saisir, une piste utile pour réduire le temps de cycle des systèmes de manipulation en entrepôt ou en logistique. Ce résultat reste toutefois un travail de recherche évalué en simulation et en laboratoire, sans indication d'un partenaire industriel, d'un calendrier de transfert ou d'un déploiement en production. Il s'inscrit dans la lignée des travaux sur la perception active pilotée par NBV et sur le grasping conditionné par affordance, en concurrence directe avec les approches de reconstruction 3D complète avant planification de prise, sans qu'aucun acteur commercial ne soit associé à cette publication.

RecherchePaper

1 source