RecherchearXiv cs.RO 30 septembre 2026

Complétion de scène 3D orientée planification : représentation couplée TUDF et occupation apprise à partir d'observations partielles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent, dans un préprint arXiv (2609.36543v1), un réseau de complétion de scène 3D conçu explicitement pour la planification de trajectoire, à partir d'observations LiDAR partielles. Le système prédit conjointement deux représentations : un champ de distance non signé tronqué (TUDF, Truncated Unsigned Distance Field), qui donne une géométrie continue, et une carte d'occupation par voxels. Un schéma d'apprentissage à couplage bidirectionnel les relie. Les caractéristiques TUDF apportent un guidage géométrique dense pour reconstruire l'occupation. En retour, les caractéristiques d'occupation imposent des contraintes structurelles qui affinent l'estimation du champ de distance. Le réseau sort directement l'occupation complète et le TUDF, et ce dernier s'intègre à la planification de trajectoire sans post-traitement. Les auteurs annoncent des gains à la fois en qualité de reconstruction géométrique et en performance de planification sur des environnements jamais vus à l'entraînement. Le résumé ne donne ni chiffres, ni jeux de données, ni comparaison chiffrée avec des méthodes existantes.

L'enjeu est d'abord de méthode. La plupart des travaux de complétion de scène se jugent sur la fidélité de la reconstruction (IoU, erreur géométrique), sans mesurer ce que la carte complétée change pour le robot. Ici, la complétion est évaluée sur son effet en aval, la planification. C'est l'angle qui compte pour un intégrateur de robots mobiles (AMR, véhicules autonomes, robots d'inspection) : en zone occultée, une grille d'occupation binaire dit peu sur la distance aux obstacles, alors que les planificateurs (optimisation de trajectoire, fonctions de coût de type ESDF) en ont besoin. Fournir cette information directement, sans étape de conversion, peut réduire la latence et les erreurs de chaîne. La généralisation à des environnements inédits est le bon test, mais un préprint sans chiffres publiés dans le résumé ne permet pas de savoir si les gains sont marginaux ou décisifs, ni s'ils tiennent hors simulation ou hors jeux de données académiques. Rien n'indique non plus de tests sur robot réel, de temps d'inférence embarqué ou de contraintes de calcul.

Ce travail s'inscrit dans la lignée des méthodes de complétion sémantique de scène et de prédiction d'occupation, issues de la conduite autonome, et des représentations par champs de distance (SDF, TSDF, ESDF), historiquement utilisées en cartographie et en planification. Il s'agit d'un préprint non évalué par des pairs, et aucune entreprise, aucun produit ni calendrier de déploiement n'est annoncé. La suite logique serait la publication du code et des benchmarks, une comparaison avec les approches d'occupation actuelles, puis une validation sur plateformes réelles. C'est à ces étapes que l'on pourra juger si le couplage TUDF-occupation apporte un vrai bénéfice à la navigation en environnement partiellement observé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Préhension et levage aérien du corps entier à partir d'observations visuelles partielles

Des chercheurs publient sur arXiv (2610.00404) un cadre d'apprentissage permettant à un drone équipé d'un bras manipulateur et d'une pince de saisir puis soulever un objet à partir d'observations visuelles partielles. Une seule politique, entraînée entièrement en simulation, pilote simultanément le vol, le mouvement du bras et la fermeture de la pince, sans signal explicite de phase de tâche (approche, acquisition, levage). L'architecture repose sur un duo enseignant-élève récurrent. L'enseignant, doté d'informations privilégiées sur la cible, apprend par renforcement avec un curriculum d'états critiques. Celui-ci expose d'abord les phases d'acquisition et de levage, puis les raccorde aux trajectoires d'approche normales. L'élève visuel récurrent, auquel l'enseignant est distillé, remplace ces informations privilégiées par des nuages de points issus de deux vues et par la proprioception, et intègre l'historique des observations. Un objectif dédié à la fermeture supervise le moment de saisie à partir de séquences prolongées où la préparation est jugée atteinte par le modèle. Sur 8 996 épisodes simulés, l'élève figé atteint 99,97 % de succès sur la tâche complète en conditions nominales, 97,14 % avec physique et contrôle randomisés, et 95,84 % avec en plus des caméras randomisées. L'erreur d'alignement à l'acquisition (90e centile, moyenne pondérée par le nombre de verrouillages) est de 8,12 mm en nominal. Pour l'industrie, ce travail s'attaque à un verrou connu de la manipulation aérienne : l'enchaînement d'une approche, d'une saisie et d'un levage alors que la cible entre et sort du champ de vision. Le curriculum répond à un problème d'entraînement concret, car les échecs précoces d'approche privent la politique d'exemples des étapes tardives. La distillation vers une politique purement visuelle suggère une voie crédible pour des drones d'inspection, de logistique ou de maintenance en hauteur. Les chiffres demandent toutefois de la prudence. Ils proviennent d'un modèle simulé de saisie : verrouillage déclenché par condition, attachement virtuel et charge appliquée par torseur (wrench) pour de courts levages. Cela ne reproduit ni le contact réel, ni la dynamique du transport, ni le bruit des capteurs. Aucun essai sur matériel n'est mentionné dans le résumé, et le transfert sim-to-real reste donc à démontrer. La baisse d'environ 4 points sous randomisation des caméras indique déjà une sensibilité résiduelle aux perturbations de perception. Ce travail s'inscrit dans la lignée de la manipulation aérienne, longtemps dominée par des contrôleurs classiques ou des pipelines modulaires séparant perception, planification et préhension. Il applique à ce domaine des recettes de l'apprentissage par renforcement et de l'imitation issues de la robotique au sol, comme l'enseignant privilégié et l'élève visuel. Le résumé ne cite ni entreprise ni acteur européen, et ne annonce aucun pilote ni calendrier. La prochaine étape logique est une validation sur drone réel, avec un contact physique, des charges plus lourdes et des distances de levage plus longues.

RecherchePaper

1 source

2arXiv cs.RO

OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle

Des chercheurs publient OntoPlan, un cadre de planification de tâches robotiques fondé sur une représentation ontologique de la scène, accompagné d'un code ouvert sur GitHub (dépôt namhyeongwoo/OntoPlan). Le système cible un défaut connu de la planification par grands modèles de langage (LLM) : sur les tâches à long horizon dans de vastes environnements, la performance se dégrade. Quand la géométrie de la scène est transmise sous forme de texte, le modèle saisit mal le contexte spatial, et le coût en tokens croît avec la taille de l'environnement. OntoPlan aligne objets, espaces, relations et états dans un vocabulaire symbolique commun. Un cadre agentique interprète l'instruction, récupère de façon sélective les informations utiles, formalise buts et contraintes, puis produit un plan exécutable. Sur 150 tâches générales réparties dans cinq environnements intérieurs et trois échelles de scène, il atteint un taux de réussite moyen de 0,89, contre 0,27 pour la meilleure méthode de référence. Il consomme en moyenne 18,1 k tokens par tâche, soit environ 5,6 fois moins que la référence la plus économe. L'enjeu est double pour les intégrateurs et les équipes qui déploient des robots pilotés par LLM. D'abord, l'écart de 0,89 contre 0,27 suggère que le goulot d'étranglement tient moins à la capacité de raisonnement du modèle qu'à la manière de lui présenter le monde : un LLM qui génère directement des séquences d'actions peine à respecter l'état courant et les préconditions, alors qu'une formalisation symbolique les rend vérifiables. Ensuite, le coût en tokens, rarement discuté dans les démonstrations, détermine la viabilité économique et la latence en exploitation. Les auteurs indiquent que l'avantage persiste quand l'échelle de la scène augmente, alors que les méthodes concurrentes perdent davantage en réussite et restent beaucoup plus coûteuses. Le système demande aussi des précisions face à une instruction ambiguë, ou signale un manque d'information face à une instruction infaisable, au lieu de s'engager dans un plan invalide. C'est un comportement de sécurité utile pour tout déploiement industriel. Plusieurs réserves s'imposent. Il s'agit d'un préprint arXiv (v1), non évalué par les pairs. Les résultats viennent d'un banc d'essai de 150 tâches, sans précision dans le résumé sur la nature des environnements (simulés ou réels) ni sur les méthodes de référence. Les chiffres ne disent donc rien de la robustesse en conditions réelles, où perception bruitée et échecs d'exécution compliquent la construction de l'ontologie. Ce travail s'inscrit dans le courant de la planification neuro-symbolique, qui combine LLM et planificateurs formels (type PDDL) pour pallier les limites des approches où le modèle génère directement les actions. Il se distingue des modèles vision-langage-action de bout en bout, qui traitent le bas niveau. La publication du code permettra une reproduction indépendante, étape décisive pour juger si l'écart de performance tient hors du banc d'essai des auteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

BiView-Touch : apprentissage de représentations tactiles bimanuelles par complétion croisée des mains

Des chercheurs présentent BiView-Touch dans un article arXiv (2609.23352v1, catégorie "cross"), publié en soumission anonyme pour relecture en double aveugle. Le cadre auto-supervisé reconstruit les latents masqués d'une main cible à partir des régions tactiles encore visibles de cette même main et de la main controlatérale synchronisée. Il repose sur un encodeur étudiant associé à un décodeur directionnel conditionné par la géométrie, qui prédit des cibles latentes complètes calculées par moyenne mobile exponentielle (EMA) sur un réseau enseignant. Des contrefactuels temporels et de disposition spatiale forcent le modèle à exploiter une information controlatérale réellement alignée dans le temps et organisée anatomiquement, et non un simple bénéfice de l'entrée bilatérale brute. Évalué sur le jeu de données public HumanTouch, BiView-Touch dépasse des méthodes auto-supervisées de référence en régime de faible annotation: avec seulement 5% des étiquettes disponibles pour l'entraînement en aval, les gains relatifs de précision équilibrée atteignent 7,1% pour la reconnaissance du mouvement bimanuel du poignet et 14,1% pour la reconnaissance de phase d'interaction dérivée des forces mesurées. Les auteurs publient aussi BVT-20, un nouveau jeu de données tactile bilatéral couvrant 20 tâches, et montrent un transfert des représentations entre sessions d'enregistrement et corpus de pré-entraînement, y compris vers une tâche bimanuelle totalement absente de l'entraînement. L'intérêt pour la robotique tient au fait que la plupart des approches tactiles auto-supervisées traitent encore chaque main indépendamment, ou ne fusionnent les deux flux qu'au niveau de la prédiction finale, sans modéliser leur relation croisée. Montrer qu'une structure inter-mains explicite améliore la qualité des représentations, surtout avec très peu d'étiquettes, cible un vrai goulot d'étranglement: les données tactiles annotées avec vérité terrain force/contact restent coûteuses à produire. Le résultat intéresse directement les pipelines de téléopération, l'apprentissage par imitation pour la manipulation bimanuelle ou humanoïde, et les tâches d'assemblage sensibles à la force en industrie, où généraliser sans gros volumes annotés est un enjeu concret. Le travail s'inscrit dans la lignée des méthodes de prédiction de latents masqués avec schéma enseignant-étudiant EMA (type data2vec/JEPA), jusqu'ici surtout appliquées à la vision ou à une seule main, en les adaptant spécifiquement au tactile bimanuel. L'article ne nomme aucun concurrent industriel ni laboratoire, conformément à sa soumission anonyme; le code et les détails du jeu de données sont déjà accessibles sur une page projet anonyme, une publication complète étant probable après l'issue du processus de relecture.

RecherchePaper

1 source

4arXiv cs.RO

Imagine-TAMP : planification des tâches et des mouvements guidée par l'imagination en observabilité partielle

Un cycle de planification robotique conçu pour décider quand observer et quand agir vient d'être détaillé dans un article arXiv publié le 18 septembre 2026 (arXiv:2609.20396v1), intitulé Imagine-TAMP: Imagination-Guided Task and Motion Planning in Partial Observability. Le système cible un problème concret des robots manipulateurs en environnement encombré : quand la position d'un objet cible est partiellement cachée, faut-il chercher un nouvel angle d'observation ou déplacer d'abord l'objet qui obstrue la vue. Imagine-TAMP combine deux mécanismes d'"imagination" : un modèle vision-langage qui met à jour une croyance probabiliste (particle belief) sur la position de la cible en s'appuyant sur des relations de bon sens avec les objets visibles, et un modèle génératif de scène qui estime la géométrie plausible des zones non observées. À partir de ces hypothèses, le système génère plusieurs squelettes de plan symboliques, leur attribue des coûts non uniformes reflétant à la fois l'effort de manipulation et la probabilité de révéler la cible, puis affine le squelette retenu en plan moteur exécuté, avec replanification si de nouvelles observations contredisent la croyance initiale. Dans des scènes d'étagère à points de vue contraints, l'évaluation géométrique non uniforme fait passer le taux de succès de 46,0% à 84,0% par rapport à une approche de référence, et l'ajout du modèle sémantique réduit encore les manipulations et replanifications inutiles. Sur un robot réel, le système complet réduit le temps de planification de 32% comparé à une version n'utilisant que la géométrie. L'enjeu dépasse la démonstration académique : la décision observer-versus-manipuler est un goulot d'étranglement classique pour les robots de logistique et de préparation de commandes travaillant dans des bacs ou étagères encombrés, où les approches TAMP classiques s'appuient sur des coûts symboliques grossiers ou une planification géométrique coûteuse, sans jamais estimer la probabilité qu'une observation révèle réellement la cible. En montrant qu'un modèle vision-langage peut injecter du bon sens dans cette décision avant d'engager un calcul moteur coûteux, les auteurs illustrent une tendance plus large où les VLM servent de couche de raisonnement pour la planification plutôt que de générateur direct d'actions, à la différence des approches VLA comme Pi-0 ou GR00T N2. Le travail s'inscrit dans la lignée du TAMP, qui combine planification symbolique et planification de mouvement continue, en cherchant à corriger sa faiblesse historique face à l'observabilité partielle. Il s'agit d'un preprint, sans validation par les pairs ni partenaire industriel identifié dans le résumé ; les auteurs ne précisent pas de calendrier de suite ni d'extension à d'autres classes de tâches.

RecherchePaper

1 source