Visual-RRT : planification de chemins vers des objectifs visuels par rendu différentiable

Des chercheurs du laboratoire SGVR de l'université KAIST (Corée du Sud) ont publié en avril 2026 Visual-RRT (vRRT), un planificateur de mouvement pour bras manipulateurs capables de naviguer vers un objectif défini par une image ou une vidéo, sans configuration articulaire numérique explicite. La méthode combine les arbres à exploration rapide aléatoire (RRT), algorithme classique de planification de trajectoire, avec le rendu différentiable du robot pour guider la recherche par gradient visuel. Deux mécanismes complémentaires ont été introduits : une stratégie d'exploration-exploitation à frontières adaptatives, qui priorise les régions de l'espace de configuration visuellement prometteuses, et une expansion inertielle par gradient, qui propage les états d'optimisation entre les branches de l'arbre pour garantir une cohérence dynamique du gradient. Les expériences couvrent trois manipulateurs standard de l'industrie et de la recherche : Franka Emika Panda, Universal Robots UR5e, et Fetch Robotics, en simulation et en environnement réel.

L'apport technique fondamental réside dans la suppression d'un prérequis contraignant des planificateurs RRT classiques : la nécessité de spécifier la configuration-but sous forme d'angles articulaires précis. Dans les applications réelles d'automatisation ou d'apprentissage par démonstration, l'opérateur dispose le plus souvent d'une vidéo ou d'une photo de l'état-cible, pas d'un vecteur de joints. vRRT comble ce fossé en projetant l'espace visuel dans l'espace de configuration via rendu différentiable, ce qui permet d'utiliser un signal d'erreur visuel directement comme fonction de coût pour l'exploration. C'est un pas vers des systèmes robotiques plus faciles à programmer par l'exemple, sans calibration manuelle de la configuration finale.

Les RRT sont un acquis algorithmique des années 1990-2000 (Steven LaValle, 1998), massivement utilisés dans la robotique industrielle et les véhicules autonomes. L'intégration du rendu différentiable, popularisée par des frameworks comme PyTorch3D ou Mitsuba 3, dans la planification de trajectoire est une tendance émergente depuis 2022-2023. Sur ce créneau, des travaux concurrents explorent les Visual Language Action models (VLA) comme pi-0 de Physical Intelligence ou les approches basées sur la diffusion pour la planification. vRRT se distingue par sa modularité sur des RRT existants et sa compatibilité avec des architectures standard. Le code source est disponible publiquement. Aucune collaboration industrielle ni calendrier de déploiement n'est mentionné dans la publication ; il s'agit à ce stade d'un résultat de recherche académique, pas d'un produit commercialisé.