Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
GeminiPainter : pipeline séquentiel en quatre étapes, perception, cognition, planification et action
RecherchearXiv cs.RO 

GeminiPainter : pipeline séquentiel en quatre étapes, perception, cognition, planification et action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

GeminiPainter est un système robotique autonome capable de dessiner un portrait en direct, présenté dans un article publié sur arXiv début août 2026 (identifiant 2608.00829). Le pipeline suit quatre étapes classiques en robotique cognitive : perception, cognition, planification et action. Une caméra capture le visage de l'utilisateur en temps réel, la région faciale est extraite, puis envoyée à l'API Gemini Vision de Google qui génère un croquis minimaliste en une seule ligne continue. Un algorithme de planification de trajectoire basé sur la théorie des graphes optimise ensuite l'ordre des traits avant qu'un bras manipulateur collaboratif à 6 degrés de liberté n'exécute le dessin. Les auteurs rapportent des scores utilisateurs élevés sur une échelle de 5 : 4,33 pour la qualité du croquis, 4,53 pour la perception de l'exécution et 4,65 pour l'expérience globale.

L'intérêt principal tient à la démonstration qu'un modèle vision-langage commercial grand public, ici Gemini, peut servir de brique génératrice dans une chaîne robotique complète sans entraînement spécifique lourd, en s'appuyant sur une planification de trajectoire classique pour le contrôle du bras. Cela illustre une tendance plus large : l'intégration de modèles de fondation dans des pipelines robotiques hybrides, au-delà des seuls usages industriels. Il faut toutefois nuancer les résultats : ce sont des évaluations subjectives auto-déclarées, sans précision sur le nombre de participants, le temps de cycle par portrait, ni les conditions d'éclairage ou de pose testées, ce qui limite la portée de la validation.

Le champ des robots artistes ou "portrait robots" existe depuis plusieurs années dans la recherche académique, souvent utilisés comme vitrines de démonstration en événementiel ou en médiation scientifique plutôt que comme produits commerciaux. GeminiPainter s'inscrit dans cette lignée tout en profitant de la montée en puissance récente des API vision multimodales. L'article ne mentionne ni partenaire industriel, ni feuille de route de déploiement, ni code source ouvert : il s'agit à ce stade d'un prototype de recherche, pas d'un produit prêt à être industrialisé.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Planification robotique et gestion de situations par perception active
1arXiv cs.RO 

Planification robotique et gestion de situations par perception active

Des chercheurs présentent dans un preprint arXiv (réf. 2604.26988, mai 2026) un cadre logiciel baptisé VAP-TAMP, pour Vision-language model-based Active Perception for Task And Motion Planning, conçu pour doter les robots d'une capacité de détection et de gestion des situations imprévues en cours d'exécution de tâches. Le système cible des perturbations concrètes : une porte coincée, un objet tombé au sol, une modification de l'environnement due à une activité humaine. VAP-TAMP exploite une base de connaissances sur les actions du robot pour formuler dynamiquement des requêtes vers des modèles vision-langage (VLA/VLM), sélectionner activement des points de vue pertinents, puis évaluer la situation. En parallèle, il construit et interroge des graphes de scène pour assurer la planification intégrée des tâches et des mouvements. Le framework a été évalué sur des tâches de service en simulation et sur une plateforme réelle de manipulation mobile. L'enjeu est structurant pour toute démarche d'autonomie longue durée en robotique de service ou industrielle. L'un des verrous majeurs identifiés par les intégrateurs et les équipes R&D n'est pas la planification initiale, les planificateurs TAMP existants s'en sortent bien, mais la résilience à l'exécution : un robot qui échoue silencieusement ou se bloque face à un impondérable n'est pas déployable en production. VAP-TAMP propose une réponse architecturale à ce point de friction en couplant perception active (choix du meilleur angle de vue pour comprendre la situation) et raisonnement symbolique via graphes de scène, deux approches généralement traitées séparément. Si les résultats se confirment sur des scénarios plus variés, cela allège significativement la charge d'ingénierie pour les équipes qui construisent des pipelines de manipulation autonome. Le travail s'inscrit dans une dynamique de recherche intense autour de l'intégration VLM-TAMP, un champ qui a explosé depuis 2023 avec les travaux de Google DeepMind sur SayCan, de Physical Intelligence (Pi-0) et des équipes de Carnegie Mellon sur la planification par LLM. VAP-TAMP se positionne sur le maillon "récupération d'erreur" plutôt que sur la génération de plan initiale, ce qui le différencie d'approches comme Code-as-Policies ou Inner Monologue. Le preprint ne mentionne pas de partenariat industriel ni de calendrier de transfert technologique : il s'agit à ce stade d'une contribution académique, sans déploiement annoncé. Les prochaines étapes naturelles seraient une validation sur un spectre plus large de perturbations et une comparaison quantitative avec des baselines de récupération existantes.

RecherchePaper
1 source
COMPASS : planification de la manipulation en espace confiné par perception active
2arXiv cs.RO 

COMPASS : planification de la manipulation en espace confiné par perception active

Des chercheurs ont publié COMPASS (Confined-space Manipulation Planning with Active Sensing Strategy), un framework multi-étapes destiné à résoudre la manipulation robotique en environnements confinés et encombrés. La méthode repose sur trois composants enchaînés : un scan de proximité dit "near-field awareness" qui construit une carte locale de collision avant tout mouvement, une fonction d'utilité multi-objectifs qui sélectionne des points de vue à la fois informatifs et compatibles avec les poses de saisie ultérieures, et un optimiseur de manipulation contraint qui génère des configurations de préhension respectant les obstacles détectés. Les auteurs proposent également un benchmark structuré en quatre niveaux de difficulté croissante pour évaluer les méthodes d'exploration et de manipulation en espace restreint. En simulation, COMPASS affiche un gain de 24,25 points de pourcentage sur le taux de succès de manipulation par rapport aux méthodes d'exploration conçues pour d'autres types de robots ou n'optimisant que le gain d'information. Des expériences en conditions réelles confirment la faisabilité de l'approche. Ce résultat est significatif parce qu'il adresse directement l'un des angles morts du champ NBV (Next Best View) : les stratégies d'exploration existantes maximisent la couverture informationnelle sans tenir compte de la faisabilité de la manipulation qui suit. En couplant explicitement exploration et planification de saisie dans une même fonction d'utilité, COMPASS réduit l'écart entre "voir la scène" et "agir dessus". Pour un intégrateur industriel, cela signifie une réduction du nombre de cycles d'observation improductifs avant une prise, ce qui devient critique dans des applications comme la désassembly, le picking en bacs profonds, ou la maintenance en espaces contraints. La validation sim-to-real, même partielle, réduit le scepticisme habituel sur le transfert des méthodes d'exploration en laboratoire vers des contextes terrain. Le problème de la manipulation en espace confiné est étudié depuis plusieurs années dans la communauté planification-perception, mais reste ouvert faute de benchmarks standardisés et de méthodes intégrant les deux dimensions simultanément. COMPASS s'inscrit dans un mouvement plus large qui voit des frameworks comme Active Neural Mapping ou des planificateurs basés sur l'échantillonnage (RRT, STOMP) être revisités pour intégrer des contraintes de manipulation dès la phase d'exploration. Aucune entreprise n'est associée à cette publication académique (arXiv:2509.14787), et aucune timeline de commercialisation n'est mentionnée. Les prochaines étapes naturelles seraient d'étendre le benchmark à des objets déformables ou à des scènes dynamiques, et de tester la robustesse face à des capteurs de profondeur bruités, condition sine qua non pour un déploiement industriel.

RecherchePaper
1 source
WESPR : perception et planification sûres et économes en énergie, adaptées au vent, pour vol robuste des quadrirotors
3arXiv cs.RO 

WESPR : perception et planification sûres et économes en énergie, adaptées au vent, pour vol robuste des quadrirotors

Des chercheurs présentent WESPR (Wind-adaptive Energy-efficient Safe Perception and Planning for Robust flight), un framework logiciel destine aux drones quadrirotors évoluant dans des environnements ou le vent est perturbe par des obstacles proches. Publie sur arXiv sous l'identifiant 2603.09194 (version 2, remplaçant une preprint antérieure), le système combine perception géométrique de l'environnement et données météo locales pour estimer en quasi temps réel les champs de vent générés par des bâtiments, murs ou obstacles, puis calculer une trajectoire économe en énergie et adapter la stratégie de contrôle, le tout en moins de 10 secondes. L'équipe a valide l'approche sur un drone Crazyflie, quadrirotor miniature courant en recherche, navigant dans un parcours d'obstacles générant de la turbulence. Compare a un contrôleur adaptatif classique ignorant la géométrie environnante, WESPR réduit de 35,6% en moyenne l'écart maximal par rapport a la trajectoire prévue et améliore la stabilité de vol de 24,6%. L'enjeu dépasse l'exercice académique: le vent local, notamment les rafales et cisaillements créés par des obstacles urbains ou industriels, reste l'un des principaux facteurs limitant la fiabilité des drones en extérieur, que ce soit pour l'inspection d'infrastructures, la livraison ou la surveillance en zone dense. Les méthodes existantes modélisant l'interaction vent-environnement s'appuient généralement sur des simulations de mécanique des fluides, trop couteuses en calcul pour tourner en temps réel embarque. En démontrant qu'un pipeline léger peut anticiper l'effet du vent avant de le subir, plutôt que de simplement le compenser après coup, WESPR ouvre la voie a une planification de vol proactive exploitable sur du matériel aux ressources limitées, un enjeu concret pour les intégrateurs de flottes opérant près de bâtiments, de canyons urbains ou d'infrastructures industrielles exposées au vent. Ce travail s'inscrit dans la lignée des recherches sur les contrôleurs adaptatifs au vent pour drones, dont il prend le meilleur représentant comme point de comparaison plutôt que de repartir de zero. Il ne s'agit pas d'un produit commercial ni d'un déploiement opérationnel: WESPR reste, a ce stade, une preprint arXiv testée en laboratoire sur un seul modèle de micro-drone open source, sans partenariat industriel ni date de disponibilité annonces. La publication en version 2 suggère une révision de l'article initial, probablement après relecture. Les auteurs ne donnent pas de calendrier pour des essais en conditions réelles hors laboratoire ni pour une extension a d'autres plateformes, laissant ouverte la question du passage a l'échelle au-delà du cadre expérimental contrôle présente ici.

RecherchePaper
1 source
Contrôle par contours en style expert : une planification plus rapide que la démonstration, entre expert lent et jeu rapide
4arXiv cs.RO 

Contrôle par contours en style expert : une planification plus rapide que la démonstration, entre expert lent et jeu rapide

Une équipe de recherche en robotique a publié le 22 septembre 2026 sur arXiv (arXiv:2609.22798v1) une méthode baptisée Expert-Play Contouring Control (EPCC), conçue pour exécuter des tâches de manipulation robotique plus vite que les démonstrations utilisées pour les apprendre. Le problème de départ est connu en apprentissage par imitation (IL) : un robot reproduit fidèlement la vitesse de la démonstration humaine, et accélérer artificiellement le mouvement appris échoue souvent car la dynamique entre le robot et l'objet manipulé change à vitesse plus élevée. EPCC combine deux sources de données : des démonstrations expertes lentes, utilisées pour entraîner un générateur de trajectoire latente reformulé en un "contour" de progression de tâche indépendant du temps, et des données de jeu rapide non expert, utilisées pour entraîner un modèle du monde des effets d'actions rapides. Au moment de l'exécution, un planificateur s'appuie sur ce modèle du monde pour choisir les actions qui font progresser le robot le long du contour expert tout en pénalisant les écarts par rapport à la tâche prévue. Sur trois tâches de manipulation visuomotrice testées, EPCC atteint en moyenne un débit deux fois supérieur à la référence IL classique, et 2,2 fois supérieur à la meilleure méthode d'accélération concurrente sur la tâche la plus sensible aux interactions physiques objet-robot. L'intérêt pour l'industrie robotique tient à la séparation proposée entre intention de tâche et couverture dynamique : plutôt que de collecter de nouvelles démonstrations expertes rapides, coûteuses et parfois risquées à réaliser, EPCC extrait la connaissance de vitesse depuis des données de jeu bon marché et non supervisées. Pour les intégrateurs et décideurs B2B en manipulation industrielle, cela ouvre une piste concrète pour réduire les temps de cycle des politiques apprises par imitation sans réentraînement expert coûteux, un goulot d'étranglement classique face aux architectures vision-langage-action visant la généralisation mais rarement optimisées pour la vitesse d'exécution. Le résultat confirme aussi une hypothèse répandue dans le secteur : accélérer une politique apprise sans modéliser la dynamique physique du contact échoue précisément là où cette dynamique compte, ce que confirme la concentration des gains d'EPCC sur les tâches les plus sensibles aux interactions. Le travail se positionne comme une alternative aux approches d'accélération directe de trajectoires apprises, jugées insuffisantes dès que la physique du contact intervient, et à l'apprentissage par renforcement pur, généralement plus coûteux à entraîner. Il ne s'agit pas d'un produit commercialisé ni d'un déploiement industriel réel, mais d'un preprint de recherche évalué sur trois tâches de manipulation en environnement contrôlé, sans robot ni entreprise nommés dans l'abstract. Les auteurs présentent leurs résultats comme un principe généralisable plutôt qu'un système fini, ouvrant la voie à des extensions vers d'autres familles de tâches manipulatoires et à une intégration éventuelle avec des politiques vision-langage-action à plus grande échelle.

RecherchePaper
1 source