Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA incarnée : automatisation de la conception d'architectures d'agents
RecherchearXiv cs.RO 

IA incarnée : automatisation de la conception d'architectures d'agents

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié fin juin 2026 (arXiv:2606.30111) une étude sur l'automatisation de la conception d'architectures d'agents incarnés. Ils introduisent AgentCanvas, un environnement d'exécution à graphe typé qui représente les pipelines de perception, mémoire, planification et action comme des programmes nœud-à-fil éditables, et KDLoop, une procédure de recherche par agent codeur alternant proposition, critique, expérimentation et distillation, avec des réflexions déclenchées en cas de stagnation. L'évaluation suit une matrice 3x4 : trois variantes d'Agent Architecture Search (AAS) testées sur quatre tâches incarnées couvrant la navigation vision-langage, la réponse à des questions situées (embodied QA) et la manipulation conditionnée par le langage. Les résultats montrent des gains directionnels de taux de succès, mais un candidat apparemment performant a été écarté après détection d'une fuite de données (leak-bearing).

L'intérêt de ces travaux réside dans le transfert, pour la première fois de façon systématique, des méthodes AAS -- jusqu'ici cantonnées aux agents textuels -- vers des agents perceptifs en simulation. Pour les architectes de systèmes cognitifs, cela ouvre la possibilité d'automatiser partiellement le choix de stockage de l'information, du traitement des observations et de l'enchaînement des appels de modèles, tâche jusqu'ici confiée à l'intuition des chercheurs. Les auteurs identifient cependant trois contraintes propres à l'incarné, absentes dans les benchmarks textuels : le bruit de rollout masque les signaux d'optimisation, la recherche se piège dans des bassins d'édition locaux, et l'attribution de crédit épisodique reste partielle même avec des journaux détaillés. La détection d'un candidat corrompu par fuite de données illustre par ailleurs un risque d'évaluation spécifique aux environnements simulés, où l'agent peut exploiter des artefacts de la simulation plutôt que résoudre la tâche réelle.

Ces travaux s'inscrivent dans la mouvance des méthodes de méta-design d'architectures cognitives, appliquées ici à la couche système plutôt qu'aux poids des modèles. Les benchmarks dominants en navigation vision-langage (R2R, ALFRED) restent maîtrisés par des architectures manuelles, et des frameworks comme LangGraph ou AutoGen couvrent l'espace des agents textuels sans gestion de rollout simulé. Aucun acteur européen ou français n'est impliqué dans cette publication. Les prochaines étapes identifiées par les auteurs incluent l'extension à des environnements physiques réels et le renforcement de KDLoop face au bruit de rollout, deux verrous explicites avant toute applicabilité industrielle.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée
1arXiv cs.RO 

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable. L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier. Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
AEROS : une architecture mono-agent avec modules de capacités incarnées
2arXiv cs.RO 

AEROS : une architecture mono-agent avec modules de capacités incarnées

Des chercheurs ont publié sur arXiv (2604.07039) une architecture logicielle baptisée AEROS, Agent Execution Runtime Operating System, qui propose de modéliser chaque robot comme un unique agent intelligent persistant, dont les capacités sont étendues via des modules installables appelés ECMs (Embodied Capability Modules). Chaque ECM encapsule des compétences exécutables, des modèles et des outils, tandis qu'un runtime à politique séparée gère les contraintes d'exécution et les garanties de sécurité. L'évaluation a été conduite en simulation PyBullet avec un bras manipulateur Franka Panda à 7 degrés de liberté, sur huit types d'expériences couvrant la replanification, la récupération d'échec, l'application de politiques, la généralisation inter-tâches et le hot-swapping d'ECM. Sur 100 essais randomisés par condition, AEROS atteint 100 % de succès sur trois tâches distinctes, contre 92-93 % pour des architectures de type BehaviorTree.CPP et ProgPrompt, et seulement 67-73 % pour les pipelines plats. La couche de politique bloque 100 % des actions invalides sans aucun faux positif. Ces résultats sont pertinents pour les intégrateurs et décideurs industriels pour deux raisons. D'abord, l'écart de performance face aux pipelines plats (jusqu'à 33 points) illustre le coût concret de l'absence d'architecture cohérente dans les systèmes robotiques actuels. Ensuite, la capacité de hot-swapping, charger des ECMs à la volée sans redémarrage, ouvre la voie à des robots reconfigurables en production selon la tâche, sans intervention matérielle. La couche de politique séparée est également notable : elle fournit des garanties de sécurité systémiques sans imposer de retuning par tâche, ce qui répond à un besoin réel dans les déploiements industriels où la certification de sécurité est un verrou. Le problème qu'AEROS adresse est structurel : les approches existantes soit couplent les compétences dans des architectures monolithiques rigides, soit les distribuent en multi-agents mal coordonnés, sans modèle cohérent d'identité et d'autorité de contrôle. AEROS emprunte aux systèmes d'exploitation traditionnels le concept de packages installables et l'applique aux agents incarnés. Ses concurrents académiques directs incluent ProgPrompt (CMU, planification via LLM) et les frameworks multi-agents comme AutoGen. Une limite importante à signaler : l'évaluation reste entièrement en simulation PyBullet, aucun déploiement physique n'est rapporté dans la publication. Le sim-to-real gap, problème structurel de la robotique, n'est pas adressé ici, ce qui rend prématurée toute conclusion sur la valeur opérationnelle réelle du système.

RecherchePaper
1 source
Mémoire analytique centrée sur les concepts pour la manipulation incarnée à base d'agents
3arXiv cs.RO 

Mémoire analytique centrée sur les concepts pour la manipulation incarnée à base d'agents

Une équipe de recherche a soumis le 30 juin 2026 sur arXiv (arXiv:2606.29774) un cadre de mémoire structurée pour agents de manipulation robotique à long horizon. Baptisé "analytic concept-centric memory", le système organise l'expérience autour de concepts analytiques : chaque objet est représenté par ses parties sémantiques, des gabarits paramétriques, des poses ancrées dans l'espace, ses affordances et ses états de manipulation. Deux couches supplémentaires complètent l'architecture : une mémoire de transitions enregistrant les effets des actions sur l'état de scène, et une mémoire de compétences (skill memory) stockant des politiques réutilisables ancrées dans ces gabarits. À l'exécution, l'agent effectue une récupération coarse-to-fine pour identifier objets pertinents, états courants et compétences applicables. Les auteurs valident leur approche sur des tâches de manipulation dépendantes de la mémoire, la généralisation à des objets articulés (portes, tiroirs) et une évaluation en environnement réel. La gestion de mémoire reste un goulet d'étranglement critique en manipulation longue durée. Les agents actuels, y compris ceux fondés sur des architectures VLA (Vision-Language-Action), peinent à réutiliser les connaissances acquises lors d'interactions passées, forçant une replanification coûteuse à chaque nouvelle tâche. Ce cadre montre que structurer explicitement la mémoire autour de concepts physiques améliore le taux de complétion de tâches, la précision de récupération, la réidentification d'objets et la généralisation de compétences inter-objets, par rapport aux baselines non structurées et aux représentations vectorielles par embeddings. Pour les intégrateurs industriels, c'est un signal que la réutilisabilité des compétences sans réentraînement complet commence à devenir atteignable, ce qui réduit potentiellement les coûts de déploiement dans des environnements variables. La manipulation robotique à long horizon est un chantier actif chez plusieurs acteurs majeurs : Google DeepMind avec ses architectures RT-2 et SayCan, Physical Intelligence et son modèle Pi-0, Boston Dynamics, ainsi que des laboratoires comme Stanford et ETH Zurich. Ce travail s'inscrit dans une lignée cherchant à concilier planification symbolique structurée et politiques neuronales, deux paradigmes longtemps opposés. Ce preprint n'a pas encore été soumis à revue par les pairs, et les benchmarks restent des environnements de laboratoire contrôlés. La démonstration sur une plateforme industrielle réelle, avec la diversité des objets, le bruit sensoriel et les contraintes temps réel, reste à établir. Les prochaines étapes naturelles incluent l'intégration avec des VLA à grande échelle et l'évaluation sur des manipulateurs ou humanoïdes en contexte de production semi-réelle.

RechercheOpinion
1 source
Co-conception outil-politique pour la pesée de poudres en automatisation de laboratoire
4arXiv cs.RO 

Co-conception outil-politique pour la pesée de poudres en automatisation de laboratoire

Des chercheurs proposent un cadre de co-conception qui optimise simultanément la forme d'un outil de dosage et la politique de contrôle qui le pilote, pour la pesée automatisée de poudres en laboratoire. Publié sur arXiv (2609.39797v1), le travail s'attaque à ce que les auteurs décrivent comme l'un des goulets d'étranglement de l'automatisation de laboratoire : la dynamique non linéaire et hétérogène des matériaux pulvérulents. Les robots chimistes utilisent aujourd'hui des outils standards conçus pour la dextérité de la main humaine, dont la géométrie fixe impose la dynamique que la politique doit réguler. Le cadre repose sur une optimisation à deux niveaux visant à minimiser l'erreur de dosage sur une distribution cible de coulabilités de poudres. La boucle externe fait varier la profondeur, la largeur et la topologie des pointes du bord de l'outil, par optimisation bayésienne et hyperband. La boucle interne entraîne une politique de contrôle pour chaque morphologie candidate. Une métrique de similarité géométrique permet d'initialiser l'entraînement à partir de politiques déjà calculées pour des designs proches, ce qui permet d'explorer 28 % de configurations en plus à budget de calcul égal. L'évaluation porte sur sept matériaux aux dynamiques physiques distinctes, dans une simulation robot-matière calibrée sur la coulabilité. Les auteurs annoncent une réduction de 45 % des erreurs de pesée en conditions réelles par rapport à un outil standard, y compris sur des matériaux jamais vus à l'entraînement. L'intérêt tient au changement de point de vue : plutôt que de perfectionner la commande autour d'un outil hérité des mains humaines, l'équipe traite la géométrie de l'outil comme une variable de conception à part entière. Pour les intégrateurs de laboratoires autonomes, la pesée de poudres reste une étape qui bloque souvent l'enchaînement complet des opérations, et un gain de 45 % sur l'erreur, s'il se confirme, réduirait les reprises et la consommation de réactifs. Le résultat sur matériaux inédits est le point le plus significatif, car il suggère que la morphologie apprise capture des propriétés générales d'écoulement plutôt qu'un surajustement à sept poudres. Il faut toutefois rester prudent : il s'agit d'une préprint non évaluée par les pairs, le résumé ne précise ni la nature de l'outil standard de référence, ni le nombre d'essais réels, ni les masses visées, et ne donne aucune donnée sur le temps de cycle. Le travail alimente aussi la question du transfert de la simulation au réel dans la manipulation de matière granulaire, où il apporte une validation expérimentale partielle. Ce travail s'inscrit dans la montée des laboratoires autonomes, où la manipulation de solides reste en retard sur celle des liquides, déjà bien standardisée. La co-conception outil-politique prolonge les approches de co-optimisation morphologie-contrôle issues de la robotique générale, ici appliquées à un outil de dosage plutôt qu'à un robot complet. L'article ne cite pas de partenaire industriel ni d'acteur européen, et aucun pilote ou calendrier de déploiement n'est annoncé. La suite logique serait de tester des outils fabriqués par impression 3D sur une plus large gamme de poudres et de plateformes de laboratoire, puis d'intégrer la démarche à des flux de synthèse complets.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source