Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Stress-tester des agents LLM dans un laboratoire de chimie robotisé
RecherchearXiv cs.RO 

Stress-tester des agents LLM dans un laboratoire de chimie robotisé

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a testé des agents basés sur des grands modèles de langage (LLM) dans un laboratoire de chimie entièrement robotisé, utilisé comme banc d'essai physique plutôt que simulé. Le laboratoire compte 45 postes de travail modulaires exposés sous forme de compétences ("skills") lisibles par machine, ce qui a permis de lancer 4 608 essais au total. Résultat brut : seulement 3,3% des essais ont produit des workflows exécutables jugés valides par des experts humains selon les contraintes réelles du laboratoire. Même le système le plus performant testé n'a atteint que 28,1% de réussite. Sur le plan de la planification à long horizon, à peine trois workflows exécutables ont dépassé 30 opérations enchaînées, le plus long comptant 44 étapes. Sur cinq rounds successifs intégrant du feedback expérimental, les agents ont procédé à des ajustements ponctuels et locaux, mais aucun n'a jamais replanifié un workflow dans son ensemble ni redessiné une méthode analytique complète.

Ce résultat vient tempérer le discours ambiant sur des agents IA capables de piloter seuls une découverte scientifique de bout en bout. Il montre que la génération de plans en langage naturel, aussi convaincante soit-elle sur le papier, ne garantit pas l'exécutabilité physique réelle en environnement contraint, et que l'écart entre démonstration et déploiement reste très large. Pour les acteurs de l'automatisation de laboratoire et les décideurs qui envisagent des pipelines de R&D pilotés par IA, le signal est clair : les agents actuels excellent à produire des plans plausibles, mais échouent majoritairement à les adapter face à des preuves expérimentales contradictoires, une capacité pourtant centrale à toute démarche scientifique itérative.

Le champ de l'"IA agentique pour la science" s'est développé rapidement ces deux dernières années, porté par des promesses de laboratoires autonomes capables de concevoir et exécuter des expériences sans intervention humaine. La plupart des évaluations existantes reposent toutefois sur des simulations ou des tâches purement textuelles, ce qui limite leur valeur prédictive. En s'appuyant sur un vrai laboratoire robotisé avec ses contraintes physiques, cette étude propose un cadre diagnostique reproductible pour mesurer la maturité réelle de déploiement de ces agents, et appelle à des travaux futurs axés sur des boucles fermées permettant une véritable replanification et une redéfinition des méthodes analytiques en cours d'expérience.

À lire aussi

Benchmark LabRobFail : évaluer l'analyse des défaillances robotiques dans les laboratoires autonomes de chimie
1arXiv cs.RO 

Benchmark LabRobFail : évaluer l'analyse des défaillances robotiques dans les laboratoires autonomes de chimie

Une équipe de recherche (affiliée à SciRobo, projet disponible sur GitHub sous Su-ISE-2001) a publié LabRobFail, un référentiel dédié à l'analyse des défaillances robotiques dans les laboratoires chimiques autonomes. Le système repose sur trois briques : LabRobFail-Sim, un simulateur qui injecte des pannes contrôlées à trois niveaux (contrôle, physique, sémantique) ; LabRobFail-Data, une base de plus de 20 000 trajectoires couvrant plus de 70 scénarios de tâches, cinq catégories de défaillances et 11 types de pannes détaillés ; et LabRobFail-Bench, un protocole d'évaluation testant six capacités : compréhension de la tâche, détection de défaillance, localisation temporelle, évaluation de la sévérité, classification et correction actionnable. Les chercheurs ont aussi entraîné LabRobFail-VLM, un modèle vision-langage spécialisé pour ce domaine, qui atteint 92,58 % de précision en détection de défaillance et 85,58 % en localisation temporelle sur des environnements déjà vus, surpassant nettement les VLM généralistes. Intégré comme superviseur en temps réel, ce modèle améliore le taux de réussite des tâches VLA en aval de 10 à 20 points de pourcentage. Ce travail cible un angle mort connu du secteur de la robotique de laboratoire : la fiabilité. Les expériences chimiques sont irréversibles et potentiellement dangereuses, ce qui rend la simple absence de données de défaillance un obstacle majeur au déploiement d'agents robotiques autonomes en labo. En créant un jeu de données synthétique massif et un protocole d'évaluation fin plutôt qu'un simple score de réussite binaire, l'équipe déplace le débat du "est-ce que ça marche en démo" vers "est-ce que le système sait détecter et corriger ses propres erreurs". Le gain de 10 à 20 points sur les tâches VLA lorsqu'un superviseur de supervision des pannes est ajouté est significatif pour les intégrateurs et responsables R&D qui évaluent si les architectures VLA (vision-langage-action) actuelles, comme Pi-0 ou GR00T N2 dans d'autres contextes robotiques, sont mûres pour une autonomie en boucle fermée sans supervision humaine constante. Le contexte est celui d'une course plus large à l'automatisation de la découverte scientifique, où les laboratoires "self-driving" combinent bras robotiques, instruments automatisés et modèles d'IA pour accélérer chimie et science des matériaux, un secteur où les incidents matériels coûtent cher et où la confiance des chercheurs reste un frein à l'adoption. Contrairement à des annonces de robots humanoïdes commerciaux où l'accent est mis sur la performance brute, LabRobFail adopte une approche inverse : construire un référentiel de sécurité et de diagnostic avant le déploiement à grande échelle. Le code et les données étant publiés en open source, cette initiative pourrait servir de base de comparaison pour d'autres équipes développant des VLM ou VLA spécialisés en robotique de laboratoire, avec pour prochaine étape probable l'extension du référentiel à d'autres types d'instruments ou de protocoles chimiques.

RecherchePaper
1 source
Nous savons construire des robots plus intelligents, il reste à apprendre à mieux les tester
2Robotics Business Review 

Nous savons construire des robots plus intelligents, il reste à apprendre à mieux les tester

Un robot humanoïde est aujourd'hui accessible à l'achat pour 14 000 dollars, sans certification de sécurité standardisée ni protocole de validation comportementale obligatoire. L'auteur de cet article, chercheur en robotique, a co-publié deux travaux récents qui convergent vers un même constat : les méthodologies de test n'évoluent pas au même rythme que les architectures de contrôle autonome. Pour cartographier ce décalage, il propose une taxonomie en cinq niveaux, classifiant les robots non pas selon le degré d'attention humaine (comme le fait la norme SAE pour les véhicules), mais selon le mode de traitement de l'information et de génération du comportement par la machine elle-même. Niveau 0 : téléopération pure. Niveau 1 : imitation par behavior cloning, fragile dès que les conditions terrain s'écartent légèrement des données d'entraînement. Niveau 2 : apprentissage supervisé en temps réel, où le robot détecte son incertitude, se met en pause et intègre une correction humaine via inverse reinforcement learning. Niveau 3 : apprentissage auto-supervisé, le robot générant ses propres signaux d'entraînement par essais-erreurs sans intervention humaine. Niveau 4 : reinforcement learning complet, le robot reformulant chaque tâche comme un problème d'optimisation résolu en interaction continue avec son environnement. Ce que cette taxonomie révèle est structurellement important pour les intégrateurs et les décideurs industriels : chaque niveau supplémentaire introduit un type de défaillance fondamentalement différent, qui rend les approches de test existantes insuffisantes. Aux niveaux 0 et 1, les outils sont matures et les comportements testables de façon exhaustive. Dès le niveau 2, il faut valider non seulement le comportement mais aussi le mécanisme de détection d'incertitude et l'intégrité de chaque mise à jour d'apprentissage. Au niveau 3, le robot réécrit continuellement sa propre politique : tester une performance instantanée ne suffit plus, il faut auditer le processus d'apprentissage lui-même. Au niveau 4, l'espace comportemental est trop vaste et trop dynamique pour une énumération exhaustive des cas de test. La thèse centrale est que les garanties formelles de sécurité doivent remplacer l'énumération de cas tests aux niveaux élevés d'autonomie, et que l'évaluation de robustesse adversariale doit devenir aussi systématique que les tests fonctionnels. Cette réflexion s'inscrit dans un moment charnière de l'industrie : les laboratoires et industriels (Figure, Boston Dynamics, Agility, 1X, Unitree côté hardware ; Physical Intelligence, DeepMind, NVIDIA côté fondations VLA) poussent vers une autonomie croissante, mais le cadre réglementaire reste absent pour les systèmes à prise de décision autonome en environnement non contrôlé. L'absence de standards équivalents aux normes ISO 10218 pour les robots industriels fixes crée un vide que comblent actuellement les constructeurs eux-mêmes, avec des métriques internes difficiles à auditer. Les prochaines étapes identifiées par l'auteur pointent vers l'intégration de méthodes de vérification formelle et de red-teaming adversarial comme pratiques standard de validation, avant que des déploiements à grande échelle dans des environnements non structurés ne rendent ces lacunes coûteuses.

UELe vide réglementaire identifié, absence de normes équivalentes aux ISO 10218 pour les robots à décision autonome, concerne directement le marché européen, où l'AI Act devra s'appliquer à des systèmes dont les méthodes de validation restent aujourd'hui définies unilatéralement par les constructeurs.

RechercheOpinion
1 source
ProtoAct : transformer les protocoles de laboratoire humide en actions robotiques incarnées
3arXiv cs.RO 

ProtoAct : transformer les protocoles de laboratoire humide en actions robotiques incarnées

Les protocoles de laboratoire biologique sont rédigés pour des chercheurs formés et laissent souvent implicites les opérations de routine, les conditions dépendantes de l'état du système et les paramètres contextuels, ce qui les rend difficiles à traduire en actions exécutables par un robot. Des chercheurs présentent ProtoAct, un framework structuré qui convertit des procédures biologiques en texte libre en séquences d'actions adaptées à l'exécution robotique. Le système combine trois modules : ProtoRAG, qui récupère des exemples annotés manuellement pour un parsing sensible au contexte, RefineChecker, qui détecte et corrige les étapes manquantes ou incohérentes, et ActSchema, qui transforme la procédure raffinée en séquences JSON contraintes de fonctions exécutables. Pour évaluer l'approche, les auteurs ont constitué BioP2E, un jeu de données comprenant 22 protocoles de culture cellulaire annotés manuellement, décomposés en 258 conditions de surveillance, 910 sous-tâches exécutables et 962 appels d'action ancrés dans le monde physique. Les tests couvrent sept grands modèles de langage différents comme backbone. Cette publication cible un problème concret pour l'automatisation en biotechnologie : la majorité des protocoles de laboratoire existants ne sont tout simplement pas lisibles par une machine sans réécriture manuelle coûteuse, ce qui freine le déploiement de robots dans les laboratoires humides (wet labs). En démontrant qu'un pipeline de parsing structuré peut produire des sous-tâches exploitables pour entraîner des modèles vision-langage-action (VLA) et obtenir une exécution réussie à la fois en simulation et sur robot réel, ProtoAct apporte une preuve de concept que l'automatisation de laboratoire peut s'appuyer sur les protocoles existants plutôt que sur des réécritures ad hoc, un enjeu pertinent pour la recherche pharmaceutique et l'automatisation scientifique. Les auteurs situent leur contribution dans la lignée des travaux combinant génération augmentée par récupération (RAG) et modèles de langage pour le raisonnement procédural, appliqués ici à un domaine peu couvert jusqu'ici : la biologie expérimentale. Les ablations menées montrent que la récupération contextuelle, la vérification a posteriori et les contraintes de schéma apportent chacune une contribution complémentaire, sans qu'aucun de ces éléments seul ne suffise. Le papier ouvre la voie à une intégration plus large avec des systèmes de collecte de démonstrations pour l'entraînement de modèles VLA en laboratoire.

RecherchePaper
1 source
VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots
4arXiv cs.RO 

VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots

Une équipe de chercheurs a présenté VISOR, un oracle de test automatisé pour la robotique basé sur des modèles vision-langage (VLM). Publiée sur arXiv (2605.10408), la méthode vise à résoudre ce que le domaine nomme le "problème de l'oracle de test" : déterminer automatiquement si un robot a accompli une tâche de manière correcte et avec une qualité suffisante. Jusqu'ici, deux approches coexistaient : les oracles symboliques, limités à des jugements binaires pass/fail et spécifiques à chaque tâche, et l'évaluation humaine manuelle, coûteuse, subjective et sujette aux erreurs. VISOR s'appuie sur GPT (OpenAI) et Gemini (Google) pour évaluer à la fois la correction et la qualité d'exécution, et pour quantifier son propre niveau d'incertitude lors des assessments. Le système a été validé sur plus de 1 000 vidéos couvrant quatre tâches robotiques distinctes. Les résultats montrent des profils contrastés : Gemini obtient un meilleur rappel (recall), identifiant davantage de vraies défaillances, tandis que GPT affiche une meilleure précision avec moins de faux positifs. Ces résultats nuancent l'idée d'un VLM universellement fiable comme juge de comportements robotiques. Plus problématique : les deux modèles présentent une faible corrélation entre leur score d'incertitude auto-déclaré et la correction réelle de leurs jugements. L'incertitude ne peut donc pas servir d'indicateur fiable pour filtrer les erreurs d'évaluation, ce qui est une limite directe pour tout déploiement en pipeline de test continu, où un tel signal de fiabilité serait précieux. Le "problème de l'oracle de test" est une problématique classique du génie logiciel, qui prend une dimension particulière en robotique physique : les comportements y sont continus, bruités et difficiles à formaliser symboliquement. L'approche VLM-as-judge, popularisée dans l'évaluation des LLMs textuels via des benchmarks comme MT-Bench ou AlpacaEval, est ici transposée à des sorties vidéo de robots, ce qui constitue une extension non triviale. Des travaux concurrents explorent des métriques spécifiques aux tâches ou des simulateurs avec vérification formelle, mais VISOR mise sur la généralité au détriment d'une calibration encore insuffisante. La prochaine étape identifiée par les auteurs est précisément d'améliorer cette corrélation incertitude-correction, condition nécessaire avant toute intégration dans un pipeline CI/CD robotique.

RecherchePaper
1 source