RecherchearXiv cs.RO 18 septembre 2026

CoreSense : rappel traçable des échecs et gestion des conflits de croyances pour des décisions robotiques auditables

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CoreSense, une architecture d'intégration robotique décrite dans un article publié le 18 septembre 2026 sur arXiv (référence 2609.19512), propose de combiner une mémoire épisodique traçable des échecs passés avec une porte de croyance sensible aux conflits, chargée de vérifier la portée, la provenance, la fraîcheur temporelle, la contradiction et le niveau de support d'une preuve avant d'autoriser une action, de demander une nouvelle observation, de s'abstenir ou d'escalader vers un humain. Le système a été évalué sur trois niveaux distincts, sans jamais commander un robot physique en direct : des données publiques réelles hors ligne, une simulation figée au niveau signal, et un déploiement cloud effectif. Sur les jeux de données CableTrace-120 et BotFails-200, le mécanisme de gating fait chuter le taux de décisions dangereuses non détectées ("unsafe proceeds") de 20% et 40% respectivement à 0%. Une politique vidéo brute calibrée séparément atteint aussi 0%, mais au prix d'un blocage systématique de tous les épisodes normaux. Un détecteur visuel entraîné sur ViFailback-BotFails obtient un AUROC de 0,778 mais bloque également tout. La télémétrie d'un bras UR3 pour les arrêts de protection donne 0% d'incidents non détectés, 36,1% de sur-blocage et 61,9% de couverture, tandis que le transfert sur la perte de préhension reste un résultat négatif. Une corroboration physique contrôlée atteint 3,3%, 0% et 42,0% sur les mêmes métriques, et la fusion sensible aux conflits 4,7%, 0% et 42,8%. Enfin, 20 rappels cloud sur 20 valident un pipeline de déploiement combinant CockroachDB Cloud et Amazon Bedrock.

Pour les intégrateurs et décideurs industriels, ce travail attaque un angle mort classique de l'IA embarquée en robotique : un système qui se souvient d'un échec passé ne sait pas toujours si ce souvenir reste pertinent, entre en conflit avec ce qu'il observe maintenant, ou suffit à motiver une décision. Les résultats montrent qu'un simple rappel de mémoire peut conduire à des actions dangereuses non filtrées, mais aussi que la prudence excessive rend un système inutilisable en pratique, un compromis rarement chiffré aussi explicitement dans la littérature. Les auteurs insistent eux-mêmes sur une limite importante : il s'agit d'un patron d'intégration auditable, pas d'une capacité de récupération autonome ni d'une garantie de sécurité certifiée, une nuance que le secteur a tendance à gommer dans ses annonces.

Le papier ne cite ni entreprise ni laboratoire dans son résumé, et se positionne à contre-courant des architectures VLA de bout en bout comme Pi-0, GR00T N2 ou Helix, qui visent l'autonomie complète de la décision : CoreSense ajoute au contraire une couche de gouvernance qui peut refuser d'agir ou renvoyer la décision à un opérateur. Aucun pilote industriel ni calendrier de déploiement commercial n'est annoncé, le chemin cloud validé restant à ce stade une preuve de concept technique plutôt qu'un produit livré.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

FAR : retentative sensible aux échecs pour la récupération en cours de test et l'amélioration continue des politiques

Les chercheurs à l'origine de ce papier arXiv (référence 2607.01111v1) présentent FAR (Failure-Aware Retry), un framework qui permet à un robot manipulateur d'apprendre de ses propres échecs directement au moment du test, sans intervention humaine, pour finir par accomplir la tâche de façon autonome. Le système combine deux mécanismes: la Failure-Contrastive Preference Adaptation, qui transforme chaque échec en donnée de préférence pour écarter la politique des comportements déjà ratés, et des perturbations d'action légères appliquées lors des tentatives suivantes pour favoriser une exploration locale ciblée autour du point d'échec. Les trajectoires de récupération qui réussissent sont ensuite réinjectées dans une boucle d'entraînement, ce qui permet une amélioration continue de la politique. Testé en simulation et sur des tâches de manipulation réelles, FAR améliore le taux de réussite de 17,6% en moyenne par rapport à une politique de diffusion standard en simulation, et de 11,7% en conditions réelles. Ce travail s'attaque à un problème concret pour l'industrie: la plupart des politiques de manipulation actuelles, notamment celles basées sur la diffusion, échouent silencieusement en réel et se contentent de répéter la même erreur lors d'un nouvel essai, faute de mécanisme pour comprendre pourquoi elles ont échoué. Les méthodes de récupération existantes s'appuient généralement sur un opérateur humain pour réinitialiser ou corriger le robot, ce qui limite le déploiement autonome à grande échelle et alourdit le coût des essais réels. En démontrant qu'un robot peut exploiter ses propres échecs comme signal d'apprentissage plutôt que comme simple bruit à ignorer, FAR va dans le sens d'une meilleure robustesse des politiques VLA et de diffusion en environnement non contrôlé, un enjeu central pour les intégrateurs qui cherchent à réduire la supervision humaine sur des lignes de manipulation. FAR s'inscrit dans la lignée des travaux récents sur les politiques de diffusion et l'apprentissage par imitation appliqués à la manipulation robotique, où la question du "reset" et du "budget de pas de temps" pendant l'entraînement continu reste un goulot d'étranglement pratique. Les auteurs montrent justement que leur méthode améliore l'efficacité des données sous ces deux contraintes de budget, en exploitant préférentiellement les cas d'échec les plus informatifs. Le papier, classé comme nouvelle soumission sur arXiv, ouvre la voie à des extensions vers d'autres familles de politiques et vers des déploiements réels prolongés, sans que des pilotes industriels concrets ne soient encore annoncés à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

SAFECAST : détection robuste des échecs pour les politiques VLA par entraînement à ensembles contrastifs et calibration

Des chercheurs présentent SAFECAST, une méthode de détection d'échec pour les politiques vision-langage-action (VLA), les modèles qui pilotent des robots à partir d'instructions en langage naturel. Le problème visé: ces politiques échouent souvent une fois déployées, dès que les conditions s'écartent de l'entraînement, désordre dans la scène, objets distracteurs, éclairage différent, objets jamais vus, position de départ modifiée, ou simple reformulation d'une consigne. Les approches existantes détectent ces échecs via des sondes entraînées sur les états cachés du modèle, combinées à de la prédiction conforme fonctionnelle, mais leur fiabilité s'effondre si les données de calibration ne collent pas aux conditions réelles de déploiement. SAFECAST corrige ce point en injectant des perturbations de type "contrast set", des variations ciblées de la scène visuelle et du texte de l'instruction, à la fois dans l'entraînement et la calibration des sondes. Testée sur le jeu de données réel DROID et sur le simulateur LIBERO, avec plusieurs architectures de VLM en backbone, la méthode améliore de façon statistiquement significative le score ROC-AUC de détection d'échec par rapport à une référence état de l'art. Pour les intégrateurs et équipes robotique qui misent sur des politiques VLA en production, ce travail s'attaque à un angle mort connu du secteur: on sait entraîner des modèles capables de suivre des instructions, mais pas forcément savoir, en temps réel, quand ils sont sur le point d'échouer. Un détecteur d'échec fiable permet de déclencher un arrêt de sécurité ou un relais humain avant la casse, un prérequis pour déployer des VLA hors laboratoire, sur ligne de production ou en entrepôt, sans supervision constante. Le résultat le plus notable côté méthode: la calibration en simulation (sim-to-real), une fois enrichie de perturbations contrastives, produit de meilleures sondes que la calibration sur données réelles seules, ce qui réduirait le besoin coûteux de collecter des rollouts réels pour chaque nouveau contexte de déploiement. Ce travail s'inscrit dans la lignée des recherches sur la prédiction conforme appliquée à la robotique, un domaine qui cherche à donner des garanties statistiques d'échec plutôt que de simples scores de confiance heuristiques. Il prolonge directement les méthodes à base de sondes sur états cachés déjà proposées comme référence, en ciblant leur faiblesse principale, la dépendance aux données de calibration. Les auteurs indiquent que le gain est maximal quand perturbations visuelles et perturbations linguistiques sont combinées, une piste que de futurs travaux pourraient étendre à d'autres types de décalages de distribution ou à des politiques VLA déployées sur du matériel robotique varié.

RecherchePaper

1 source

3arXiv cs.RO

Référentiel d'évaluation en conditions réelles de la préhension en vrac pour le tri robotisé des déchets alimentaires

Des chercheurs ont publié GRAB (Grasping-in-Clutter Benchmark), un protocole d'évaluation en conditions réelles destiné au tri robotisé des déchets alimentaires. Le benchmark mobilise 1 750 tentatives de saisie réparties sur quatre niveaux de désordre aléatoire, en comparant trois modalités de préhenseurs industriels sur des objets déformables représentatifs des contaminants inorganiques présents dans les flux de déchets alimentaires. L'évaluation repose sur une estimation de pose 6D pour chaque tentative de saisie, et introduit des métriques dites de "graspabilité" qui caractérisent explicitement les conditions pré-saisie, au lieu de se limiter au classique taux de succès binaire. Le résultat central contredit une hypothèse fréquente dans la littérature : ce ne sont pas les limites de perception ou de contrôle qui dominent les échecs de saisie en environnement encombré, mais les contraintes d'interaction physique avec les objets. La qualité de l'objet lui-même, son état de déformation, sa position relative dans le tas, s'avèrent être le facteur prédominant sur toutes les modalités de préhenseur testées. Ce constat a des implications directes pour les intégrateurs industriels : optimiser la vision ou le planificateur de trajectoire apporte des gains marginaux si la chaîne amont ne garantit pas une qualité d'objet minimale en entrée de cellule. GRAB fournit ainsi une base méthodologique plus rigoureuse pour concevoir des systèmes de préhension adaptatifs destinés à des flux réels, variables et non structurés. Le tri des déchets alimentaires est un domaine resté largement en dehors des benchmarks robotiques standards, dominés par des objets rigides et des environnements contrôlés. Les approches existantes souffraient d'une dépendance excessive aux datasets simulés et d'une absence d'analyse systématique des modes d'échec. GRAB comble ce vide en s'appuyant sur des datasets d'objets déformables réels, un angle peu couvert par les travaux concurrents centrés sur la manipulation manufacturière. Côté acteurs, des entreprises comme Greyparrot (tri de déchets par vision) ou Zen Robotics (saisie en flux de déchets) opèrent sur des problématiques proches. Les prochaines étapes probables incluent l'intégration du benchmark dans des pipelines d'apprentissage par imitation ou de VLA (Vision-Language-Action models) pour évaluer leur robustesse sur des flux de déchets réels, un cas d'usage encore peu documenté à l'échelle industrielle.

UEZen Robotics (Finlande) travaille sur des problématiques directement couvertes par ce benchmark ; les intégrateurs européens de cellules de tri pourraient s'appuyer sur GRAB pour réorienter leurs budgets R&D vers la qualité amont plutôt que vers la vision ou la planification.

RecherchePaper

1 source

4arXiv cs.RO

Tir dans l'espace des compétences pour l'amélioration autonome des politiques robotiques

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée « skill-space shooting », conçue pour permettre à un robot déployé de corriger seul les échecs de sa politique de contrôle, sans que l'humain ait à démontrer chaque correction. Le principe repose sur un modèle de fondation, qui guide l'exploration de corrections à travers des compétences courtes et réutilisables (les « skills »). Ces comportements récurrents d'une tâche à l'autre, comme saisir, pousser ou repositionner un objet, sont choisis par le modèle à partir de la scène observée. Les essais réussis sont ensuite convertis en supervision corrective pour réentraîner la politique. Les auteurs affirment que des expériences en conditions réelles montrent une amélioration répétée de politiques agissant de manière autonome, et que les skills peuvent être partagés entre tâches pour réduire l'effort d'enseignement sur de nouvelles tâches. Le résumé ne donne ni taux de réussite, ni nombre d'essais, ni plateforme robotique, ni gain chiffré. Ces éléments devront être vérifiés dans le papier complet et sur la page de résultats vidéo associée. L'enjeu est un goulot d'étranglement bien connu du déploiement de robots : l'amélioration après mise en service dépend encore largement de téléopérateurs qui produisent des démonstrations correctives. Les systèmes dits agentiques, où un modèle de fondation compose des comportements appris pour finir une tâche, contournent l'humain, mais ne rendent pas la politique elle-même meilleure. Elle échouera de nouveau au même endroit. Le travail cherche à combler cet écart en transformant les succès obtenus par composition de skills en données d'apprentissage. Si le résultat tient à l'échelle, il réduirait le coût marginal de chaque correction, un poste critique pour les intégrateurs qui exploitent des flottes de robots. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, et les vidéos publiées par les auteurs sont généralement sélectionnées. La généralisation entre tâches reste à démontrer sur des cas plus variés que ceux d'un laboratoire. Ce travail s'inscrit dans la course aux politiques vision-langage-action (VLA), comme Pi-0 ou GR00T, qui sont pré-entraînées sur de grands volumes de démonstrations, puis affinées, souvent avec de la téléopération humaine. Il rejoint aussi les recherches sur l'apprentissage par renforcement et l'auto-amélioration en conditions réelles, qui butent sur le coût des essais physiques et sur la conception des récompenses. L'usage de skills comme espace de recherche restreint l'exploration et la rend plus sûre et plus efficace que des actions brutes. La suite dépendra de la publication du code, des comparaisons avec les approches d'amélioration existantes et d'éventuels tests sur des robots industriels. Aucun pilote commercial n'est annoncé à ce stade.

RecherchePaper

1 source