RecherchearXiv cs.RO 31 août 2026

Détection de préhension par succion sans entraînement pour cartons aseptiques déformés via modèles vision-langage et score géométrique de surface

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté un système de préhension par ventouse "sans entraînement" pour le tri robotique de briques alimentaires aseptiques déformées, un défi classique des centres de tri où les emballages écrasés ou froissés rendent la détection de points de préhension imprévisible. Le système sépare l'identification de la cible du choix du point de préhension : un modèle vision-langage à vocabulaire ouvert repère les cartons à partir d'un simple prompt textuel, puis SAM2 affine chaque détection en masque d'instance précis. Un score géométrique combine ensuite planéité de surface et alignement de la normale pour choisir le point d'aspiration optimal, trois méthodes étant comparées : PCA par k plus proches voisins, produit vectoriel de Sobel et ajustement de plan par RANSAC. Testé sur un robot réel avec trois niveaux de déformation et 35 scènes encombrées, le système atteint 88,2% de réussite de préhension sur objet isolé et 72,6% de réussite bout en bout en environnement encombré.

L'intérêt principal tient à l'absence totale d'entraînement spécifique : aucune donnée annotée de cartons déformés n'est nécessaire, le pipeline s'appuyant uniquement sur des modèles pré-entraînés génériques (VLM et SAM2) assemblés avec une couche géométrique classique. Pour les intégrateurs de centres de tri, c'est une promesse concrète de déploiement rapide sur de nouveaux flux d'emballages sans campagne de collecte de données ni réentraînement, un frein habituel du tri automatisé où la variabilité des objets écrasés, sales ou partiellement occultés fait chuter les taux de succès des systèmes appris de bout en bout. L'écart entre 88,2% en isolé et 72,6% en encombrement illustre aussi, de façon plus honnête que beaucoup d'annonces du secteur, le fossé persistant entre performance en conditions contrôlées et performance réelle, un rappel utile pour des décideurs habitués à des chiffres de démonstration sans contexte d'occlusion ni de densité de scène.

Le tri robotique de déchets reste l'un des cas d'usage les moins matures de la préhension robotique, loin derrière la logistique d'entrepôt ou l'assemblage industriel, en raison de la déformabilité et de l'hétérogénéité des objets (briques type Tetra Pak écrasées, sacs, films) que jauges de vide et vision classique peinent à traiter de façon fiable. L'approche s'inscrit dans une tendance plus large consistant à réutiliser des modèles fondation vision-langage et de segmentation plutôt qu'à entraîner des détecteurs de préhension dédiés par catégorie d'objet, une direction également explorée pour la préhension générique en environnement non structuré. L'étude, publiée sur arXiv fin août 2026, reste une validation en laboratoire sur bras robotique, sans déploiement industriel ni partenariat annoncé avec un opérateur de centre de tri ; les suites attendues porteraient sur l'extension à d'autres emballages déformables et sur des essais en conditions réelles de chaîne de tri.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèle vision-langage auto-raffiné pour la détection et le raisonnement sur les échecs en robotique

ARMOR (Adaptive Round-based Multi-task mOdel for Robotic failure detection and reasoning) est un modèle vision-langage présenté dans un preprint arXiv (2602.12405v2) par une équipe de l'Université du Texas à Austin. Il vise à détecter les échecs d'un robot et à expliquer leur cause en langage naturel. Plutôt que de produire une réponse en un seul passage, le modèle fonctionne par raffinement itératif: à chaque tour, il prédit un verdict de détection (échec ou non) puis un raisonnement textuel, en s'appuyant sur ses sorties précédentes. À l'entraînement, il combine deux types de supervision: de nombreuses étiquettes binaires éparses (succès/échec) et un petit nombre d'annotations de raisonnement détaillées, optimisées par une combinaison d'apprentissage par imitation hors ligne et en ligne. À l'inférence, ARMOR génère plusieurs trajectoires de raffinement et retient la prédiction la plus fiable selon une métrique d'auto-certitude. Les auteurs annoncent jusqu'à 30% de gain sur le taux de détection d'échecs et jusqu'à 100% sur la qualité du raisonnement, mesurée par un score de correspondance floue évalué par un LLM, par rapport aux approches antérieures, dans plusieurs environnements. Pour les intégrateurs et les responsables d'exploitation, l'enjeu est la fiabilité en conditions réelles. Les échecs en production sont subtils, combinatoires et difficiles à énumérer: un classifieur à ensemble fermé de modes de défaillance passe à côté de tout ce qui n'a pas été anticipé, tandis que les méthodes qui exigent beaucoup d'annotations humaines riches sont coûteuses à déployer. ARMOR soutient qu'un volume modeste d'explications annotées, associé à des labels binaires bon marché, suffit à produire un raisonnement ouvert, au-delà des catégories prédéfinies. Si cela se confirme, la barrière pour doter une flotte de robots d'un diagnostic d'échec exploitable, utile pour la reprise automatique, la maintenance ou la traçabilité, baisserait nettement. Il faut toutefois rester prudent: les chiffres sont des gains relatifs "jusqu'à", sans indication ici des benchmarks ni des bases de comparaison, et le score de correspondance floue par LLM reste une mesure indirecte de la justesse d'un raisonnement. Rien n'indique non plus un test en déploiement industriel ni des contraintes de latence, alors que générer plusieurs trajectoires à l'inférence a un coût de calcul. Ce travail s'inscrit dans le courant des modèles vision-langage-action (VLA) et des VLM utilisés comme superviseurs ou "critiques" de robots, où la détection d'anomalies et l'auto-correction deviennent un maillon manquant entre démonstrations spectaculaires et fiabilité de production. Il se positionne contre deux familles: la classification d'échecs en ensemble fermé et les approches dépendantes d'annotations abondantes. La technique d'auto-raffinement avec sélection par auto-certitude rejoint les méthodes d'échelle à l'inférence popularisées par les LLM de raisonnement. Les auteurs proposent des visualisations complémentaires sur le site du projet (sites.google.com/utexas.edu/armor). Il s'agit pour l'instant d'une publication de recherche, sans produit ni pilote annoncé; la suite logique serait une validation sur robots physiques en conditions variées et une intégration avec des politiques de contrôle existantes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Co-VLA : entraînement fédéré par consensus pour les modèles vision-langage-action

Un article publié sur arXiv (référence 2609.19923v1) présente Co-VLA, une méthode d'entraînement fédéré pour les modèles vision-langage-action (VLA), cette classe de modèles qui traduit perception visuelle et instructions en langage naturel en commandes motrices pour robots. La technique s'appuie sur l'optimisation par consensus via l'algorithme ADMM (Alternating Direction Method of Multipliers) pour coordonner l'entraînement entre plusieurs clients détenant chacun des données robotiques locales différentes, sans jamais faire transiter ces données brutes vers un serveur central. Les auteurs montrent que le même algorithme fonctionne à la fois pour l'entraînement complet d'un modèle et pour le fine-tuning paramétrique-efficient, avec des adaptateurs à rang fixe comme à rang adaptatif. Selon les expériences rapportées, Co-VLA atteint des performances comparables à celles d'un entraînement centralisé classique, aussi bien en entraînement complet qu'en fine-tuning léger. L'abstract ne détaille toutefois ni le nombre de robots ou de sites impliqués dans les tests, ni les tâches précises évaluées, ni de métriques chiffrées de réussite. L'enjeu pratique est celui du goulot d'étranglement identifié par tout le secteur des VLA : les performances de ces modèles s'améliorent avec l'échelle des données, mais ces données de démonstration robotique sont dispersées entre flottes, sites industriels et types de tâches, et leur centralisation pose des problèmes de coût, de bande passante et souvent de confidentialité pour les intégrateurs qui déploient des robots chez des clients tiers. En rendant possible un entraînement collaboratif sans partage de données, Co-VLA ouvre une voie pour mutualiser l'apprentissage entre opérateurs de flottes concurrents ou entre sites d'un même groupe industriel, tout en gérant l'hétérogénéité des distributions de données propre à des robots différents opérant dans des environnements différents, un obstacle documenté du federated learning appliqué à la robotique. Ce travail s'inscrit dans la course actuelle aux modèles VLA généralistes, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à industrialiser l'apprentissage à grande échelle sur données robotiques réelles. Co-VLA ne propose pas un nouveau modèle concurrent mais une brique méthodologique complémentaire, exploitable en principe par n'importe quel VLA existant. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel, de partenariat ou de calendrier de suite.

RecherchePaper

1 source

3arXiv cs.RO

Raisonnement probabiliste calibré des obstructions par modèles vision-langage pour la préhension en environnement encombré

Un preprint publié sur arXiv (2609.18718v1) présente CPOR-Grasp, un système de raisonnement probabiliste calibré pour la préhension d'objets en environnement encombré. Face à une cible partiellement cachée, il doit choisir entre la saisir directement, retirer un objet qui la bloque, ou différer la décision. Plutôt que de figer une seule interprétation de la scène, CPOR-Grasp calibre et fusionne les signaux d'un modèle vision-langage, de la profondeur et de masques amodaux pour construire une distribution sur les graphes d'obstruction possibles, en ne gardant que les plus probables et en bornant mathématiquement la probabilité écartée. Sur le benchmark UNOBench, en scènes synthétiques et réelles, avec Gemini Robotics comme backbone VLM, l'erreur de calibration chute de 0,1416 à 0,0185, l'inférence tronquée égale l'inférence exacte sur 99,74% des décisions avec 56 fois moins de graphes, et le taux de réussite réel atteint 77,8%, devant les meilleures méthodes existantes. Le tri en entrepôt, le bin-picking industriel et les bras montés sur robots mobiles autonomes (AMR) butent régulièrement sur ce problème : les VLM utilisés pour interpréter une scène encombrée produisent des scores de confiance mal calibrés, souvent trop optimistes, et des relations d'obstruction incohérentes entre elles. Une décision fondée sur une seule hypothèse fausse entraîne casse, chute d'objet ou échec de tâche, ce qui pèse sur le taux de succès en production, loin des vidéos de démonstration sélectionnées. En rendant l'incertitude explicite et en autorisant l'ajournement d'une action plutôt que la décision forcée, CPOR-Grasp montre qu'un VLM commercial performant comme Gemini Robotics reste surconfiant sans calibration statistique dédiée, un point utile pour qui construit un pipeline de préhension autour d'un VLM générique. Ce travail s'inscrit dans la vague d'approches robotiques qui s'appuient sur des VLM préentraînés pour le raisonnement de haut niveau plutôt que sur des pipelines de perception spécialisés, dans la lignée de modèles vision-langage-action comme Pi-0 ou GR00T N2, davantage orientés vers l'exécution de bout en bout. UNOBench sert ici de banc d'essai dédié à la désobstruction avant saisie, un sous-problème distinct mais complémentaire de ces architectures généralistes. Publié comme contribution de recherche, sans partenariat industriel annoncé, CPOR-Grasp n'est comparé pour l'instant qu'à des bases de référence académiques ; une intégration sur bras robotique réel en entrepôt et une confrontation aux piles de préhension propriétaires du secteur restent les étapes suivantes attendues.

RecherchePaper

1 source

4arXiv cs.RO

Correction d'actions sans réentraînement pour les échecs des modèles VLA, via retour en langage naturel

Des chercheurs ont publié fin août 2026 sur arXiv (2608.29967) CorrectVLA, une méthode qui corrige les échecs des modèles Vision-Language-Action (VLA) sans réentraînement. Le principe : un humain formule une seule consigne de correction en langage naturel, traduite en ajustements additifs de l'amplitude des actions et appliquée uniformément à tous les essais suivants, sans toucher aux poids de la politique. En simulation sur le benchmark LIBERO-90, CorrectVLA récupère des échecs de désalignement d'exécution aussi bien sur des tâches connues que sur des tâches inédites (out-of-distribution). Sur un bras robotique réel UFactory xArm7 soumis à un changement d'environnement, la méthode restaure un taux de réussite quasi parfait là où la politique de base échoue presque totalement, et généralise à de nouvelles positions et identités d'objets. Ce travail s'attaque à l'un des points faibles connus des VLA en déploiement : l'écart entre démonstrations impressionnantes et robustesse réelle sur le terrain. Pour les intégrateurs et décideurs industriels, l'intérêt est opérationnel : plutôt que de réentraîner un modèle coûteux à chaque échec observé, une simple instruction textuelle suffirait à corriger certains comportements erronés sur une flotte déjà déployée. Mais l'apport le plus utile est la taxonomie des échecs établie sur LIBERO-90 : seuls les échecs de désalignement d'exécution, où le robot vise la bonne cible mais mal calibre l'amplitude de son geste, sont corrigibles par ce biais. Quand la compréhension sémantique de la tâche elle-même fait défaut, la méthode échoue, ce qui fixe une limite opérationnelle claire et tempère l'idée que le feedback en langage suffirait à résoudre tous les problèmes de généralisation des VLA. Ce résultat s'inscrit dans la course aux modèles VLA généralistes (Pi-0, GR00T N2, Helix) de plus en plus déployés sur bras industriels et humanoïdes, où la question du contrôle post-déploiement face aux échecs en conditions réelles reste ouverte. Contrairement à un réentraînement complet ou à du fine-tuning, CorrectVLA se positionne comme une méthode d'intervention à l'inférence, complémentaire aux approches existantes de correction de politique. Les auteurs présentent ce travail comme une première délimitation empirique des cas où la correction sans réentraînement fonctionne, la piste des échecs de compréhension sémantique restant un chantier ouvert.

RecherchePaper

1 source