Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Poussée à horizon glissant avec politiques composables centrées objet
RecherchearXiv cs.RO 

Poussée à horizon glissant avec politiques composables centrées objet

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie le 22 septembre 2026 sur arXiv (arXiv:2609.23439v1) une méthode hiérarchique de manipulation non préhensile, pousser un objet plutôt que le saisir, utile pour déplacer des charges volumineuses, lourdes ou impossibles à empoigner. Une politique apprise prédit, depuis un nuage de points normalisé, les contacts pour atteindre un sous-objectif proche, évalués par un score de stabilité glissement contre basculement, tandis que l'algorithme BIT* planifie la trajectoire globale de l'objet, vérifie la faisabilité des sous-objectifs suivants et replanifie en cas d'échec, une seule action étant exécutée par cycle, à horizon glissant. Testée en simulation sur 22 objets dans six scènes avec des études d'ablation, la méthode a aussi été validée sur un bras Franka et, qualitativement, sur un manipulateur mobile portant des charges lourdes, avec un transfert direct de la simulation vers le réel, sans réentraînement.

Ce travail répond à un besoin concret en logistique et en industrie, où de nombreux objets sont trop volumineux, lourds ou irréguliers pour une préhension classique et où pousser reste souvent la seule option de repositionnement. Le verrou visé est le couplage entre trois décisions habituellement traitées séparément où pousser, si le contact est stable, si les actions suivantes resteront possibles, principale cause d'échec des approches réactives à un seul pas sur des tâches longues. Le transfert zero-shot vers un bras réel, s'il se confirme, appuierait l'idée qu'une politique apprise en simulation généralise sans réglage coûteux sur robot physique, mais les résultats sur manipulateur mobile restent qualitatifs et le banc d'essai simulé, 22 objets et six scènes, demeure modeste; il s'agit d'une prépublication non revue par les pairs, une preuve de concept plus qu'une solution prête au déploiement.

Cette approche prolonge les travaux cherchant à dépasser les politiques de poussée réactives à un seul pas, en les couplant à une planification à plus long terme capable d'anticiper obstacles et échecs de mouvement plutôt que de tout recalculer à chaque étape. Elle se distingue des politiques génératives de bout en bout entraînées sur de vastes corpus de démonstrations en conservant un score de stabilité physique explicite et un planificateur séparé de la politique de contact apprise. Le résumé ne précise ni institution ni calendrier de déploiement, mais vise une généralité démontrée sur des scènes et géométries variées, sur un terrain où la manipulation non préhensile reste peu couverte par les modèles vision-langage-action mis en avant dans la robotique généraliste.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

GORDON : récompenses par graphes centrées sur l'objet pour décomposer la manipulation à long horizon
1arXiv cs.RO 

GORDON : récompenses par graphes centrées sur l'objet pour décomposer la manipulation à long horizon

Une équipe de recherche décrit dans un article publié sur arXiv début août 2026 (2608.03753) GORDON, un système qui apprend des récompenses denses pour l'apprentissage par renforcement en manipulation robotique, à partir de simples vidéos de démonstration sans action associée. Chaque scène est convertie en graphe d'objets et de relations spatiales, qu'un réseau de neurones sur graphe, entraîné de façon auto-supervisée, projette dans un espace latent aligné sur la progression de la tâche, en isolant les objets pertinents du mouvement propre au bras robotique. La récompense correspond alors à la distance, dans cet espace, entre l'état courant et la configuration d'objectif démontrée. Sur sept tâches testées dans les bancs d'essai simulés MAGICAL et ManiSkill3, GORDON atteint un taux de réussite moyen de 74,4 % sur les tâches longues, soit environ 35 points de mieux que la meilleure base apprise et 25 points de mieux qu'une politique oracle. Ce résultat s'attaque à un goulot d'étranglement classique du RL robotique, la conception de la récompense pour des tâches longues et multi-étapes : les récompenses éparses donnent peu de signal, et celles apprises sur pixels bruts se révèlent fragiles aux variations d'arrière-plan ou de trajectoire. En représentant la scène par objets plutôt que par pixels, et en découvrant automatiquement les sous-tâches à partir du profil temporel de la récompense, sans annotation manuelle, GORDON réduit le travail d'ingénierie nécessaire pour décomposer une tâche complexe. C'est un frein connu pour les équipes qui entraînent des politiques sur des séquences d'assemblage ou de tri multi-étapes, un des obstacles à la généralisation des politiques apprises au-delà des tâches courtes. La méthode s'inscrit dans la lignée des travaux sur la récompense apprise par démonstration, qui cherchaient jusqu'ici un compromis entre richesse du signal et robustesse visuelle. Elle diffère des approches vision-langage-action comme Pi-0 ou GR00T N2, qui apprennent une politique de bout en bout : GORDON reste une brique de reward shaping et de décomposition de tâches, combinable en principe avec différents algorithmes de RL. Les résultats restent pour l'instant limités à deux bancs d'essai simulés, sans test sur robot physique ni transfert sim-to-real annoncé, ce qui reste l'étape suivante pour juger de la portée réelle de la méthode.

RecherchePaper
1 source
Diviser pour mémoriser : une mémoire récursive centrée sur l'action pour les politiques VLA à long horizon
2arXiv cs.RO 

Diviser pour mémoriser : une mémoire récursive centrée sur l'action pour les politiques VLA à long horizon

Des chercheurs proposent Divide-and-Remember (D&R), une méthode de mémoire récursive pour les politiques VLA (vision-language-action) appliquées à la manipulation de longue durée. Le papier, publié sur arXiv (2610.00982), s'attaque aux tâches dites dépendantes de l'historique, où l'observation courante ne suffit pas à déterminer l'action. D&R apprend une fonction de mémoire mt = M(ht) en s'appuyant sur une sélection récursive : la sélection sur l'historique complet est découpée en sous-problèmes de type top-K sur 2K tokens. Des sélecteurs légers, de taille fixe et entraînés de bout en bout, peuvent ainsi gérer un historique non borné. Tous les blocs de récursion partagent un unique sélecteur, ce qui limite le coût de calcul. Sur RoboMME, un benchmark de 16 tâches de manipulation longue qui exigent de se souvenir du quand, du où, du quoi et du comment agir, D&R atteint le meilleur taux de succès moyen publié, avec des gains constants sur les quatre suites, pour un budget de seulement 64 tokens de mémoire. Les auteurs affirment que des essais sur robot réel confirment le gain, sans en donner les chiffres dans le résumé. Le code et les checkpoints sont publiés. L'enjeu dépasse le seul score de benchmark. Les VLA actuels restent largement réactifs : ils se débrouillent quand la scène contient l'information utile, mais échouent dès qu'il faut se rappeler quel objet a été déplacé, quelle étape est déjà faite ou où un élément a disparu. Ces cas sont fréquents en logistique, en assemblage et en tâches de service. Les méthodes existantes de mémoire reposent sur des heuristiques fixées à la conception, comme conserver les images à forte variation de pixels, et donnent des résultats irréguliers selon les tâches. Le papier les remplace par un critère théorique : la mémoire optimale maximise l'information mutuelle conditionnelle entre l'action et la mémoire, sachant l'observation courante. Autrement dit, elle ne garde que ce qui, dans le passé, est utile à l'action et absent de la vue présente. Pour un intégrateur, le point clé est le budget : 64 tokens, c'est une mémoire compatible avec une inférence embarquée, là où allonger le contexte fait exploser latence et coût. Il faut toutefois rester prudent : RoboMME est un benchmark principalement simulé, et la validation sur robot réel n'est détaillée que dans le papier complet. Il s'agit d'un résultat de recherche, pas d'un produit déployé. Ce travail s'inscrit dans la montée en puissance des VLA généralistes, comme Pi-0 ou GR00T, qui traitent surtout une observation courte ou quelques images récentes. La mémoire à long horizon est identifiée comme un point faible de ces architectures, et plusieurs équipes explorent la compression du contexte, la mémoire par mots-clés ou les représentations récurrentes. D&R se distingue par sa formulation en problème d'optimisation, issue du cadre POMDP de l'apprentissage par imitation. Les prochaines étapes à surveiller sont la reproduction des résultats sur d'autres benchmarks, les chiffres détaillés sur robot réel et l'intégration dans des modèles de fondation de grande taille.

RecherchePaper
1 source
KeyGen : représentations centrées sur l'objet à points clés non supervisés pour généraliser des politiques par catégorie
3arXiv cs.RO 

KeyGen : représentations centrées sur l'objet à points clés non supervisés pour généraliser des politiques par catégorie

Le laboratoire à l'origine de KeyGen a publié fin septembre 2026 sur arXiv (référence 2609.28818) un framework d'apprentissage de représentations 3D pour la manipulation robotique. La méthode apprend, sans supervision, des points-clés sémantiques 3D canonicalisés à partir de nuages de points, qui servent de représentation structurée et centrée sur l'objet. Une politique visuomotrice par diffusion se conditionne sur ces points-clés et sur la géométrie de l'objet pour prédire des trajectoires de manipulation complètes, en maintenant une correspondance géométrique cohérente entre différentes instances d'un même type d'objet. Pour évaluer la généralisation au niveau catégorie, les auteurs ont construit un banc d'essai de simulation photoréaliste couvrant trois tâches de manipulation, associé à un pipeline de génération de données piloté par planification capable de produire des trajectoires expertes sur des objets aux formes, tailles et poses variées. Les résultats rapportés montrent que KeyGen surpasse nettement les méthodes antérieures, sur des objets déjà vus comme inédits, sous variation de pose, qu'il continue de progresser avec davantage de démonstrations par objet, qu'il reste robuste face aux changements d'échelle, et qu'il obtient de bonnes performances aussi bien en simulation qu'en manipulation réelle. L'enjeu visé est un défaut connu du clonage comportemental classique: les politiques apprises surajustent souvent la géométrie et l'apparence propres à chaque instance d'objet, ce qui limite fortement le transfert vers des objets jamais vus. En imposant une correspondance géométrique explicite via des points-clés canonicalisés, KeyGen s'attaque directement à l'écart entre démonstrations en laboratoire et généralisation réelle sur des familles d'objets hétérogènes, un problème central pour tout intégrateur cherchant à déployer une politique unique sur toute une catégorie de produits plutôt que sur des références individuelles. Si les résultats se confirment à plus grande échelle, l'approche pourrait réduire le volume de démonstrations nécessaire par objet, un critère économique clé pour l'industrialisation de la manipulation robotique. Le travail s'inscrit dans la lignée des représentations centrées-objet, une alternative aux politiques bout-en-bout conditionnées uniquement sur des pixels ou des nuages de points bruts, à distinguer des approches vision-langage-action (VLA) qui misent surtout sur le volume de données pour généraliser. KeyGen reste à ce stade une contribution de recherche évaluée sur un banc d'essai simulé propriétaire et des tests réels limités à trois tâches, sans déploiement industriel ni partenariat annoncés. Les suites logiques évoquées par les auteurs concernent l'extension à davantage de catégories d'objets et de tâches plus complexes, ainsi qu'une comparaison directe avec des politiques VLA génériques entraînées à grande échelle.

RecherchePaper
1 source
OCC4M : mémoire 4D centrée objet pour le raisonnement spatiotemporel en manipulation à long horizon
4arXiv cs.RO 

OCC4M : mémoire 4D centrée objet pour le raisonnement spatiotemporel en manipulation à long horizon

OCC4M, surnommé « Occam », est une mémoire 4D centrée sur les objets pour robots manipulateurs, présentée en septembre 2026 par ses auteurs (arXiv:2609.28798) pour les tâches longues nécessitant de raisonner sur un état absent du champ de vision actuel. Le système maintient des pistes persistantes dans un référentiel monde partagé et encode explicitement les relations temporelles, de mouvement et de contenance, par exemple pour localiser un objet sorti du champ de vision ou identifier le contenu d'un conteneur mélangé. Un modèle vision-langage interroge cette mémoire structurée pour désigner des cibles, ensuite traitées par un exécuteur bas niveau sans avoir besoin de l'historique complet des observations. Sur sept conditions de simulation et 350 épisodes, OCC4M obtient 96,6% de réussite mémoire et 88,9% de réussite de bout en bout, contre 54,6% et 57,7% pour FrameSamp, une référence utilisant Gemini 3.7 Flash avec l'historique brut complet et le même exécuteur. Après un changement de point de vue caméra, OCC4M conserve 100% et 98% de réussite, contre un score proche de zéro pour FrameSamp. Sur 20 épisodes réels avec un bras Franka et caméra fixe, OCC4M atteint 85% de précision mémoire contre 30% au maximum pour FrameSamp, et achève 45% des tâches complètes en deux étapes. Ce résultat cible une faiblesse connue des architectures vision-langage-action actuelles, qui raisonnent souvent sur une fenêtre d'observations récentes ou sur tout l'historique brut, une approche coûteuse et peu fiable dès qu'une tâche s'étire dans le temps ou que le point de vue change, un cas fréquent en usine ou en logistique. En séparant la mémoire structurée de l'exécution bas niveau, OCC4M évite de faire porter tout le raisonnement long terme au modèle vision-langage, ce qui limite la dérive de contexte observée avec les approches par historique brut. L'effondrement quasi total de FrameSamp lors du changement de caméra illustre concrètement l'écart entre démonstrations en conditions contrôlées et robustesse réelle, un signal utile pour les intégrateurs qui évaluent des piles VLA pour des cellules robotiques à tâches longues et multi-étapes. OCC4M s'inscrit dans la recherche sur la mémoire persistante pour la manipulation robotique, un axe distinct des architectures vision-langage-action généralistes qui gèrent surtout le contexte via une fenêtre d'observations glissante plutôt qu'une mémoire dédiée. Les auteurs situent leur contribution face à une référence bâtie sur Gemini 3.7 Flash de Google DeepMind, posant le débat entre mémoire structurée et simple élargissement du contexte des grands modèles multimodaux. Les tests, menés en simulation puis validés sur un bras Franka Emika réel, restent limités en échelle, avec seulement 20 épisodes physiques sur un seul type de bras, ce qui en fait une preuve de concept académique plutôt qu'un système prêt pour un déploiement industriel. Des vidéos qualitatives supplémentaires sont publiées sur occ4m-sup.github.io, sans calendrier annoncé de transfert vers un robot commercial.

RecherchePaper
1 source