RechercheMIT News Robotics 17 juin 2026

L'IA pourrait-elle vous dire où vous avez laissé vos clés ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du MIT ont présenté à la conférence CVPR un cadre de mémoire à long terme pour robots mobiles, baptisé DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment). Développé par Luca Carlone, professeur associé au département d'AéroAstro du MIT et directeur du laboratoire SPARK, avec le doctorant Nicolas Gorlo comme auteur principal et Lukas Schmid, désormais professeur à l'Université de technologie de Nuremberg, le système permet à un robot de construire une carte 3D enrichie de descriptions sémantiques en langage naturel, au fil de ses déplacements. Concrètement, un robot équipé de DAAAM peut enregistrer qu'un vélo rouge avec un pneu crevé est garé sur le rack devant le Stata Center, ou qu'un composant partiellement assemblé occupe tel bac de stockage dans une usine, et répondre ensuite à des requêtes formulées en langage courant. La méthode surpasse les approches de l'état de l'art en précision de réponse et s'exécute assez rapidement pour fonctionner en temps réel sur un robot mobile.

Ce que DAAAM résout est un verrou bien identifié en robotique industrielle et de service : la mémoire spatiotemporelle. Un opérateur humain sait spontanément où il a posé un composant la veille et peut déléguer la récupération avec une simple instruction verbale. Les robots, même dotés de cartographie 3D avancée, échouaient jusqu'ici à ce niveau de raisonnement contextuel. DAAAM fusionne deux lignées de recherche distinctes : les modèles de vision multimodale, qui décrivent richement les scènes mais traitent une annotation à la fois, et les frameworks de cartographie robotique, qui couvrent de grands espaces mais sans sémantique fine ni ancrage temporel. En combinant les deux dans une représentation unifiée et interrogeable en langage naturel, le MIT ouvre la voie à des robots capables de recevoir et exécuter des consignes verbales sans interface spécialisée, ce que Carlone formule ainsi : « le robot doit parler la même langue que les humains ».

Le laboratoire SPARK du MIT travaille depuis plusieurs années sur la cartographie sémantique pour robots autonomes, dans un contexte de convergence accélérée entre grands modèles de langage et robotique embarquée. DAAAM s'inscrit dans la tendance plus large des cartes de scène en langage naturel, où des équipes comme celles de Google DeepMind, Stanford ou Carnegie Mellon explorent des architectures comparables. Les applications envisagées par les auteurs dépassent la robotique industrielle : maintenance assistée par réalité augmentée et guidage en environnement complexe sont explicitement citées. Aucun calendrier de validation hors campus ni partenariat industriel n'est annoncé, ce qui situe DAAAM clairement au stade de prototype de recherche publié, pas encore d'un système en cours de déploiement commercial.

Impact France/UE

Un co-auteur, Lukas Schmid, est désormais professeur à l'Université de technologie de Nuremberg, ancrant une partie de cette recherche en Europe, mais aucun partenariat industriel ni déploiement européen n'est annoncé à ce stade.

À lire aussi

1arXiv cs.RO

Avez-vous du freestyle ? La locomotion humanoïde expressive pilotée par l'audio

Des chercheurs ont publié sur arXiv (2512.23650, troisième révision) RoboPerform, présenté comme le premier framework unifiant génération audio-vers-locomotion pour robots humanoïdes, capable de produire à la fois de la danse pilotée par la musique et des gestes de co-parole déclenchés par la voix, directement depuis le signal audio. L'approche suit le principe "mouvement = contenu + style" : l'audio est traité comme un signal de style implicite, sans reconstruction explicite préalable du mouvement. L'architecture combine une politique enseignante ResMoE, un mélange d'experts adapté à des répertoires de mouvements variés, et une politique étudiante par diffusion qui injecte le style audio directement dans la trajectoire, un design "sans retargeting" censé réduire latence et erreurs en cascade. Les auteurs revendiquent des résultats "prometteurs" en plausibilité physique et en alignement audio-mouvement, mais le résumé ne donne aucun chiffre précis : ni degrés de liberté, ni temps de cycle, ni score de benchmark, ni nom de robot testé. Le travail cible un manque réel du secteur : la plupart des humanoïdes actuels restent cantonnés à des bibliothèques de mouvements prédéfinis ou à des commandes distantes ponctuelles, sans capacité d'improvisation réactive en temps réel. Un pipeline générant chorégraphie ou gestes de communication directement depuis l'audio, sans reconstruction puis retargeting séparés, intéresserait les concepteurs de robots destinés à l'interaction humaine, à l'événementiel ou au service client, où la réactivité perçue pèse autant que la précision du geste. La portée reste toutefois à relativiser : il s'agit d'un article de recherche sans produit commercialisé ni déploiement annoncé, et la formule "résultats prometteurs" sans métriques chiffrées relève d'une validation académique préliminaire, pas d'une preuve à l'échelle industrielle. RoboPerform s'inscrit dans la lignée des travaux sur la génération de mouvement à partir de l'audio, un champ jusqu'ici dominé par des pipelines en cascade : un modèle de diffusion génère un mouvement depuis l'audio, ensuite retargeté vers la morphologie du robot par cinématique inverse, une chaîne connue pour accumuler erreurs et latence à chaque étape. La contribution revendiquée est de fusionner ces étapes en une seule paire de politiques entraînées conjointement, plutôt qu'un pipeline séquentiel classique. L'article ne mentionne ni partenariat industriel, ni pilote, ni calendrier de déploiement : à ce stade, RoboPerform reste un résultat de laboratoire dont la validation sur une plateforme humanoïde réelle et à grande échelle reste à démontrer.

RecherchePaper

1 source

2arXiv cs.RO

Amortissement de l'optimisation de trajectoire pour la MPC résiduelle via différentiation implicite du contact

Cette étude publiée sur arXiv (2607.24959v1) s'attaque à un goulot d'étranglement classique de la robotique de contact : l'optimisation de trajectoire dans des simulateurs différentiables. Les chercheurs introduisent une méthode de dérivation implicite assistée par différentiation automatique (AD), appliquée au moteur MuJoCo MJX et fondée sur le théorème des fonctions implicites (IFT). Contrairement aux différences finies, coûteuses et sensibles au choix du pas, ou au déroulement complet de l'AD à travers un solveur de contact itératif, qui fait exploser la trace de calcul stockée en mémoire, leur approche différencie directement le résidu de stationnarité à la solution convergée, sans reconstruire à la main les systèmes KKT propres à chaque solveur. Résultat mesuré : la mémoire temporaire compilée reste quasi constante quel que soit l'effort du solveur, avec moins de 4% de variation entre une et dix itérations, contre une croissance de 10,6 fois pour l'AD déroulée classique. Le gain s'accentue avec la complexité du problème : 20 fois moins de mémoire à 256 contacts actifs, 6 fois moins à 16 contacts et 96 degrés de liberté. L'équipe va plus loin avec une technique de "distillation d'optimiseur" pour le contrôle prédictif résiduel (residual MPC) : un iLQR complet, calculé en batch sur tout l'horizon temporel, est condensé en une politique qui guide ensuite un iLQR résiduel à horizon court, bien moins coûteux à exécuter en ligne. Sur trois bancs d'essai (Finger, bras Franka, quadrupède Unitree), cette approche améliore le taux de succès à six pas de 28 à 98 points de pourcentage par rapport à un iLQR standard. Pour les équipes qui développent du contrôle robotique riche en contacts, manipulation fine, locomotion sur terrain irrégulier, l'intérêt est double : réduire drastiquement l'empreinte mémoire permet de faire tourner des simulations différentiables à plus grande échelle ou en temps réel embarqué, tandis que la distillation d'optimiseur offre une voie pour transférer la qualité d'une planification hors-ligne coûteuse vers un contrôleur exécutable en boucle rapide sur le robot. Le travail s'inscrit dans la lignée des efforts récents autour de MuJoCo MJX et de la simulation différentiable pour la robotique, un axe de recherche actif depuis que des laboratoires comme DeepMind ou des groupes académiques cherchent à exploiter les gradients de simulateurs physiques pour accélérer l'apprentissage et la planification, plutôt que de s'appuyer uniquement sur l'apprentissage par renforcement sans modèle. La méthode proposée ici comble un vide méthodologique entre les approches génériques mais gourmandes en mémoire et les dérivations KKT sur mesure, difficiles à maintenir et à généraliser d'un solveur à l'autre. Les auteurs ne précisent pas de calendrier de publication du code ni de partenariat industriel, mais la validation croisée sur des plateformes hétérogènes (doigt robotique, bras manipulateur Franka, quadrupède Unitree) suggère une ambition de généralisation au-delà d'un cas d'usage unique, avec un potentiel d'intégration dans des piles de contrôle MPC pour la manipulation ou la locomotion dynamique.

RecherchePaper

1 source

3arXiv cs.RO

SAIL : le passage à l'échelle au moment du test pour l'apprentissage par imitation en contexte avec VLM

Des chercheurs présentent SAIL, un framework qui reformule l'apprentissage par imitation en contexte (in-context imitation learning) comme un problème de raffinement itératif capable de tirer parti du calcul disponible au moment de l'inférence, ou "test-time compute". SAIL s'appuie sur une recherche arborescente Monte Carlo (MCTS) où chaque nœud représente une trajectoire complète et chaque arête correspond à un raffinement de cette trajectoire. Le système repose sur trois composants : une archive automatisée des trajectoires réussies pour la récupération contextuelle pertinente, un mécanisme de notation basé sur un modèle vision-langage (VLM) pour évaluer les trajectoires, et un retour au niveau de chaque étape (step-level feedback) qui fournit des scores alignés sur la trajectoire pour guider le raffinement itératif. Testé sur six tâches de manipulation distinctes, en simulation et en conditions réelles, SAIL montre qu'augmenter le calcul au moment du test améliore de manière constante le taux de réussite, atteignant jusqu'à 95 % sur les tâches les plus complexes. Le papier est publié sur arXiv sous une version révisée (arXiv:2603.08269v2, type "replace"). Ce résultat intéresse les équipes qui travaillent sur les modèles vision-langage-action (VLA) et l'apprentissage par imitation en manipulation robotique, un domaine où la génération de trajectoire en un seul essai reste fragile dès que l'environnement s'écarte des démonstrations d'entraînement. En transposant au bras robotique la logique de "test-time scaling" déjà démontrée dans les grands modèles de langage, où davantage de calcul à l'inférence améliore la qualité des réponses, SAIL suggère qu'une partie du problème de généralisation en robotique peut se traiter en allouant plus de calcul par tâche à l'exécution, via recherche, notation et raffinement, plutôt qu'en entraînant des modèles toujours plus gros. Pour les intégrateurs et décideurs B2B, cela pointe vers un compromis latence-fiabilité : accepter un temps de cycle plus long contre un taux de réussite plus élevé sur des tâches complexes, un arbitrage pertinent pour des applications où l'échec d'une manipulation coûte cher. Le travail reste toutefois académique : les 95 % de réussite portent sur six tâches définies en laboratoire, sans indication de temps de cycle ni de surcoût de calcul lié aux itérations MCTS, deux données déterminantes pour toute application industrielle. Cette publication s'inscrit dans un courant de recherche sur l'apprentissage par imitation en contexte, où un robot reproduit une tâche à partir d'un petit nombre de démonstrations sans réentraînement complet du modèle, une approche distincte des politiques VLA entraînées de bout en bout à la manière de Pi-0 ou GR00T N2. L'usage d'un VLM comme juge de qualité de trajectoire rejoint aussi une tendance récente consistant à mobiliser des modèles multimodaux généralistes comme mécanisme d'évaluation plutôt que comme contrôleur direct du robot. Aucun acteur européen n'apparaît dans ces travaux, qui n'annoncent ni partenariat industriel, ni pilote de déploiement, ni calendrier de commercialisation : la "validation monde réel" décrite correspond à des essais de laboratoire, pas à un déploiement en production.

RecherchePaper

1 source

4arXiv cs.RO

GUIDE : compréhension directionnelle initialisée par l'objectif pour la navigation visuelle de bout en bout

Des chercheurs ont publié sur arXiv (référence 2606.10832, juin 2026) un framework d'apprentissage par renforcement baptisé GUIDE (Goal-Initialized Directional Understanding for End-to-End), conçu pour la navigation visuelle autonome de robots à pattes. Le principe fondamental est simple : contrairement aux systèmes existants qui alimentent le robot en mises à jour continues de sa cible depuis des modules d'estimation d'état hiérarchiques, GUIDE ne fournit la cible qu'une seule fois, au début de l'épisode. Le robot doit ensuite naviguer en s'appuyant exclusivement sur sa mémoire spatiale interne. Deux composants structurent le système : un prédicteur d'ancre spatiale qui exploite l'historique proprioceptif multi-fréquences pour construire des représentations d'egomouvement, et un flux de profondeur brut pour percevoir la géométrie locale. Les expériences ont été conduites sur un robot quadrupède, en simulation et en environnement réel, dans des scènes encombrées et des labyrinthes structurés, sans carte préalable. L'enjeu pour les intégrateurs est direct : supprimer la dépendance aux modules d'estimation d'état externes simplifie le stack de déploiement et réduit les points de défaillance. Les architectures hiérarchiques actuelles (localisation + cartographie + planification) sont coûteuses à calibrer et fragiles dans des environnements non cartographiés. GUIDE démontre qu'un robot peut maintenir une conscience directionnelle persistante grâce à la mémoire proprioceptive, sans SLAM ni GPS, un résultat qui renforce l'hypothèse que la proprioception peut partiellement suppléer la localisation explicite. La politique étant déployée de bout en bout sans modules séparés à l'inférence, la complexité opérationnelle en production s'en trouve réduite -- un argument concret pour les équipes industrielles. La navigation sans carte pour robots à pattes est un sujet actif : les travaux sur ANYmal (ETH Zurich), les politiques locomotrices de Unitree ou les recherches de CMU s'appuient encore majoritairement sur des représentations géométriques explicites. GUIDE s'inscrit dans la tendance "fully end-to-end" qui cherche à éliminer ces modules intermédiaires, tendance visible également dans les VLA (Vision-Language-Action models) appliqués à la manipulation. Il faut néanmoins rappeler qu'il s'agit d'une publication académique, sans pilote industriel ni déploiement commercial annoncé. Les suites naturelles incluent des tests dans des environnements non structurés à grande échelle et l'intégration avec des modèles de fondation visuels pour la spécification dynamique de la cible.

RecherchePaper

1 source