MIND : ancrage incrémental conditionné par l'instruction pour les robots

Des chercheurs proposent MIND (Maintenance via INstruction-conditioned Dependencies), un cadre logiciel destiné aux robots qui exécutent des instructions persistantes en langage naturel, du type « trouve la pièce la plus proche contenant un objet X ». Un modèle de langage compile chaque instruction en dépendances de deux types : celles de qualification sémantique (la pièce satisfait-elle le critère ?) et celles de sélection de la cible. Lorsqu'un événement survient, le contrôleur croise ces dépendances avec l'« empreinte » de l'événement, rafraîchit uniquement les jugements concernés, puis met à jour séparément l'accessibilité et la sélection. Sur 240 séquences ProcTHOR de cinq événements, avec un prédicat exact, les évaluations sémantiques moyennes passent de 30,6 à 11,2, et les 1 200 décisions post-événement restent identiques à celles d'un recalcul complet. Avec les évaluateurs figés Phi-4 et Qwen3-14B, les 1 200 décisions sont aussi préservées, sans que la précision propre de ces modèles progresse. En boucle fermée, sur 32 épisodes AI2-THOR, MIND retrouve la décision finale du recalcul complet dans chaque cas. Sur un Unitree G1, le robot réutilise ou resélectionne sa cible lors de changements de pièce sans évaluation sémantique supplémentaire. Après une barrière et le retrait d'un objet, il s'abstient avec 4 évaluations, contre 15 à 18 sans MIND.

L'intérêt est d'abord économique et énergétique. Dans les architectures où un modèle de langage ou un VLM juge l'état de chaque pièce, le coût d'inférence croît avec chaque changement d'environnement. Réduire ces appels d'environ 63 % sur le benchmark, sans modifier les décisions, rend plus réaliste une exécution embarquée, avec moins de latence et de consommation. Pour les intégrateurs, cela concerne les tâches longues et persistantes, comme la surveillance, la logistique intérieure ou l'assistance, où l'environnement évolue en continu. Il faut toutefois relativiser. La garantie de préservation des décisions suppose une évaluation, une planification et une sélection déterministes, ainsi qu'une couverture conservatrice des dépendances et des empreintes. Elle ne corrige pas les erreurs de l'évaluateur, comme le montrent les tests avec Phi-4 et Qwen3-14B. Les résultats reposent aussi sur des prédicats exacts et des empreintes tirées des métadonnées du simulateur, donc plus propres que la perception réelle. Le test sur G1 reste une démonstration limitée à quelques scénarios.

Ce travail s'inscrit dans la lignée des systèmes qui ancrent le langage dans des cartes sémantiques ou des graphes de scène, et des approches de planification par modèles de langage, qui recalculent le plus souvent tout après chaque observation. MIND emprunte plutôt au calcul incrémental et à la maintenance de vues en bases de données. L'article, de type préimpression arXiv (sans relecture par les pairs à ce stade), renvoie à un site de matériel complémentaire dont le nom évoque ICRA 2027. Les prochaines étapes à surveiller sont la validation avec une perception bruitée, la gestion d'évaluateurs non déterministes et le passage à des environnements plus grands et plus dynamiques que les cinq événements testés ici.