Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Assistance robotique proactive et personnalisée par raisonnement LLM guidé par l'incertitude
RecherchearXiv cs.RO 

Assistance robotique proactive et personnalisée par raisonnement LLM guidé par l'incertitude

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 9 juin 2026 sur arXiv (2606.08458) GLOBE, un framework léger pour l'assistance robotique proactive en environnement domestique. Le principe : combiner des modèles de Markov n-grammes, qui capturent les patterns comportementaux temporels d'un utilisateur, avec un raisonnement par grand modèle de langage (LLM) déclenché uniquement lorsque la confiance du modèle prédictif passe sous un seuil. Ce mécanisme d'invocation sélective réduit la charge computationnelle par rapport aux architectures spatio-temporelles classiques. L'équipe introduit également HOMER-Noise, une extension bruitée du dataset HOMER+, qui simule des perturbations structurées réalistes : déplacements d'objets causés par des humains, des animaux domestiques ou des jeunes enfants. Le framework est validé en preuve de concept sur un manipulateur mobile Stretch 3 de Hello Robot, dans des scénarios d'interaction humain-robot à domicile.

L'intérêt principal de GLOBE réside dans son positionnement hybride : plutôt que de faire tourner un LLM en continu sur chaque prédiction d'activité, le système n'y fait appel que sur les cas ambigus, ce qui le rend potentiellement déployable sur du matériel embarqué à ressources limitées. Les résultats annoncés montrent des performances compétitives face aux méthodes état de l'art, y compris en conditions bruitées, là où les approches purement neuronales se dégradent. Cette robustesse aux perturbations environnementales non contrôlées est un verrou connu pour le déploiement domestique réel. Il faut toutefois noter qu'il s'agit d'un preprint arXiv sans peer review, et que la validation sur Stretch 3 reste au stade de démonstration de concept, pas d'un déploiement opérationnel.

GLOBE s'inscrit dans un courant de recherche qui cherche à réconcilier les LLMs, puissants mais coûteux, avec les contraintes temps réel de la robotique embarquée. Des approches similaires existent chez des équipes travaillant sur les VLAs (Vision-Language-Action models), comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais celles-ci ciblent surtout la manipulation industrielle plutôt que l'assistance cognitive à domicile. Le dataset HOMER-Noise comble un manque réel dans l'évaluation de la robustesse des systèmes d'anticipation d'activités. Les prochaines étapes logiques seraient une évaluation sur des déploiements multi-utilisateurs prolongés et une comparaison directe avec des baselines LLM-only pour quantifier précisément le gain computationnel revendiqué.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Assistance robotique proactive pilotée par les événements grâce au raisonnement vision-langage
1arXiv cs.RO 

Assistance robotique proactive pilotée par les événements grâce au raisonnement vision-langage

Des chercheurs proposent, dans un preprint arXiv (2610.08344v1), un cadre d'assistance robotique proactive déclenché par des événements plutôt que par des instructions humaines. Un « évent monitor » surveille les changements d'état de l'espace de travail. Lorsqu'une interaction humain-objet s'achève, il extrait des instantanés stabilisés avant et après l'action, qui caractérisent la transition observée. Un modèle vision-langage (VLM) préentraîné et gelé, sans réglage fin, exploite alors ses connaissances sémantiques a priori pour déduire le contexte de la tâche, décider si une aide est pertinente et, le cas échéant, produire une séquence d'actions d'assistance. Pour que les sorties restent exécutables et vérifiables, les actions sont limitées à un jeu de primitives, et les objets sont désignés par des identifiants entiers. Le même cadre a été testé sur trois tâches de collaboration réelles sur table, sans entraînement spécifique. Selon les auteurs, ses performances sont comparables à celles de variantes recevant des instructions explicites de l'utilisateur. Le résumé ne donne ni chiffres détaillés, ni nom de robot ou de VLM, ni taux de réussite. L'intérêt tient au déplacement du point de déclenchement du raisonnement de haut niveau. La plupart des systèmes de manipulation collaborative, y compris ceux fondés sur des VLA (vision-language-action), attendent une commande, ce qui limite leur fluidité dans un atelier ou une cellule de co-activité. Ici, l'humain n'a plus à spécifier la tâche : le robot lit le résultat de l'action et anticipe l'étape suivante, comme un collègue expérimenté. L'approche contourne aussi le coût de données de la plupart des méthodes, puisqu'un VLM gelé suffit. La contrainte par primitives et identifiants d'objets répond à un problème concret pour les intégrateurs : rendre vérifiable ce qu'un modèle génératif demande au robot. Il faut toutefois relativiser. Trois tâches de table en laboratoire ne disent rien de la robustesse en environnement industriel, ni de la latence d'un VLM invoqué à chaque événement, ni du risque d'une assistance non sollicitée, ou d'une absence d'assistance, que le résumé ne quantifie pas. Ces travaux s'inscrivent dans la recherche sur l'interaction humain-robot proactive et sur l'usage des VLM comme planificateurs de haut niveau, avec des primitives d'action pour la sécurité, dans la lignée des approches de type SayCan. Ils se démarquent des politiques VLA de bout en bout, comme Pi-0, GR00T ou Helix, qui apprennent directement la commande motrice à partir d'instructions. Le préprint n'annonce ni pilote, ni déploiement, ni calendrier : c'est une démonstration de recherche. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, des mesures de latence et de sécurité, et un test auprès d'opérateurs non experts.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Réorganisation personnalisée d'objets : assistance LLM guidée par l'incertitude avec capacité d'abstention
2arXiv cs.RO 

Réorganisation personnalisée d'objets : assistance LLM guidée par l'incertitude avec capacité d'abstention

Des chercheurs publient APOLLO, un cadre hybride pour le rangement personnalisé d'objets ménagers par robot, soumis le 17 juin 2026 sur arXiv. Le système couple un modèle d'embedding personnalisé (PEM), léger, entièrement sur CPU, entraîné par paire utilisateur-environnement à partir d'une poignée de démonstrations, à un LLM activé sélectivement uniquement quand le PEM signale une incertitude élevée. APOLLO introduit l'abstention comme comportement de premier ordre : le robot peut décider de ne pas déplacer un objet faute d'information suffisante, une capacité absente de la plupart des approches actuelles. Pour évaluer ce comportement, les auteurs publient également APOR, un dataset synthétique généré par LLM couvrant des environnements multi-meubles, des profils organisationnels variés, des cas d'abstention explicites et des scènes partiellement bruitées. Sur les benchmarks PARSEC et APOR, APOLLO améliore les performances par rapport aux baselines LLM pures tout en réduisant substantiellement le nombre d'appels au modèle. Le code est disponible sur GitHub (PaInt-Lab/APOLLO). Les résultats restent à ce stade préliminaires, les auteurs eux-mêmes parlant de "preuves initiales" en environnement simulé, sans validation sur hardware réel. Ce résultat pointe un angle mort systématique : les méthodes existantes supposent des observations propres et une actionabilité complète, deux hypothèses rarement vérifiées dans un vrai foyer encombré. L'architecture hybride répond aussi à des contraintes de déploiement concret : le PEM sur CPU préserve la vie privée et réduit la latence, le LLM étant réservé aux décisions vraiment ambiguës. C'est une direction pragmatique pour des assistants domestiques embarqués sur du matériel non-spécialisé, où le recours systématique au cloud n'est ni acceptable ni viable à l'échelle. APOLLO s'inscrit dans un effort plus large pour rendre les politiques VLA (Vision-Language-Action) robustes à l'incertitude et aux données partielles, un problème central du déploiement hors environnements contrôlés. Les travaux concurrents de Physical Intelligence (π0), des équipes RT-2 ou OpenVLA s'attaquent à la généralisation en scènes non structurées, mais l'abstention explicite reste rare dans la littérature. Aucun acteur français ou européen n'est directement impliqué dans cette publication. Les prochaines étapes naturelles incluent une validation sur hardware réel et une évaluation avec de vrais utilisateurs sur la pertinence des décisions de non-action.

RecherchePaper
1 source
COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée
3arXiv cs.RO 

COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée

Des chercheurs présentent COOL (Curiosity-Driven Object Ownership Learning), un cadre logiciel pour robots qui apprend de façon autonome à qui appartiennent les objets d'un environnement et entretient une mémoire spatiale à long terme de ce dernier. Publié sur arXiv (2610.09358v1), le travail vise des requêtes en langage naturel du type « Où est mon sac à dos ? » ou « Trouve ma bouteille ». Le robot doit y raisonner simultanément sur des instances d'objets, des personnes, des lieux et des relations de propriété. COOL infère ces relations à partir d'observations quotidiennes d'interactions entre humains et objets, car la propriété n'est presque jamais annotée explicitement. Pour garder sa mémoire à jour, le système emploie une stratégie de collecte de données pilotée par un agent et guidée par la curiosité. Elle envoie le robot vers les emplacements les plus informatifs afin de rafraîchir les observations devenues obsolètes. Les auteurs affirment l'avoir validé par des expériences hors ligne, des études d'ablation et des évaluations en conditions réelles. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille de l'environnement testé. L'enjeu dépasse la navigation vers un objet : il s'agit de passer de la reconnaissance d'objets à la compréhension sociale de l'espace. Les assistants domestiques, les robots de bureau ou d'hôpital doivent savoir que telle veste appartient à telle personne, sans qu'on le leur ait expliqué. Le travail s'attaque aussi à un point faible des cartes sémantiques statiques : dans un lieu occupé, les objets bougent, et une mémoire figée devient vite fausse. Faire de la fraîcheur de l'information un critère explicite de planification, plutôt qu'un sous-produit de l'exploration, est une piste utile pour tout déploiement long en environnement non contrôlé. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans résultats chiffrés visibles dans le résumé, et la part des tests réels dans la validation n'est pas précisée. Aucun produit ni déploiement commercial n'est annoncé. On est au stade de la recherche. Le contexte est celui de la robotique de service, où la personnalisation devient un sujet central à mesure que les modèles vision-langage et les agents à base de grands modèles de langage s'intègrent aux piles de navigation. Les travaux précédents sur les cartes sémantiques, les graphes de scène 3D et la navigation par objet traitaient surtout la catégorie d'un objet (« une bouteille »), rarement son propriétaire. COOL se place sur ce terrain de la mémoire persistante et de la « personnalisation » des assistants. Les prochaines étapes naturelles seraient des évaluations plus longues, avec plusieurs occupants et des changements d'habitudes, ainsi qu'un examen des questions de vie privée que soulève l'observation continue des comportements humains.

RecherchePaper
1 source
PARAssist : un cadre pour une assistance robotique personnalisée et adaptative face aux requêtes ambiguës
4arXiv cs.RO 

PARAssist : un cadre pour une assistance robotique personnalisée et adaptative face aux requêtes ambiguës

Une équipe de recherche présente PARAssist (Personalized and Adaptive Robotic Assistance), une architecture logicielle décrite dans un article publié sur arXiv sous la référence 2608.24905v1 (catégorie cross-listing), conçue pour les robots de service confrontés à des requêtes ambiguës. Le système s'appuie sur des modèles vision-langage pour évaluer les exigences physiques et cognitives des tâches demandées, puis apprend de façon passive les préférences de l'utilisateur en comparant les tâches qu'il accomplit seul à celles qu'il délègue au robot. Lorsqu'une requête ambiguë survient, PARAssist génère des candidats de tâches à partir de l'historique des actions, activités, déplacements, conversations et demandes de l'utilisateur, croisé avec l'état courant de la personne et de son environnement, avant de confronter ces candidats au modèle de préférence appris pour suggérer les options d'assistance les plus pertinentes. Les expériences menées par les auteurs montrent que cette personnalisation permet d'aligner la désambiguïsation sur les besoins exprimés lors des demandes antérieures, et une étude d'ablation confirme l'apport de chacun des composants principaux. Ce travail s'attaque à un point aveugle récurrent des robots d'assistance : la plupart des systèmes actuels traitent les commandes comme explicites ou s'appuient sur des profils utilisateurs configurés manuellement, alors que les demandes réelles sont souvent vagues et dépendent du contexte. En démontrant qu'un modèle de préférence peut s'apprendre passivement, sans questionnaire ni calibration explicite, PARAssist ouvre une piste pour réduire la charge de configuration des robots destinés aux environnements domestiques ou aux soins à la personne. Il s'agit toutefois d'une contribution de recherche évaluée expérimentalement, sans indication de déploiement réel ni de partenariat industriel dans l'article, une nuance importante pour les intégrateurs qui chercheraient une solution prête à l'emploi. Cette publication s'inscrit dans un courant académique plus large qui cherche à combiner modèles vision-langage et apprentissage de préférences pour la robotique de service, un axe distinct des annonces commerciales de robots humanoïdes centrées sur la dextérité manipulatoire. Aucun acteur industriel, français ou étranger, n'est cité dans l'article, qui reste à ce stade un travail de recherche expérimentale sans calendrier de déploiement ni pilote annoncé. Les prochaines étapes attendues pour ce type d'approche porteraient sur des tests en conditions réelles avec des utilisateurs et une intégration à des plateformes robotiques de service existantes.

RecherchePaper
1 source