XYZ Embodied AI lance le sac à dos de calcul…

Planification à base d'agents en lots pour le service de politiques robotiques

43

1arXiv cs.RO

Planification à base d'agents en lots pour le service de politiques robotiques

Des chercheurs du Georgia Tech (laboratoire RL2) publient un article intitulé "Action Chunk Scheduling for Batched Robot Policy Serving" (arXiv:2608.00337v1), qui pose un problème encore peu formalisé dans la robotique : comment servir un même modèle de politique robotique, hébergé sur un GPU distant, à plusieurs robots simultanément. Les auteurs présentent Armory, un système de service ("serving") conçu pour cet usage et validé à la fois sur des flottes de robots simulés et sur des robots réels. Leurs expériences montrent que les heuristiques de scheduling classiques (les méthodes de batching habituelles en inférence LLM) fonctionnent correctement tant que tous les robots de la flotte sont identiques et consomment les actions au même rythme. Mais dès que les robots consomment leurs "action chunks" (blocs d'actions produits par les modèles Vision-Language-Action) à des vitesses différentes, ces heuristiques échouent : elles ne tiennent pas compte des contraintes en boucle fermée ("closed-loop") propres à l'exécution de politiques robotiques. Pour corriger ce défaut, l'équipe propose un nouvel algorithme de scheduling qui intègre cette hétérogénéité de rythme entre robots, avec un gain de débit système mesuré jusqu'à 18 % lors d'essais réels. Le code et les détails sont disponibles sur gatech-rl2.github.io/actionchunkscheduling. Le résultat touche un point aveugle du déploiement à grande échelle des modèles fondation pour la robotique (VLA type Pi-0, GR00T N2, Helix ou autres) : le calcul embarqué est limité en puissance et en encombrement, ce qui pousse naturellement vers une inférence déportée sur GPU distant, mutualisée entre plusieurs robots pour amortir les coûts. Or les architectures de batching héritées du monde LLM, pensées pour du texte asynchrone, ignorent la contrainte physique du temps réel robotique : un robot qui épuise son buffer d'actions avant d'être resservi s'arrête ou dégrade sa trajectoire. Ce papier démontre empiriquement que cette mécanique de service compte autant que la qualité du modèle lui-même pour faire fonctionner une flotte hétérogène en production, un enjeu direct pour les intégrateurs qui veulent mutualiser l'inférence entre robots de générations ou de tâches différentes plutôt que de multiplier les cartes embarquées. Ce travail s'inscrit dans la vague récente de modèles VLA génériques (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) qui cherchent à démontrer un contrôle robotique à l'échelle d'une flotte plutôt qu'à l'unité, un terrain où l'infrastructure de service devient aussi critique que l'entraînement. En formalisant le problème comme un scheduling explicite et en le testant sur du matériel réel plutôt que seulement en simulation, les auteurs positionnent Armory comme une brique d'infrastructure réutilisable, potentiellement comparable aux serveurs d'inférence LLM (type vLLM) mais adaptée aux contraintes temps réel de la robotique. L'article ne précise pas de partenariat industriel ni de déploiement commercial annoncé ; il s'agit pour l'instant d'un résultat de recherche académique, avec du code ouvert, plutôt que d'un produit prêt à l'emploi.

InfrastructureActu

1 source

La convergence des systèmes de perception, de l'automobile aux robots

34

2Robotics Business Review

La convergence des systèmes de perception, de l'automobile aux robots

Une nouvelle génération de robots mobiles - AMR en entrepôts et hôpitaux, drones à longue autonomie, humanoïdes opérant aux côtés des humains - exige désormais des architectures de perception radicalement différentes de celles des décennies précédentes. Là où les capteurs jouaient autrefois un rôle secondaire dans le contrôle, ils constituent aujourd'hui l'entrée principale : la vision haute résolution guide la navigation et la manipulation dextère, le traitement audio multi-microphones permet la localisation sonore et l'interaction vocale, tandis que les capteurs de force et de toucher affinent la préhension et l'équilibre. Ces modalités doivent être synchronisées en temps réel pour alimenter la fusion sensorielle et les boucles de contrôle fermées. Le vrai défi n'est plus de concevoir un capteur isolé ou un modèle autonome, mais de faire fonctionner ensemble, de manière fiable, la perception, la connectivité, le calcul, l'énergie et la sécurité dans des environnements imprévisibles. Ce défi est précisément celui qu'a résolu l'industrie automobile en traitant le véhicule comme un système nerveux distribué : un réseau intégré de capteurs, de processeurs embarqués, de liaisons de communication et d'éléments de contrôle, conçu pour se comporter de façon prévisible dans des conditions réelles. La robotique converge aujourd'hui vers ce même modèle architectural. Pour les intégrateurs et les décideurs industriels, les implications sont concrètes : les données doivent arriver rapidement et de façon déterministe, les capteurs sont physiquement distribués à travers des articulations mobiles ou de longs câbles, et les défaillances doivent être détectables et localisables en temps réel. Les plateformes qui manquent d'observabilité sur l'intégrité des capteurs ou l'état énergétique deviennent de plus en plus fragiles à mesure que leur complexité augmente, rallongeant les cycles de débogage et rendant les déploiements terrain coûteux. A contrario, une architecture conçue avec des diagnostics embarqués et une connectivité déterministe réduit l'incertitude et transforme la sécurité en accélérateur d'itération plutôt qu'en contrainte. Analog Devices (ADI), fabricant de semi-conducteurs à l'interface des marchés automobile et des nouvelles mobilités, signe cette analyse pour promouvoir le transfert de ses technologies automotive-grade vers la robotique et les drones - un parti pris commercial qu'il convient de garder à l'esprit. Ces composants ont été développés sous des contraintes sévères : conditions électriques difficiles, enveloppes thermiques étroites, durées de vie longues et tolérance zéro aux défaillances silencieuses. Des liaisons vision haute bande passante et faible latence permettent, par exemple, la perception multi-caméra sur de grandes structures robotiques, tandis que des réseaux audio déterministes supportent la localisation sonore et l'interaction naturelle avec les humains. ADI se positionne ainsi face à NVIDIA (Jetson, Isaac), Qualcomm et Texas Instruments dans la fourniture de briques de traitement embarqué pour robots et drones. L'article ne cite aucun déploiement en volume ni chiffre de performance concret - il relève davantage du positionnement stratégique que du retour terrain, et les prochaines étapes évoquées restent au stade des perspectives génériques.

InfrastructureActu

1 source

Jaiveer Singh aide les robots et les développeurs à progresser plus rapidement

45

3NVIDIA Blog Robotics

Jaiveer Singh aide les robots et les développeurs à progresser plus rapidement

Jaiveer Singh, ingénieur logiciel chez NVIDIA, dirige l'équipe responsable d'Isaac ROS (Robot Operating System), une pile logicielle open source construite sur le framework ROS 2 et accélérée par les bibliothèques CUDA de NVIDIA. Isaac ROS fournit aux développeurs un ensemble de modules pour la perception, la détection d'objets, la cartographie (SLAM), la détection de collision et la planification de mouvements. La plateforme est compatible avec les robots mobiles autonomes (AMR), les systèmes de manipulation et les humanoïdes, et peut s'exécuter sur des postes de travail, sur le DGX Spark (le supercalculateur IA personnel de NVIDIA) ainsi que sur les systèmes embarqués Jetson. Le projet a débuté comme un projet de stage de Singh, alors étudiant en génie électrique, informatique et gestion à l'Université de Californie Berkeley, avec une question simple : publier des bibliothèques GPU open source pour la robotique aurait-il de la valeur ? La réponse s'est avérée positive, et Isaac ROS est depuis devenu un composant central de l'écosystème robotique NVIDIA. L'importance d'Isaac ROS pour l'industrie tient à sa modularité et à son positionnement comme couche d'intégration entre l'IA générative et le déploiement physique. Contrairement à l'ancien Isaac SDK, la version ROS se présente, selon Singh lui-même, comme "un ensemble de briques LEGO" : les développeurs assemblent les modules selon leurs besoins et les combinent avec du code ROS communautaire existant. Pour un intégrateur ou un OEM qui cherche à passer de la démonstration au déploiement série, cette approche réduit la friction d'adoption. Elle répond aussi à une préoccupation structurelle du secteur : la pérennité de la pile logicielle. Un startup qui construit sur un système fermé doit faire confiance au fait que ce système correspondra toujours à ses besoins dans deux ou trois ans, une promesse difficile à tenir dans un marché qui se recompose chaque trimestre. L'open source apporte ici une garantie d'auditabilité et de continuité que les systèmes propriétaires peinent à offrir. NVIDIA s'est positionné sur la robotique bien avant que le secteur devienne un sujet grand public, et Isaac ROS s'inscrit dans cette continuité stratégique. La plateforme évolue aujourd'hui pour répondre aux exigences des humanoïdes, qui requièrent une stack logicielle de bout en bout capable de gérer des agents IA, de la simulation (Isaac Sim) au déploiement edge sur Jetson. Les concurrents directs sur la couche middleware incluent ROS 2 non-accéléré utilisé seul, mais aussi les environnements propriétaires de Boston Dynamics, Agility Robotics ou Figure AI, qui développent leurs propres stacks internes. NVIDIA joue ici un rôle transversal d'infrastructure partagée, moins visible qu'un robot humanoïde en vidéo, mais potentiellement plus déterminant pour la cadence industrielle du secteur. Les prochaines étapes annoncées portent sur le renforcement du support aux agents IA et aux systèmes humanoïdes, deux segments en forte croissance depuis 2024.

UELes intégrateurs et startups robotiques français et européens peuvent bénéficier d'Isaac ROS comme couche middleware open source pour accélérer leurs déploiements, mais l'impact reste indirect et dépendant de l'adoption de l'écosystème NVIDIA.

InfrastructureOpinion

1 source

Embodied.cpp : un moteur d'inférence portable pour modèles d'IA incarnée sur robots hétérogènes

42

4arXiv cs.RO

Embodied.cpp : un moteur d'inférence portable pour modèles d'IA incarnée sur robots hétérogènes

Des chercheurs publient sur arXiv (référence 2607.02501v1) un runtime d'inférence baptisé Embodied.cpp, conçu pour exécuter des modèles d'IA incarnée directement sur des robots physiques. Écrit en C++, il cible spécifiquement les modèles vision-langage-action (VLA) et les modèles monde-action (WAM), deux familles d'architectures qui équipent aujourd'hui la plupart des humanoïdes et bras robotiques pilotés par apprentissage. Le système s'organise en cinq couches, des adaptateurs d'entrée jusqu'aux adaptateurs de déploiement, en passant par la construction de séquences, l'exécution du backbone et des modules de tête interchangeables. Les auteurs l'ont testé sur deux modèles VLA, HY-VLA et pi0.5, obtenant des taux de réussite de tâches en boucle fermée de 100,0% et 91,0% respectivement. Sur un benchmark préliminaire de modèle WAM utilisant un bloc Transformer LingBot-VA, la mémoire consommée par bloc chute de 312,2 MiB à 88,1 MiB. Cette publication s'attaque à un problème très concret pour les intégrateurs robotiques: le déploiement des modèles d'IA incarnée reste aujourd'hui fragmenté entre piles Python spécifiques à chaque modèle, hypothèses matérielles disparates et code de liaison écrit à la main pour chaque robot. Les runtimes d'inférence existants sont pensés pour du serving requête-réponse classique, pas pour les contraintes réelles du contrôle robotique: exécution multi-fréquence dans une boucle fermée, inférence batch-1 en priorité latence sur du matériel hétérogène, et interfaces au-delà du simple flux de tokens. Si les résultats se confirment à plus grande échelle, un runtime portable unique capable de faire tourner plusieurs familles de VLA et de WAM sur des appareils edge variés réduirait significativement le travail d'ingénierie nécessaire pour passer d'un prototype en simulation à un déploiement réel sur robot, un des goulots d'étranglement les plus cités du secteur. Le travail s'inscrit dans la course actuelle autour des modèles génériques de contrôle robotique, aux côtés d'architectures comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia, qui cherchent toutes à unifier perception, langage et action dans un seul modèle déployable sur du matériel varié. En proposant une couche d'abstraction backend commune plutôt qu'un modèle de plus, Embodied.cpp se positionne comme brique d'infrastructure plutôt que comme concurrent direct, un signe que la standardisation de l'inférence embarquée devient un enjeu aussi important que la performance des modèles eux-mêmes.

InfrastructureActu

1 source

XYZ Embodied AI lance le sac à dos de calcul embarqué BotPack B Series

À lire aussi

Planification à base d'agents en lots pour le service de politiques robotiques

La convergence des systèmes de perception, de l'automobile aux robots

Jaiveer Singh aide les robots et les développeurs à progresser plus rapidement

Embodied.cpp : un moteur d'inférence portable pour modèles d'IA incarnée sur robots hétérogènes