Electronique Mag - Le journal de l'électronique.

 Le module multimodal associe imagerie 2D, détection de profondeur 3D et perception du mouvement similaire à celle de l’humain.
 NVIDIA Holoscan Sensor Bridge assure une connectivité multi-gigabit plug and play avec les plateformes Jetson.
 Il est entièrement pris en charge par la plateforme de développement robotique ouverte NVIDIA Isaac.

STMicroelectronics et Leopard Imaging® ont présenté un module de vision multimodal tout-en-un pour les systèmes robotiques humanoïdes et autres systèmes robotiques avancés. Combinant les capteurs d’images de ST, la cartographie 3D des scènes et la détection de mouvement avec la technologie NVIDIA Holoscan Sensor Bridge, le module s’intègre nativement avec les plateformes de développement robotique ouvertes NVIDIA Jetson et NVIDIA Isaac, simplifiant et accélérant la conception des systèmes de vision tout en respectant les contraintes de taille, de poids et de consommation énergétique des robots humanoïdes.

« La robotique humanoïde dépasse désormais les projets de recherche et les démonstrations pour offrir de puissantes nouvelles machines destinées à un large éventail d’usages dans les usines de fabrication et automobiles, la logistique et les entrepôts, ainsi que dans la vente au détail et le service client », a déclaré Marco Angelici, Vice-Président Marketing et Applications, Analog Power MEMS et capteurs, STMicroelectronics. « Notre collaboration avec Leopard Imaging met sur le marché des capteurs et actionneurs ST de premier plan, parfaitement intégrés à l’écosystème robotique NVIDIA, afin d’accélérer le déploiement d’applications d’IA physique dotées d’une perception quasi-humaine. »

« Le fait d’avoir un accès direct aux capteurs et actionneurs ST au sein même de l’écosystème nous a permis de standardiser et de rationaliser l’acquisition et l’enregistrement des données pour la vision des robots humanoïdes via l’interface HSB », a déclaré Bill Pu, CEO de Leopard Imaging. « Les concepteurs de robots peuvent utiliser notre module de vision multi-capteurs avec les outils Isaac pour accélérer l’apprentissage et réduire rapidement l’écart entre la simulation et le monde réel. »

Propulsé par le NVIDIA Holoscan Sensor Bridge, le nouveau module s’intègre parfaitement avec NVIDIA Jetson via Ethernet pour l’ingestion en temps réel des données des capteurs et la plateforme de développement robotique ouverte NVIDIA Isaac, qui offre des modèles d’IA ouverts, des cadres de simulation et des bibliothèques pour les développeurs. Le nouveau module comprend un système de construction et des interfaces de programmation d’applications (API), des algorithmes d’intelligence artificielle (IA) spécialement conçus pour les robots mobiles, des applications d’exemple, une randomisation de domaine, ainsi qu’un environnement de simulation contenant des modèles de capteurs.

ST continue d’intégrer ses capteurs, pilotes, actionneurs, contrôleurs et outils de développement dans l’écosystème robotique NVIDIA en tant que partenaire clé de NVIDIA en robotique et IA embarquée, incluant des modèles haute fidélité et des modules de preuve de concept.

Informations techniques

Le module de vision de Leopard Imaging Systems intègre :

Pour la détection basée sur la vision, le capteur d’image couleur RGB-infrarouge (RGB-IR) de 5,1 mégapixels de qualité automobile ST VB1940 avec des modes « global shutter » et « rolling shutter ». ST a également lancé une version grand public et industrielle, le V**943, faisant partie de la famille de produits ST BrightSense, disponible en monochrome ou RGB-IR, en puce nue (die) ou en capteur encapsulé.

Pour la détection de mouvement, l’unité de mesure inertielle (IMU) 6 axes LSM6DSV16X intègre le cœur d’apprentissage automatique (MLC) de ST pour l’IA embarquée, la fusion de capteurs basse consommation (SFLP) et la détection électrostatique Qvar pour l’interface utilisateur.

Pour la détection de profondeur 3D, le module LiDAR tout-en-un dToF VL53L9CX, faisant partie de la famille de produits ST FlightSense, offre une détection de profondeur 3D avec une portée précise jusqu’à 9 mètres. Avec sa résolution de 54 x 42 zones (près de 2 300 zones) combinée à un large champ de vision de 55°x42° offrant une résolution angulaire de 1°, des mesures à courte et longue distance ainsi que la détection de petits objets sont réalisables jusqu’à 100 images par seconde.

https://www.st.com