STMicroelectronics e Leopard Imaging accelerano la visione robotica con il modulo multisensore pronto per NVIDIA Jetson

STMicroelectronics e Leopard Imaging® hanno presentato un modulo integrato di visione multimodale per sistemi robotici umanoidi e altri sistemi robotici avanzati. Combinando le soluzioni di imaging, mappatura di scene 3D e rilevamento del movimento di ST con la tecnologia NVIDIA Holoscan Sensor Bridge, il modulo si integra in modo nativo con le piattaforme aperte per lo sviluppo di robot NVIDIA Jetson e NVIDIA Isaac, semplificando e accelerando la progettazione del sistema di visione entro i limiti di dimensioni, peso e potenza dei robot umanoidi.

“La robotica umanoide sta andando oltre i progetti di ricerca e le dimostrazioni per fornire nuove e potenti macchine per un vasto insieme di funzioni nell’industria manifatturiera e nelle fabbriche automobilistiche, nella logistica e nei magazzini, nella vendita al dettaglio e nel servizio clienti”, ha affermato Marco Angelici, Vice-President of Marketing and Application for Analog Power MEMS and Sensors di STMicroelectronics. “Dalla nostra collaborazione con Leopard Imaging nascono sensori e attuatori ST leader di mercato, perfettamente integrati nell’ecosistema robotico NVIDIA e in grado di accelerare l’implementazione di applicazioni di IA fisica con una consapevolezza simile a quella umana.”

“La possibilità di accedere ai sensori e agli attuatori ST direttamente all’interno dell’ecosistema ci ha consentito di standardizzare e semplificare i processi di acquisizione e registrazione dei dati per la visione dei robot umanoidi in tutta l’interfaccia HSB,” ha affermato Bill Pu, CEO di Leopard Imaging. “I costruttori di robot possono utilizzare il nostro modulo di visione multisensoriale con gli strumenti Isaac per accelerare l’apprendimento e colmare rapidamente il divario tra simulazione e realtà.”

Basato su NVIDIA Holoscan Sensor Bridge, il nuovo modulo si integra perfettamente con NVIDIA Jetson via Ethernet per l’acquisizione in tempo reale dei dati dei sensori e con la piattaforma aperta per lo sviluppo di robot NVIDIA Isaac, che offre modelli di IA, librerie di sviluppo e framework di simulazione aperti. Il nuovo modulo include un sistema di compilazione e API (Application Programming Interface), algoritmi di intelligenza artificiale (IA) studiati per robot mobili, applicazioni di esempio, randomizzazione di dominio e un ambiente di simulazione contenente modelli di sensori.

In qualità di partner chiave di NVIDIA per la robotica e l’edge AI, ST continua a integrare i suoi sensori, driver, attuatori, controllori e strumenti di sviluppo nell’ecosistema robotico NVIDIA, inclusi modelli ad alta fedeltà e moduli proof-of-concept.

Informazioni tecniche

Il modulo di visione di Leopard Imaging Systems incorpora:

Per il rilevamento basato sulla visione, il sensore di immagine RGB-IR da 5,1 megapixel ST VB1940, un dispositivo di qualità automobilistica con modalità combinate di rolling shutter e global shutter. ST ha inoltre rilasciato una versione per il mercato di massa e il mercato industriale V**943, appartenente alla famiglia di prodotti ST BrightSense e disponibile in versione monocromatica o RGB-IR, in forma di die o come sensore pronto all’uso.

Per il rilevamento del movimento, l’unità di misura inerziale (IMU) a 6 assi LSM6DSV16X integra il core di apprendimento automatico (MLC) di ST per l’IA decentralizzata, la tecnologia SFLP (Sensor-Fusion Low-Power) e un sensore elettrostatico Qvar di rilevamento per l’interfaccia utente.

Per il rilevamento della profondità 3D, il modulo LiDAR integrato VL53L9CX dToF, parte della famiglia di prodotti ST FlightSense, è in grado di rilevare con precisione la profondità 3D fino a 9 metri. Grazie alla risoluzione di 54 x 42 zone (circa 2.300 zone), abbinata a un ampio campo visivo di 55° x 42° con risoluzione angolare di 1°, è possibile effettuare misurazioni a breve e lunga distanza e rilevare oggetti.

STMicroelectronics
In ST siamo 48.000 creatori e produttori di tecnologie a semiconduttori che padroneggiano la catena di fornitura dei semiconduttori con impianti di produzione all’avanguardia. In qualità di produttori di dispositivi integrati, lavoriamo con oltre 200.000 clienti e migliaia di partner per progettare e realizzare prodotti, soluzioni ed ecosistemi che rispondano alle loro sfide e opportunità, nonché alla necessità di sostenere un mondo più sostenibile. Le nostre tecnologie consentono una mobilità più intelligente, una gestione più efficiente dell’energia e dell’elettricità e l’implementazione su larga scala di oggetti autonomi connessi al cloud. Siamo sulla buona strada per raggiungere la neutralità carbonica in tutte le emissioni dirette e indirette (scope 1 e 2), nel trasporto dei prodotti, nei viaggi di lavoro e nelle emissioni dei pendolari (il nostro obiettivo di scope 3), e per raggiungere il nostro obiettivo di approvvigionamento di elettricità rinnovabile al 100% entro la fine del 2027. Ulteriori informazioni sono disponibili all’indirizzo www.st.com.

Leopard Imaging Inc.
Con sede nella Silicon Valley e fondata nel 2008, Leopard Imaging è leader mondiale nell’innovazione della visione basata sull’intelligenza artificiale e promuove le prestazioni dell’imaging computazionale su macchine autonome, droni intelligenti, dispositivi IoT basati sull’IA e tecnologie robotiche, di automazione e mediche. Per ulteriori informazioni consultare il sito www.leopardimaging.com.