Nvidia Omniverse i Cosmos za razvoj robotike

Nvidia je najavila nove Omniverse biblioteke i Cosmos svjetske temeljne modele (WFM ) koji ubrzavaju razvoj i implementaciju robotskih rješenja.

Pokretani novim NvidiaRTX PRO serverima i NvidiaDGX Cloudom, biblioteke i modeli omogućuju programerima bilo gdje razvoj fizički točnih digitalnih blizanaca, snimanje i rekonstrukciju stvarnog svijeta u simulaciji, generiranje sintetičkih podataka za treniranje fizičkih AI modela i izgradnju AI agenata koji razumiju fizički svijet.

„Računalna grafika i umjetna inteligencija konvergiraju kako bi temeljno transformirale robotiku“, rekao je Rev Lebaredian, potpredsjednik Omniversea i simulacijskih tehnologija u Nvidiji. „Kombiniranjem umjetne inteligencije s skalabilnom, fizički točnom simulacijom, omogućujemo programerima da izgrade sutrašnje robote i autonomna vozila koja će transformirati bilijune dolara u industrijama.“

Novi Omniverse SDK-ovi uvode interoperabilnost podataka između MuJoCo (MJCF) i Universal Scene Description (OpenUSD), omogućujući više od 250.000 MJCF programera za učenje robota da besprijekorno simuliraju robote na različitim platformama.

Nove Omniverse NuRec biblioteke i AI modeli predstavljaju Omniverse RTX ray-tracing3DGaussian splatting, tehniku renderiranja koja omogućuje programerima snimanje, rekonstrukciju i simulaciju stvarnog svijeta u 3D pomoću podataka senzora.

Nvidia IsaacSim 5.0 i Nvidia Isaac Lab 2.2 okviri otvorenog koda za simulaciju i učenje robota sada su dostupni na GitHubu.

Isaac Sim sada uključuje NuRec neuronsko renderiranje i nove sheme robota i senzora temeljene na OpenUSD-u koje pomažu programerima robota da premoste jaz između simulacije i stvarnosti.

Renderiranje pomoću Omniverse NuRec-a sada je integrirano u CARLA-u, simulator otvorenog koda koji koristi više od 150.000 programera. Foretellix, proizvođač alata za autonomna vozila (AV), integrira NuRec, Nvidia OmniverseSensor RTX i Cosmos Transfer kako bi poboljšao svoje skalabilno generiranje sintetičkih podataka s fizički točnim scenarijima. Voxel51 podatkovni mehanizam za vizualnu i multimodalnu umjetnu inteligenciju, FiftyOne, podržava NuRec kako bi olakšao pripremu podataka za rekonstrukcije. FiftyOne koriste kupci poput Forda i Porschea.

Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel i Skild AI usvajaju Omniverse biblioteke, Isaac Sim i Isaac Lab kako bi ubrzali razvoj svoje AI robotike, dok ih Amazon Devices & Services koristi za pokretanje novog proizvodnog rješenja.

Cosmosovi WFM-ovi, preuzeti preko 2 milijuna puta, omogućuju programerima generiranje raznolikih podataka za obuku robota u velikim razmjerima pomoću tekstualnih, slikovnih i video uputa.