NVIDIA s novými nástroji pro fyzickou AI

Tags: Autonomní vozidla | COSMOS 3 | Nvidia | Počítačové vidění | Robotika | Umělá inteligence

Na kon­fe­ren­ci o po­čí­ta­čo­vém vi­dě­ní a roz­po­zná­vá­ní vzorů (CVPR, 3.–4. červ­na, De­n­ver, Co­lo­ra­do) NVI­DIA před­sta­vi­la NVI­DIA COS­MOS 3, ote­vře­ný model pro fy­zic­ké uva­žo­vá­ní v ob­las­ti po­čí­ta­čo­vé­ho vi­dě­ní, ge­ne­ro­vá­ní světů a ge­ne­ro­vá­ní akcí. Tento zá­klad­ní model po­sky­tu­je klí­čo­vé schop­nos­ti, ne­bo­li do­ved­nos­ti agen­tů, pro po­krok ve vý­zku­mu a vý­vo­ji v ob­las­tech au­to­nom­ních vo­zi­del (AV), ro­bo­ti­ky a po­čí­ta­čo­vé­ho vi­dě­ní.

Výzkum v oblasti autonomních vozidel

V sou­vis­los­ti s vý­vo­jem au­to­nom­ních vo­zi­del NVI­DIA zdů­raz­ňuje, že vzác­né in­ter­ak­ce, data z ne­ob­vyk­lých ge­o­me­t­rií sil­nic, změny osvět­le­ní a okra­jo­vé scé­ná­ře je ob­tíž­né shro­máž­dit, jsou však pro tré­no­vá­ní a ově­řo­vá­ní zá­sad­ní. Díky funk­cím NVI­DIA pro au­to­no­mní vo­zi­dla mohou vý­zkum­ní­ci a vý­vo­já­ři po­vě­řit agen­ty AI au­to­ma­ti­za­cí pra­cov­ních po­stu­pů pro re­kon­struk­ci scény z dat vo­zo­vé­ho parku a ge­ne­ro­vá­ním syn­te­tic­kých scé­ná­řů. Funk­ce Neu­ral Re­con­structi­on po­má­ha­jí agen­tům AI pře­vá­dět data za­chy­ce­ná vo­zo­vým par­kem na edi­to­va­tel­né 3D scény pro si­mu­la­ci a ge­ne­ro­vá­ní syn­te­tic­kých dat.

NVI­DIA také po­si­lu­je vý­zkum v ob­las­ti au­to­nom­ních vo­zi­del pro­střed­nic­tvím NVI­DIA Al­paGym, open-sour­ceo­vé­ho fra­me­wor­ku pro učení s po­si­lo­vá­ním v uza­vře­né smyč­ce, který roz­ši­řu­je tento pří­stup pro­po­je­ním za­vá­dě­ní stra­te­gií a vy­so­ce věrné si­mu­la­ce s do­ved­nost­mi agen­tů. A to v mě­řít­ku ti­sí­ců gra­fic­kých pro­ce­so­rů, aby po­mohl vý­zkum­ní­kům s pří­pra­vou, za­vá­dě­ním a vy­hod­no­co­vá­ním. NVI­DIA Omni­D­re­ams, ge­ne­ra­tiv­ní model světa pod­mí­ně­ný akcí, při­dá­vá do si­mu­lač­ní smyč­ky fo­to­re­a­lis­tic­ké vy­kres­lo­vá­ní a ge­ne­ru­je sním­ky ka­me­ry, které v re­ál­ném čase přímo re­a­gu­jí na stra­te­gic­ké akce.

K tomu při­spí­vá i vy­dá­ní mo­de­lu NVI­DIA Al­pa­ma­yo 2 Super, ote­vře­né­ho mo­de­lu VLA (Vi­si­on Lan­gu­age Acti­on) s 32 mi­li­ar­da­mi pa­ra­me­t­rů. Ji­ný­mi slovy, tento mo­del umělé in­te­li­gen­ce do­ká­že uva­žo­vat, plá­no­vat a jed­nat v rámci ce­lé­ho scé­ná­ře jízdy.

Tento týden NVI­DIA Re­search před­sta­vi­la model LCDri­ve. Tento mo­del na­hra­zu­je ná­klad­né tex­to­vé uva­žo­vá­ní kom­pakt­ní­mi la­tent­ní­mi re­pre­zen­ta­ce­mi, což umož­ňuje au­to­nom­ním vo­zi­dlům rych­le­ji uva­žo­vat na ve­sta­vě­ném hard­wa­ru.

Vizuální AI

V sou­vis­los­ti s vi­zu­ál­ní umě­lou in­te­li­gen­cí NVI­DIA po­u­ka­zu­je na to, že vý­zvou je vy­ge­ne­ro­vat do­sta­tek kon­t­ro­lo­va­ných pří­kla­dů, aby bylo možné stu­do­vat, jak se mo­de­ly cho­va­jí při změ­nách vi­zu­ál­ních pod­mí­nek, stavů ob­jek­tů nebo ča­so­vých udá­los­tí.

Za tímto úče­lem NVI­DIA vy­dá­vá nové tech­no­lo­gie NVI­DIA Me­t­ro­po­lis, které mají po­mo­ci vý­zkum­ní­kům a vý­vo­já­řům ge­ne­ro­vat syn­te­tic­ké vi­zu­ál­ní scé­ná­ře, včet­ně ano­má­lií. Agen­ti mohou také pod­po­ro­vat pseu­do-ozna­čo­vá­ní. Tyto tech­no­lo­gie těží z ar­chi­tek­tu­ry Cos­mos 3 typu mix­tu­re-of-trans­for­mers, která vy­u­ží­vá trans­for­má­tor pro uva­žo­vá­ní k ana­lý­ze po­zo­ro­vá­ní a pře­dá­vá­ní in­struk­cí ge­ne­ro­va­cí věži, což po­má­há šká­lo­vat fy­zic­ky pod­lo­že­né vir­tu­ál­ní světy.

NVI­DIA Re­se­arch také vy­dá­vá Grasp­Gen-X, zá­klad­ní model pro ucho­po­va­cí akce ro­bo­tů. Jedná se o al­go­rit­mus pro zpra­co­vá­ní ob­ra­zu, ja­zy­ka a akce, který byl vy­cvi­čen pro dvou­prs­to­vé cha­padlo. Grasp­Gen-X apli­ku­je své zna­los­ti ge­o­me­t­rie a kon­tak­tu na ja­ké­ko­li ro­bo­tic­ké cha­padlo, se kte­rým se setká. Na zá­kla­dě ge­o­me­t­rie no­vé­ho cha­padla a ne­zná­mé­ho ob­jek­tu, který nikdy před­tím ne­vi­děl, model ge­ne­ru­je spo­leh­li­vé ná­vrhy po­lo­hy ucho­pe­ní, aby robot mohl ob­jekt ucho­pit.

Robotika

Podle NVI­DIA je klí­čem k vý­vo­ji na­vi­gač­ních a ma­ni­pu­lač­ních schop­nos­tí ro­bo­tů při tré­nin­ku za­lo­že­ném na umělé in­te­li­gen­ci po­stup­né zdo­ko­na­lo­vá­ní. Vy­tvo­ře­ní do­sta­teč­né­ho počtu ovlá­da­ných pro­stře­dí a za­vá­dě­ní růz­ných po­stu­pů za úče­lem stu­dia změn v cho­vá­ní ro­bo­tů při pl­ně­ní růz­ných úkolů je však ča­so­vě ná­roč­né a ob­tíž­né. Tato práce ob­vykle vy­ža­du­je ruční pro­po­jo­vá­ní si­mu­lač­ních pro­stře­dí, va­ri­ant úkolů, tré­nin­ku po­stu­pů a vy­hod­no­co­vá­ní.

NVI­DIA na­vr­hu­je, aby vý­zkum­ní­ci vy­u­ží­va­li agen­ty umělé in­te­li­gen­ce k au­to­ma­ti­za­ci běž­ných kroků při pří­pra­vě scén, si­mu­la­ci a učení ro­bo­tů po­mo­cí kniho­ven NVI­DIA Omni­ver­se a rámců Isaac Sim a Isaac Lab. Agen­ti mohou po­má­hat spouš­tět si­mu­lač­ní re­la­ce, vy­tvá­řet scény, řídit si­mu­la­ci, za­zna­me­ná­vat data a ově­řo­vat pro­stře­dí v Isaac Sim, za­tím­co funk­ce Isaac Lab pod­po­ru­jí na­sta­ve­ní, tré­no­vá­ní a vy­hod­no­co­vá­ní učení s po­si­lo­vá­ním a vývoj vlast­ních pro­stře­dí.

Další no­vin­kou od NVI­DIA Re­search je Nitro­Gen, po­pi­so­va­ný jako „obec­ný zá­klad­ní model AI pro hraní her, který vy­u­ží­vá ar­chi­tek­tu­ru zá­klad­ní­ho mo­de­lu ro­bo­ta NVI­DIA Isaac GR00T k tré­no­vá­ní agen­tů ve vir­tu­ál­ních pro­stře­dích během de­sí­tek tisíc hodin in­ter­ak­ce.