GPU NVIDIA H100 je nyní k dispozici v AWS cloudu

Tags: Amazon | AWS | Cloud | GPU | H100 | HPC | LLM | Nvidia | Strojové učení | Umělá inteligence

Uži­va­te­lé AWS nyní mohou vy­u­ží­vat špič­ko­vý výkon pro­ká­za­ný v obo­ro­vých ben­chmar­cích tré­no­vá­ní a od­vo­zo­vá­ní umělé in­te­li­gen­ce. Clou­do­vý gi­gant ofi­ci­ál­ně za­pnul novou in­stan­ci Ama­zon EC2 P5 po­há­ně­nou gra­fic­ký­mi pro­ce­so­ry Nvi­dia H100 Ten­sor Core. Služ­ba umo­ž­ňuje uži­va­te­lům šká­lo­vat ge­ne­ra­tiv­ní AI, vy­so­ce vý­kon­né vý­po­čty (HPC) a další apli­ka­ce jed­ním klik­nu­tím z pro­hlí­že­če.

Vý­vo­já­ři a vý­zkum­ní pra­cov­ní­ci po­u­ží­va­jí velké ja­zy­ko­vé mo­de­ly (LLM) k ob­je­vo­vá­ní no­vých apli­ka­cí pro AI téměř denně. Uvá­dě­ní těch­to no­vých pří­pa­dů po­u­ži­tí na trh vy­ža­du­je efek­ti­vi­tu zrych­le­ných vý­po­čtů.

Gra­fic­ký pro­ce­sor Nvi­dia H100 po­sky­tu­je výkon su­per­po­čí­ta­čo­vé třídy díky ino­va­cím v ar­chi­tek­tu­ře včet­ně Ten­sor Cores čtvr­té ge­ne­ra­ce, no­vé­ho Trans­for­mer En­gi­nu pro ak­ce­le­ra­ci LLM a nej­no­věj­ší tech­no­lo­gie NVLink, která umo­ž­ňuje gra­fic­kým pro­ce­so­rům ko­mu­ni­ko­vat mezi sebou rych­los­tí 900 GB/s.

Šká­lo­vá­ní po­mo­cí in­stan­cí P5

In­stan­ce Ama­zon EC2 P5 jsou ide­ál­ní pro tré­no­vá­ní a pro­vá­dě­ní in­fe­ren­cí pro stále slo­ži­těj­ší LLM a mo­de­ly po­čí­ta­čo­vé­ho vi­dě­ní. Tyto neu­ro­no­vé sítě po­há­ně­jí nej­ná­roč­něj­ší a vý­po­čet­ně nej­ná­roč­něj­ší ge­ne­ra­tiv­ní apli­ka­ce umělé in­te­li­gen­ce, včet­ně zod­po­ví­dá­ní otá­zek, ge­ne­ro­vá­ní kódů, ge­ne­ro­vá­ní videa a ob­ráz­ků, roz­po­zná­vá­ní řeči a dal­ších.

In­stan­ce P5 lze na­sa­dit v hy­per­ska­lár­ních clus­te­rech zva­ných EC2 Ul­traClus­ters, které se sklá­da­jí z vy­so­ce vý­kon­ných vý­po­čet­ních jed­no­tek, sítí a úlo­žišť v clou­du. Každý EC2 Ul­traClus­ter je vý­kon­ný su­per­po­čí­tač, který zá­kaz­ní­kům umo­ž­ňuje pro­vo­zo­vat nej­slo­ži­těj­ší tré­nink AI a dis­tri­bu­o­va­né HPC úlohy na více sys­té­mech.

Aby zá­kaz­ní­ci mohli pro­vo­zo­vat apli­ka­ce vy­ža­du­jí­cí vy­so­kou úro­veň ko­mu­ni­ka­ce mezi vý­po­čet­ní­mi uzly, je in­stan­ce P5 vy­ba­ve­na ne­blo­ku­jí­cí­mi sí­tě­mi v pe­ta­bi­to­vém mě­řít­ku, které jsou na­pá­je­ny po­mo­cí AWS EFA, sí­ťo­vé­ho roz­hra­ní o rych­los­ti 3200 Gb/s pro in­stan­ce Ama­zon EC2.

S in­stan­ce­mi P5 mohou apli­ka­ce stro­jo­vé­ho učení vy­u­ží­vat kni­hov­nu Nvi­dia Col­lecti­ve Com­mu­ni­cati­ons Lib­ra­ry a za­měst­ná­vat až 20 tisíc gra­fic­kých pro­ce­so­rů H100.

Nvi­dia AI En­ter­pri­se po­má­há uži­va­te­lům co nej­lé­pe vy­u­žít in­stan­ce P5 s kom­plet­ní sadou soft­wa­ru, která za­hr­nu­je více než 100 fra­mewor­ků, před­tré­no­va­ných mo­de­lů, pra­cov­ních po­stu­pů AI a ná­stro­jů pro la­dě­ní in­fra­struk­tu­ry AI.

Nvi­dia AI En­ter­pri­se je na­vr­že­na tak, aby ze­fek­tiv­ni­la vývoj a na­sa­ze­ní apli­ka­cí AI, a řeší slo­ži­tost bu­do­vá­ní a údrž­by vy­so­ce vý­kon­né, bez­peč­né a clou­do­vé soft­wa­ro­vé plat­for­my AI. Je k dis­po­zi­ci v AWS Mar­ket­pla­ce a na­bí­zí ne­pře­tr­ži­té mo­ni­to­ro­vá­ní za­bez­pe­če­ní, pra­vi­del­né a včas­né zá­pla­to­vá­ní běž­ných zra­ni­tel­nos­tí a rizik, sta­bi­li­tu API a pod­ni­ko­vou pod­po­ru i pří­stup k od­bor­ní­kům na Nvi­dia AI.

Další in­for­ma­ce o no­vých in­stan­cích AWS P5 s tech­no­lo­gií NVI­DIA H100.