S potenciálním příspěvkem 15,7 bilionu USD do globální ekonomiky do roku 2030 (PwC) nebyla poptávka po umělé inteligenci nikdy vyšší. GPU jsou primární procesory používané k trénování modelů AI. Když se však pustíte do implementace odvození ve velkém měřítku, chcete optimalizovat své výpočetní zdroje tím, že budete správně upravovat své výpočetní náklady. U komplexních modelů, jako je počítačové vidění, zpracování přirozeného jazyka (NLP), model doporučení hlubokého učení (DLRM) a velké jazykové modely (LLM), jako je ChatGPT, nemusí být GPU tím nejhospodárnějším řešením pro umělou inteligenci (AI). a strojové učení (ML) a může být obtížné získat přístup.
Pro mnoho podniků, které používají procesory s nižší spotřebou a nákladově efektivnějšími procesory ve spojení s vysoce optimalizovanou platformou ML, jako je výpočetní počítač Oracle Cloud Infrastructure (OCI) A1 poháněný procesory Ampere Computing Altra Family Arm s Wallaroo.AI Enterprise Produkční platforma Edition ML je lepší alternativou. Tato metoda může snížit náklady a odblokovat projekty čekající na GPU.
Platforma Wallaroo.AI provozuje úlohy AI a ML nákladově efektivně pomocí snadno dostupných a pokročilých CPU. Tvary OCI A1 Compute poháněné procesory Ampere Altra jsou ideálním hardwarem pro AI inference optimalizované pro výkon prostřednictvím sady Ampere Optimized Frameworks. Díky výhodám platformy Wallaroo.ai jsou dodatečné zisky výkonu odvozené od softwaru ještě větší a efektivně spravované pracovní zátěže poskytují další úspory nákladů nad rámec již tak konkurenceschopných instancí Ampere OCI A1.
Srovnávací testy ukazují, že použití výpočtu OCI A1 s optimalizovaným řešením Wallaroo.AI a Ampere zkrátilo dobu inference ze 100 ms na 17 ms. Týmy s umělou inteligencí mají flexibilitu při uvádění ML do produkce s více možnostmi architektury, kterou Wallaroo.AI podporuje procesory na bázi Arm a x86, a to jak s GPU, tak bez něj. Platforma Wallaroo.ai běžící na cloudových nativních procesorech Ampere Altra umožňuje kratší zpětnovazební smyčky a agilnější podnik. Organizace dosahují rychlejší návratnosti investic (ROI) u svých projektů AI, které spotřebovávají méně energie při nižších nákladech na odvození.
Optimalizované řešení ML na procesorech Ampere
Tvary OCI A1 Compute poháněné procesory Ampere Altra jsou prvními, které díky svému výkonu a hustotě poskytují cloudu komerčně dostupné vysoce výpočetní schopnosti. Data ukazují, že provoz Wallaroo.AI Enterprise Edition na procesorech Ampere nabízí optimalizované řešení s rychlou inferencí a vysokým výkonem, a to i pro složité modely.
OCI A1 compute je ideálním řešením pro nasazení ML tím, že maximalizuje výkon na rack a poskytuje bezkonkurenční škálovatelnost. V kombinaci s unifikovanou Wallaroo.AI Enterprise Edition mohou týmy AI rychle, snadno a efektivně zavést ML do produkce.
Dostupné pro klienty OCI
Inženýrské týmy ve Wallaroo.AI nedávno dokončily srovnávací testy k ověření nového optimalizovaného řešení Wallaroo.AI a Ampere. Testy na instancích A1.Flex OCI založené na Ampere ukázaly, že řešení Wallaroo a Ampere poskytlo šestinásobné zvýšení výkonu oproti typickým kontejnerizovaným nasazením x86 na OCI. Také to snížilo výkon potřebný ke spuštění složitých případů použití ML v produkci.
Instance A1.Flex založené na Ampere dostupné na OCI jsou přístupné všem klientům OCI a vytvářejí vysoce výkonnou a nákladově efektivní platformu. V kombinaci s účelovou produkční platformou ML společnosti Wallaroo.AI a inferenčním enginem na bázi Rust je nyní nasazení produkčního ML do OCI a Arm jednodušší a energeticky účinnější. Toto společné řešení Wallaroo.Ai, Ampere a OCI vám umožní udělat více za méně.
Výsledky srovnávacích testů pro řešení
Výsledky testů na platformě OCI s použitím modelu počítačového vidění ResNet-50 ukázaly, že společné řešení Wallaroo.AI a Ampere potřebovalo pouze 17 ms na odvození. Ve velkém měřítku tato úspora času znamená mnohem kratší zpětnovazební smyčky, které přispívají k agilnějšímu podniku s následujícími výsledky:
- Spuštění produkční platformy Wallaroo.AI Enterprise Edition ML na Ampere Altra 64-bit A1 Flex VM na OCI + Ampere Optimized AI Framework potřebuje pouze 17 ms na odvození (graf A).
- Produkční platforma Wallaroo.AI ML běžící na x86 potřebuje 53 ms na odvození (sloupec grafu B).
- Běžné ML Containerized Deployment na x86 (bez Wallaroo.AI) potřebuje >100 ms na odvození (sloupec grafu C).
Hodnota spouštění úloh ML na výpočetních tvarech OCI Ampere
Kvůli velikosti a složitosti spotřebovává pracovní zátěž AI spoustu energie, zejména na GPU a dalších vyhrazených akcelerátorech AI, což má dopad jak na celkové náklady na vlastnictví (TCO), tak na schopnost dosahovat cílů v oblasti ochrany životního prostředí, sociálních věcí a řízení společnosti (ESG).
Jedním z řešení je použití starších procesorů založených na x86. Tyto procesory se snaží zlepšit výkon zvýšením rychlosti a sofistikovanosti každého CPU, což jim umožňuje zvládat náročnější výpočetní zátěže. Tato složitost zvyšuje energetické požadavky CPU a generuje více tepla, než pro které byly navrženy tradiční systémy vytápění, ventilace a klimatizace.
Naproti tomu OCI Ampere A1 compute využívá principů architektury Arm, sdílí úlohy zpracování na menších a početnějších jádrech, místo aby se spoléhal na několik procesorů s vyšší kapacitou. Tato metoda, někdy nazývaná škálování, spotřebovává méně energie a vyžaduje menší podporu zařízení než škálování charakteristické pro starší procesory založené na x86.
„Toto průlomové řešení Wallaroo.AI/Ampere běžící na OCI A1 umožňuje podnikům až šestkrát zlepšit výkon odvození, zvýšit energetickou účinnost a vyvážit jejich pracovní zátěž ML napříč dostupnými výpočetními zdroji mnohem efektivněji, což je vše zásadní pro splnění obrovské poptávka po výpočetních zdrojích AI dnes také při řešení dopadu exploze AI na udržitelnost,“ řekl Vid Jain, generální ředitel společnosti Wallaroo.AI. „Ve Wallaroo.AI vždy hledáme způsoby, jak zvýšit výkon a snížit náklady pro naše zákazníky. Další generace instancí AmpereOne A2 na OCI přinášejí tuto trvalou hodnotu.“
„Uprostřed dnešního boomu umělé inteligence zákazníci hledají účinnější a ekonomičtější odvození umělé inteligence. Díky migraci Wallaroo.AI na instance OCI A1 založené na Ampere jim poskytujeme řešení, které přináší šestkrát vyšší výkon inferencování AI a přitom spotřebuje výrazně méně peněz a energie,“ řekl Jeff Wittich, produktový ředitel společnosti Ampere. „S další generací instancí AmpereOne™ A2 na OCI budeme pokračovat v naší práci s Wallaroo.AI, aby bylo vysoce výkonné odvozování AI udržitelné a nákladově efektivní.“
Zdroj: Oracle
