Generativní AI (Gen AI) a velké jazykové modely (LLM) představují revoluci v osobním a pracovním životě. Od digitálních asistentů, kteří spravují e-maily, až po chatboty, kteří dokážou komunikovat s podnikovými daty napříč odvětvími, jazyky a specialitami, tyto technologie pohánějí novou éru pohodlí, produktivity a konektivity. LLM mohou generovat lidský text, který se stále více zlepšuje směrem k lidské úrovni přesnosti pro úkoly, jako je překlad, sumarizace, generování obsahu, odpovídání na otázky a mnoho dalších aplikací v reálném světě.
Oracle Cloud Infrastructure (OCI) poskytuje komplexní řešení včetně vysoce výkonné výpočetní infrastruktury, databází, datové vědy a služeb GenAI pro budování, školení a nasazení LLM ve velkém měřítku.
Jak tedy můžete nasadit LLM na Oracle Cloud Infrastructure pomocí AI a Data Science Services
Vytvoření a obsluha modelu
Model Hugging Face si můžete stáhnout a uložit na disk a k uložení modelu můžete použít joblib, pickle, cloudpickle, onnx. Musíte také vytvořit soubor score.py pro hostitele funkce „load_model ()“ a predikce (). Příkaz „load_model ()“ načte model uložený na disku a vrátí objekt estimator a funkci „predict ()“, která převezme užitečné zatížení ve formátu objektu a modelu JSON, které vrátí funkce load_model (). Převádí užitečné zatížení objektu JSON do formátu objektu modelu pro predikci. Později můžete použít „score. predict ()” pro lokální testování modelu.
Nasaďte model na NVIDIA Triton Inference Server
OCI Data Science podporuje NVIDIA Triton Inference Server jako speciální kontejner, který mapuje koncové body nařízené službou na schopnosti Triton inference a zdraví koncových bodů HTTP nebo REST, aby vám pomohl osvobodit se od něj. Chcete-li tento proces povolit, nastavte proměnné prostředí při vytváření nasazení modelu. Po sestavení modelu si můžete stáhnout a uložit obraz NVIDIA Triton Inference Server do Oracle Container Registry. Notebook Data Science poskytuje jednoduché rozhraní API nebo sadu pro vývoj softwaru (SDK) pro kompresi artefaktů modelu pomocí Pythonu. Oracle poskytuje ukázkový příklad kódu Python pro registraci artefaktů modelu a ukládání obrazů Triton Inference Server pro nasazení modelů LLM.
Artefakty modelu můžete zabudovat do archivního souboru .zip a uložit model do registru kontejnerů, vždy zdarma s vaším předplatným OCI. Plaťte pouze za zdroj, který spotřebováváte. Můžete také vytvořit NVIDIA Triton Inference Server pomocí příkazu Docker „Build“ a vytvořit nasazení modelu jako koncový bod HTTP pomocí registrace kontejneru Triton.
Nasazení modelu OCI Data Science podporuje aktualizaci s nulovými prostoji jednotlivých modelů beze změny struktury verzí. Pokud však spustíte příkaz „update_zdt“ pro nasazení modelu založeného na Tritonu, struktura verze by měla být pro základní model nezměněna; jinak může dojít k prostojům.
Závěr
OCI poskytuje pohodlný a flexibilní způsob nasazení a škálování LLM. Oracle poskytuje různé metody, jak aplikovat AI na vaše podnikové aplikace a posílit inovace pomocí řešení Oracle Software-as-a-Service (SaaS) a platformy Data a AI. Nabízíme nákladově efektivní vysoce výkonnou výpočetní, úložnou a síťovou infrastrukturu pro vytváření, testování, nasazení a používání aplikací AI. Chcete-li si to sami vyzkoušet, můžete se podívat na ukázkový kód AI Oracle Data Science v Oracle Data Science Repository.
Pokud s Oracle Cloud Infrastructure začínáte, můžete toto řešení zdarma vyzkoušet pomocí služby Oracle Cloud Free Tier, nebo si ušetřete čas, a rovnou nás kontaktujte.
Zdroj: Oracle
