Článek přečtěte do 3 min.

Detekce anomálií OCI vám umožňuje sledovat a odhalovat anomálie ve vašich datech časové řady. S potěšením oznamujeme obecnou dostupnost následujících nových funkcí pro službu detekce anomálií:

  • Jednorozměrná detekce anomálií
  • Vylepšení detekce vícerozměrných anomálií
  • Asynchronní detekce

Jednorozměrná detekce anomálií

Jednorozměrná detekce anomálií (UAD) se týká problému identifikace anomálií v jedné časové řadě dat. Jedna data časové řady obsahují hodnoty s časovým razítkem pro jeden signál, jako je metrika nebo měření.

Graf zobrazující stav serveru v průběhu času se špičkami a anomáliemi zachycenými UAD.

S touto verzí nyní máme plnohodnotnou podporu pro detekci anomálií v jednorozměrných signálech, která vám umožní detekovat různé typy anomálií v jednorozměrných signálech: bodové, kolektivní a kontextové anomálie.

Detekce bodových anomálií OCI

Detekce bodové anomálie najde jednotlivé datové body, které jsou neobvyklé ve srovnání se zbytkem dat v datové sadě.

Grafika znázorňující spojnicový graf pro trénovací údaje o používání síťových služeb a spojnicový graf pro využití síťových služeb: testovací data a anomálie označené službou.

Hromadná detekce anomálií OCI

Hromadná detekce anomálií najde související případy anomálních dat ve srovnání s celým souborem dat.

Grafika znázorňující dva spojnicové grafy porovnávající původní datové sady vlaku a původní zkušební soubory a jejich rozsahové anomálie.

Kontextová detekce anomálií OCI

Detekce kontextových anomálií najde datové body, které jsou považovány za abnormální při pohledu na kontextové atributy spojené s datovými body. Zobrazení dat v kontextu času nebo v kontextu pojmů souvisejících s časem, jako jsou roční období, pracovní dny a víkendy, může odhalit anomální chování přímo korelující s takovým kontextem.

Grafika znázorňující dva spojnicové grafy originálu vlaku a originálu testu, zobrazující kontextové anomálie.

Mezi další vylepšení patří následující příklady:

    • Nyní používáme rychlý vyhodnocovač numerických výrazů pro NumPy (NumExpr) místo Numpy pro vyhodnocení algebraických a transcendentálních funkcí.
    • Podpora Intel Math Kernel Library (MKL) pro urychlení vyhodnocování funkcí.
    • Zlepšení výkonu pro školení i hodnocení.
  • Implementujte efektivní manipulaci s pamětí pro velké dávky (až 10 kB): Implementováno dávkové zpracování sloupců pro výpočet párové vzdálenosti, aby se předešlo problémům s pamětí kvůli ukládání velké matice.
  • Vylepšení předzpracování
    • Detekce a odstranění odlehlých hodnot na základě mezikvartilového rozsahu (IQR).
    • Dekompozice trendu a sezónnosti: Sezónní dekompozice trendu pomocí Loess (STL) nebo lineárního detrendování.
  • Vylepšení jádra pro jednotřídní podpůrné vektorové stroje (OCSVM) využívající automatické ladění hyperparametrů: Dynamický výběr velikosti okna pomocí funkce detekce periodicity a autokorelace a heuristický frekvenční detektor.
  • Vylepšení postprocessingu během detekce: Nadbytečné anomálie ořezáváme potlačením anomálií, které se objevují postupně ve skupinách větších, než je velikost okna, abychom se vyhnuli nadměrnému označování za datové body velikosti okna.
  • Uživatelsky specifikované ladění: Přidaný parametr citlivosti v detekci vám umožňuje upravit počet anomálií označených výběrem vhodného prahu, aniž byste museli znovu trénovat.

Detekce vícerozměrných anomálií MSET2

Tato verze také představuje jádro MSET2 Multivariate AD, které podporuje volání velkých dávek s asynchronní detekcí, což výrazně zlepšuje přesnost detekce speciálně pro případy použití prognostiky. Tato schopnost pomáhá případům použití detekce anomálií na základě sledování detekovat anomálie v kontextu historického stavu s následujícími podrobnostmi:

  • Zavolejte službu pomocí explicitní možnosti pro multivariační MSET pomocí asynchronní detekce.
  • Služba vypočítává stavy na základě kumulativních součtů interně pomocí přiměřeně velké velikosti dávky.
  • Tato dostupnost nabízí lepší výkon díky zachování historického kontextu, což má za následek nižší četnost zmeškaných poplachů ve srovnání se synchronní detekcí.

Grafika znázorňující příklad použití pro MSET2.

Asynchronní detekce

Zákazníci nyní mohou používat rozhraní Asynchronous Detection API na velkých až velmi velkých souborech dat (100 milionů – miliard datových bodů). Toto API má následující možnosti:

  • Rozšiřuje stávající možnosti služby Detekce anomálií
    • Podporuje velké datové sady (od 30 000 datových bodů do 100 milionů + datových bodů).
    • Podporuje tréninková data s až 1000+ signály (k dispozici na vyžádání).
    • Vysoká přesnost modelu díky možnosti trénování modelu s lepšími charakteristikami modelu, jako je velikost okna a paměťové vektory.
  • Umožňuje vložení nebo seznam objektů v OCI Object Storage. Různé režimy zadávání vám poskytují flexibilitu před přihlášením ke službě.
  • Osvobozuje vás od nutnosti vyvíjet vlastní aplikace pro provádění detekce anomálií na velkých souborech dat.
  • Lze rozšířit tak, aby poskytovalo více možností, jako je automatizované předběžné zpracování, přeškolení a integrace základní pravdy pro neustálé vylepšování modelu.

Mezi další asynchronní vylepšení patří následující příklady:

  • Šifrování mezilehlých dat.
  • Vyrovnávání zátěže: virtuální služba IP (IPVS) pro směrování sítě v rámci clusteru K8s pro vyrovnávání zátěže.
  • Paralelní zpracování požadavků z databázových dotazů: Optimistické zamykání databázových dotazů pro zpracování paralelních požadavků.
  • Automatické škálování pro body vodorovně a shluky.

Zdroj: Oracle