Nejnovější přírůstek do portfolia Oracle’e Edge Cloud, druhá generace zařízení Oracle Roving Edge (RED), poskytuje extrémní výpočetní výkon, bezproblémovou konektivitu a integrované zabezpečení na okraji sítí a v odpojených místech. S RED můžete spouštět různé pracovní zátěže, od podnikových aplikací po AI a vybrat si služby OCI na okraji se zjednodušeným nasazením, vynikajícím poměrem cena/výkon a vynikajícím zabezpečením, včetně možnosti spouštět izolovaně nebo bez vzduchové mezery.
Vylepšení výkonu s druhou generací RED
V rychle se rozvíjejícím věku umělé inteligence rozhodují milisekundy. Představte si svět, kde jsou hranice vaší sítě neomezené a kde se okraj vaší sítě stává exponenciálně chytřejším. Oracle Roving Edge Device 2nd Generation (RED) představuje novou konfiguraci optimalizovanou pro GPU s konfigurací optimalizovanou pro výpočetní výkon a úložiště, která zákazníkům poskytuje větší flexibilitu při možnostech nasazení.
S využitím výkonu procesoru Intel Xeon 8480+ na okraji mohou zákazníci těžit z nízkolatenčního zpracování blíže bodu generování a příjmu dat, což vede k včasnějšímu náhledu na jejich data. Aby bylo možné tuto sílu otestovat, společnost Oracle se spojila s Intelem, aby provedla řadu benchmarků s první generací RED. Pro testy jsme provozovali Llama 2-7B, model Yolov10 a konvoluční neuronovou síť Resnet50 (CNN) výhradně na procesorech Intel Xeon.
Následující benchmarky porovnávají první generaci RED založenou na Intel Xeon 6230T s druhou generací s Intel Xeon 8480+:
Nasazení Llama2-7B na RED
Llama 2 je rodina předtrénovaných a vyladěných modelů generování textu založených na autoregresivní architektuře transformátoru. Llama 2 přichází se třemi modely se 7 miliardami, 13 miliardami a 70 miliardami parametrů. Pro tuto simulaci provedl Oracle benchmarking s modelem parametrů Llama 2 se 7 miliardami.
Zlepšení latence
Druhá generace RED může poskytnout až 13,6 krát rychlejší odezvu než RED Gen 1 s použitím modelu Llama 2-7B, což umožňuje bleskově rychlý výkon pro odvození LLM (Edge-based Large Language Model).
Vylepšení propustnosti Procesor Intel® Xeon® 8480+
RED Gen 2 může poskytnout až 12,4krát lepší propustnost s použitím modelu Llama2-7B, což výrazně zvyšuje možnosti zpracování dat LLM na okraji.
YOLO v10
Modely řady YOLO byly navrženy pro detekci objektů v reálném čase a přesnou predikci kategorií a pozic objektů v obrazech s nízkou latencí. V této sérii benchmarků Oracle porovnával provoz modelu YOLO v10 na obou generacích zařízení Roving Edge.
Zlepšení latence
Nová generace RED může přinést až 60 % zlepšení výkonu oproti předchozí generaci.
O 67 % lepší propustnost při běhu YOLO v10
ResNet-50
ResNet-50 je architektura konvoluční neuronové sítě (CNN), která patří do rodiny Residual Networks (ResNet), což je řada modelů navržených pro řešení problémů spojených s trénováním hlubokých neuronových sítí. ResNet-50, vyvinutý výzkumníky z Microsoft Research Asia, je známý svou hloubkou a efektivitou v úkolech klasifikace obrázků. Architektury ResNet přicházejí v různých hloubkách, jako je ResNet-18 a ResNet-32, přičemž ResNet-50 je středně velká varianta.
Zlepšení latence
Druhá generace poskytuje až 3krát lepší odezvu oproti předchozí generaci, provozuje ResNet 50 CNN.
Až 4x lepší propustnost
Proč nasadit se zařízením Oracle Roving Edge?
Pokud máte aplikační zátěže, které potřebujete nasadit na hranici, které vyžadují škálovatelnou, bezpečnou a flexibilní platformu s výhodami cloudové technologie a ekonomiky, Oracle RED je pro vás to pravé. Je to robustní cloudová integrovaná služba vytvořená pro provozování kritických, časově citlivých aplikací na okraji v připojených i odpojených místech.
Zdroj: Oracle
