Práce s velkými jazykovými modely (LLM) typu GPT není pouze záležitostí společnost jako OpenAI, Anthropic, Meta, Mistral nebo Google. Jiné technologické firmy podobné aktivity mají také. Seznam třeba chystá vlastní AI, k čemuž si pořídil stovky karet od Nvidie. Další podniky si data zpracovávají pro své specifické účely. Slovenská kyberbezpečnostní společnost ESET například ze zhruba 65 TB dat na učení vytváří 17 MB velké moduly umělé inteligence sloužící k odhalování malwaru. A rozjela kolem toho spolupráci s Intelem.
Základní princip je jednoduchý. ESET vezme balík 65 TB dat, která tři až čtyři dny připravuje, aby na ně pustil strojové učení. To také běží několik dní, což je doplněno testováním. Proces celkově trvá osm dní, a jakmile je dokončen, znova a znova se opakuje s tím, že je obohacen o nová data. Výsledkem je vždy zhruba 17 MB velký model, který je distribuován koncovým uživatelům kyberbezpečnostního softwaru ESETu.
Tento model dokáže odhalovat viry a další škodliviny, a nejenom ty, které už zná. ESET pracuje s pojmem „DNA“. Mnoho malwaru je iterací či forkem předchozích škodlivých aplikací, takže přebírá části kódu či principy. Díky tomu lze automaticky detekovat malwarové rodiny. Pokud 17MB model něco takového najde a není si stoprocentně „jistý“, pošle aplikaci otestovat na větší modely běžící v datových centrech. Pokud si „jisty“ nejsou ani tyto modely, až potom podezřelý kód dostanou do rukou lidští analytici ve virus labech.
Větší objem dat než u GPT
Díky tomuto principu lze pracovat s obřími objemy dat, které se na antivirové společnosti neustále valí. ESET například zaznamenává 750 tisíc škodlivých kusů kódu denně a zpracovává 2,5 miliardy URL.
Výhod je nicméně více. Malý model běžící na koncových zařízeních výrazně limituje komunikaci mezi uživatelem a servery, což snižuje poplatky za datový traffic. Koncová zařízení také mohou díky modelům fungovat samostatně, takže kdyby třeba ESET celý spadl, počítače stále budou mít schopnost malwarové detekce.
Asi 65 TB dat, se kterými slovenská společnost pracuje, je velký objem. Model GPT-3 od OpenAI je podle dostupných informací postavený na 45 TB informací. „Používáme transformerovou architekturu. Více se specializujeme než GPT. Vybíráme si konkrétní oblast softwarové DNA, používáme vlastní metody a sledování kontextu. Nesoustředíme se na obecné zaměření, takže naše zpracování není tak výpočetně náročné,“ popsal pro Lupu výkonný ředitel ESETu Richard Marko.
Základem 65TB balíku jsou různé typy dat, primárně ovšem jde o infikované i neinfikované spustitelné soubory posbírané za mnoho let s tím, že další neustále přibývají. Nad těmito daty běží příprava spočívající v extrakci zmíněného digitálního DNA. V podstatě jde o popis toho, co daný kus kódu dělá. Následně se vytváří digitální model, který dokáže kategorizovat, zda kód je, či není nebezpečný. Výsledkem je model, respektive sada neuronových sítí schopných kategorizace.
ESET modely počítá na grafických kartách v serverech. Modely GPU a jejich množství nespecifikoval. Marko pouze uvedl, že z finančního oddělení často chodí dotazy, proč se pořád nakupují nové drahé servery. To vzhledem k cenám karet od Nvidie a obrovské poptávce na trhu dané boomem generativní AI není překvapující.
Příchod AI PC
Další potenciálně zajímavým příspěvkem do spojení umělé inteligence a kybernetické bezpečnosti jsou čipy instalované v koncových zařízeních. Princip je podobný, jak ho už několik let známe z chytrých telefonů. Tamní SoC mají kromě procesoru a grafiky také část pro AI (NPU) schopnou například dokreslovat fotky. Je otázkou času, kdy se dočkáme LLM na čipu, takže možná princip sluchátka s virtuální přítelkyní z filmu Her není daleko.
Nicméně k té bezpečnosti. Intel nedávno představil koncept takzvaných AI PC. Zatím není moc jasné, co to přesně je, asi hlavně marketing. Počítač splňující AI PC by podle všeho měl mít GPU, procesor s NPU (od Intelu) a měl by zvládat VNNI a instrukce DP4a. Intel tímto obecně propaguje čipy Core Ultra.
Polovodičový obr ke koncepci AI PC spustil partnerský program. Cílem je, aby vývojáři začali pro NPU jednotku psát aplikace (low power AI) a tím odlehčili hlavním procesorovým jádrům a zároveň mohli nabídnout podobné funkce jako telefony.
Analytická společnost Canalys odhadla, že počítače s NPU budou do roku 2027 činit 60 procent prodaných kusů. Intel se pravděpodobně připravuje na příchod potenciálně silné konkurence. AMD, Nvidia, Qualcomm a MediaTek se chystají vydat vlastní procesory pro PC ve stylu Apple Silicon, které budou mít zabudované NPU části pro zpracování AI. Microsoft oznámil funkce Copilot+ pro Windows, přičemž některé AI prvky budou dostupné pouze pro čipy s ARMem.
„Intel chápe, že svět začíná být o AI, a chce toho být součástí, takže přidává hardwarovou podporu na své čipy,“ nastínil Marko.
ESET je jedním z ideálních kandidátů, který by NPU mohl využívat, popisovaný 17MB modul už akceleraci skrze NPU zvládá. Slovenská firma už dříve s Intelem rozjela spolupráci v rámci Intel Threat Detection Technology (TDT). V tomto případě je v procesorech zabudována analýza telemetrie a vyhodnocuje se, zda na zpracování nepřichází ransomware. Modul pro strojové učení dodává ESET, který po detekci zároveň převezme roli ochránce.
„Procesory od Intelu v sobě mají diagnostické prvky, pomocích nichž se dá ladit na nich běžící software. Původně to nemělo nic společného s bezpečností, Intel si ale uvědomil, že tyto prvky poskytují dobrou představu o tom, co na procesorech běží, protože se vytváří statistiky a metadata,“ popsal Marko.
ESET také s Intelem spolupracoval na tom, jaké procesy by mohly běžet na výkonných (P-Core) a úsporných (E-Core) jádrech, které Intel do svých procesorů nově dává, opět ve stylu ARMu.
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
