Umělá inteligence na lokální úrovni se stává jedním z nejuniverzálnějších nástrojů současnosti.
Vzestup umělé inteligence způsobil, že mnoho lidí změnilo vnímání svého vztahu k technologiím. Jak prozradila společnost OpenAI, tvůrci ChatGPT, jejich chatbota využívá každý týden více než 400 milionů lidí, což je tak gigantické číslo, že pouze 2 země na světě mají více obyvatel. Existuje však jeden určující aspekt, který by mohl používání umělé inteligence dále standardizovat: provozování modelů umělé inteligence lokálně, nikoli v cloudu.
Malé jazykové modely, jako je Phi od Microsoftu nebo Llama 8B od společnosti Meta, se ukázaly jako efektivní při provozu na zařízeních s omezenou pamětí a výkonem. Umělá inteligence provozovaná v zařízení tak může využívat výhod personalizace, soukromí a přímého přístupu k souborům i místním datům, což zlepšuje celkový uživatelský zážitek. Z tohoto důvodu společnost Microsoft již v letošním roce plánuje uvést na trh počítače s vestavěnými modely Phi, které umožní generování textu a obrázků bez připojení k internetu.
Výzvy v oblasti hybridních počítačů, paměti a výkonu
Jedním z klíčových prvků tohoto přístupu je technika destilace modelů, což je postup, který umožňuje kondenzovat velké modely do menších verzí bez přílišné ztráty výkonu, což usnadňuje jejich používání v zařízení. Tímto způsobem se doufá, že kombinace umělé inteligence v cloudu a stejné technologie v zařízeních může využít to nejlepší z obou technologií. Provozování více modelů na jednom zařízení však bude vyžadovat jak optimalizaci paměti, tak nové architektonické přístupy, a proto stojíme před výzvou v oblasti paměti a výkonu.
Zařízení jako taková budou potřebovat stabilnější připojení (viz například síť 5G), aby mohla využívat výhod hybridní umělé inteligence. Ačkoli jsou tedy NPU určeny pro umělou inteligenci, rozmanitost architektur znamená, že v blízké budoucnosti se pro tyto úlohy bude používat více GPU a CPU. Ať tak či onak, integrace umělé inteligence do zařízení změní způsob interakce s technologiemi, ale bude ještě nějakou dobu trvat, než si uživatelé osvojí nové způsoby jejího používání.