Před několika dny jsme se dozvěděli, že se v rámci experimentu podařilo přenést jazykový model Llama společnosti Meta do procesoru z roku 1998.
Test tak ukázal, že k přístupu k umělé inteligenci, technologii, která se stále častěji objevuje i v jiných oblastech než jen v technologickém průmyslu, stačí 128 MB paměti RAM. A pokud jste si mysleli, že už tento milník je neuvěřitelný, připravte se na to, která platforma dokázala podporovat LLM společnosti Meta příště: Xbox 360.
Projekt llama2.c je odlehčenou implementací modelu Llama 2 společnosti Meta AI v kódu jazyka C. Jako takový je navržen pro provoz na široké škále hardwaru, a proto může běžet na lokálních zařízeních nebo cloudových platformách. Inspirován předchozím výše uvedeným experimentem se proto Andrej David rozhodl přizpůsobit projekt llama2.c konzoli Xbox 360. Chtěl přitom přenést umělou inteligenci na systém s tříjádrovým procesorem Xenon 3,2 GHZ a 512 MB unifikované paměti RAM, což jsou dvě důležitá omezení pro běh moderního jazykového modelu.
Úspěšné provedení a efektivita na omezeném hardwaru
Xbox 360 používal architekturu big-endian, proto David prováděl konverze endianity na konfiguraci a váhy modelu. Původní kód tak musel být rozsáhle upraven a optimalizován pro běh na hardwaru konzole, včetně správy paměti specifické pro systém Xbox. A díky architektuře systému, která umožňuje CPU a GPU sdílet stejný fond paměti RAM, to bylo pro úspěch projektu klíčové.
Po několikanásobné optimalizaci, protože musel spustit všech 60 MB modelu llama2, se Davidovi podařilo spustit jej na konzoli s jednoduchou výzvou. Tím dokázal nejen to, že implementace je proveditelná, ale také to, že je možné pracovat na platformách s omezenými zdroji, které nutí upřednostňovat efektivitu využití paměti. Úspěch experimentu tak motivoval komunitu k prozkoumání možnosti spuštění dalších odlehčených jazykových modelů jak na konzoli Xbox 360, tak na dalších starších zařízeních.