Grafické procesory AMD Instinct MI300X byly podrobeny testům MLPerf 4.1, v nichž naplno předvedly svůj potenciál umělé inteligence.
Společnost AMD učinila s uvedením nových akcelerátorů Instinct MI300X významný krok vpřed v oblasti umělé inteligence. Tyto GPU byly uvedeny na trh v prosinci loňského roku a od té doby se uživatelé i média ptají na výkon těchto GPU ve specifických výkonnostních testech, jako je například MLPerf.
Společnost Tiny Copr, která stojí za testem MLPerf, dokonce v příspěvku na webu X uvedla, že společnost AMD odmítla, aby její akcelerátory byly součástí dalšího kola výsledků výkonnostních testů MLPerf. Tím se rozezněly poplašné zvony, uživatelé začali zpochybňovat údaje poskytnuté společností a důvěra v Instinct MI300X začala klesat.
Nyní, několik týdnů po této interakci, společnost AMD právě zveřejnila výsledky akcelerátoru Instinct MI300X v testu MLPerf 4.1 a čísla potvrzují všechna očekávání, která byla od představení GPU vznášena. Tyto výsledky byly prezentovány na neveřejné akci, které jsme se zúčastnili a kde AMD podrobně vysvětlilo možnosti Instinct MI300X.
AMD Instinct MI300X v MLPerf 4.1: První výsledky jsou následující
Než se ponoříme do informací prezentovaných společností AMD, je třeba poznamenat, že testy byly provedeny v MLPerf 4.1, což je nejnovější verze MLPerf. Kromě toho byl použit jazykový model LLaMA2-70B, který je jedním z nejsložitějších a nejpokročilejších v oboru umělé inteligence.
Pro testování akcelerátorů umělé inteligence společnosti AMD byly vytvořeny dva scénáře. První je zaměřen na testování výkonu offline, kdy bylo cílem prozkoumat chování při zpracování co nejvyššího počtu tokenů za sekundu, zatímco druhé prostředí se týká použití na serverech.
Akcelerátory AMD Instinct MI300X v testech MLPerf 4.1 / Obr: AMDToto online prostředí má ukázat, jak si akcelerátory Instinct MI300X vedou v situacích, kdy je limitujícím faktorem latence. Akcelerátory doprovázejí procesory EPYC Genoa a Turing, které slouží jako další faktor, který je třeba při testování výpočetního potenciálu zohlednit.
Ostatně sama společnost AMD uvádí, že přechod z jednoho procesoru na druhý vykazuje nárůst výkonu o 25 %. Uvedli však, že je ještě třeba provést další testy, aby bylo možné určit přesný důvod (důvody) tohoto drastického chování výkonu.
Byly provedeny srovnávací testy s přímým konkurentem, NVIDIA DGX H100 s procesory Intel Xeon. Závod o nejlepší výkon je těsný, ostatně z grafů je vidět, že se výsledky nijak propastně neliší.
Pokračujeme dále, AMD porovnalo škálování, které nabízejí jeho grafické procesory, a srovnalo výkon jedné karty s výkonem osmi dohromady. Získané údaje naznačují, že škálování je téměř dokonalé, protože výsledky ukazují téměř osminásobný nárůst výkonu.