Vzhledem k popularitě těchto nových jazykových modelů přechází Microsoft k vydání optimalizovaných verzí pro NPU.
V posledních dnech bylo v souvislosti s vydáním jazykového modelu DeepSeek R1, který prokazatelně konkuruje pokročilejším modelům OpenAI, poněkud rušno. Nejen to, ale také vytvořil mrak nejistoty, když vyšlo najevo, že byl vyvinut s neskonale menšími prostředky, než jaké má americká společnost, a otevřel tak model komukoli, kdo jej může upravovat nebo na něm vyvíjet.
Oblast generativní umělé inteligence postupuje mílovými kroky kupředu a je to vlak, ze kterého společnosti jako Microsoft nechtějí vystoupit. Proto společnost oznámila, že bude optimalizovat destilované verze DeepSeek R1 pro své počítače Copilot+, díky čemuž bude moci kdokoli s počítači Copilot+ lokálně spouštět tyto jazykové modely optimalizované pro neuronové čipy založené na architektuře ARM, jako jsou Snapdragon X, Intel Lunar Lake nebo AMD Ryzen AI 9.
Microsoft vítá DeepSeek na počítačích
Jak společnost oznámila v oficiálním příspěvku na blogu, začne s „DeepSeek-R1-Distill-Qwen-1.5B“, verzí DeepSeek R1 vydestilovanou z Qwen a s 1,5 miliardy parametrů. Destilace modelu spočívá v trénování menšího modelu (s menším počtem parametrů a obecně méně schopného) z informací většího, pokročilejšího modelu. Výsledkem je efektivnější a rychlejší systém bez výrazného snížení výkonu.
Model lze stáhnout do počítače prostřednictvím sady nástrojů Microsoft AI Toolkit, která je určena pro vývojáře. Verze 7B a 14B se objeví již brzy. Počítače Microsoft Copilot+ jsou počítače s operačním systémem Windows 11 s minimálně 256 GB interního úložiště, 16 GB paměti RAM a NPU schopným poskytnout minimálně 40 TOPS výkonu. To znamená, že některé starší počítače vybavené NPU nebudou schopny tyto modely lokálně provozovat.
„Tyto optimalizované modely umožňují vývojářům vytvářet a nasazovat aplikace založené na umělé inteligenci, které na zařízení běží efektivně a plně využívají výkonné NPU v počítačích Copilot+,“ uvádí Microsoft ze své tiskové zprávy. „Díky naší práci na platformě Phi Silica se nám podařilo využít vysoce efektivní inferenci – dosáhli jsme velmi konkurenceschopné doby do prvního tokenu a propustnosti při minimálním dopadu na životnost baterie a spotřebu zdrojů počítače. Kromě toho jsme využili prostředí Windows Copilot Runtime (WCR) pro škálování napříč různorodým ekosystémem Windows s formátem ONNX QDQ.“
Ve stejné zprávě se Microsoft dále dělí o to, jak umožnil, aby modely DeepSeek R1 mohly běžet lokálně pomocí hardwaru založeného na NPU. „Zaprvé využíváme konstrukci posuvného okna, která poskytuje superrychlou dobu do prvního tokenu a podporu dlouhého kontextu, přestože nemáme dynamickou podporu tenzorů v hardwaru. Za druhé používáme 4bitové kvantizační schéma QuaRot, abychom skutečně využili nízkobitové zpracování.“
Ačkoli nebylo uvedeno žádné datum, společnost Microsoft uvádí, že destilovaný model R1 se brzy dostane do rozšíření VS Code AI Toolkit, takže každý vývojář používající toto programovací prostředí bude moci využívat možností tohoto modelu jazyka na počítači Copilot+ s NPU.
Kromě toho se společnost Microsoft otevřela modelům DeepSeek tak, že tyto modely učinila kompatibilními také prostřednictvím cloudu Azure AI Foundry. To umožňuje každému, kdo využívá tyto cloudové služby, pracovat s jazykovými modely DeepSeek optimalizovanými společností Microsoft.
Je překvapivé, jak Microsoft přizpůsobil DeepSeek svým technologiím, vzhledem k tomu, že naprostá většina amerických technologických firem je před existencí tohoto modelu ve střehu.