Společnost Meta chce posunout multimodální zážitek na Facebooku, Instagramu a WhatsAppu o úroveň výš. Pod kapotou má obrovské množství tréninkových dat.
Není žádným tajemstvím, že závody v umělé inteligenci se rozbíhají raketovou rychlostí a že téměř každý týden vidíme novinky od hlavních hráčů. Meta představila Llama 4, svou novou kolekci open source modelů umělé inteligence a to ne jeden, ale hned čtyři: Llama 4 Scout, Llama 4 Maverick a Llama 4 Behemoth.
Jak vysvětluje společnost Meta, všechny byly vyškoleny na velkém množství neoznačených textových, obrazových a video dat s jediným cílem: aby měly široké vizuální porozumění, které se promítne do mnohem personalizovanějších uživatelských zkušeností. A pokud se podíváme na její předchozí model Llama 3, zjistíme, že se také díváme na mnohem výkonnější konfigurace.
Související článek
Llama 4 je již tady a má několik působivých údajů
Meta vysvětluje, že jde o její první generaci modelů s architekturou „směsi expertů“ (MoE), která je výpočetně efektivnější jak pro trénování, tak pro řešení dotazů. Jak to funguje? Zjednodušeně řečeno, rozdělí úlohy zpracování na dílčí úkoly a přiřadí je menším, specializovanějším expertním modelům.
Při podrobném popisu parametrů a expertů tedy budeme první z nich chápat jako schopnost uvažování nebo řešitelské schopnosti modelu. Například Maverick má celkem 400 miliard parametrů, ale využívá pouze 17 miliard aktivních parametrů rozdělených mezi 128 expertů.
- Llama 4 Behemoth je impozantní model s téměř dvěma biliony celkových parametrů, 288 miliardami aktivních parametrů a 16 experty, dosud nejvýkonnější a jeden z nejpokročilejších jazykových modelů. Stále se nachází ve fázi trénování.
- Llama 4 Maverick má 17 miliard aktivních parametrů rozdělených mezi 128 expertů.
- Llama 4 Scout má rovněž 17 miliard aktivních parametrů rozdělených mezi 16 expertů a 10 milionů tokenů kontextového okna.
Llama 4 Maverick bude GPT-40 společnosti Meta
Podle testovací baterie společnosti Meta překonává Behemoth GPT-4.5, Claude 3.7 Sonnet a Gemini 2.0 Pro (ale ne Gemini 2.5 Pro) v testech zaměřených na oblasti STEM, jako je řešení matematických problémů.
https://twitter.com/AIatMeta/status/1908598456144531660?v=2
Pokud jde o Mavericka, ten je určen pro použití jako obecný asistent nebo chat (včetně tvůrčího psaní) a přímo soupeří s GPT-4o od OpenAI a Gemini 2.0 od Googlu, které překonává (podle společnosti Meta) v některých srovnávacích testech kódování, uvažování, vícejazyčnosti, dlouhého kontextu a interpretace obrázků. Zaostává však za novějšími a výkonnějšími modely, jako jsou Gemini 2.5 Pro, Claude 3.7 Sonnet od Anthropicu a GPT-4.5 od OpenAI.
Silnými stránkami Scoutu jsou sumarizace dokumentů a uvažování nad rozsáhlými bázemi kódů. Z hlediska obrovského prodeje kontextu má schopnost analyzovat obrázky a až miliony slov, což mu umožňuje pracovat s extrémně dlouhými dokumenty.
Meta uvedla, že Scout může běžet na jediném grafickém procesoru Nvidia H100, zatímco Maverick vyžaduje systém DGX s H100 nebo jeho ekvivalent. Pro Behemoth nebyly poskytnuty žádné indicie, ale zřejmě bude vyžadovat ještě výkonnější hardware.
Všimněte si, že ani jeden z modelů LLama 4 není model pro uvažování, jako jsou modely OpenAI o1 a o3-mini. Takovéto uvažovací modely kontrolují své odpovědi před tím, než je poskytnou, což znamená vyšší spolehlivost za cenu toho, že jsou pomalejší. Zajímavé je, že společnost Meta vyladila svůj model Llama 4 tak, aby se méně zdráhal odpovídat na konfliktní otázky. Zuckerbergova společnost vysvětluje, že Llama 4 nyní odpovídá na diskutované společenské a politické otázky, kterým se předchozí verze vyhýbaly. Kromě toho tvrdí, že Llama 4 je mnohem vyváženější, pokud jde o témata, která přímo odmítá. S výjimkou Behemotha, který je zatím nedostupný a v přípravě, lze všechny ostatní modely Lamy 4 testovat již nyní.
Ale pozor, protože modrý okruh Meta AI aplikací WhatsApp, Messenger, Instagram Direct již používá Llama 4 ve 40 zemích, takže ať se vám líbí, nebo ne, v populárních aplikacích se s ním setkáte. V tuto chvíli jsou však multimodální funkce omezeny na USA a pouze v angličtině.
Patří EU mezi těchto 40 zemí? Ne. Uživatelé v Evropské unii nesmějí modely používat ani šířit a to podle evropských právních předpisů o umělé inteligenci a ochraně údajů. Kromě toho budou muset společnosti s více než 700 miliony aktivních uživatelů měsíčně požádat společnost Meta o zvláštní uživatelskou licenci.
Společnost Meta rovněž zdůraznila, že modely Llama 4 jsou navrženy tak, aby byly bezpečnější a etičtější. Zavedly systém kontroly a moderace, který má zabránit vytváření škodlivého nebo nevhodného obsahu. Tento přístup má zásadní význam v době, kdy je etika umělé inteligence pod stále větším drobnohledem. Společnost spolupracovala s odborníky na etiku a lidská práva, aby zajistila, že její modely budou nejen technicky vyspělé, ale také společensky odpovědné.