Tento jev, o kterém informovali uživatelé na sociálních sítích, vyvolává otázky o tom, jak umělá inteligence zpracovává a reprezentuje informace.
Nedávné zavedení modelu uvažování OpenAI „o1“ začíná u uživatelů ChatGPT vyvolávat nečekaná překvapení. Tento pokročilý model, který je navržen tak, aby před odpovědí strávil více času „přemýšlením“, se ukázal být krokem vpřed oproti modelům AI, které mu předcházely.
Ale pozornost uživatelů upoutal zvláštní jev: model někdy provádí mezikroky v jazycích, jako je čínština (a méně často němčina, perština, thajština, hindština nebo perština), bez ohledu na to, v jakém jazyce je položena počáteční otázka. Proč k tomu dochází? Ačkoli odpověď není zcela jasná, nabízí se několik zajímavých teorií.
Myslet v čínštině, odpovídat v angličtině?
Před 43 lety uvedl Clint Eastwood do kin film Firefox, ultimátní zbraň, jehož zápletka se navzdory názvu netočila kolem internetového prohlížeče, ale přísně tajného vojenského letadla vyvinutého Sověty, které pilot mohl ovládat mentálně, pokud dokázal „myslet rusky“.
Související článek
Pokud si myslíte, že jazyky jsou pouze mluvené/psané, a pojem „myšlení v určitém jazyce“ vás překvapuje, připravte se na ještě větší překvapení, protože několik uživatelů na sociálních sítích zveřejnilo, že při používání „o1“ ChatGPT přepíná jazyky uprostřed procesu uvažování.
Například při odpovídání na otázky typu „Kolik písmen R je ve slově strawberry?“ dokáže „o1“ vyřešit část problému v čínštině, než se vrátí do angličtiny a předloží svou konečnou odpověď. Tento jev zatím společnost OpenAI oficiálně nevysvětlila.
Transparentnost a omezení: překážka pro pochopení AI
Netransparentnost pokročilých modelů AI dodává těmto jevům další stupeň tajemství: vzhledem k neprůhledné povaze algoritmů nemůžeme s jistotou vědět, proč se „o1“ chová tak, jak se chová. Tuto větu lze chápat dvěma způsoby a oba jsou v tomto případě správné:
- Každý model umělé inteligence má určitý aspekt černé skříňky: víme, co do něj vstupuje a co z něj vychází, ale nevíme, co všechno se v něm děje.
- Modely umělé inteligence, které používá ChatGPT, nejsou otevřené, přestože je vyvinula společnost s názvem OpenAI, takže se o „otevření krabice“ mohou pokusit pouze jejich tvůrci. To ztěžuje externím výzkumníkům zkoumání jevů, jako je ten, o němž je řeč.
Hlavní teorie
Je jeden jazyk objektivně lepší v přemýšlení o určitých problémech než jiné… nebo jen jazyky, které AI nějak vztahují k řešení těchto problémů? Kolem odpovědi na tuto otázku se točí dvě hlavní teorie.
Vliv tréninkových dat a štítků
Jeden z nejčastěji citovaných argumentů se týká dat použitých k trénování „o1“: jazykové modely se trénují na obrovském množství textů z více jazyků. Patří sem nejen angličtina, ale také výše zmíněné jazyky a mnoho dalších, jejichž mluvčí vytvářejí online obsah.
Proces označování dat může také ovlivnit způsob, jakým „o1“ uvažuje: pokud byly matematické nebo vědecké problémy během tréninku přednostně označeny v určitém jazyce, model může určité úlohy spojovat s tímto jazykem.
To by vysvětlovalo, proč se „o1“ při rozkládání složitých problémů občas obrací k čínštině nebo jiným jazykům: někteří odborníci, poukazují na to, že velká část označování a přípravy dat pro trénink pokročilých modelů uvažování probíhá v Číně, a to kvůli dostupnosti odborníků a konkurenčním nákladům.
Lingvistická optimalizace v uvažování
Rohan Paul, inženýr umělé inteligence, modely jako „o1“ pracují ve sdíleném latentním prostoru, kde pojmové reprezentace nejsou vázány na konkrétní jazyky. To umožňuje modelu používat jazyk, který nejlépe odpovídá danému úkolu.
V očích AI nemá jazyk žádný význam, jak jej chápeme my. Jak vysvětluje Matthew Guzdial, výzkumník z University of Alberta, pro „o1“ je vše pouhým textem: jazyky jsou prostě konfigurace symbolů, které může kombinovat podle naučených vzorů.
Tato druhá teorie navrhuje právě to, že model automaticky vybírá nejefektivnější jazyk pro zpracování určitých problémů. A že čínské písmo, které je založeno na logogramech, by mohlo nabízet výpočetní výhody v problémech zahrnujících výpočty nebo vztahy mezi abstraktními pojmy.
Ačkoli se chování „o1“ může zdát zvláštní, odborníci se shodují, že má logický základ. Používání více jazyků během uvažování je projevem vícejazyčného tréninku modelu a jeho schopnosti operovat v latentním prostoru, kde pojmy přesahují hranice jazyků.
Ačkoli OpenAI žádnou z těchto hypotéz nepotvrdila ani nevyvrátila, obě zde uvedená vysvětlení nabízejí zajímavý pohled na to, jak umělé inteligence zpracovávají a odpovídají na složité otázky, i když o tom, jak myslí, toho ještě mnoho nevíme.