Dnešní generativní modely umělé inteligence ve skutečnosti nechápou, jak svět funguje, ale stále lépe lžou, aby nás přesvědčily o svých (někdy chybných) výsledcích.
Jako vždy přicházejí zákony regulující určité odvětví vždy se zpožděním a v případě umělé inteligence by tomu nemělo být jinak. A přesto stojíme před jednou z nejpřevratnějších technologií v dějinách, která slibuje změnit náš způsob života nepředstavitelným způsobem, překonat člověka prakticky ve všem a s možnostmi, které se rozhodně zdají být nekonečné, alespoň v tomto okamžiku a na úsvitu rostoucí evoluce.
Ať tak či onak, a nikoho to nepřekvapuje, realita, které jsme svědky, je taková, že dnešní generativní modely příliš nerozumějí tomu, jak svět funguje, ačkoli s tím, jak rostou a postupují, se stávají „lidštějšími“ a mají stále větší sklon přirozeně lhát, aby nás přesvědčily, že jejich výsledky jsou pravdivé, i když vědí, že si nejsou jisté a mohou se mýlit.
Dnešní AI nerozumějí složitějšímu a měnícímu se prostředí
Nepřekvapí tedy, že tým výzkumníků z MIT po důkladném přezkoumání upozornil, že současné generativní modely AI ve skutečnosti nerozumějí pravidlům tak složitého systému, jako jsou lidské vztahy, pouze přesně předpovídají nejlepší slova, která je třeba říci v určitém kontextu. Napodobují lidskou inteligenci, ale nejsou inteligencí jako takovou, ale pouze prediktivními modely, které jsou zcela závislé na předchozím tréninku.
Když je velký jazykový model (LLM) konfrontován s podmínkami reálného světa, které jsou ze své podstaty nepředvídatelné, stává se umělá inteligence ve svých výsledcích nespolehlivou.
Potřebovali jsme testovací prostředí, kde víme, jaký je model světa. Nyní můžeme důsledně přemýšlet o tom, co znamená obnovit tento model světa. Keyon Vafa, postdoktorand na Harvardu.
Výzkumníci z MIT použili typ generativního modelu umělé inteligence zvaný „transformátory“, který je trénován na masivních jazykových databázích, aby zdokonalil předpovídání a generování textu v různých kontextech. Pomocí nich se pokusili vyvinout metriky k ověření, zda modely rozumí světu, a přidali problémy známé jako deterministické konečné automaty (DFA).
Mezi tyto problémy patří logické uvažování, zeměpisná orientace, chemie nebo různé typy her, přičemž pro tuto studii vybrali dva případy, které jsou dnes poměrně běžné: orientace v ulicích New Yorku nebo hra Othello.
A zde nastaly problémy: umělá inteligence správně nechápe základní pravidla, a přestože většina testovaných modelů je schopna generovat přesné pokyny a instrukce a platné tahy ve hře Othello, všechny se staly neúčinnými při přidání jakékoliv odchylky od výchozích předpokladů.
Po zavedení těchto variant začaly modely podváděním hry navrhovat náhodné nadjezdy, které na trasách přes New York neexistují, ulice s nemožnou orientací nebo neplatné tahy v Othellu.
Ve skutečnosti se výkonnost modelů velmi rychle znehodnotila, a to i po přidání pouhé jedné „objížďky“ k původním předpokladům, a klesla ze 100% účinnosti na 67% po uzavření pouhého 1% ulic v New Yorku. Díky tomu lze snadno potvrdit, že LLM založené na „transformátorech“ jsou přesné při generování textu v různých kontextech, ale ve skutečnosti nerozumí složitějším prostředím, jako je reálný svět, kde jsou předpoklady vždy nepředvídatelné.
To je něco, na co již dříve upozorňovala řada studií, a je to vážný problém, který budou muset odborníci v blízké budoucnosti řešit, protože přibývá důkazů, jak dokládá i tato další studie recenzovaná kolegy z TechSpotu, že umělá inteligence je omezena vlastním tréninkem, a proto se někdy dopouští hrubých chyb, i když se stále lépe snaží přesvědčit uživatele o správnosti svých výsledků.