С едно завъртане на джойстика, натискане на спусъка и няколко бутона, дори неопитен играч може да преминава през 3D видеоигра. Британски стартъп залага на това, че подобни прости последователности съдържат изобилие от информация, която може да се използва за обучение на нови модели с изкуствен интелект.

В средите на индустрията за изкуствен интелект все повече се затвърждава мнението, че големите езикови модели (LLM) в крайна сред ще бъдат ограничени от неспособността си да се ориентират във физическия свят. Обучени само върху думи, големите езикови модели вероятно не са добре подготвени да управляват автономни превозни средства, роботизирани ръце или да извършват каквото и да е друго действие, изискващо прецизност и точност. За да отстранят този недостатък, група признати изследователи, сред които Фей-Фей Ли и Ян Лекун, насочват усилията си към друг клас изкуствен интелект: модели на света (world models).

За да научат физиката на реалния свят, моделите на света трябва да се обучават върху комбинация от визуални данни и данни за действия. Преди ловко да маневрира с роботизирана ръка, даден модел може да се наложи да бъде обучен върху видеокадри от фабричния под, съчетани с информация за това колко здраво трябва да се захване даден обект, с какъв въртящ момент се манипулира и т.н. Но за разлика от езиковите модели, обучени върху океани от текст, за лабораториите за модели на света няма подобен масив от налични материали.

„За моделите на света са ви необходими причина и последица“, казва Сятиан Джу, доцент със специалност изкуствен интелект в Университета в Съри. „В интернет разполагаме с много малко данни от този тип.“

Worldmodeldata, британски стартъп, консултиран от Лекун, има за цел да реши този проблем, като опакова входни данни от контролери и други данни, събрани от студия за видеоигри — вторичен продукт, наличен в огромни количества — в набори от данни за обучение на модели на света. Някои компании, като General Intuition и Niantic, вече събират данни за видеоигри от собствените си платформи за изграждане на модели. Но Worldmodeldata се позиционира като брокер, който курира и организира данни, спестявайки на лабораториите сключването на индивидуални споразумения с множество студия за игри.

„Има милиони страхотни игри и те са все по-близки до реалния свят“, казва Рея Лукас, главен изпълнителен директор на Worldmodeldata, пред WIRED. „Защо да не вземем огромните, богати и разнообразни преживявания от видеоигрите и да обучим изкуствения интелект?“

Въпреки че хипотезата все още предстои да бъде напълно тествана, изследователите като цяло работят при предположението, че производителността на моделите на света ще се подобрява успоредно с размера на техните набори от данни за обучение, по подобен начин както при големите езикови модели. Това означава, че недостигът на подходящи данни за обучение е едно от най-големите тесни места за прогреса.

Някои лаборатории се опитват ръчно да генерират свои собствени данни чрез закачане на сензори към хора и роботи в тестови среди. Но този подход дава само малко количество данни и не отчита крайните (гранични) сценарии, с които даден модел може да се сблъска в реални условия.

„Можете да плащате на хора да показват задачи за вземане и поставяне на предмети. Но самото повторение няма да улови хаоса на света, в който искате машината да работи“, казва Никол Френкел, партньор във фирмата за рисков капитал Khosla Ventures, която е инвестирала в General Intuition.

Теорията на Worldmodeldata е, че данните, събрани от среди на видеоигри — визуални репрезентации на 3D пространство, съчетани с действия, предприети от играча — са както налични в необходимите количества, така и достатъчно разнообразни, за да уловят критично важните крайни случаи.

„Крайните случаи са тези, които действително трябва да се справят правилно“, казва Френкел. „Цената на грешка при автомобил, самолет, дрон, фабричен мотокар или автономен четирикрак робот е много висока.“

Worldmodeldata заявява, че е лицензирала данни за почти 1 милион часа от студия зад различни популярни видеоигри, въпреки че Лукас отказа да ги назове. В бъдеще стартъпът цели да създаде начини и индивидуалните играчи да получават компенсация.

Лукас вярва, че данните от видеоигри в крайна сметка ще съставляват по-голямата част от материала за обучение на модели на света, които по-късно ще бъдат оптимизирани с помощта на данни, специфични за дадена среда или задача от реалния свят. „Това би могло да доведе до GPT момента за моделите на света — правейки ги наистина полезни“, твърди Лукас.

Не всички обаче споделят оптимизма относно данните от видеоигри. Nvidia, която публикува семейство от модели на света, оптимизирани да работят с нейните чипове, предпочита да използва персонализиран енджин, създаден специално за възпроизвеждане на физиката от реалния свят като основа за своя изкуствен интелект.

Мин-Ю Лиу, който ръководи разработката на модели на света в Nvidia, казва, че моделите, обучени върху данни от видеоигри, едва ли ще се справят добре със задачи, изискващи фин моторен контрол, като внимателна манипулация на обекти. Това е така, защото физиката във видеоигрите често е специфична и разработчиците използват преки пътища, за да създадат илюзия за реализъм — герой посяга с ръка, за да вземе ябълка от масата — без да кодират детайлите: натиска, упражняван от всеки пръст, за да се предотврати изплъзването на ябълката от захвата.

„Бих бил по-консервативен относно използването на данни от видеоигри за манипулация“, казва Лиу. „Физиката за манипулация е много по-сложна.“ Обучението върху данни от видеоигри е по-добре да бъде запазено, казва той, за модели на света, предназначени за генериране на хиперреалистично видео или 3D среди.

Джу, ученият от Университета в Съри, има подобни притеснения. „Видеоигрите по същество са симулатори. Те имат известна степен на физическа основа“, казва той. „Но те са много груби и приблизителни.“

Но докато моделите на света достигнат своя ChatGPT момент, всички видове идеи за довеждането им дотам остават на масата. „Има много пътища към обещаната земя“, казва Френкел. „Истината е, че все още няма окончателно решение кой от тях ще работи най-добре.“