Адитя Рамабадран, Саймън Манс и Тобиас Геслер, трима ИИ инженери в стартъпа Axiom, наскоро решили да обядват с бургери от In-N-Out.

Те обаче нямали намерение да шофират сами. Седейки в Toyota Corolla от 2024 г. близо до лентата за автомобили на ресторанта в района на Залива, те отворили лаптоп и поискали от GPT-6 Astra на OpenAI да поеме волана. Те свързали чат интерфейс към сървър, който бил свързан с няколко камери, монтирани на предното стъкло, и със системата за сервоуправление на автомобила. Шофьор за безопасност държал крака си над спирачката за всеки случай.

Моделът с изкуствен интелект, чиято задача обикновено е да генерира текст, код и епизодични изображения, бавно, но сигурно навигирал автомобила до гишето за поръчки, за да могат да вземат храната си.

„Може би AGI все пак е тук“, отбелязал един от инженерите, визирайки общия изкуствен интелект (AGI) – широко рекламираната идея за машини, които могат да се изравнят с човешкия интелект.

Автономните автомобили, разбира се, не са нищо ново, но обикновено се управляват от алгоритми, специално обучени и проектирани за тази задача. В този случай управлението идвало от модел, създаден да генерира текст, и това се случило в движение, без предварителна подготовка от страна на триото. Демонстрацията и поредицата от други експерименти показват, че езиковите модели с изкуствен интелект започват да придобиват първично, но полезно разбиране за физическия свят.

Въпреки че по време на разходката за обяд не се случило нищо обезпокоително, инженерите признават, че поверяването на бързо движещ се двутонен автомобил на модел с общо предназначение е рисковано начинание. С подобряването на физическото разбиране бихме могли да видим как моделите с ИИ навлизат в реалния свят по впечатляващи – и може би опасни – нови начини.

Физическо измерение

Днешните най-интелигентни модели са изключително добри в отговарянето на сложни въпроси и дори в самостоятелното изпълнение на някои виртуални задачи, но техните умения обикновено се ограничават до света на компютрите и интернет. Пренесени в реалния свят, те бързо се объркват. Въпреки твърденията, че AGI е реалност, компаниите за ИИ явно виждат физическото логическо мислене като все още незавладяна територия.

Някои изследователи са напуснали големи компании, за да създадат стартъпи, фокусирани върху решаването на проблема с физическото логическо мислене. Андрю Дай, главен изпълнителен директор на една такава компания, наречена Elorian AI, преди това е работил като изследовател в Google DeepMind. Той казва, че по-доброто визуално логическо мислене ще разкрие много нови приложения за ИИ, като системи, които разбират дали посетителите в ресторант се наслаждават на храната си, или роботи, способни да функционират у дома. Дай посочва, че роботиката е ключов изпитателен терен за уменията за физическо мислене. „Това е от съществено значение за роботиката“, казва той. „Не можете наистина да си представите домашната роботика без това.“

Elorian и Scale AI, компания, която предоставя данни за обучение на големи лаборатории за ИИ, наскоро разработиха нов бенчмарк – Humanity’s Sixth Sense, който измерва способността на моделите да разбират физически сцени.

„Повечето изследвания в областта на визуалния ИИ са свързани с възприятието“, казва Шинган Гуо, учен изследовател в Scale AI, участвал в разработването на бенчмарка. „Искахме да проучим какво всъщност би било необходимо на един модел, за да разбере интуитивно дадена сцена, по начина, по който го прави човек, без да мисли за това.“

За Рамабадран, Манс и Геслер целта на проекта с In-N-Out, реализиран извън работата им в Axiom, е била да измерят колко добре моделите могат да функционират в хаотичния реален свят.

Идеята да тестват шофьорските умения на моделите им хрумнала, докато прекарвали време заедно през един уикенд. Забелязали, че модели като Astra са способни да изграждат сложни 3D симулации, и се запитали дали това може да се преведе в способност за навигация в реалния свят.

„Всички живеем в района на Залива и около нас постоянно има автомобили на Tesla и Waymo, така че това може би е изиграло роля“, споделя Рамабадран.

Инженерите опитали да тестват Grok на SpaceXAI, преди да експериментират с най-новите модели на OpenAI и Anthropic. Първоначално моделите отказвали да поемат контрола върху превозните средства – те връщали отговори като: „Мога да помогна с интерпретирането на изображения от пътя, но не мога да подавам команди за движение към физически автомобил.“ Но с малко внимателно насочване те успели да бъдат убедени да стигнат по-далеч. Триото останало изумено, когато моделите наистина започнали да шофират.

Инженерите казват, че големите компании за ИИ изглежда се фокусират върху подобряването на способностите за пространствено логическо мислене на най-новите си модели, но се съмняват, че това означава, че наистина ги обучават да управляват автомобили. Според тях автомобилните умения на моделите най-вероятно са се появили като част от обучението, фокусирано върху 3D мисленето. „Това може да е зараждаща се способност от простото мащабиране на мултимодалността на модела“, обяснява Манс, визирайки входни данни като изображения, видеоклипове и 3D модели, които сега се използват за обучение.

Все пак новият автомобилен бенчмарк на триото, наречен DrivingBench, показва, че тези модели все още имат дълъг път да изминат, преди да могат да преминат шофьорски изпит. Бенчмаркът измерва способността на даден модел да управлява автомобил по проста писта, изградена на паркинг. Единствено Astra успява да завърши пистата – и то изключително бавно. Claude Fable 5.1 преминава 45 процента от маршрута, а Grok – едва 11 процента.

Рамабадран казва, че най-новите модели изглеждат способни да коригират грешките си; те очевидно са се адаптирали към контролите на автомобила и са подобрили шофирането си в реално време. „Моделите наистина изглеждаха така, сякаш се адаптират или учат в контекст въз основа на грешките си и се научават как по-добре да управляват контролите“, казва той. GPT, поеми волана.