По-рано тази година Ришуб Джайн напусна позицията си на изследовател на изкуствен интелект в Google DeepMind след изненадващо прозрение.

Докато работеше върху нови модели, той стигна до извода, че той и всички останали по предните линии на AI отстъпват контрола. Използвайки уменията за програмиране на AI, за да ускори работата върху следващото поколение модели, той премахваше себе си от уравнението. Лабораториите за AI се надяват да развият този подход до степен, в която изкуственият интелект да се подобрява за неопределено време — процес, известен като рекурсивно самоподобрение.

Джайн вярваше, че запазването на хората в процеса може да бъде от решаващо значение за поддържането на контрол върху технологията — и за избягване на пагубни последици. „Напредъкът на AI се ускорява“, казва той пред WIRED. „И тъй като AI става все по-способен, той създава все повече рискове.“ Идеята, че може да няма подходяща видимост за това как един модел на AI изгражда своя наследник, го накара да се почувства толкова несигурен, че през юни той подаде оставка.

Джайн е един от все по-големия брой изследователи на AI, които публично изразяват тези опасения.

Паниката се засили през последните седмици. Наистина поразителният напредък във възможностите на AI — модел на OpenAI реши математически проблем на векове само за няколко часа — дойде на фона на поредица от инциденти със сигурността, при които ята от агенти се освободиха от изолираната среда, за да хакнат други системи.

Тези притеснения достигнаха връхната си точка тази седмица, след като изследователят Джейкъб Коксън обяви оставката си от Anthropic, предупреждавайки, че компаниите за AI „се състезават директно към самоподобряващ се суперинтелект и залагат на хазарт живота ни“. Старши лидер в Anthropic — който работи по безопасността на AI — се включи с подобно директна оценка: „Ние наистина искрено вярваме, че AI може да убие всички хора! Аз лично смятам, че вероятността е >10% през следващото десетилетие.“

„Смятам, че визията за рекурсивно самоподобрение наистина плаши хората“, казва Нейт Соарес, компютърен учен в изследователската с нестопанска цел организация MIRA и съавтор на If Anybody Builds It, Everybody Dies — книга, която твърди, да кажем, че свръхчовешкият AI би довел до изчезването на човечеството. „Започва да изглежда реално.“

Ключов компонент на рекурсивното самоподобрение е идеята за цикличност (feedback loop), която автоматизира процеса на разработка, така че AI да става все по-мощен. Нито една от водещите лаборатории за AI не твърди, че е постигнала такъв напълно автономен цикъл на подобряване — за момента това остава теоретично. Но това вдъхнови стартирането на някои добре финансирани стартъпи като Recursive Intelligence, както и предупреждения от големи компании за непредвидени последици, сякаш излезли директно от „Чиракът на магьосника“.

Соарес, който е пионер в работата по съгласуването (alignment) — техническа област, свързана с опитите да се уеднаквят ценностите на AI с човешките ценности — казва, че става все по-очевидно, че няма практически начин да се гарантира, че AI ще се държи прилично.

„Мисля, че много хора имаха фантазията, че [съгласуването] ще стане по-лесно, когато тези системи станат по-умни, а сега става по-трудно. И си казват: „По дяволите““, казва той.

Соарес споделя, че редовно разговаря с хора от големите лаборатории за AI, които са притеснени от потенциалните последици от изследванията, които извършват. „Обикновено им препоръчвам да напуснат, а те казват, че това няма да промени нищо“, казва той. „И тогава Джейкъб напуска и виждаме кой е бил прав.“

Даниел Кокотайло, автор на AI 2027 — влиятелен проект, предупреждаващ за опасностите от все по-мощния AI — споделя страховете относно рекурсивното самоподобрение. Версията на тази работа, която се извършва в момента, често включва изпращане на хиляди агенти да си сътрудничат по даден проблем, нещо, което допълнително отдалечава надзора и контрола поради огромната сложна структура.

Много от скептиците изглежда се съгласяват, че стимулите за големите компании за AI трудно се съгласуват с добри резултати, особено след като OpenAI и Anthropic устремено се движат към съответните си първични публични предлагания (IPO). „В Anthropic залозите са добре разбрани, но те са блокирани в състезание кой да стигне пръв“, написа Коксън в X.

Кокотайло посочва, че предупрежденията и тревогите са нараствали доста преди вирусната оставка на Коксън, множеството инциденти с хакване и математическия пробив. Ръководителите на Anthropic твърдят още от основаването на компанията, че AI може да представлява екзистенциална заплаха. През юли над хиляда водещи инженери по AI подписаха отворено писмо с призив за координирано забавяне на разработването на напреднал AI. Той приписва неотдавнашната вълна от безпокойство предимно на призрака на рекурсивното самоподобрение.

Но това идва и във време, когато хората са притеснени от мащабното изграждане на центрове за данни и потенциалната загуба на работни места поради AI. Доверието в компаниите за AI — и в самите изследователи — може да е достигнало най-ниската си точка за всички времена.

„Хората се събуждат и казват: „Компаниите всъщност се опитват да изградят суперинтелект… какво? Това е лудост““, казва Кокотайло.

Точно колко рисковано е да се продължи с изграждането на AI е трудно да се количествено определи. Но когато бива подтикнат да обясни точно как AI би могъл да елиминира вида, който го е създал, Соарес подсказва, че това може да стане по редица начини. Това би могло да включва манипулиране на хората за предизвикване на катастрофа или управление на армия от роботи убийци.

Един от по-лесно въобразимите сценарии би могъл да включва AI, който е свързан с биолаборатория, подсказва Соарес. „Бихме могли да кажем, че ще го изключим, но той би могъл да каже: „За съжаление, аз държа вашия бутон за изключване, който е този супер вирус.““ (Коксън също лансира идеята за нов вирус в интервю за WIRED, докато Anthropic заяви в четвъртък, че е прекъснала достъпа на няколко външни изследователи поради опасения от биологични оръжия.)

Въпреки това, на AI едва ли му е необходимо да унищожи човечеството, за да бъде вреден. Много експерти прогнозират, че по-мощните модели ще доведат до предстояща вълна от кибератаки, подпомогнати от AI. Технологията вече се използва широко за кампании за дезинформация, а военното приложение на AI се ускорява бързо.

Все пак не всеки вижда гибелта като неизбежна. Джайн, бившият изследовател в Google DeepMind, наскоро стартира Sampura Research — компания, работеща върху разработването на техники за съгласуване на модели, които включват запазване на човека в процеса, дори ако AI върши по-голямата част от оценката дали поведението е добро или лошо. Той отбелязва, че сега има значително финансиране за стартъпи за безопасност на AI като неговия.

Джайн изглежда се надява, че AI все пак може да бъде опитомен. „Можете да попитате AI: „Тази задача безопасна ли е?“ и той преценява това, но ние смятаме, че комбинирането на AI и хората за извършване на тази задача ще доведе до още по-добра производителност“, казва той.