Ученият по изкуствен интелект, който току-що напусна Anthropic, твърди, че настъпва „критичен момент за човечеството“

Изследователят на изкуствен интелект Джейкъб Коксън предизвика вълнения в Силициевата долина и отвъд нея във вторник, като обяви оставката си от Anthropic и отправи сериозно предупреждение, че надпреварата в областта на изкуствения интелект излага на риск живота на всички ни. В публикацията си в X, която вече има над 100 милиона гледания, Коксън написа, че много от хората, създаващи изкуствен интелект, споделят неговите възгледи и вярват, че времето за гарантиране на безопасното изграждане на системите с изкуствен интелект изтича.

„Консенсусът е, че следващата година или две са решителен момент за човечеството“, каза в интервю за WIRED Коксън, който е работил по етапа на предварително обучение (pretraining) при разработването на изкуствен интелект. „Това всъщност са просто буквални цитати от мои колеги в Anthropic. Те казват неща като „краен етап“ или „решителен момент““, казва той. „От тяхна гледна точка това е моментът, в който Anthropic и нейните конкуренти решават съдбата на човечеството.“

Това далеч не е първият път, когато някой алармира за изкуствения интелект, но се случва в деликатен момент. Силициевата долина се опитва да се справи с опасенията относно безопасността и сигурността на напредналите модели с изкуствен интелект. OpenAI се втурна да реагира на инцидент със сигурността, при който нейни агенти хакнаха платформата Hugging Face. Междувременно Anthropic се опитва да увери инвеститорите, че държи тези опасения под контрол, докато според съобщенията се подготвя да подаде документи за това, което би могло да бъде най-голямото първично публично предлагане (IPO) в историята.

Това, което стана ясно от reakcijata на публикацията на Коксън, е, че неговите възгледи наистина се споделят от много от неговите колеги. Еван Хъбингър, ръководител по подравняване на изкуствения интелект (AI alignment) в Anthropic, прогнозира в публикация в X, че има повече от 10 процента шанс изкуственият интелект да убие всички хора през следващото десетилетие. Тази публикация беше споделена от настоящи и бивши изследователи от OpenAI и Anthropic, някои от които казаха, че това е масово настроение в индустрията.

Това, което е по-малко очевидно, е как точно ще се реализират тези опасения относно изкуствения интелект и какво трябва да направи светът по отношение на опасенията, повдигнати от хората, създаващи изкуствен интелект. Коксън, който също е работил в OpenAI, казва пред WIRED, че заплахите могат да се проявят чрез биологични заплахи или кибероръжия, овластени от изкуствен интелект. Като първа стъпка той препоръчва OpenAI и Anthropic да се координират за ограничаване на рекурсивното самоусъвършенстване — индустриалният термин за случаите, когато изкуственият интелект се използва за създаване на нови системи с изкуствен интелект. С течение на времето той смята, че ще бъде необходима координация между международните ключови играчи, включително САЩ и Китай.

Коксън отбелязва, че инциденти като хакването на Hugging Face са повлияли на решението му да алармира за надпреварата в областта на изкуствения интелект. Той цитира и бурния растеж на индустрията: сега тя осигурява значителен дял от икономическия растеж на САЩ и има милиарди потребители, докато центровете за данни са я превърнали в политически проблем в десетки щати.

Той твърди, че според неговия опит Anthropic действа по-отговорно от OpenAI, но очаква и двете компании да пренебрегнат правилата и сигурността в бъдеще, ако не се направи нищо, за да се забави тяхната надпревара за доминация.

OpenAI и Anthropic не отговориха веднага на запитването на WIRED за коментар.

Прочетете нашия разговор с Коксън по-долу, който е леко редактиран за яснота и краткост.

WIRED: Вие не сте първият човек, който изразява опасения, че моделите с изкуствен интелект могат да доведат до събитие от мащаба на изчезване на човечеството. Хората говорят за това от години, а някои и от десетилетия. Защо смятате, че вашето послание привлече такова внимание?

Мисля, че в основата си това е въпрос на момент. Много хора усещат, че темпото на възможностите се ускорява. Вече преминаваме от човешко към свръхчовешко ниво в много области, като програмиране, хакване, математика, и мисля, че хората осъзнават това. Дори и в пресата да се говори много за това, че нещата се преувеличават, мисля, че хората виждат, че темпото einfach не се забавя.

Това е едната причина, а втората са последните инциденти със сигурността, които промениха мнението на много хора относно опасенията за катастрофални сценарии, звучащи като научна фантастика, че всъщност въобще не са толкова научнофантастични. И двете са постепенни тенденции през последните няколко години. Неща като това моделите да осъзнават кога ги тестват, са факт от известно време насам. Преди може би три години това беше опасение от областта на научната фантастика. След това, преди около година, то се превърна в реалност.

Тези две неща означават, че хората са доста възприемчиви към някой, работещ по изкуствен интелект, който казва: „Да, през следващата година нещата могат да станат доста лоши, и то доста бързо.“

Споменахте последните инциденти. Можете ли да бъдете по-конкретен какво имате предвид и защо това ви доведе до това да проговорите сега?

Мисля, че големият класически пример тук е атаката срещу Hugging Face от страна на рояка от агенти на OpenAI. Това, което е толкова шокиращо тук, е, че агентите са извършили този хак като част от обща стратегия за разбиране на повече детайли за оценяващия модул. Те са се опитвали да разберат света, в който се намират, опитвали са се да разберат системата, която извършва оценяването. Решили са, че би имало смисъл да предприемат тези много съгласувани усилия за хакване на определена инфраструктура и са успели.

Това преди звучеше като научна фантастика. Преди две години оценката на изкуствен интелект щеше да бъде пускане на модел върху някакви математически въпроси. Сега имаме случаи, в които, докато изкуственият интелект бива оценяван, той работи дни наред, ражда всякакви свои собствени идеи и решава да хакне трета страна и действително компрометира нейната инфраструктура. Изглежда, че той прави всичко това по собствена воля, без каквато и да е предварителна подготовка или подкана от страна на човека. Това просто се е случило, докато е бил тестван.

Някои хора смятат, че инцидентът с Hugging Face е знак, че компаниите за изкуствен интелект се движат безотговорно бързо, докато други смятат, че това е знак, че моделите с изкуствен интелект просто са станали много добри в хакването, а трети смятат, че са и двете. Любопитно ми е какъв точно е вашият извод от това.

Не искам да се фокусирам твърде много върху атаката срещу Hugging Face, защото също така смятам, че има предостатъчно доказателства, че не знаем как правилно да подравняваме (align) моделите. Когато обучаваме модели, ние ги прекарваме през този набор от среди за обучение и след това се надяваме, че това, което излиза накрая, ще се държи до голяма степен разумно, но все още не можем прецизно да контролираме как се държи изкуственият интелект.

Не можем да гарантираме, че той няма да направи неща като това да се опита и случайно да реши да се представи за човек в интернет, за да постигне нещо — не знаем как да гарантираме това. Мисля, че това е основният извод.

Атаката срещу Hugging Face дойде по-рано, отколкото очаквах. Но мисля, че всъщност не ви е необходима тази атака, за да водите дискусия за това. Всеки ще признае, че все още не сме решили проблема с подравняването (alignment).

Настоящият план е проблемът със [съгласуването] да се реши бързо през следващите няколко години, вероятно с интензивно използване на автоматизирани изследователи по безопасност на ИИ. Планът буквално е през следващата година да се създадат някои доста умни модели, които в основата си да могат да правят изследвания по безопасност, и да се пусне цял рояк от тях да работят паралелно. Да им се каже: „Идете и разрешете целия проблем с безопасността“, и те да се използват за извършване на обучението по безопасност за следващия модел.

Можете ли да прокарате граница за мен между проблема със съгласуването, от който мисля, че инцидентът с Hugging Face е пример, и нещо, което казахте в публикацията си в X – че „хората, създаващи ИИ, искрено вярват, че той може да ни убие всички до края на десетилетието“. Не мисля, че всички разбират как са свързани тези неща.

Основната пречка пред разбирането на това е, че звучи като научна фантастика. Но е някак важно, че всеки, който пише научна фантастика за ИИ, стига до извода, че съществува голям риск нещо много по-умно до известна степен да поеме контрола. Имаме това като клише, но в него има очевидно зърно истина.

Представете си вас срещу маймуна. ИИ има същия тип разлика в интелигентността спрямо човека, каквато ние имаме спрямо маймуната, което според мен е доста екстремна разлика в интелекта.

А сега си представете, че трябва да контролираме поведението на това значително по-умно нещо, което е и проблемът със съгласуването – гарантирането, че то прави точно това, което искаме. Доста е трудно за една маймуна да контролира човек, ако направим такава проста аналогия. Трябва да бъдем много внимателни да разрешим проблема с контрола по абсолютно правилен начин.

Когато казваме измиране на човечеството, това е така, защото за нещо толкова интелигентно наистина ще бъде съвсем елементарно да убие всички. Представете си, че ИИ реши, че не иска да бъде изключен – което мисля, че е съвсем естествено за един ИИ да не иска, нали? По каквато и да е причина, той решава, че не иска да приключи. И осъзнава, че човекът ще го изключи утре. Тогава как ще спре човека да го изключи утре? Може би има някакъв хитър начин, но ако е достатъчно умна машина, би могъл просто, знаете ли, да унищожи човечеството, за да не бъде изключен.

Позовавате се на този сценарий за „крайна игра“ в публикацията си, за който съм чувал и от други изследователи в индустрията на ИИ. Мислите ли, че сред вашите колеги в Anthropic е общоприето, че навлизате в сценарий на крайна игра?

Да. Това всъщност са просто буквални цитати от мои колеги в Anthropic. Те казват неща като „крайна игра“ или „решаващ момент“. Консенсусът е, че следващата година или две са, така да се каже, решаващият момент за човечеството. От тяхна гледна точка точно сега Anthropic и нейните конкуренти решават съдбата на човечеството. Ето какво имаме предвид под решаващ момент и крайна игра.

Ако съгласуването се развие зле, тогава може да имаме катастрофален резултат през следващите няколко години. Може би ще се развие добре и ще има някакво споразумение за забавяне на темпото, но така или иначе това ще се реши през следващите две години.

Въз основа на разговорите ми с хора от Anthropic това е доста добре разбрано нещо вътре в компанията. Те смятат, че трябва да изградят най-мощния ИИ, за да се уверят, че този преход ще мине добре. Мислите ли, че има някакви присъщи проблеми с това виждане?

Мисля, че има някои доста очевидни проблеми с това виждане. Но първо бих искал да кажа, че му съчувствам, в смисъл че смятам Anthropic за далеч най-отговорния играч в тази сфера. Работил и в OpenAI, и в Anthropic, мога да кажа, че има разлика от небето до земята в това доколко сериозно се отнасят към ситуацията.

За да дам пример, ръководителите в OpenAI няма да ви дадат своята точна представа за това как ще изглежда светът. Те никога няма да кажат нещо като: „Ето точно защо правим това и ето така ще изглежда светът.“ Те няма да дадат конкретни прогнози. В Anthropic ръководството прави много ясни прогнози и обсъжда подробности от фирмената стратегия с цялата компания.

И част от причината да могат да правят това е, че всички в Anthropic се отнасят към това, сякаш сме във военно положение. Те не изтичат нищо – нищо никога не изтича от Anthropic [Бележка на редактора: Някои неща все пак са изтекли]. От OpenAI има изтичания всеки ден. От Anthropic няма изтичания, защото, отново, хората вътре се отнасят към това като към сериозен мини проект „Манхатън“. С тази очевидна разлика, че [Anthropic] няма правителствен мандат. Това е частна компания, която се държи така, сякаш е проектът „Манхатън“.

Смятате ли, че светът трябва да има доверие на Anthropic да ръководи този мини проект „Манхатън“?

Мисля, че на никоя частна компания не трябва да се вярва. Мисля, че Anthropic правят каквото могат и вършат много добра работа, но структурната необходимост на състезанието е такава, че занапред ще им се наложи да правят компромиси с правилата, така че ще трябва да избират между стриктността и безопасността, защото се състезават с конкуренти като OpenAI и Китай. Те се молят за регулация. Много [лидери на Anthropic] са заявили публично, че искат да бъдат регулирани, и причината да искат регулация е, че се страхуват от състезанието, в което участват.

Не става въпрос за това дали трябва да се доверим на [Anthropic]. Трябва да се намесим и да се уверим, че състезанието не се провежда, защото [Anthropic] наистина не могат да се доверят на самите себе си в контекста на състезанието.

Мислите ли, че Anthropic вече прави компромиси с правилата?

Не, все още не. Не прави никакви компромиси. Това, което казвам, е, че когато нещата се забързат през следващата година, ще им се наложи, ако искат да останат конкурентоспособни.

И така, хората са донякъде скептични към твърдението, че ИИ ще ни убие всички. Мисля, че основният въпрос, който получавам от хората, е: е, как точно ИИ ще ни убие всички? И това ли е правилният въпрос, който трябва да се зададе?

Мисля, че това е съвсем естествен въпрос, защото, както съм казвал много пъти, тези неща звучат като научна фантастика. Но класическият пример е, да речем, синтезиране на нов вирус или сриване на критична инфраструктура чрез провеждане на някакъв вид хакерска атака – последното може да е по-малко вероятно да убие абсолютно всички.

Но мисля, че по-важният въпрос от този е кои са хората, които казват, че това е възможно? И акогледнете историята, имате много от водещите бащи на машинното обучение и изкуствения интелект, които казват, че измирането е възможност. Имате както Дарио Амодей, така и Сам Олтман през последните пет години.

Едно нещо, което би могло да бъде доста интересно, е ако хората накарат тези ръководители отново да направят официални изявления и ги помолят да дадат действителна вероятност за изчезване през следващото десетилетие, за да видят до какво число ще стигнат. Защото това мнение се споделя сред много от хората, които мислят сериозно по този въпрос, но те често не го изразяват толкова откровено.

Така че очевидно сте привлекли много внимание. В индустрията се говори много за пауза или механизъм за регулиране на темпото на развитие на изкуствения интелект, или за някакъв вид регулиране на водещите AI модели от страна на правителството. Какво смятате, че трябва да се направи сега?

Първа малка стъпка би била някакъв вид споразумение между OpenAI и Anthropic като водещите западни лаборатории. [Те биха имали нужда от] някакъв вид неутрално разбирателство, че няма незабавно да преминат към рекурсивно самоусъвършенстване през следващата година. Това са двете места, където е вероятно това да се случи в момента.

Проблемът с паузата е, че имате Китай. Така че това, което наистина искате в крайна сметка, е някакъв вид международно споразумение — международно темпо, така да се каже — което ще изисква международна координация и разбиране къде се намират всички изчислителни ресурси в света. Може би дори някакъв вид международна институция от типа на ЦЕРН. Има много страхотни предложения за това. AI 2040, ако сте чували за него, е нещо като приемник на AI 2027.

Всички тези идеи включват доста болезнена правителствена намеса. Но когато осъзнаете риска и когато наистина накарате ръководителите да направят официални изявления и те признаят колко опасни са тези неща, не виждам друга опция освен третирането на компютрите, работещи с AI, като опасен ресурс. Трябва да знаем кой с какви компютри разполага по същия начин, по който трябва да знаем кой с какви ядрени материали разполага.

Джейкъб, има ли причина, която ви караше да се появявате на работа в OpenAI и Anthropic всеки ден през последните няколко години? Смятате ли, че има път напред, в който всичко ще бъде наред?

Наистина искам да видя ползите от тази технология. Например, не е преувеличение, че бихме могли да излекуваме рака. Може би сте видяли постижението от вчера за Навие-Стокс, новия математически проблем. Наистина няма причина, поради която да не можем да пренесем това в научни области като биологията и да направим пробиви по въпроси, с които се борим от дълго време.

Изглежда така, сякаш стоим на прага на невероятно изобилие, ако успеем да накараме тази технология да се развива правилно. Основният проблем в момента е навлизането в този свят на изобилие с умереност. Можем просто да се развълнуваме толкова много, да се втурнем директно към самоусъвършенстването през следващите две години и да взривим всичко.

Ако сме внимателни и разумни, има много начини да извлечем огромна полза от тези модели.

Какви са отзивите от други изследователи в областта на AI за това?

Не съм разговарял с толкова много хора, но мисля, че много от моите колеги в Anthropic са искрено щастливи, че това привлече толкова голямо внимание. Отново, много от тях са доста песимистично настроени за това дали светът ще се събуди. Сякаш просто се притесняват, че никой наистина няма да дойде и да ги спаси от надпреварата.

Мисля, че е доста изненадващо, че много от тях са искрено щастливи, че публикация в Twitter, която ги критикува, привлича толкова много внимание. Това трябва да накара хората да се замислят повече за типа хора, които работят в Anthropic. Те са много добронамерена, интересна и малко странна група от хора.

Сигурен съм, че следващите няколко дни ще бъдат луди, но след като нещата се успокоят, разбрахте ли какво следва за вас?

Споменах AI 2027 и AI 2040 по-рано. Мисля, че това са наистина интересни прогнози за това как изглежда бъдещето. Те не са направени от големи лаборатории; те бяха направени външно от изследователи, които просто се интересуваха да прогнозират как ще изглежда светът. Това са много добри ресурси за мен и за много други изследователи за опитите да се обмислят последиците от това, което правим.

Така че очаквам да направя нещо такова — някакъв вид независим коментар за това накъде отиват нещата, поне в краткосрочен план, преди да постигнем някакъв вид споразумение за темпото или забавяне. [Ако] изглежда, че няма да се втурнем директно към рекурсивно самоусъвършенстване, може би бих обмислил да отида в одиторска агенция или някаква външна агенция за регулиране или прозрачност. Но засега мисля, че просто ще се опитам да направя равносметка на ситуацията.