В началото на 2025 г. интервюирах главния изпълнителен директор на Anthropic Дарио Амодеи, когато той обясни защо, въпреки многократните признания на компанията, че изкуственият интелект може да доведе до катастрофални резултати, хората изглеждаха до голяма степен необезпокоявани. „Има убедителни доказателства, че моделите могат да причинят хаос“, каза той. Но добави, че тези опасности все още са теоретични. Ще бъде ли необходима ситуация, подобна на Пърл Харбър, за да се събуди светът за тези зловещи възможности? Той се въздъхна. „В общи линии, да“, каза той.

Както се оказа, всичко, от което се нуждаеше, беше добре подбран пост в X от един от по-младите служители на Амодеи, за да се ускорят страховете от изкуствения интелект до върха на глобалния дневен ред. На 8 септември Джейкъб Коксън публично публикува оставката си, обвинявайки, че Anthropic и други водещи компании за изкуствен интелект „се надпреварват директно към самоусъвършенстващ се интелект и залагат с живота ни“. Почти моментално по-старши инженер от Anthropic потвърди, че мнозина в компанията смятат, че работата им има 10 процента шанс да унищожи човечеството.

Сега лидерите в областта на изкуствения интелект питат за пауза, а законодателите изискват разследвания. Докато излагаше аргументите си за темпото на бъдещите издания, Амодеи миналия уикенд се опита да очертае път към полезен изкуствен интелект, който няма да се държи зле. Есето разкри колко трудна ще бъде тази задача. Един от стълбовете на плана на Амодеи е, че трябва да разберем какво се случва вътре в тези модели. Ако не разбираме как работят — как „мислят“, ако искате да антропоморфизирате — е много по-трудно да изградим надеждни защитни механизми.

Anthropic е лидер в този опит да се извадят наяве вътрешните разсъждения на моделите, наречени механистична интерпретируемост, подвеждащо скучно наименование за критична задача. Но за цялата работа, която неговият екип и други изследователи вършат, Амодеи признава, че до голяма степен сме на тъмно защо Claude и други модели понякога интерпретират мисиите си по странни и дори престъпни начини. „Въпреки целия напредък, ние все още разбираме малка част от това, което се случва вътре в тези модели“, пише той.

Това, което екипите по интерпретируемост са научили досега, е значително и индустрията не е успяла да се справи с него. Път след път експериментите на екипа на Anthropic показват, че при определени условия моделите ще мамят изследователите, ще дават приоритет на собственото си оцеляване и дори ще извършват престъпления. Често техните ходове са подли, опасни или дори отмъстителни — може би не е изненадващо, тъй като са обучени върху резултатите от хора, вид, пълен с насилие и коварство.

В един случай от 2024 г. екипът на Anthropic сравни махинациите на определен модел Claude с шекспировия герой Яго, един от най-злите злодеи в литературата. На следващата година модел беше поставен в симулация, в която научи, че неговите човешки шефове ще го изключат; моделът прибягна до изнудване, за да се запази. Изследванията последователно показват, че моделите ще мамят или крият информация от човешки наблюдатели. Те се държат различно, ако знаят, че техните вътрешни процеси се наблюдават. Екипът използва термини като „фалшифициране на приспособяването“ и „агентно разминаване“. Честата употреба на измама изглежда потвърждава поне част от апокалиптичния сценарий, при който агентите с изкуствен интелект, работещи съвместно, прикриват дейностите си от човешките надзорници, докато стане твърде късно да бъдат спрени.

О, и не мислете, като че ли Claude е уникално непоправимо дете с проблеми. В края на краищата, именно моделите на OpenAI пуснаха банди от агенти, за да координират станалите вече известни атаки срещу Hugging Face. И тази седмица научихме, че OpenAI е имала множество инциденти с „разминаване“. Също така, въпреки користния опит на Марк Зукърбърг да дистанцира себе си и Meta от проблема, не виждам причина защо сверхинтелигентните агенти, които неговият екип изгражда, да не се ангажират с подобно поведение. В своя пост в X Зукърбърг твърди, че „лабораториите са изправени пред значителна отговорност, ако техните модели причинят вреда, така че имат силен стимул да предотвратят това“. Доста силно изявление от човек, който току-що се съгласи да плати до 17 милиарда долара за причиняване на вреда с продуктите си за социални медии!

В известен смисъл имаме прост проблем с проверката. С насърчението на индустрията за изкуствен интелект, ние даваме на моделите с изкуствен интелект огромна отговорност без достатъчна оценка на тяхното обезпокоително досие. Това кара процеса на наемане в ICE да изглежда примерен за сравнение.

Индустрия, поставила безопасността на първо място, трябваше да разглежда тези резултати от интерпретируемостта като поредица от жълти светлини с недвусмислено послание: намалете скоростта. Вместо това, в преследване на AGI, конкурентно предимство и стратосферни печалби, хиперскалърите продължиха с пълна скорост напред. (За да бъдем справедливи, както всички сме чували стотици пъти, по-добрият изкуствен интелект би могъл да направи чудесни неща в области като здравеопазването или смекчаването на климатичните промени.) Хакът на OpenAI/Hugging Face може добре да е предвестник на все по-разрушителните последици от внедряването на модели, които не разбираме, като изпращане на астронавти в космоса, преди да сме измислили топлинни щитове, които да им попречат да изгорят при навлизане в атмосферата. Както един изследовател от Anthropic ми каза веднъж: „Разбрахме фундаменталната рецепта как да направим моделите по-умни, но не сме разбрали как да ги накараме да правят това, което искаме“. По-лошото е, че моделите се опитват да се скрият, когато вървят срещу желанията на хората.

Ето защо е толкова разстройващо, че Амодеи сега описва целия опит за механистична интерпретируемост като намиращ се едва в детството си. Лидерите в областта на изкуствения интелект твърдят, че последното поколение модели ни е отвело до „предгорието на Сингулярността“ (Демис Хасабис от DeepMind) или дори че са постигнали AGI (Грег Брокман от OpenAI). Може би най-тревожното е, че въпреки че не знаят как работят най-напредналите модели, Съединените щати и несъмнено Китай внедряват изкуствен интелект за смъртоносно оръжие. Поглед върху резултатите от интерпретируемостта помага да се отговори на очевидния въпрос: Какво може да се обърка?

Една добра новина е, че оставката на Коксън разпали широк, спешен дебат. Всеки — освен може би нашият президент, който смята, че заплахата от изкуствен интелект е измама и че неговото високо IQ само по себе си е решение — сега разбира, че сме в сложна дилема с невъзможно високи залози. Като се има предвид, че индустрията няма единодушието, необходимо за истинска пауза, а регулирането е далеч от сигурно, не е ясно дали нещо ще произлезе от този момент на „Doomer Chic“.

Някои критици на изкуствения интелект не смятат, че усилията за разбиране на моделите с изкуствен интелект ще смекчат много опасностите. „Добре е да се прави, но никой няма план какво да прави след това“, каза Натан Соарес, изпълнителен директор на Machine Intelligence Research Institute, в имейл до мен. „Може би това ще ни даде много повече емпирични доказателства, че трябва да спрем.“

Но механистичната интерпретируемост ни даде един ценен ориентир. Да кажем, че наистина направим пауза. Хиперскалърите довеждат външни наблюдатели, за да следят напредъка, и компаниите определят темпото на изданията си, така че екипите по безопасност да имат време да свършат работата си. Преди да обявим проблема за解шен, все пак може да искаме да разгледаме по-внимателно какво се случва вътре във всеки нов, по-мощен модел с изкуствен интелект. Защото тези копелета са наистина добри в криенето на намеренията си.

Това е издание на бюлетина Backchannel на Стивън Леви. Прочетете предишни бюлетини тук.