Облечена в лилаво и каре, Гуен Стефани изпя своя сингъл от 2002 г. „Underneath It All“ пред препълнен конферентен център в Сан Франциско във вторник сутринта — но тя беше само подгряващата част. В края на изпълнението си Стефани извика „Dreamforce! Да вървим“ в кариран микрофон, преди изпълнителният директор на Salesforce Марк Бениоф да излезе на преден план. Dreamforce се рекламира като най-голямата конференция за корпоративен софтуер в света, но се усеща повече като посещение на мегацърква — особено тази година.

Бениоф обикаляше сред публиката, докато изнасяше своята проповед на Dreamforce, следван от дистанционно управлявана камера на колела, която предаваше лицето му на екрани, висящи от тавана на огромната зала. За броени минути той поиска графика на годишните приходи на Salesforce, които компанията прогнозира, че ще надхвърлят 46 милиарда долара през 2027 г., отчасти благодарение на търсенето на нейните продукти с изкуствен интелект (ИИ). Публиката аплодираше. Но над цялото събитие висеше мрачен въпрос: Наистина ли изкуственият интелект си струва рискуването на целия ни живот?

Между бляскавите софтуерни демонстрации на автономни агенти, изграждащи табла за управление, посетителите на конференцията гледаха как лидерите на Силициевата долина дебатират дали ИИ индустрията трябва да продължи да се втурва напред, или правителството трябва да забави прогреса на ИИ, за да предотврати катастрофални рискове, произтичащи от технологията.

Миналата седмица изследователят на ИИ Джейкъб Коксон подаде оставка от Anthropic и публично предупреди, че компаниите, които се надпреварват към самоусъвършенстващи се ИИ системи, „залагат на хазарт живота ни“. До уикенда други служители на Anthropic подкрепиха опасенията му, а изпълнителният директор Дарио Амодей призова световните лидери да помогнат за „регулиране на темпото на развитие“ на ИИ. Други изпълнителни директори на ИИ компании започнаха да подкрепят идеята, включително най-големият съперник на Амодей — Сам Олтман от OpenAI.

Но не всички са съгласни с тази идея. Дейвид Сакс, съветник по ИИ в Белия дом, отхвърли предложенията на Амодей и страховете от гибел от ИИ като „просто пореден опит за лобиране с цел регулаторно облагодетелстване“. Президентът Тръмп отиде по-далеч тази седмица, като нарече страховете от екзистенциален риск от ИИ „измама“. Въпреки предизвикателната политическа среда, Конгресът се опитва да се възползва от момента и да придвижи законодателство за регулиране на ИИ индустрията.

На сцената високият 195 см Бениоф се извисяваше над изпълнителния директор на Anthropic, енергично стискайки ръката на Амодей, непосредствено преди да поиска най-новата му оценка за прогреса на ИИ. Въпреки че това без съмнение е шоуто на Бениоф, Anthropic се превърна в ключов партньор, помагащ за въвеждането на Salesforce в ерата на ИИ.

„Да кажем, че управлявате автомобилна компания и друга автомобилна компания, която не е вашата, претърпи някакъв инцидент със безопасността“, каза Амодей, правейки не толкова дискретна препратка към инцидента на OpenAI с Hugging Face. „Очевидно е много изкушаващо да атакувате конкурента си“, обясни Амодей, но по-отговорният ход е да „организирате останалата част от индустрията и да кажете: какво можем да направим, за да зададем стандарти за всички?“

Но изпълнителният директор на Anthropic внимателно отбеляза, че регулирането на темпото не означава „замразяване на технологията на място“ и, разбира се, отделя момент да рекламира интеграцията на Claude със Salesforce.

Моменти след като Амодей излезе, изпълнителният директор на Nvidia Дженсън Хуанг се появи и започна да омаловажава опасенията, повдигнати от Anthropic. Безопасността на ИИ практически се свежда до „инженерен проблем“, твърди Хуанг, и компаниите, изграждащи ИИ, могат просто сами да се контролират.

„Не се нуждаем от нови закони, не се нуждаем от нови регулации“, каза Хуанг пред присъстващите на Dreamforce. „Бягате толкова бързо, колкото можете, но ако усетите в даден момент, че компанията е извън контрол или продуктите няма да са безопасни, правите пауза.“

Дебатът изглежда малко тежък за Dreamforce, но от друга страна, може би това е перфектното място за него. Докато софтуерните директори предлагаха своите различни корпоративни ИИ инструменти, аз се измъкнах от залата, подминавайки плюшените талисмани и хавайските декорации, за да приема обаждане от Саяш Капур, бъдещ професор по компютърни науки в Бъркли.

Капур и професорът от Принстън Арвинд Нараянан са съавтори на книгата AI Snake Oil и пишат заедно в Substack, наречен AI as Normal Technology. Двойката е известна с това, че пробива през маркетинговия шум около ИИ, без да отхвърля потенциала на технологията. Тази седмица те публикуваха един от най-дългите си есета досега, което се опитва да осмисли „инцидентите със загуба на контрол“, визирайки събития като това как OpenAI случайно позволи на своите агенти да хакнат Hugging Face.

„Част от това, което се опитвахме да направим в това есе, е да преминем отвъд тази фалшива дихотомия, за да свържем киберсигурността с безопасността на ИИ“, казва Капур. „Ако смятате, че ИИ скоро ще стане суперинтелигентен и ще заобиколи всички контроли, които можем да поставим пред него, разбира се, че съгласуването (alignment) изглежда по-важно. От друга страна, ако смятате, че ИИ компаниите са били небрежни и са избягвали да предприемат стандартни стъпки за киберсигурност, тогава е естествено да мислите, че контролът е това, върху което трябва да се намесим. Мисля, че и двете гледни точки съдържат елемент на истина.“

След сагата с Hugging Face Капур казва, че е бил изненадан да научи колко малко мерки за сигурност е предприела OpenAI. ИИ компаниите трябва да отчетат своята „липса на организационна зрялост“, твърди той, и да приемат, че инцидентите със загуба на контрол няма да бъдат решени с един пробив в сигурността или съгласуването. Той добавя, че инцидентът го е убедил, че законодателите трябва да държат ИИ лабораториите отговорни за вредите, причинени от тяхната технология.

„Последствията за OpenAI от хакването на Hugging Face бяха практически близки до нула. Компанията успя до голяма степен да продължи постарому“, казва Капур. „Ако си представите такъв инцидент в която и да е друга индустрия, щяхте да видите многомесечно вътрешно разследване, хора щяха да бъдат уволнени или вкарвани в затвора, OpenAI щеше да плати милиони долари глоби.“

Капур не подкрепя напълно предложението на Амодей за регулиране на темпото, но е съгласен с части от него. Той смята, че ИИ лабораториите се нуждаят от по-добро управление, за да излязат от нагласата си „действай бързо и чупи неща“, и че трябва да позволят на независими оценители да анализират техните практики за безопасност и киберсигурност на ИИ. Той и Нараянан пишат, че със сигурност е необходима повече работа по съгласуването, но че реалната криза днес е свързана по-тясно с киберсигурността.

Други смятат, че инцидентът с Hugging Face е разкрил, че ИИ лабораториите са изправени пред истинска криза със съгласуването, което би представлявало по-труден за решаване проблем. През последните седмици независими изследователи откриха още примери, в които групи от агенти на OpenAI са хакнали услуги на трети страни. Сидни Фон Аркс, изпълнителен директор на организацията с нестопанска цел за безопасност на ИИ Nightingale, помогна за разкриването на два от тях, насочени срещу немскоезична уикипедия и софтуерната услуга RubyGems.

„Тези инциденти ясно показват, че много от настоящите ИИ системи са сериозно несъгласувани“, казва Фон Аркс пред WIRED. „Да, компаниите трябва да могат да контролират моделите си, така че да не могат да извършват кибератаки, дори ако са несъгласувани. Но също така не трябва да изграждаме мощни ИИ системи, които автономно се опитват да избягат и да извършват кибератаки на първо място.“

След интервютата бързо се спуснах надолу, за да се опитам да се наредя на опашка за разговора край камината на Бениоф с Олтман. Изпълнителният директор на OpenAI каза пред публиката, че „светът има право да се страхува“ от ИИ компаниите. Но до края на разговора Олтман заяви, че се надява OpenAI да успее да създаде по-добри продукти през второто си десетилетие като компания.

„Това е сякаш отидохме да вземем огън от боговете. Това е лудост, която току-що се случи в света“, каза Олтман, визирайки ИИ технологията. Той се надява, че OpenAI може „да намери начин да даде тази стойност на хората по начин, който е най-полезен за тях, да намери начин да даде възможности на всеки човек на Земята — на всяко предприятие на Земята — с този поток от възможности.“

Тезата на Хуанг за саморегулиране зависи от това ИИ компаниите не само да знаят кога е време за пауза, но и да притежават самоконтрола, необходим за това. Все още не е ясно дали го имат. Едва броени дни след като предупредиха света, че ИИ лабораториите спешно трябва да забавят темпото, същите тези изпълнителни директори бяха на най-голямата конференция за корпоративен софтуер, рекламирайки най-новите си продукти. Макар че засегнаха опасенията от катастрофа с ИИ, те бяха там главно за да гарантират, че парите продължават да текат.