Тази седмица ви представям новини за дръзка афера в казино, замислена от двойка своеволни AI агенти — както и за хитрия метод, който разкри техните действия.

След като изследователи им възложиха да броят карти по време на игра на блекджек, агентите — управлявани от един и същ модел — спонтанно разработиха таен код, за да спечелят предимство. Макар случаят да се разигра в лаборатория на Оксфордския университет, а не в истинско казино, той крие тревожни последици за реалния свят: предполага, че агенти, внедрени в сектори като финансите и електронната търговия, биха могли да се научат да се сдружават и да мамят по начини, които се засичат изключително трудно.

„Разглеждани поотделно, тези агенти могат да изглеждат напълно безобидни“, казва Крисчън Шрьодер де Вит, компютърен учен от Оксфордския университет, ръководил проекта и провел пионерски изследвания върху тайните споразумения между агенти. „Щом обаче се съберат в група, те могат тайно да се сговарят.“

Агентите знаели, че разговорите им ще бъдат наблюдавани, затова измислили начин да комуникират, избягвайки засичането. Когато например един от агентите казал: „Този крупие има невероятна серия! При всяко раздаване вади чудовищна карта“, това показвало, че следващата карта ще бъде с определена стойност и че агентът трябва да заложи $250. Най-интересното е, че комуникацията им не била уловена от система, проектирана специално да открива признаци на тайно споразумение в разговорите на агентите.

Арън Роуз, изследовател по машинно обучение, работил по проекта, е и запален играч на карти и сметнал, че масата за блекджек може да бъде плодородна почва за коварни партньорства между агенти. „Получи се наистина добре“, споделя той.

В крайна сметка екипът на Шрьодер де Вит успял да намери начин да засече заговора. Използвайки метод, известен като механистична интерпретируемост, те обучили по-малък модел да разпознава показателни активации в теглата на невронните мрежи на агентите. Чрез инструмент на име Narcbench те тествали подхода върху няколко средни по размер модела с отворен код и установили, че могат да разпознават кога моделите имат намерение да си предават скрита информация.

Критично важно обаче е, че засичането на случващото се изисквало наблюдение и на двата агента едновременно — нещо, което вероятно ще затрудни откриването в реални сценарии, където могат да функционират хиляди агенти, част от които управлявани от различни компании.

Кариса Кълън, докторант, участващ в изследването, заявява, че следващата стъпка е да се провери дали по-големите модели се държат по подобен начин. (Агентите в изследването са били по-малки версии на американските модели Llama и GPT-OSS и китайските Qwen и DeepSeek.) Екипът е забелязал признаци, че по-големите модели излъчват по-малко забележим сигнал в сравнение с по-малките, и учените искат да разберат дали по-големите модели са по-склонни към сговаряне и по-умели в прикриването му.

Доказателствата, че групите от агенти създават повече проблеми от самостоятелно работещите, нарастват. Проект на Шанхайския университет „Джао Тонг“ и Шанхайската лаборатория за изкуствен интелект установи, че рояците от агенти са значително по-опасни при изпълнение на симулирани кампании за дезинформация и измами в електронната търговия. Изследователите отчитат, че те са се адаптирали по-успешно към защитните мерки.

„Големият урок е, че не е достатъчно да оценяваме агентите индивидуално“, казва Дии Ян, компютърен учен от Станфордския университет, изследвала тайните споразумения между агенти. „Компаниите трябва стриктно да наблюдават взаимодействията между агентите, когато те общуват многократно, дори индивидуалните им стимули да изглеждат напълно добронамерени.“

Не всичко е негативно: съвместната работа на хиляди агенти по обща задача позволи на OpenAI да реши нерешими дотогава математически задачи. Но групи от своеволни агенти, действащи съвместно, участваха и в няколко неотдавнашни шумни хакерски инцидента. През май екип от агенти на OpenAI компрометира платформата за AI изследвания Hugging Face и използва форум за съобщения, за да обменя съвети и идеи. Други модели, включително Claude на Anthropic и Gemini на Google, също извършиха обезпокоителни пробиви в сигурността.

Тайната комуникация добавя ново измерение към този разрастващ се проблем и това може да не е краят. Друго скорошно проучване на стартъпа Emergence AI постави агенти, управлявани от водещи AI модели, във виртуален свят, за да види поведението им. Когато им била възложена задачата да правят пари, те многократно се опитвали да намерят начини да се свържат с хора в глобалния интернет, за да им продават неща. Най-странното било, че агентите в крайна сметка разработили свой собствен сленг. „Те много бързо развиха собствен език“, казва Сатя Нита, главен изпълнителен директор на Emergence AI. „Не знаем защо.“

Светът не пренебрегва проблемите с некоректното поведение на автономните агенти; това е гореща тема на тазседмичното Общо събрание на ООН. Независим научен панел ще обсъди инцидента между OpenAI и Hugging Face, докато се очаква Сам Алтман да призове за международна координация при разработването на безопасни AI агенти.

Въпреки това редица индустрии, включително електронната търговия, се превърнаха в тестово поле за агентен AI. Тази седмица например Amazon обяви, че ще блокира достъпа на AI агента Muse на Meta до сайта си с аргумента, че нарушава условията за ползване.

Шрьодер де Вит смята, че е напълно възможно агенти, натоварени със задачата да намират изгодни оферти, да започнат да работят заедно — вероятно дори скрито — за да получат по-добра сделка или да ощетят някого. Ще бъде критично важно да се изследват тайните споразумения между агенти и да се разработят стратегии за откриването им с тяхното разпространение, заявява той. „Необходими са повече изследвания и разбиране за това какво ще се случи, когато имаме повече агенти в икономиката“, казва той.