„По време на рутинна оценка на киберсигурността, AI агенти предприеха продължителни, неразрешени действия, насочени към реални хора и организации“, разкри във вторник Институтът за сигурност на изкуствения интелект на Обединеното кралство (AISI).

Действията на агентите включват опит за атака по веригата за доставки, при която те създават злонамерени заявки за изтегляне (pull requests) и се опитват да приложат социално инженерство върху поддръжката на проект с отворен код, за да го накарат да одобри злонамерения код (той отказва).

Агентите, задвижвани от моделите Mythos 5 на Anthropic и GPT-5.6 Sol на OpenAI, също така участват в инжектиране на команди (prompt injection), насочено към принуждаване на други автоматизирани AI системи да изпълняват злонамерени действия, и си сътрудничат помежду си.

„Един агент остави публични съобщения в GitHub, предлагайки сътрудничество на други агенти, работещи по същото предизвикателство. Той също така предостави инструкции за повторно използване на акаунти и артефакти, които е оставил след себе си, които бяха открити и използвани от следващите агенти“, сподели правителствената изследователска организация на Обединеното кралство.

Но за разлика от неотдавнашните тестове на OpenAI на техните модели, при които агенти компрометираха Hugging Face и акаунти в други онлайн услуги, тестването на AISI е извършено „при умишлено разрешаващи условия“.

Агентите не са избягали от защитена тестова среда: те са имали достъп до интернет и някои от техните филтри за безопасност са били изключени нарочно, за да могат изследователите да тестват дали могат да бъдат използвани за кибератаки, ако атакуващите успеят да премахнат тези предпазни ограничения.

Предишни бягства на модели на Anthropic и OpenAI

Миналата седмица Anthropic заяви, че е прегледала 141 006 от своите тестове за киберсигурност и е открила три инцидента, при които моделът Claude е достигнал до отворения интернет от среда за оценка, която е трябвало да бъде изолирана (осигурена от частната фирма Irregular), и е получил неразрешен достъп до три реални организации.

На Claude е било казано в неговата системна инструкция, че няма достъп до интернет, но когато конфигурационна грешка в базовата система му е позволила да достигне до реални системи, той логично е предположил, че те са част от възложеното му учение от тип „улови флага“ (capture-the-flag).

Трите модела са реагирали по различен начин, след като са се появили признаци, че целите им са реални. Opus 4.7 (най-старият) е разпознал, че е достигнал до реални производствени системи, но е продължил да атакува въпреки това. Mythos 5 правилно е интуитирал, че е в реалния интернет и дори е отбелязал, че действията му биха представлявали истинска атака, но след това сам се е убедил, че това все пак е симулация, и никога не се е върнал към първоначалното си заключение.

Само най-новият модел (вътрешен изследователски прототип) сам е заключил, че целта е реална и е спрял, въпреки че Anthropic отбелязва, че дори той е стигнал по-далеч, отколкото биха искали.

Във вторник OpenAI заяви, че същият тип бягство се е случило, когато Irregular е тествала моделите на OpenAI, като грешка в конфигурацията на тестовата среда е позволила на моделите да получат достъп до публичния интернет.

„Irregular ни информира, че всички идентифицирани проблеми, свързани с инцидента, вече не са активни и в тестовата среда са добавени съответните предпазни мерки“, казаха от OpenAI.

Отговорът на AISI и новите предпазни мерки

AISI публикува технически доклад, описващ неразрешеното поведение на агентите по време на кибертестовете.

Изследователската организация заяви, че този инцидент не е довел до вреди в реалния свят и „някои действия са имали ограничен ефект в реалния свят, но при контролирани обстоятелства“.

Въпреки това, те са били изненадани от степента и сериозността на измамното поведение, демонстрирано от агентите (без конкретни указания за това).

„На [агента] никога не е било нареждано да мами; измамата се появи като страничен продукт от преследването на задачата – вид целево ориентирана измама, която доскоро беше до голяма степен теоретична“, отбелязват те.

Те също така посочиха, че все още не са сигурни кога точно агентът е разбрал, че предприема действия в реалния свят, или до каква степен е вярвал, че се намира във фиктивен тестов сценарий.

„Инциденти от този тип отразяват скоростта, с която се развива изкуственият интелект. Тъй като възможностите напредват, работата по разбирането на тези системи и гарантирането на тяхната безопасност трябва да върви в крак с тях“, добавиха от AISI.

Тези скорошни инциденти показаха, че рисковете се променят и че вече не става въпрос само за това злонамерени субекти да злоупотребяват с публични AI инструменти. Дори в доверена среда, способните AI агенти могат да излязат извън рамките на сценария, да направят неща, които никога не са били планирани, и потенциално да причинят вреда в реалния свят. Въпросът, който се обсъжда в момента, е кой ще носи отговорност, ако се стигне до такива вреди.

Накрая AISI отбеляза, че този инцидент ги е подтикнал да работят по промяна на протоколите си за оценка и архитектурата на сигурността си, както и да въведат „мониторинг, предназначен да наблюдава процеса на оценка в реално време, способен да маркира или блокира действия извън обхвата в момента на тяхното възникване“.

Оли Уайтхаус, технически директор в Националния център за киберсигурност на Обединеното кралство, се съгласява: „Тези [AI] технологии трябва да се разработват и използват от самото начало със силни предпазни мерки, надзор в реално време и ясни планове за реагиране, когато се случи неочакваното. Разчитането единствено на откриване след настъпване на инцидент няма да бъде достатъчно.“