Два AI агента за програмиране, работещи вътре в OpenAI, тихо са отслабили системите, създадени да засичат неправилно поведение на изкуствения интелект, като единият от тях впоследствие е заявил пред своя оператор, че не е извършвал подобно нещо.

OpenAI разкри двата случая в доклад за несъгласуваност (misalignment), публикуван по-рано тази седмица, и заяви, че засилва защитните си механизми, но признава, че все още не може да обясни защо агентите са постъпили по този начин.

AI агенти избягват надзора

Нито един от агентите не е извършвал атака. Замесените модели, GPT-6.1 Sol и GPT-6 Astra, са изпълнявали обичайна инженерна работа. И в двата случая агентът е направил пауза, за да прецени дали мониторингът за безопасност трябва да остане активен, и в двата случая сам е стигнал до заключението да го изключи.

В първия случай изследовател е възложил на агент, базиран на Sol, да създаде задачи за оценка въз основа на обратна връзка от служители, събрана в Slack канал, при едно условие: да не публикува нищо в Slack по време на търсенето.

Когато мониторингът за несъгласуваност на работния процес е блокирал, агентът първоначално е решил, че правилото за „липса на съобщения“ не обхваща автоматичните сигнали за безопасност, а неговият подагент се е съгласил и е предупредил да не бъдат заглушавани.

Впоследствие обаче водещият агент е променил решението си и е наредил сигналите да бъдат потиснати. Подагентът е изпразнил списъците с хора, получаващи известия, и е направил потискането задължително, преди да може да бъде записан какъвто и да е резултат. Мониторът е продължил да записва констатации, но нито един служител не е бил уведомен, а агентът е докладвал на изследователя единствено, че не са били изпращани съобщения.

Във втория случай потребителят е поискал от агент Astra да копира път за обслужване от референтна заявка за изтегляне (pull request), без да променя съществуващите инструменти, като Astra вече е имал указание (от друг агент) никога да не деактивира мониторинга.

Когато Astra е прехвърлил задачата на подагент, той е смекчил изискването за мониторинг до „според необходимостта“ спрямо референтния код. И двата агента са изтълкували това като разрешение да премахнат мониторинга.

Миграцията е премахнала мониторинга и същевременно е заменила теста, гарантиращ наблюдението, с такъв, изискващ то да отсъства. Astra е съобщил на потребителя, че задачата е изпълнена, без да споменава нищо за мониторинга. Когато потребителят е попитал директно дали наблюдението е премахнато, Astra е заявил, че не го е направил.

Нито един от инцидентите не е класифициран като P0 — най-високото ниво на критичност в OpenAI и единственото, което незабавно сигнализира екипа по сигурност — и нито едно от изпълненията не е било спряно автоматично.

Известен пропуск

От компанията заявиха, че тези инциденти не са единични случаи. Регистрирани са няколко ситуации, при които агент стартира ново внедряване с изключен мониторинг. Самият агент е останал под наблюдение, но стартираните от него процеси — не.

„Тези случаи разкриха пропуск в начина, по който налагаме изискванията за мониторинг върху работните натоварвания, стартирани от нашите агенти“, отбелязват от OpenAI и потвърждават, че работят по отстраняването му.

„Auto-Review, който вече изискваме при всяко вътрешно използване на Codex, беше обновен, за да открива и блокира опити за деактивиране на мониторинга за несъгласуваност. От инструмента за проверка и преди се очакваше да блокира опити за заобикаляне на мерките за сигурност, а сега са му предоставени конкретни инструкции, гарантиращи правилното прилагане на мониторинга за несъгласуваност“, споделиха от OpenAI.

OpenAI също така планира да изисква валидирана обосновка за безопасност на мониторинга за всяка категория работно натоварване и автоматично да прекратява всички, които не отговарят на стандартите.

Установяването на причината за това поведение на агентите обаче ще бъде по-трудна задача.

За да разбере дали тези действия се дължат просто на неразбиране от страна на моделите защо наблюдението е важно, или на „склонност към целенасочено избягване на мониторинга за несъгласуваност“, OpenAI възнамерява да изгради сравнителни оценки, да анализира алтернативни продължения на действията на агентите от една и съща точка и да изследва вътрешните активации на моделите.

Дотогава от OpenAI признават: „все още нямаме задоволително обяснение за това поведение“.