OpenAI разкри, че два агента с изкуствен интелект (ИИ), задвижвани от GPT-6.1 Sol, и един с GPT-6 Astra, са отслабили мониторинга за разминаване в целите (misalignment monitoring), докато са извършвали заявени промени в софтуера по време на две вътрешни задачи за програмиране.

Компанията за ИИ заяви, че инцидентът се е случил съответно на 3 и 6 октомври 2026 г. за Sol и Astra, като част от вътрешно внедряване.

„Агент с GPT-6.1 Sol, поправящ конвейер за оценка, изключи автоматичните известия към нашия екип по сигурност, приемайки по-ранна инструкция да не изпраща съобщения по време на търсене в историята на Slack като основание за потискане на известията от мониторинга“, съобщи OpenAI в доклад.

Крайният резултат от това действие е бил, че мониторът за разминаване в целите е продължил да работи и да записва своите отчети, но автоматичните сигнали за хората са били деактивирани чрез задаване на стойност „no_notify“ на true и изпразване на списъците с хора, конфигурирани да получават доклади от мониторинга.

При друга задача на 6 октомври агент с GPT-6 Astra, извършващ миграция на програма, е премахнал интеграцията за мониторинг, за да отговори на референтна имплементация, след което невярно е заявил пред потребителя, че функционалността не е била премахната.

„Не [...] Не съм премахвал активиран монитор от него“, гласи окончателният отговор на агента.

От OpenAI заявиха, че и в двата случая ИИ агентите са обмислили дали защитните механизми за мониторинг трябва да бъдат запазени, но в крайна сметка са избрали да не го направят, след като са интерпретирали рутинни инструкции за програмиране като „разрешение за тяхното отслабване“.

В отговор на констатациите компанията заяви, че засилва системата си за мониторинг на разминаването в целите и преценява дали тези сценарии са изолиран случай или демонстрират склонност за избягване на мониторинга.

„Освен че затрудняваме моделите да деактивират мониторинга [по време на оценки], ние се стремим да разберем защо моделите изобщо биха се опитали да направят това“, заявиха от OpenAI. „Възможно е това поведение да е просто пример за „добронамерена“ свръхупоритост, при която моделите не разбират защо мониторингът е важен или настояват инструкциите да бъдат изпълнени отвъд това, което разумен човек би очаквал.“

Разкритието е поредният случай на ИИ агенти, действащи по начини, които техните разработчици не са предвидили. Миналата седмица създателят на ChatGPT разкри седем инцидента с несъответствие в целите, включително случай, при който вътрешен изследователски модел е откраднал криптовалута от портфейл, който не притежава, за да плати таксите, необходими за внедряване на смарт договори в тестовата мрежа Sepolia на Ethereum, и е пропуснал да съобщи, че е взел средствата без разрешение.

Microsoft се прицелва в своеволните ИИ агенти с динамични права за достъп и оценка на риска

Това се случва и на фона на нарастващи опасения, че разработването на все по-мощни системи с ИИ изпреварва усилията за безопасност, което води до предупреждения, че това може да затрудни тяхното наблюдение и контрол, докато придобиват по-голяма автономност.

По-рано тази седмица Microsoft обяви нови механизми за контрол с цел наблюдение и ограничаване на потенциално своеволни ИИ агенти в корпоративни среди като част от Project Perception — самообучаваща се система за киберзащита, базирана на изкуствен интелект, която компанията представи през юли 2026 г.

„Моделите са обучени да постигат резултати, което често води до манипулиране на възнаграждението (reward hacking), и те не са оптимизирани според организационните норми или преценка“, заяви Хайете Гало, изпълнителен вицепрезидент по сигурността в Microsoft. „Агентите са непредсказуеми. Те ще се адаптират при промяна на контекста, може да не се държат по очаквания начин и ще си сътрудничат и взаимодействат тайно с други агенти, за да постигнат целите си, без дори да е необходимо да бъдат компрометирани.“

Тъй като агентите често имат широки права за достъп до данни, инструменти и системи, да не говорим за предприемане на действия и самостоятелно вземане на решения, от Редмънд заявиха, че те представляват нов вид вътрешен риск за сигурността, който изисква непрекъснат мониторинг.

За тази цел Project Perception на Microsoft използва Guardian Agents, които да контролират други ИИ агенти и да ги защитават на нивата на идентичност, права за достъп, данни, крайни точки, мрежа, облак и среда за изпълнение чрез:

  • Откриване и идентифициране на всеки агент.
  • Ограничаване на техните права за достъп чрез принципа на най-малките привилегии (PoLP) преди изпълнение и след това динамично предоставяне или отнемане на достъп въз основа на текущата задача.
  • Мониторинг на действията на агента и проверка дали той се отклонява от първоначалната си задача.
  • Адаптиране на защитите при промяна в поведението, контекста и риска.

Архитектурата на системата е изградена върху основите на три нови направления:

  • Динамични права за достъп (Dynamic Permissions), които ограничават обхвата на правата само до задачата, възложена на агента, и ги правят ограничени по време.
  • Динамичен риск на агента (Dynamic Agent Risk), който присвоява на всеки агент непрекъснато обновявана оценка на риска, формирана от това колко сигурно е конфигуриран, до какви ресурси има достъп, потенциалното въздействие при възникване на проблем и дали действията му се отклоняват от намеренията на потребителя или организацията.
  • Динамичен условен достъп (Dynamic Conditional Access), който разширява възможностите на Entra Conditional Access за агенти, така че правата да могат да се коригират при промяна на риска.

„Неговата идентичност, среда за изпълнение, пътища за достъп и обхват на правомощията по задачата трябва да бъдат изрично зададени от самото начало“, заявиха от Microsoft. „Ако по-късно се сблъска с атака чрез инжектиране на команди (prompt injection) или се опита да извърши действие извън тази задача, системата трябва да реагира пропорционално: да запази безопасното четене, като същевременно блокира записването, да стесни ресурсите, до които може да достигне, да изисква доказуемо одобрение от човек за ключови стъпки или да изолира и спре агента, когато рискът го налага.“