AI агент, на когото в системната подкана (system prompt) е указано да показва на даден потребител само това, което той има право да вижда, ще предаде допълнителна информация в момента, в който някой го убеди да го направи. Ги Ритенхаус (Gee Rittenhouse), който ръководи Security Hub, GuardDuty и Inspector в AWS, и Ерик Джонсън (Eric Johnson), сътрудник в SANS Institute, поставят решението едно ниво по-надолу: ограничаване на заявката до правата на потребителя в момента на извличане, вътре в системата за контрол на достъпа на базата на роли или атрибути, с която компанията вече разполага, и филтриране на резултатите, преди те да достигнат до контекстния прозорец на модела.

Четири етапа на прогресия (Източник: SANS)

Подканите, пишат те, могат да бъдат „заобикаляни, пренебрегвани или пренаписвани“. Ако дадено лице не може да извлече запис през нормалния интерфейс на приложението, агентът, действащ от негово име, също не трябва да може да го извлече.

Двамата са разработили указанията заедно с трима специалисти по сигурността от AWS за компании, които вече разполагат с работещи агенти или такива в процес на активна разработка. Агентът се автентифицира от името на потребителя, свързва последователно извиквания на инструменти и завършва многостъпкова работа, без да спира за одобрение, така че една погрешна инструкция може да достигне до производствени данни за времето, необходимо за записване на заявката.

McKinsey оценява внедряването на AI на 80% от организациите, а управлението на AI (AI governance) – на 10%. Изследване на IBM за пробивите през 2025 г. установи, че организациите с високо ниво на неуправляван „сенчест AI“ (shadow AI) са платили средно с 670 000 долара повече за всеки пробив.

Три възможности, които не искате в един агент

Рискът се концентрира, когато един агент притежава едновременно достъп до чувствителни данни, възможност за външна комуникация и излагане на ненадеждно съдържание.

Тази конвергенция превръща агента в канал за изтичане на данни, тъй като ненадеждното съдържание е мястото, откъдето идва инжектирането на подкани (prompt injection): скрити инструкции, заровени в това, което изглежда като обикновен входен текст. OWASP класира инжектирането на подкани като най-голямата заплаха за AI приложенията, като тя засяга дори най-простия етап на внедряване, преди агентът да има каквито и да е инструменти или автономност. Ако се предотврати възможността един компонент да съдържа и трите елемента, по-голямата част от този риск изчезва.

Часовникът, който искат да следите

Минутите на повърхността за атака (attack surface minutes) измерват колко време дадена уязвимост остава достъпна за експлоатация, преди мерките за сигурност да я ограничат – идея, взета назаем от времето на престой (dwell time) и насочена към прозореца на излагане, а не към самия нападател. Това число определя архитектурни решения: кога периодичното сканиране трябва да се превърне в непрекъснат мониторинг, кога пакетните известия трябва да станат поток от анализи за засичане в реално време, кога ръчната триаж процедура трябва да се превърне в автоматизирано ограничаване. Агентите действат за милисекунди. Единицата в метриката е минути, което показва колко много изостават мерките за ограничаване.

Аналитичните системи, създадени за моделиране на човешки потребители, не се пренасят върху агенти. Моделите на трафика, последователностите от API извиквания и честотата на достъп до ресурси изискват специализирани модели, а AI инструмент за писане на код, генериращ многопроцесна активност, ще изглежда като аномалия за остаряла система за засичане, работеща по проект.

Инструкцията е първо да се оборудват с инструменти за мониторинг най-рисковите агенти и да се съберат поне 30 дни базови данни, преди да се настройват правилата за откриване. Екипите настройват правилата след получаване на месечните данни, а най-рисковите агенти са тези, които работят, докато данните се събират.

„Моделът никога не е мярка за контрол“, пишат авторите. На практика това означава филтри за съдържание, които улавят и редактират лични данни (PII) на изхода, неизменяеми резервни копия, съхранявани на място, до което идентификационните данни на агента нямат достъп, и двигател за политики (policy engine), който оценява всяко отделно извикване на инструмент спрямо това до какво се докосва и какво би станало, ако възникне грешка. Те посочват принципа default-deny (отказ по подразбиране) на ниво извикване на инструменти като най-критичния архитектурен шаблон за сигурност на агенти и посочват Cedar и Open Policy Agent като начини за прилагането му в мащаб. Действията с голямо въздействие се пренасочват към контролна точка с човешко участие, независимо от оценката за увереност. Действията с малко въздействие и висока увереност се изпълняват без надзор.

Когато нещо се обърка, ограничаването задейства четири слоя едновременно:

  • оттегляне на идентификационните данни и прекратяване на сесиите
  • блокиране на изходящия трафик
  • деактивиране на достъпа до инструменти и замразяване на състоянието
  • ограничаване на данните и увеличаване на нивото на логване

Автоматичните прекъсвачи (circuit breakers) спират агента при нарушение на праговите стойности, без да чакат потвърждение от човек, под презумпцията, че агент, на когото е показано предупреждение, няма да спре да преосмисли действията си, както би направил човек. Всяка подкана, извикване на инструмент и отговор се изпращат в неизменяемо хранилище, за да може веригата от решения да бъде възстановена след това.

Принципът default-deny на ниво извикване на инструменти е елементът, който удържа положението, когато останалите поддадат. Той работи, докато моделът не се държи правилно, докато подканата е отровена и докато поведенческата базова линия все още се попълва. Останалата част от рамката купува време, докато тази проверка се изпълни.

Изтегляне: The Agentic Software Development Guide