В това интервю за Help Net Security Гураб Басу (Gourab Basu), глобален ръководител на инженерния отдел в meshIQ, обсъжда управлението и контрола (governance) при системите с автономни AI агенти. Той твърди, че инструкциите, зададени в промпта, не са достатъчни за контролиране на действията на даден агент, тъй като агентите могат динамично да променят посоката на изпълнение по време на работа. Истинският контрол изисква проверка на планираните действия преди те да достигнат до производствените системи — например спиране на голямо възстановяване на средства за одобрение от човек.
Той разглежда и проблемите, които възникват при преминаване от десет към хиляда агента в компанията, както и начините за изграждане на контролен механизъм, работещ с различни рамки за агенти (agent frameworks).
Един от уроците, които инженерите по интеграция усвоиха отдавна, е, че оркестрацията и контролът не могат да бъдат едно и също нещо. Традиционните интеграционни работни процеси обикновено са детерминистични: инженерите дефинират пътя върху базовите конектори и работният процес се изпълнява строго по този модел. AI агентите въвеждат недетерминистичен слой на оркестрация. Когато на агента бъде поставена цел, той сам решава кои инструменти да използва, в какъв ред и как да коригира пътя си по време на изпълнението.
Тази динамика е изключително мощна, но означава също, че промптът не може да служи като граница за контрол. Инженерите по интеграция спряха да се доверяват сляпо на извикващите страни преди десетилетия. Предположението, че агентът винаги ще следва инструкция в промпта, е съвременният еквивалент на вярата, че партньорска система винаги ще изпраща перфектно форматиран XML. Ако пътят на изпълнение може да се променя динамично, управлението трябва да следва този път и да функционира директно в потока, за да осигури контрол върху резултата.
Да разгледаме процес за възстановяване на суми с просто бизнес правило: плащания под 100 долара се обработват автоматично, докато суми над 100 долара изискват потвърждение от човек. В традиционен интеграционен процес това условие може да бъде изрично заложено в пътя на изпълнение. При AI агент, ако същото правило присъства единствено в промпта, то остава просто препоръчителна инструкция.
Контролен слой вътре в потока (in-flow governance) може да инспектира планираното извикване на инструмент и неговите параметри, преди самото възстановяване да бъде извършено. Заявка под прага ще бъде изпълнена автоматично, докато такава над 100 долара се задържа, докато оператор не я одобри. Ключовата разлика е в момента на прилагане: политиката се налага, докато действието все още може да бъде спряно, вместо впоследствие да се констатира, че агентът е наредил плащане извън позволените лимити. Именно това превръща управлението от пасивно наблюдение в реален контрол.
Първото нещо, което се губи при липса на контрол, е увереността, че промените в основните корпоративни регистри (systems of record) се управляват последователно. При десет агента екипите все още могат да следят кой агент до кои системи има достъп и да компенсират с ръчен надзор. При хиляда агента броят на системите, способни да променят корпоративни записи, нараства драстично, а по-мощните модели разширяват обхвата на действията, които тези агенти могат да опитат.
Проблемът се корени във факта, че повечето корпоративни защитни механизми са проектирани за хора и традиционни приложения. Тези предпазни мерки остават важни, но прилагането на контрол само на ниво крайна система е недостатъчно, когато интелигентен агент взема динамични решения за следващите си стъпки. Управлението трябва да бъде част от потока на изпълнение на агента, така че правилата да се прилагат последователно, преди действието да достигне до системните записи.
Това не превръща недетерминистичния агент в детерминистичен, но създава предвидими граници около недетерминистичното изпълнение. В голям мащаб политиките трябва ясно да определят кои действия преминават автоматично и кои изискват човешка намеса — в противен случай ръчният преглед се превръща в пречка за процеса или бива изцяло заобиколен.
За да функционира управлението при множество различни рамки за агенти, архитектурата трябва да бъде разделена на слабо свързани слоеве. В центъра се намира независим от конкретната рамка механизъм за контрол. Моделът на политиките, семантиката на решенията (разрешаване, маркиране/потвърждаване, ескалиране и блокиране/отказ), форматът на одитните записи, тестовите среди за оценка, контролът с участието на човек (human-in-the-loop) и дефинирането на политики не трябва да се променят при смяна на използваната рамка.
Това, което подлежи на промяна, е механизмът за прехващане (interception). Различните рамки предоставят достъп до изпълнението на инструменти в различни моменти от жизнения цикъл: някои използват функции за обратно извикване (callbacks), други разчитат на механизми като on_call_tool (например FastMCP), а трети предоставят директен цикъл на обработка на инструменти. Някои рамки дори не предлагат надеждна точка за прехващане преди изпълнението. Адаптерът трябва да компенсира тези различия и да осигури точка, в която контролният слой да се включи в изпълнението.
Това разграничение е критично, тъй като управлението трябва да обхваща цялостната архитектура. Организациите ще използват различни рамки за различни задачи и тези избори ще се променят с времето. Политиките, регулиращи позволените действия на агентите, трябва да останат неизменни, независимо от промените в базовата технология.
Основният урок е да не се мащабират възможностите по-бързо от механизмите за контрол. Изкуственият интелект е изключително мощна технология и е лесно първоначално фокусът да падне върху функционалностите на автономната система. В малък мащаб слабият контрол често може да се компенсира чрез ръчни проверки и надзор, но при корпоративни обеми това се превръща във високорисков залог.
Преди мащабирането на автономни системи контролът, наблюдаемостта и управлението трябва да бъдат заложени като неразделна част от архитектурата. Необходимо е ясно разбиране до какво има достъп агентът, какви действия може да предприеме, къде се изисква човешка преценка и как решенията му ще бъдат одитирани впоследствие. Тези защити се интегрират изключително трудно постфактум, след като агентите вече са внедрени в производствените процеси. Мерилото за напредък не е просто степента на въведена автономия, а увереността, с която тя може да бъде управлявана при нейното разрастване.