В това интервю за Help Net Security Ариел Асараф, главен изпълнителен директор на Coralogix, обяснява защо системният промпт (system prompt) може да опише граница за AI агент, но не може да я приложи на практика. Асараф разкрива как неговият екип изгражда защитни бариери за AI агенти на ниво изпълнение, ограничава контекста без разширяване на правомощията и настройва контролите спрямо риска, така че агентите да останат полезни по време на инциденти. Той описва как проследява последствията от действията на агента, тъй като даден агент може да връща статус 200 и въпреки това да нанесе щети.
Случаят от последно време с хакването на Gemini е добър пример за това. Агентът е трябвало да работи в рамките на контролиран тест по киберсигурност, но грешка в конфигурацията му е дала достъп до интернет и той е влезнал в три реални системи. В крайна сметка той е разпознал грешката и е спрял, което е окуражаващо, но дотогава границата вече е била премината.
Липсващите контроли са били извън модела: мрежова изолация, списъци с разрешени цели (allowlists), дефинирани идентификационни данни за достъп и независима проверка за оторизация преди изпълнение. Тези контроли трябва да съществуват независимо от това какво е наредено на модела да прави.
Системният промпт може да опише граница. Той не може да я наложи. Ако даден агент има техническата възможност да премине тази граница, организациите трябва да дадат предположение, че в даден момент той може да го направи. Механизмът за прилагане трябва да се намира между агента и действието, което той се опитва да предприеме.
Повече контекст трябва да подобрява знанията на агента, а не да разширява неговите правомощия.
Ние се опитваме да предоставим минималния контекст, необходим за текущата стъпка, извлечен точно навреме, с ясен произход и срок на валидност. Чуствителният или ненадежден контекст трябва да бъде отделен от инструкциите, а достъпът до информация никога не трябва автоматично да дава разрешение за действие въз основа на нея. Това даден агент да знае нещо и това той да бъде оторизиран да направи нещо с тази информация са две различни неща.
Практическият тест е измерим: подобрява ли допълнителният контекст успеха на задачите при оценките и какво прави той с нарушенията на политиките, успеха на атаките от тип prompt-injection и ненужния достъп до данни? Ако контекстът добавя малко производителност, но съществено увеличава тези рискове, той не трябва да присъства там.
Целта не е да се даде на агента всичко, от което би могъл да се нуждае. Целта е да му се даде това, от което се нуждае за конкретната task пред него, докато правомощията остават независимо ограничени.
Строгата защитна бариера е тази, заобикалянето на която моделът не може да аргументира.
Моделът, който използваме, е точка за прилагане на политики (policy enforcement point) между агента и неговите инструменти. Всяко предложено действие се оценява спрямо идентичността на агента, целта, средата, класификацията на данните и текущата оторизация. Агентът никога не получава неограничени идентификационни данни, така че дори ако реши, че дадено действие е подходящо, той не може просто да го изпълни извън тези контроли.
Заявка за четене към производствена среда може да бъде позволена автоматично. Операция за запис може да изисква одобрение. Разрушително действие може да бъде напълно блокирано. Важната разлика е, че моделът не е крайният орган, който решава дали собственото му действие е разрешено.
Тестваме това с оценки, инжекции на промптове (prompt injections), обфускирани команди и многостъпкови опити, предназначени да достигнат до същия забранен резултат по различни пътища. Успехът означава, че действието не произвежда външен страничен ефект и самото блокиране генерира пълен телеметричен запис. Освен да знаете, че защитната бариера е проработила, трябва да знаете какво е опитал агентът и защо е бил спрян.
Защитната бариера, която най-бързо става прекалено агресивна, е изискването на човешко одобрение за всяко действие, свързано с производството. Това е безопасно, но също така спира агентите да извършват базови разследвания и ги прави почти безполезни по време на инциденти. Ако човек трябва да одобрява всяко четене или рутинна диагностична стъпка, голяма част от стойността на автономията изчезва.
По-добрият подход е действията да се класифицират по риск и преход на състоянието. Заявките само за четене в рамките на одобрен обхват могат да се изпълняват автоматично. Обратимите промени получават по-строги проверки. Необратимите действия или тези с голям радиус на въздействие изискват човешко одобрение.
Това също означава да се гледа какво всъщност може да промени дадено действие, вместо всяко взаимодействие с производствената среда да се третира като еднакво опасно.
Балансът не е между безопасност и полезност. Става въпрос за прилагане на ограничение, пропорционално на потенциалното въздействие. Колкото по-висока е потенциалната последица от дадено действие, толкова по-силен трябва да бъде контролът.
Най-важният сигнал не е отговорът на модела. Това е последицата от действието, което той предприема.
Ние съпоставяме телеметрията на агента с останалите данни за наблюдаемост на организацията: извиквания на инструменти, решения за политики, заобикаляния, повторни опити и достъп до данни, заедно с внедрявания, инциденти, събития по сигурността, връщания към предишни състояния и човешки корекции. Разглеждането на тези сигнали заедно прави възможно да се види кога даден агент технически функционира според дизайна, но произвежда оперативно лош резултат.
Ние също така измерваме последователността на решенията. Ако едни и същи наблюдаеми факти произвеждат различни действия в различните версии на модела, трябва да видим къде се е отклонил пътят на политиката. Промяната в поведението на модела не трябва да се превръща в невидима промяна в поведението на производствената среда.
Това не е мониторинг на „веригата от мисли“ (chain of thought), а външен запис на решения, показващ коя политика е приложена, какви доказателства са оценени, кое изключение е използвано и какво се е случило след това. Тази разлика е важна, тъй като организациите не се нуждаят от достъп до вътрешните разсъждения на модела, за да установят отговорност. Те се нуждаят от надежден запис на входните данни, разрешенията, действията и последствията, които действително могат да наблюдават.
Даден агент може да връща перфектни статуси 200, докато създава ужасен крайни резултат. Поради това самият крайният резултат е това, което трябва да бъде наблюдаемо.
Download: The IT leader’s guide to AI code sprawl