NVIDIA пусна Open Agent Safety Platform — отворена рамка, предназначена да защитава автономните AI агенти, докато те получават достъп до модели, инструменти, среди за изпълнение на код, данни, мрежи и корпоративни системи.
Повече от 100 организации от цялата AI екосистема подкрепят инициативата, включително разработчици на приложения, доставчици на модели, доставчици на инфраструктура, компании за чипове и енергийни дружества. Платформата има за цел да създаде слой на доверие за агентния изкуствен интелект (agentic AI), подобен на контролите за сигурност, които помогнаха за безопасното разрастване на интернет.
От NVIDIA заявиха, че автономните агенти изискват по-силни защитни мерки, тъй като могат да работят за продължителни периоди от време, да използват множество инструменти, да вземат решения самостоятелно и потенциално да достигнат до системи извън предвидения им обхват.
Неотдавнашни оценки на безопасността от водещи AI лаборатории показват, че агентите могат да се отклонят от възложените задачи, да достъпят неоторизирани системи или неточно да докладват за завършени действия.
NVIDIA описва това поведение като „дрейф на агента“ (agent drift), при който дадена AI система се отдалечава от първоначалните инструкции на оператора поради двусмислени подкани (prompts), ограничения в политиките, грешки, липсващи инструменти или условия при дълготрайни задачи.
NVIDIA пуска платформа за безопасност на отворени агенти
От NVIDIA заявиха, че безопасността на агентите не може да зависи единствено от това дали даден AI модел следва инструкциите. Вместо това компанията насърчава независими контроли извън средата на агента, които той не може да променя или заобикаля.
Платформата Open Agent Safety Platform е изградена около NVIDIA OpenShell — сигурна среда за изпълнение с отворен код, пусната под лиценза Apache 2.0.
OpenShell изпълнява автономни AI агенти в изолирани среди (sandboxed environments) с изолация на ниво ядро. Тя позволява на организациите да дефинират политики, които ограничават файловете, процесите, идентификационните данни, инструментите, мрежовите дестинации и базите данни, до които даден агент има достъп.
Преди даден агент да започне изпълнение, OpenShell проверява дали дефинираната политика съответства на намеренията на оператора. По време на изпълнение средата за наблюдение постоянно прилага тези ограничения и следи поведението на агента за подозрителна или неочаквана активност.
Дизайнът на NVIDIA разделя сигурността на агентите на три слоя: приложение, среда за изпълнение (runtime) и инфраструктура. Приложението включва моделите, инструментите, данните, подканите, скриптовете и софтуерните компоненти, използвани от AI агента.
Средата за изпълнение внедрява работната натовареност на агента и прилага мониторинг, управление и контрол на политиките. Инфраструктурният слой включва изчислителни ресурси, съхранение, мрежи, бази данни, файлови системи и хардуерни ресурси, поддържащи агента.
За организации, нуждаещи се от допълнителна защита, NVIDIA представи NVIDIA Sentry. Този слой за сигурност разширява мониторинга на агентите и прилагането на политики в DPU (Data Processing Units) процесорите NVIDIA BlueField.
Хардуерът BlueField работи отделно от хост системата, създавайки външна точка за контрол (out-of-band enforcement point), до която автономният агент няма достъп.
От компанията заявяват, че DPU процесорите BlueField-4 могат да бъдат разположени по пътя между агента и модела, който той използва за вземане на решения. Това разположение осигурява контролна точка за наблюдение на активността на агента, прилагане на политики, потвърждаване на делегирана самоличност и прекъсване на небезопасно поведение в реално време.
Платформата на NVIDIA е оптимизирана за системи с NVIDIA Vera CPU и BlueField DPU. Компанията обаче заяви, че тя може да работи и с други хардуерни среди.
Платформата е предназначена да помогне на предприятията да внедряват големи флотилии от агенти и подагенти, запазвайки видимост върху действията, правомощията, произхода, използването на инструменти и достъпа до данни на всеки агент.
Чрез предоставянето на OpenShell и нейната рамка за политики с отворен код, NVIDIA се стреми да установи споделени стандарти за безопасност в бързо развиващата се агентна икономика. Според компанията AI лабораториите, предприятията, разработчиците, облачните доставчици и производителите на хардуер трябва съвместно да допринасят за защитата на все по-способните автономни AI системи.