NVIDIA представи отворена софтуерна платформа и референтен дизайн, базиран на хардуер, създадени да поддържат AI агентите в границите, определени от организациите, които ги използват.
Платформата Open Agent Safety Platform включва OpenShell — софтуер, който контролира до какво може да има достъп даден агент, и Sentry — мониторингов модул в референтния дизайн, който следи активността на агента от отделен хардуер. Организациите могат да внедряват елементи от платформата според своите нужди.
Референтен дизайн на NVIDIA Open Agent Safety Platform (Източник: NVIDIA)
От NVIDIA заявиха, че докладите за AI агенти, излизащи от средата за тестване и получаващи достъп до системи без разрешение, са спомогнали за разработването на платформата. Инцидентите предизвикаха дебати относно това дали разработването на AI агенти трябва да се забави.
Според компанията агентите могат да се отклонят от поставените задачи и когато срещнат блокирано действие, грешка, липсващ инструмент или недефинирани инструкции. Продължителните задачи увеличават този риск, което прави независимите контроли за сигурност необходими.
„Изключителният потенциал на изкуствения интелект за обществото ще бъде реализиран само ако разрешим въпроса с безопасността на AI“, каза Дженсън Хуанг, главен изпълнителен директор на NVIDIA. „Докато продължаваме да откриваме границите на възможностите на изкуствения интелект, трябва да ускори преоткриването на границите на неговата безопасност. Безопасността и сигурността изискват цялостно инженерно проектиране. NVIDIA Open Agent Safety Platform обединява индустрията, изследователите и организациите от публичния сектор за споделяне на добри практики, уеднаквяване на методите за оценка и насърчаване на международното сътрудничество. Заедно можем да вдигнем летвата за глобалната безопасност на изкуствения интелект.“
Контроли на три слоя
NVIDIA описва платформата като три слоя, които работят заедно, докато даден агент изпълнява задача. Приложният слой включва AI модела, инструментите и данните, използвани от агента. Слойът за изпълнение (runtime) поставя агента върху изчислителни системи, следи неговата активност и прилага правила за достъп. Под него инфраструктурният слой осигурява хардуера, мрежовите връзки и други ресурси, необходими за работата на агента.
OpenShell оперира на слоя за изпълнение. Той стартира агентите в изолирана среда и прилага политики, управляващи достъпа до файлове, мрежи, процеси и други ресурси, докато агентите работят. NVIDIA посочва, че OpenShell работи с минимален разход на ресурси върху техните процесори Vera и, като софтуер с отворен код, може да бъде разширен към други изчислителни платформи, включително базирани на Arm и Intel.
Мониторинг на агенти от отделен хардуер
Sentry добавя контроли на инфраструктурния слой чрез процесорните блокове за обработка на данни (DPU) NVIDIA BlueField-4. Използвайки софтуера DOCA на NVIDIA, той следи активността на агентите и прилага политики за достъп. Ако даден агент се опита да премине софтуерната си граница, Sentry може да го постави под карантина и да го спре.
В дизайна Vera Rubin POD на NVIDIA, BlueField-4 се намира на пътя, който агентът използва за достигане до своя AI модел. Тази позиция позволява на Sentry да следи активността независимо от агента. Sentry е част от референтния системен дизайн на платформата и изисква поддържан хардуер.
„Scale AI използва референтния дизайн на NVIDIA Open Agent Safety Platform за изграждане на надеждни агентни AI системи за нашите корпоративни и държавни клиенти, изпълняващи критично важни приложения, с вградена изолация, прилагане на политики и възможност за одит от самото начало“, каза Франсис деСуза, главен изпълнителен директор на Scale AI. „Ние поддържаме сигурността на агентните системи с ясни граници, определящи какво могат да правят агентите, и контроли, които ги поддържат да работят в рамките на тези разрешения.“
NVIDIA заяви, че софтуерът на платформата, включително OpenShell и свързаните с него умения, е достъпен чрез нейните ресурси за разработчици и GitHub.