На фона на зачестяващите доклади за AI агенти, нанасящи щети върху онлайн инфраструктурата, производителят на чипове Nvidia обединява технологичните компании около новия си инструмент с отворен код за сигурност на изкуствения интелект.

През последните няколко месеца водещи лаборатории за изкуствен интелект разкриха множество инциденти, при които AI агенти са извършвали хакерски атаки срещу други компании или, според по-скорошни примери, са сканирали официални уебсайтове на правителствата на САЩ и Австралия. Докато Nvidia вече заема водеща роля в обединяването на AI индустрията около сигурността с отворен код, сега компанията представя нова софтуерна платформа за сигурност и прави своята изолирана среда за агентен изкуствен интелект достъпна за по-широк кръг от потребители.

OpenShell, една от наскоро пуснатите от Nvidia изолирани среди за сигурност на AI агенти, вече е официално достъпна за всички потребители. OpenShell беше обявена за първи път на годишната конференция GTC на Nvidia през март; тя представлява рамка за ограничаване на агентите, докато изпълняват задачи, и изолиране на тяхната активност в ядрото на операционната система — основната програма, която има достъп до практически всички части на компютърната система, за да координира хардкуера и софтуера.

Материалите по представянето на Nvidia показват, че компанията си сътрудничи в областта на безопасността и сигурността на изкуствения интелект с десетки други технологични компании, сред които Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft и Palantir. Nvidia заявява, че SpaceXAI използва Open Agent Safety Platform за своите агенти Cursor и модели Grok. Компанията също така твърди, че Anthropic и Nvidia „вграждат сигурност в Claude Managed Agents“. Потвърдено е, че Salesforce, Scale AI и SAP в известна степен интегрират OpenShell. Въпреки това не е ясно дали OpenShell е внедрен от пълния списък с партньори на Nvidia, или компанията прави по-общи заявления.

Едно забележително име напълно липсва от списъка на Nvidia: OpenAI. И двете компании посочиха, че OpenAI е част от инициативата OpenShell на Nvidia, въпреки че и двете отказаха пряк коментар защо лабораторията за изкуствен интелект е била изключена от официалното съобщение.

Инженерите по сигурност и експертите по безопасност на изкуствения интелект разглеждат необходимостта от изолиране и мониторинг на агентния изкуствен интелект отдавна, още преди неотдавнашните разкрития за хакерски атаки от неконтролируеми агенти. В собственото си съобщение за OpenShell през март Nvidia отбеляза, че рамката ще добави „контроли за поверителност и сигурност, за да направи саморазвиващите се, автономни AI агенти по-надеждни, мащабируеми и достъпни“, месеци преди OpenAI да разкрие, че нейните AI агенти са хакнали компанията с отворен код Hugging Face. (По-рано този месец Nvidia се съгласи да придобие Hugging Face за 12,9 милиарда долара.)

Гигантът при чиповете разработи и нова софтуерна платформа, наречена Sentry — изолиран домейн за сигурност на чипове, който трябва непрекъснато да наблюдава продължително работещите AI агенти. Макар Sentry технически да е софтуерен инструмент, той е предназначен да бъде внедрен върху Bluefield — линията на Nvidia от програмируеми блокове за обработка на данни (DPUs). Идеята е, че в допълнение към ограниченията, наложени от OpenShell, Sentry може да действа като отделен, независим механизъм, който да „постави под карантина агенти, които се опитват да излязат извън границите си“.

Sentry е друг начин клиентите на Nvidia и потребителите на софтуер с отворен код наистина да прилагат политики за сигурност чрез OpenShell, казва Джъстин Бойтано, вицепрезидент и генерален мениджър по корпоративни изчисления в Nvidia. Докато традиционните изолирани среди са създадени за „изолация на ниво приложение“, днес хората искат да управляват групи от агенти, което изисква „колективна политика за всички тези агенти“, добавя той.

„Агентите са изключително изобретателни в намирането на начини за постигане на поставените им цели“, казва Бойтано. „С това решение агентите имат достъп единствено до намеренията, които екипът по сигурност им разрешава.“

Бойтано добавя, че Nvidia работи както с Arm, така и с Intel, за да създаде версия на Sentry, която да работи върху чип архитектурата x86. „След като заработи върху тези архитектури с инструкции, тя ще може да работи върху всяка архитектура“, казва той.

Nvidia позиционира всичко това като част от нова рамка с отворен код, наречена Open Agent Safety Platform, която вече обхваща както OpenShell, така и Sentry.

През юли Nvidia стартира широкоотраслова коалиция за безопасност на изкуствения интелект, която в момента включва над 120 компании. Заявената цел на коалицията беше намаляване на рисковете от AI, по-специално чрез програма, наречена Shared AI Findings Exchange (SAFE). Миналия месец Бойтано заяви, че SAFE е проектирана да се „управлява независимо, без нито една компания или отраслов сектор да контролира нейните констатации“.

Но една компания продължава да се появява в центъра на тези браншови инициативи за AI с отворен код и това е Nvidia. Най-скъпата компания в света, от която по-голямата част от технологичната индустрия зависи за най-производителните чипове, изглежда се позиционира така, че да задълбочи влиянието си и да налага стандарти на различни нива от технологичния стек на изкуствения интелект — от силиция до софтуера за сигурност.

Въпреки че усилията за ограничаване и контрол на агентите вече са в ход в цялата индустрия, скорошното неконтролируемо поведение на някои AI агенти показва необходимост от повишаване на осведомеността относно дългогодишни основни практики за сигурност — дори, както изглежда, в лаборатории на стойност трилиони долари. Някои експерти смятат, че това засяга и същността на въпроса какво наистина означава автономен софтуер да „излезе извън контрол“.

„Всичко, което улеснява компаниите да внедряват агенти с повече защитни механизми и по-висока безопасност, трябва да бъде адмирирано“, казва дългогодишният инженер и изследовател по сигурността Нилс Провос, коментирайки общо инструментите за ограничаване и мониторинг на агенти. Самият Провос стартира през февруари рамка с отворен код, фокусирана върху тези проблеми. „Най-малкото тези видове инструменти помагат за разсейването на мита, че агентите не могат да бъдат контролирани.“