Dive Brief:

  • Злонамерени субекти могат да саботират AI модели чрез манипулиране на базовата им инфраструктура, като например фърмуера и софтуера, управляващи компютрите, на които работят моделите, посочва компанията за киберсигурност Eclypsium в доклад, публикуван в четвъртък.
  • „Едва доловима промяна по време на изпълнение може да манипулира модела да отслаби валидирането на сертификати, да избере несигурна зависимост или да генерира специфичен незащитен шаблон“, се посочва в доклада.
  • Констатациите на Eclypsium подчертават подценявана област на риск, която изисква защитни мерки от страна на водещите лаборатории за изкуствен интелект и надзор от страна на бизнеса, който ги използва.

Dive Insight:

Когато се стартира AI модел, се казва в доклада на Eclypsium, „неговото състояние по време на изпълнение се контролира от йерархия от софтуер, фърмуер, контролери на паметта, процесори за управление и входно-изходни (I/O) устройства“, всяко от които представлява възможност за изкривяване на модела и неговите резултати, ако хакери успеят да се намесят в него.

Най-лесната мишена е хост машината, на която се изпълнява моделът, разчитаща на операционна система, ядро, графични драйвери и други хардуерни и софтуерни компоненти. Тези компютри са уязвими към същия зловреден софтуер като всеки друг компютър, включително руткитове (rootkits), които си осигуряват постоянно присъствие под нивото на операционната система, прониквайки във фърмуера на устройството.

Компоненти от трети страни, като услуги за обновяване на фърмуера, агенти за оркестрация на AI и хардуер на контролери за управление, също създават пътища за манипулиране на моделите. „Компрометирането на управляващото ниво може да позволи модифициране на фърмуера, промени в контролите за изолация, директен контрол върху свързаните устройства или други привилегировани пътища към работния процес“, посочва Eclypsium в своя доклад.

Производителите на чипове използват блокове за обработка на данни (DPU), за да поемат част от натоварването, свързано с работата на AI модел, но тъй като DPU изпълняват толкова важни задачи за обработка, те могат да предоставят на хакерите начин за промяна на работното състояние на модела. „Същото позициониране, което прави този достъп деликатен, е и това, което прави надлежно защитения DPU ценен за независимо наблюдение и прилагане на политики“, отбелязват от Eclypsium, партнирали си с Nvidia в изследването.

Докладът описва демонстрация на техника за манипулиране на модел, която променя работното му състояние, след като са преминали традиционните проверки за сигурност, ефективно заблуждавайки модела, че неговата цялост е била успешно потвърдена.

„Файлът на модела не е необходимо да се променя“, обясняват изследователите. „Контейнерът, хешът на модела и подписаните артефакти на диска могат да останат валидни, докато избрани тегла в паметта по време на изпълнение се променят.“

В допълнение към Nvidia, системите на AMD, Intel и Arm също са уязвими към тези техники, според доклада.

От Eclypsium заявяват, че производителите на чипове трябва да последват примера на Nvidia за използване на DPU за независимо прилагане на политики за сигурност от самата AI система, но със съответните адекватни защити и за самите DPU. Компанията за сигурност препоръчва също така организациите да поддържат точен опис на всички компоненти в своите AI системи, да ги включат в процесите по управление на уязвимости и внимателно да проверяват софтуера от трети страни, работещ върху критичен хардуер като DPU.

„Всеки стек на AI инфраструктура съдържа привилегировани компоненти, всеки със собствен фърмуер, софтуер, процес на обновяване и верига за доставки“, пишат изследователите от Eclypsium. „Затова надеждният изкуствен интелект изисква способност за виждане и проверка на тези компоненти, вместо да се предполага, че границата на модела започва от контейнера.“