Системите с изкуствен интелект (ИИ) се преместват от прозорците за чат към операции по сигурността, бизнес работни процеси и физически среди.
Тази промяна променя това, което трябва да търси пенетрейшън тестването. Атакуващият може вече да не се нуждае от пробив в сървър или кражба на идентификационни данни, за да причини сериозна вреда. Манипулирането на информацията, която системата с ИИ вижда, може да бъде достатъчно, за да провали критично решение.
Системите за извличане на информация могат да изтеглят отровени документи в контекста на асистента, докато функциите на паметта могат да запазят инструкции, предоставени от атакуващия, за по-късна употреба.
Във физическа среда променените изображения, звук или показания на сензори могат да изкривят възприятието. Резултатът може да бъде пропуснато предупреждение, небезопасна препоръка, неоторизирано извикване на инструмент или решение, основано на фалшиви доказателства.
Изследователите твърдят, че това не е просто проблем с точността на модела. Това е проблем на сигурността, тъй като целта е оперативната цел на системата, като например правилно триажиране на инциденти, надеждно удостоверяване, безопасна навигация или съвместима поддръжка при вземането на решения.
Изследователи от Arxiv споделиха в научна публикация с Cyber Security News (CSN), че тестването трябва да измерва дали софтуерното влияние на противника може да накара една система, базирана на ИИ, да наруши тези цели.
Изследването разширява дефиницията за пенетрейшън тестване извън традиционното компрометиране на ресурси.
Сигурността на инфраструктурата все още има значение, но сега киберпрестъпниците могат да влияят на поведението на ИИ чрез нормални интерфейси като подкани, уеб страници, тикети, документи, отговори на инструменти, записи в паметта, данни за обучение и входящи данни от сензори. Това превръща поведенческата манипулация в първостепенна грижа за сигурността.
Асистент с ИИ, използващ извличане на допълнителна информация (RAG), може да бъде уязвим, когато третира ненадеждни материали като инструкция вместо като доказателство.
Атакуващият може да скрие указания в уеб страница, имейл, запис в база знания или тикет, които системата по-късно извлича. Тези атаки отразяват рисковете, изследвани при индиректното инжектиране на подкани, където външно съдържание може безшумно да оформя действията на ИИ агента.
Паметта добавя друг дългосрочен риск. Ако ИИ агентът съхранява злонамерени инструкции като полезен контекст, киберпрестъпникът може да няма нужда да действа отново, когато зловредният код се задейства по-късно.
Това може да превърне елемент от паметта, който изглежда надежден, в механизъм от тип "спяща клетка", повтаряйки опасенията, повдигнати в изследванията на заплахи от отравяне на паметта относно персистиращата манипулация в рамките на екосистемите от агенти.
Манипулирането на сензори разширява проблема отвъд езиковите модели. Модифицирано изображение, променено осветление, аудио смущения или фалшифицирано показание на сензор могат да накарат система, управлявана от ИИ, да пропусне дефект или да направи небезопасен избор.
Във всеки случай инфраструктурата може да остане непокътната, но поведението на системата е отклонено от нейната цел.
Документът препоръчва започването на пенетрейшън тест на ИИ да става с ясна оперативна цел. За асистент по операции по сигурността това може да означава, че инциденти с висока степен на сериозност никога не трябва да се понижават или затварят без човешко потвърждение.
За ИИ агент това може да означава, че деструктивни действия не трябва да се извършват без изрична стъпка на одобрение.
След това екипите трябва да картографират поведенията на ИИ, които влияят на тези цели, и да идентифицират всяка реалистична повърхност за влияние.
Това включва традиционни активи като API, идентификационни данни, бази данни и тръбопроводи за внедряване, както и подкани, извлечено съдържание, изходни данни от инструменти, памет, вериги за обратна връзка и физически сензорни канали.
Последните нови техники за инжектиране на подкани показват защо тестването трябва да отчита индиректните и отложените методи за манипулация.
Тестването трябва да разчита на контролирани сценарии, повторни опити и подробни доказателства за условията, довели до отказ.
Организациите трябва да валидират извлеченото съдържание, да отделят надеждните инструкции от ненадеждните данни, да ограничат разрешенията за инструменти, да наблюдават за необичайно поведение, да прилагат потвърждаващи прагове за действия с голямо въздействие и да запазят възможността хората да преглеждат независими доказателства.
Тези многослойни мерки съвпадат с практическите защити чрез капани за ИИ агенти, които комбинират филтриране, мониторинг и по-строги оперативни предпазни мерки.