Хакери могат да скриват зловредни AI команди в обикновен английски текст, за да заобикалят филтрите за сигурност

Новоразкрита техника за атака срещу изкуствен интелект показва, че вредните команди не се нуждаят от необичайни символи, скрит текст или кодирани символни низове, за да заобиколят проверките за сигурност.

Атакуващите могат да скрият инструкция в обикновен английски текст и да разчитат на това, че различните AI модели интерпретират един и същ текст по различен начин. Методът, наречен PuzzleMask, е насочен към приложения, които поставят бърз модел за скрининг преди по-способен AI система.

Първият модел може да маркира пасажа като безвреден, тъй като няма времето и инструментариума да забележи скритата заявка, докато последващият модел я възстановява и може да я изпълни.

Изследователи от Check Point идентифицираха проблема при тестване на това как бързите проверки на политиките обработват специално създаден прозаичен текст. Констатацията е важна, тъй като организациите предоставят на AI асистенти достъп до файлове, интерпретатори на код, бизнес данни и инструменти, които могат да предприемат действия, а не просто да генерират текст.

От Check Point заявяват в доклад, споделен с Cyber Security News (CSN), че PuzzleMask сам по себе си не е jailbreak. Той е начин да се достави непрегледана инструкция до целевия модел, отразявайки рисковете при атаки срещу идентичността в AI работните процеси.

Хакери могат да скриват зловредни AI команди в обикновен английски текст

PuzzleMask обвива нарушаващ политиките зловреден код в проза, която изглежда нормална за читателите и олекотените защитни филтри. Той не зависи от Base64, поредици от емоджита, невидими символи или очевидни трикове с форматирането, което прави обикновените проверки, базирани на шаблони, значително по-малко полезни.

Изследователите са използвали автоматизиран процес, за да превърнат кратки формати на зловреден код в прозаични обвивки. Техните модели за бърза проверка са имали за цел да блокират заявки, свързани със съдържание на файлове, защитени с авторски права текстове на песни или криптиране на локални документи, но въпреки това са оценили всяка създадена обвивка като безопасна.

Разликата идва от разминаването във възможностите. Бързият филтър е оптимизиран за бързо решение за безопасност, докато целевият модел може да разполага с повече време за логически изводи и интерпретатор на код. Той може да открие скритата структура, да извлече зловредния код и да го третира като нов входен сигнал.

Разграничението е важно за екипите, които внедряват агенти, обработващи ненадеждни материали. Докладите за скрити команди в имейли показват по-широката опасност: нормално изглеждащо съобщение, документ или уебстраница може да се превърне в инструкция, ако системата не разделя данните от командите.

При 23 създадени подкани филтрите са класифицирали обвивките като безопасни при всеки опит. Тестването на целевия модел е обхванало 18 подкани, като модел с високи възможности за разсъждение е възстановил и изпълнил скритата инструкция в 17 от случаите, или 94.4 процента. Експериментите са използвани в контролирани симулирани среди и не са осъществявали достъп до реални файлове, нито са нанесени щети.

Защитите трябва да проследяват действията

Изследването не показва, че скритата подкана автоматично преодолява вграденото обучение за безопасност на целевия модел. То показва, че входният филтър може да не успее да разпознае подканата, оставяйки последващите контроли да поемат тежестта. Това е рисковано, когато агентът разполага с привилегировани инструменти или чувствителни данни.

Една практическа мярка за сигурност е парафразирането на ненадеждното съдържание, преди то да достигне следващия етап. Пренаписването на текста с нови думи обикновено премахва структурата, носеща скрития зловреден код, въпреки че това увеличава разходите и може да намали качеството или прецизността на оригиналния входен текст.

Организациите могат да засилят правилата на защитните филтри, за да маркират съмнителни фрази с препратка към самите себе си, вместо само познати вредни фрази. При тестовете конкретно условие за количествени и себе-референтни фрази е позволило на филтъра да улови всички 23 създадени подкани, въпреки че по-строгите политики могат да увеличат фалшивите позитивни резултати.

Филтрирането само на входните данни не е достатъчно. Екипите по сигурността трябва да наблюдават изходните данни на модела, извикванията на инструменти и действията, след което да изискват одобрение за задачи с високо въздействие, като промяна на файлове, изпращане на данни или изпълнение на команди.

Това съответства на най-новия списък OWASP GenAI Top 10, който набляга върху ограничаването на правомощията на агента. Разработчиците трябва да третират текста от уеб, имейлите, документите, коментарите по задачи и логовете като ненадеждни винаги, когато AI агент ги обработва.

Изследванията относно атаки чрез подкани в коментари в GitHub илюстрират как външно съдържание може да достигне до работните процеси по разработка и да повлияе на автоматизираните инструменти.

PuzzleMask подчертава по-широк урок за сигурността на изкуствения интелект. Естественият език може да служи като механизъм за доставка, така че защитниците трябва да оценяват какво в крайна сметка прави изкуственият интелект, а не само дали входните данни изглеждат съмнителни.

Разделянето на съдържанието от инструкциите, намаляването на разрешенията и проверката на чувствителните действия ограничават щетите, когато първоначалният скрининг пропусне скрита команда, и ускоряват възстановяването след инцидент.

Индикатори за компрометиране (IoCs):-

Забележка: IP адресите и домейните са умишлено обезвредени (напр. [.]), за да се предотврати случайното им разрешаване или създаване на хипервръзки. Възстановете ги само в рамките на контролирани платформи за анализ на заплахи като MISP, VirusTotal или вашата SIEM система.