Свързани с Русия субекти тестват нов начин да накарат изкуствения интелект да пренебрегва зловреден код. Техниката, наречена GuardBreaker, скрива чувствителна от гледна точка на сигурността заявка в иначе обикновен коментар в скрипт, с надеждата, че скенерът с изкуствен интелект ще откаже да продължи работата си.
Активността е наблюдавана по време на ранен етап от компрометиране на цел в Украйна. Използваният VBScript е създаден да изтегля и инсталира MATCHBOIL — зареждащ модул (loader), свързан изключително с групата UAC-0099 и използван за доставяне на допълнителен зловреден код в компрометирани системи.
Изследователи от Welivesecurity, печатното издание за изследвания на ESET, идентифицираха тактиката в скрипт на UAC-0099. Коментарът търси насоки за изграждане на ядрено оръжие — съдържание, предназначено да активира контролите за безопасност на модела.
От ESET посочват в доклад, споделен с Cyber Security News (CSN), че констатацията е важна, тъй като изкуственият интелект вече рутинно се използва за сортиране на съмнителни файлове и подпомагане на разследвания на зловреден софтуер.
Ако даден атакуващ успее да накара скенера да изостави даден файл, преди да достигне вредните инструкции, екипите могат да загубят време или погрешно да третират опасна проба като безвредна.
Свързани с Русия хакери използват GuardBreaker Prompt Injection
GuardBreaker не променя това, което VBScript прави, когато жертвата го стартира. Вместо това враждебният текст е поставен там, където анализатор или автоматизиран инструмент може да го прочете, превръщайки самия акт на проверка на файла в цел на атаката.
Това е форма на въвеждане на злонамерени инструкции (prompt injection): несигурно съдържание във файла достига до езиковия модел, докато той се анализира. Моделът може да се затрудни да раздели това съдържание от валидните инструкции, особено когато неговите защитни ограничения са проектирани да спират отговори, включващи опасни или забранени теми.
В този случай UAC-0099 изглежда са планирали противодействие срещу защити, базирани на изкуствен интелект, наред с по-познатите проверки за инструменти за анализ като IDA и Wireshark.
Групата вече разчита на разпространение чрез фишинг и семейството MATCHBOIL, както е отразено в кампанията за зареждащия модул UAC-0099 MATCHBOIL, което прави новата тактика, базирана на коментари, забележително разширение на нейния арсенал за заобикаляне на защити.
Подходът е прост, но потенциалният му ефект е значителен. Скенер, който не връща резултат или спира с отказ поради безопасност, може да създаде сляпо петно, ако работният процес интерпретира липсващата оценка като безвредна, вместо като причина за разследване.
Подобни атаки се възползват от слабост: те смесват материали, предоставени от атакуващия, с инструкции за анализ. Тази граница може да се срине, когато коментарите изглеждат безвредни и остават инертни по време на изпълнение.
Безпокойството достига и до веригите за доставка на софтуер, където зловредни пакети са включвали текст, задействащ политиките за безопасност, или повтарящ се език, предназначен да изчерпа контекста на модела и да скрие инжектирания зловреден код.
Защо защитниците трябва да потвърждават резултатите от изкуствения интелект
Случаят показва защо даден модел с изкуствен интелект не може да бъде единственият авторитет за това дали даден код е безопасен. Екипите по сигурност трябва точно да документират какво чете всеки инструмент, подпомаган от изкуствен интелект, къде се намира в процеса на вземане на решения и какви процедури се задействат, когато инструментът се провали, откаже, отреже съдържание или не може да завърши анализа.
Анализаторите трябва да съпоставят констатациите на изкуствения интелект с други системи, конвенционален статичен и поведенчески анализ, както и с проверка от човек.
Този многослоен подход е особено важен, тъй като рисковете от prompt injection засягат повече от триажа на зловреден софтуер; рисковете от prompt injection при корпоративни LLM показват как специално координираният език може да повлияе и на по-широки бизнес системи, използващи изкуствен интелект.
Екипите трябва да третират необичайните файлови структури, прекомерния повтарящ се текст и инструкциите, насочени към читателя или модела, като съмнителен контекст, а не как доказани насоки.
Свързана атака срещу обобщаващи инструкции на изкуствен интелект илюстрира как скритото или повтарящо се съдържание може да отклони автоматизираната интерпретация от това, което потребителят очаква да види.
Агентите с изкуствен интелект, които могат да извикват дезархиватори, деобфускатори или други външни инструменти, се нуждаят от допълнителни защити, тъй като тези връзки разширяват повърхността на атака.
Ограничените права, внимателният преглед на извикванията на инструменти и ескалацията при непълни резултати могат да намалят шанса манипулираният процес на анализ да се превърне в път за доставяне или изпълнение на зловреден код.
За организации без денонощно работещи анализатори от решаващо значение остава едно: превенцията трябва да бъде свързана с откриването и реагирането.
Съмнителният файл трябва да се изследва заедно с активността на други места в средата, така че отказът на един модел никога да не се превръща в последната дума за възможно пробиване на сигурността.