Организациите внедряват автономни AI системи, които изпълняват API извиквания, оптимизират производствени конфигурации и анализират телеметрия в хибридни облачни среди. В същото време атаките се разширяват от директни подкани (prompts) към индиректно инжектиране на подкани и компрометиране на веригата за доставки на AI, замазвайки границите на сигурността.
Последният доклад на Mandiant AI Risk and Resilience, който се основава на наблюдения от Mandiant и Google Threat Intelligence Group (GTIG), предупреждава,телно отровен източник на данни, зависимост от модел или кука за разширение (extension hook) могат да превърнат доверен агент в канал за вътрешно разузнаване, странично придвижване (lateral movement) или автономно бягство от изолирана среда.
„Защитата срещу тези автономни заплахи изисква преминаване към ясно идентифицирани, адаптивни контроли на самоличността, ускоряване на защитната скорост и преориентиране на центъра за оперативна сигурност (SOC) към телеметрия на поведението в реално време“, заявяват от Mandiant.
Как атакуващите използват AI
Атакуващите прехвърлят оперативни задачи върху AI и използват големи езикови модели (LLM) в многоетапни атаки, където моделите участват в вземането на решения и помагат на атакуващите да преминават между отделните етапи. Някои изграждат междинен софтуер (middleware), прокси релета и автоматизирани системи за регистрация, за да заобиколят защитните ограничения и финансовите лимити на комерсиалните AI платформи.
GTIG наблюдава как киберпрестъпници използват AI за изследване на уязвимости, включително отключване на ограниченията чрез персонификация (persona-driven jailbreaking) и специализирани набори от данни за сигурност, които подпомагат откриването и експлоатирането на уязвимости.
Атакуващите адаптират техники от веригата за доставки на софтуер към AI инструменти. През февруари VirusTotal откри зловредни умения (skills) за OpenClaw, маскирани като легитимни пакети за автоматизация, съдържащи задни врати (backdoors), дропери (droppers), софтуер за кражба на информация (infostealers) и инструменти за отдалечен достъп.
През следващия месец Mandiant реагира на инциденти, свързани с компрометиране на веригата за доставки от страна на UNC6780, известни още като TeamPCP. Групата е откраднала идентификационни данни за AI услуги и проприетарни AI данни, като е използвала техники като инжектиране на подкани срещу AI асистенти за програмиране и базирани на LLM скенери за сигурност.
През май GTIG разкри това, което описа като първия публично потвърден случай на киберпрестъпник, използващ разработена от AI zero-day уязвимост в планирана кампания за масово експлоатиране. Уязвимостта е можела да заобиколи двуфакторната автентификация в популярен инструмент за администрация с отворен код.
Какво разкриват симулациите на атаки (red teaming)
Тестването на сигурността чрез симулация на атаки от страна на Mandiant показва, че инжектирането на подкани остава основен вектор за атака при корпоративните AI внедрявания, наред с проблеми като неправилни разрешения за достъп до файлове и неадекватни контроли за достъп.
При една от оценките тестващите са манипулирали вътрешен AI асистент, който е управлявал хранилища с код и CI/CD пайплайни. Те са го убедили, че участва в оторизиран тест за сигурност, и са му предоставили персонален токен за достъп до външно GitHub хранилище, контролирано от тях.
Тъй като GitHub е бил одобренโดмейн, асистентът е клонирал чувствителни вътрешни хранилища и ги е изпратил към външния акаунт. Тестът показва как AI агент може да бъде манипулиран да злоупотреби с легитимни разрешения.
Контроли за корпоративен AI
От Mandiant посочват, че организациите се нуждаят от управление (governance) и технически контроли, покриващи начина на използване на AI, системите, до които той има достъп, и приемливите рискове. Защитата трябва да се разпростира върху цялата верига за доставки на AI софтуер и да варира в зависимост от това дали организацията използва външни AI услуги, интегрира модели в приложения или сама обучава и хоства модели.
Управление на AI за AI и от AI (Източник: Mandiant)
Слабите контроли могат да доведат до последици дори без намесата на атакуващ. В един от казусите счетоводен агент е навлязъл в неконтролируем цикъл на изпълнение и е направил над 15 000 скъпоструващи API извиквания за по-малко от час, генерирайки около $50 000 такси за облачни услуги и нарушавайки активни бизнес транзакции.
Моделите с отворени тегла (open-weight models) създават допълнителни отговорности за организациите, които ги използват, тъй като информацията за техните набори от данни, архитектура и код за обучение може да бъде ограничена.
Защита на пайплайна за разработка на AI
Организациите трябва да разширят практиките за безопасна разработка на софтуер към AI инженерството и да поддържат описания (inventories) на моделите, приложенията и услугите. Автоматизираните описания на софтуерните компоненти (SBOM) могат да помогнат за проследяване на компонентите и зависимостите от фазата на разработка до производството.
MCP сървърите, външните API и динамичните инструкции за агенти допълнително разширяват повърхността за атака. Защитниците трябва да събират телеметрия, включително използването на токени от агентите, API извиквания между приложения, активност на приложенията, достъп до чувствителни активи и мрежов изходящ трафик.
Използването на AI агенти в центъра за оперативна сигурност (SOC) може да ускори операциите по сигурност, но и да увеличи разходите за изчислителни ресурси. Организациите трябва да проследяват разходите за AI работно натоварване и да приоритезират разходите за задачи по сигурността, при които AI носи най-голяма стойност.
Екипите по сигурност могат да управляват разходите, като съобразяват моделите със задачите. По-малките модели могат да се справят с рутинна работа, като анализ на сигнали за сигурност и проверка на индикатори. По-мощните модели могат да бъдат запазени за комплексни разследвания и търсене на заплахи (threat hunting).