Атакуващите започват да крият злонамерени инструкции в обикновени имейли, документи, покани за събития в календара и онлайн реклами. Целта не винаги е да се измами човек.
Вместо това скритият текст е проектиран да манипулира инструментите с изкуствен интелект, които сканират, обобщават и защитават дигиталните комуникации.
Тази техника, наречена непряко инжектиране на команди (indirect prompt injection), може да превърне доверените AI асистенти в неочаквана мишена.
Дадено съобщение може да изглежда безобидно за служителя, но същевременно да съдържа инструкции, които AI имейл агентът разчита като команди, което потенциално може да го подтикне към опасни действия или излагане на данни на риск.
Анализатори от Proofpoint идентифицираха засилващи се дискусии и продажби около тези методи в подпочвените форуми.
Активността предполага, че киберпрестъпниците разработват инструменти за мащабно създаване на скрити команди, въпреки че все още не е наблюдавано широко разпространено реално злоупотребяване с тях.
Тази промяна е важна, тъй като AI системите все по-често преглеждат входящата поща, прикачените файлове, календарите и уебсайтовете, преди потребителите изобщо да ги видят. Сега престъпниците търсят начини да експлоатират този автоматизиран достъп, добавяйки още едно ниво на риск към вече познатите фишинг атаки и социално инженерство.
Proofpoint заявява в доклад, споделен с Cyber Security News (CSN), че нововъзникващите инструменти са все още експериментални, но организациите трябва да се подготвят за използването им.
Изследователите отбелязват, че абонаментите, рекламирани в престъпните среди, започват от около 150 долара на месец.
Хакерите крият команди в имейли
Непрякото инжектиране на команди работи, когато AI система обработва съдържание от външен източник и грешно приема скритите инструкции за легитимни заявки.
За разлика от директната атака с инжектиране на команди, при която някой въвежда команда в чатбот, този подход позволява на атакуващите да прикриват команди в съдържание, което AI агентът чете автоматично.
Един от рекламираните инструменти за генериране на имейли създава съобщения, съдържащи бял текст на бял фон.
Получателите може да виждат нормален имейл, но невидимият текст все пак остава достъпен за агента за обработка на поща – тактика, тясно свързана с опасенията, повдигнати при атаки с инжектиране на команди в AI, които са насочени към работни процеси, базирани на имейл.
Атакуващите могат да използват същата идея и в прикачените файлове. Proofpoint наблюдава примери с PDF и DOCX файлове, които изглеждат като обикновени документи, включително примерно споразумение за конфиденциалност, но същевременно носят вграден текст, предназначен да повлияе на сканиращия AI агент.
Опасността зависи от това какви разрешения има AI системата. Агент, който може да обобщава съобщения, представлява различен риск от такъв, който може да търси във файлове, да изпраща съдържание, да отваря връзки или да се свързва с облачни услуги.
Скритите инструкции стават по-сериозна заплаха, когато AI инструментът може да действа без изрично човешко одобрение.
Поради това екипите за сигурност трябва да третират външното съдържание като ненадеждно, дори когато пристига в познат формат.
Отделянето на ненадеждния текст от системните инструкции, ограничаването на достъпа на AI агентите и изискването на човешко потвърждение за важни действия може да намали вероятността скрита команда да причини вреда.
Киберпрестъпниците също така разработват генератори за инжектиране на команди в покани за календар.
Злонамерената инструкция може да бъде записана в описанието на събитието, маскирана като дневен ред за среща, което позволява на AI асистент, обобщаващ съдържанието на календара, да я обработи, без получателят да кликва върху връзка или да приема поканата.
Това е важна промяна спрямо конвенционалния фишинг чрез календар. Предишните кампании обикновено разчитаха на това човек да отвори покана или да посети линк, но AI агентът може да инспектира поканата като част от рутинната си работа, отразявайки рисковете, наблюдавани при превръщането на календарни файлове в оръжие.
Proofpoint откри интерес и към поставянето на команди в злонамерени реклами и уеб страници.
Скритите команди могат да бъдат съхранявани в HTML, алтернативен текст за изображения (alt text), миниатюрни шрифтове или други елементи, които човешкият посетител може да пренебрегне, докато автоматизираният браузър или AI асистентът все пак ги обработва.
Организациите трябва да преразгледат къде AI инструментите приемат имейли, файлове, календари и уеб съдържание, след което да приложат строг контрол на достъпа около чувствителни данни и действия.
Служителите трябва да продължат да докладват за подозрителни съобщения и неочаквани покани, докато екипите за сигурност наблюдават за развиващи се тактики на фишинг кампании, които комбинират познати методи за доставка с насочена към AI манипулация.
Изследването не описва широко разпространена кампания, използваща тези техники днес.
Въпреки това, активното разработване и маркетинг на свързани инструменти показва, че атакуващите се подготвят за бъдеще, в което AI системите са рутинна част от повърхността за атака, а не просто поредната линия на защита.