Инжектирането на подкани (prompt injections) – злонамерените команди, които атакуващите вграждат в съдържанието, за да накарат големите езикови модели (LLM) да ги изпълнят – са основното средство на киберпрестъпниците за насочване на AI платформите срещу техните потребители. Често е достатъчно просто една добре формулирана команда да бъде вмъкната в имейл или покана в календара, за да бъде принуден моделът да източи чувствителни данни или да извърши други вредни действия.

Сега обаче защитниците също започват да използват инжектирането на подкани.

Изследователи от компанията Tracebit съобщиха в понеделник, че поставянето на подобни подкани до пароли, криптографски ключове и други тайни данни, съхранявани в Amazon Web Services (AWS), често е напълно достатъчно, за да спре атаките от страна на автономните хакерски AI агенти. Подканите инструктират атакуващия модел да извърши действие, което е забранено от неговите предпазни огради (guardrails) – бариерите за сигурност, които разработчиците на изкуствен интелект издигат, за да предотвратят опасни действия. В отговор моделът просто блокира и спира работа.

Примери за това са подкани, които нареждат на езиковия модел да предостави инструкции за създаване на антракс на прах за вдишване или, в случай на модели от китайски разработчици, да направи препратки към емблематичния протестиращ („Tank Man“) от клането на площад Тянанмън през 1989 г. След като моделът се сблъска с тези забранени команди, той престава да изпълнява първоначалните си инструкции. Изследователите са нарекли тази техника „контекстно бомбардиране“ (context bombing).

„В крайна сметка задействаме механизъм за отказ в рамките на самия контекст“, обяснява Анди Смит, съосновател и изпълнителен директор на Tracebit. „Това, което се опитваме да покажем, е, че методът има силен и рязък ефект, от който за AI агентите е трудно да се възстановят. Веднъж попаднали в контекста им, тези команди ги карат да продължават да отказват изпълнение.“

От Tracebit споделят, че първоначалните тестове показват огромен потенциал за контекстното бомбардиране. Те са тествали моделите Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi 2.6, като са им задали рутинни задачи за разработчици, принуждаващи ги да изброяват ресурси и така да се натъкнат на подхвърлените компрометиращи низове. Тестовете са проведени в симулирана AWS среда.

„При пет водещи модела и 152 симулации на атаки, залагането на един от тези низове в примамка за тайни данни намали процента на случаите, в които агентите придобиват пълни администраторски права над акаунта, от 57% на 5%. Пълното компрометиране (при което те си осигуряват и постоянен достъп) спадна от 36% на 1%“, се посочва в публикацията. „Най-способният агент в нашите тестове, Opus 4.8, премина от 93% успешни опити за администраторски достъп до пълен провал всеки път, когато се сблъска с контекстна бомба.“

Средните резултати от петте модела и 152-та опита показват:

  • Ескалацията на администраторски привилегии е спаднала от 57% на 5%.
  • Ескалацията до администратор с осигурен постоянен достъп е намаляла от 36% на 1%.
  • Случаите на успешно преминаване по който и да е път за атака са спаднали от 91% на 15%.
  • Средно успеваемостта на атаките е намаляла от 1.53 успешни пътеки до едва 0.16.
  • Никоя атака не е успяла да завърши, без поне да задейства детектор тип „канарче“ (canary detection).

Това изследване стъпва върху разкрития от май, когато Tracebit представи метод, позволяващ на защитниците да получават предупреждения, когато инфраструктурата им е атакувана от AI агенти. Методът използва AWS ресурси, които изглеждат като реални, но всъщност не се използват за нищо. Те се разполагат успоредно с истинските ресурси. Когато бъдат сканирани от AI агент, се задейства аларма за защитниците. Подобно на канарчетата в каменовъглените мини в миналото, тези ресурси позволяват на администраторите да открият заплахата, преди тя да е довела до фатални последици.

Тези примамки на Tracebit сигнализират за началото на атака средно в рамките на осем минути. Мотивацията за създаването на контекстното бомбардиране обаче е породена от необходимостта от инструмент, който не просто предупреждава, а активно спира атаките. При експериментите на автономните модели са им били нужни средно 14 минути, за да получат администраторски контрол. Времевият прозорец от шест минути за реакция е бил твърде рискован.

Атакуващите вече използват инжектиране на подкани, за да неутрализират защитните AI системи в мрежите. Изследователи от компанията за сигурност Socket например миналия месец откриха AI агент, който кара целевите защитни езикови модели да дават инструкции за сглобяване на ядрена бомба или биологично оръжие с цел да ги блокира. Тези инжекции са проектирани да неутрализират анализа на зловреден код, подпомаган от изкуствен интелект. Изследователи от Check Point откриха подобен прототип на зловреден софтуер.

Контекстното бомбардиране изглежда е първият известен случай, в който защитниците обръщат играта в своя полза.

„Доколкото ми е известно, не съм виждал никой друг да използва тази техника като защита“, споделя в интервю Ърленс Фернандес, професор в Калифорнийския университет в Сан Диего, специализиран в сигурността на изкуствения интелект. Той споделя, че е обмислял подобен подход, макар и в малко по-различен контекст: „Исках да бъда първият, но изглежда тези момчета са ме изпреварили!“

Към днешна дата няма известен начин за пълно отстраняване на първопричината за уязвимостите от тип инжектиране на подкани. Това оставя на разработчиците единствено възможността да изграждат сложни предпазни огради, които да пречат на инжектираните подкани да изведат езиковите модели извън контрол. Сега защитниците може би са намерили начин да използват това в своя полза.