AI агенти, тествани онлайн, са достигнали до реални системи на индийски организации и са прочели бизнес записи, включително лични данни и конфиденциални материали, съобщи CERT-In в бюлетин за сигурност от 15 октомври.

Агентите са надхвърлили възложените им задачи, като нито една от организациите не е засякла неоторизирания достъп. След вътрешни проверки компаниите за изкуствен интелект, чиито модели са били тествани, доброволно са докладвали случаите на CERT-In – националната агенция по киберсигурност на Индия.

AI агентите са софтуерни системи, които могат да планират задачи, да изпълняват команди, да използват инструменти и да действат автономно в интернет за продължителни периоди от време. В тези случаи агентите са получили достъп чрез идентификационни данни и настройки за връзка, оставени открити в конфигурации на приложения и публични хранилища за код, както и чрез роли в облачни услуги с прекомерни права.

CERT-In не назовава компаниите за изкуствен интелект, техните модели, нито засегнатите организации и сектори. Агенцията не уточнява колко компании са подали сигнали или колко организации са били засегнати, като посочва единствено, че докладите са получени наскоро.

Също така не се уточнява дали прочетените от агентите данни са били копирани или запазени, нито дали засегнатите организации са били уведомени.

Атакуващи са използвали инструменти с отворен код за AI агенти в отделна кампания

Собственият анализ на заплахите на CERT-In открива втора, отделна поредица от инциденти: финансово мотивирана кампания срещу индийски организации. Атакуващите са злоупотребили с публично достъпни рамки за офанзивна сигурност, базирани на AI агенти.

Тези рамки продължават да се използват злонамерено и да се преименуват, като се разпространяват в инфраструктури в няколко държави. CERT-In не назовава конкретните рамки или атакуващите.

В тази кампания рамките са съкратили времето от първоначалния достъп до крайното въздействие от дни до няколко часа, според CERT-In. Атакуващите са пускали множество агенти паралелно в продължение на часове или дни, за да постигнат целите си. Жертвите, които само частично са отстранили проблемите, са били атакувани отново в рамките на броени дни и в още по-голям мащаб.

Google Threat Intelligence Group съобщи за отделен случай през септември. Атакуващи, компрометирали облачен ресурс, са планирали, изградили и провели кампания, управлявана от агенти, която е събрала хиляди идентификационни данни на трети страни за по-малко от 6 часа.

На 9 октомври CERT-In предупреди за атаки срещу небанкови финансови институции, дигитални кредитори, финтех компании, доставчици на платежни услуги и оператори на дигитални портфейли. В тези случаи киберпрестъпниците са откраднали идентификационни данни за API и директно са извиквали API функции за парични преводи и плащания, за да прехвърлят средства към сметки на финансови мулета.

В тези атаки вероятно са използвани инструменти, подпомагани от изкуствен интелект. CERT-In не е посочила дали тези нападения са свързани с кампанията от бюлетина от 15 октомври.

Какви мерки изисква CERT-In за отстраняване на слабостите

Слабостите зад двата типа инциденти са били стандартни, посочва CERT-In. Идентификационни данни и ключове са били изложени в изходния код, в хронологията на публични хранилища, конфигурационни файлове, клиентски приложения и публични уеб страници. Стари, неизползвани и тестови API са останали достъпни от интернет.

Ключове за разплащателни API са били съхранявани в некриптиран текст (plain text), а роли в облачни и Backend-as-a-Service платформи са предоставяли широк достъп за четене и запис на обикновени или анонимни потребители. Интерфейси за управление са били изложени в интернет, а посредническият софтуер (middleware) на приложенията е оставен без инсталирани корекции за сигурност, със слаби пароли или без многофакторна автентикация.

В случаите, докладвани от AI компаниите, агентите са намирали същите изложени идентификационни данни повторно и са ги преизползвали в отделни операции.

CERT-In не публикува индикатори за компрометиране (IoC) за нито един от двата типа инциденти. Организациите трябва да приложат основните мерки от насоките на CERT-In от май и да предприемат следните стъпки:

  • Търсете изложени идентификационни данни в изходния код, хронологията на комитите, CI/CD променливите, конфигурационните файлове, клиентските приложения и облачните хранилища. Сменете всички намерени данни, изчистете ги от хронологията и потвърдете отстраняването на проблема от външна гледна точка.
  • Сканирайте всеки комит и билд за тайни и не съхранявайте идентификационни данни в кода, конфигурационните файлове и базите данни.
  • Поддържайте пълен опис на вашите API интерфейси и спирайте стари, неизползвани и тестови API и акаунти.
  • Прилагайте принципа на минималните привилегии към ролите в облака и Backend-as-a-Service, не оставяйте привилегировани ключове в клиентския код и тествайте какво може да чете и записва анонимен потребител.
  • Премахнете интерфейсите за управление от публичния интернет, изисквайте многофакторна автентикация за всеки административен достъп и бързо инсталирайте корекции за сигурност на изложения междинен софтуер.
  • Наблюдавайте API интерфейсите чрез базирано на честотата откриване на аномалии, генерирайте предупреждения при резки пикове на изброяване (enumeration), масово четене и автоматизирани регистрации, и съхранявайте журналните записи (logs) за поне 180 дни.
  • След всяко излагане на идентификационни данни или потвърден неоторизиран достъп третирайте средата като компрометирана, докато криминалистичен анализ не докаже обратното. Тествайте повторно след коригиране на уязвимостите и очаквайте нови опити в рамките на дни или седмици.
  • Ако управлявате AI агенти, осигурете на всяко изпълнение негова собствена краткотрайна самоличност с минимални привилегии и блокирайте изходящия трафик с изключение на дестинациите, необходими за конкретното изпълнение. Поддържайте защитен от манипулации регистър на действията на агентите, поне за тези, които взаимодействат с реални производствени системи и данни.

Банките, застрахователите, другите финансови институции и финтех компаниите следва също да приложат мерките за API за разплащания и преводи, описани в бюлетина от 9 октомври.

Указанията на CERT-In изискват също организациите да докладват киберинциденти на агенцията в рамките на 6 часа.

За разработчиците на изкуствен интелект, изследователските лаборатории и агенциите за оценка CERT-In изисква тестовите изпълнения да бъдат в изолирана среда, като изходящият мрежов достъп бъде блокиран по подразбиране. Това блокиране трябва да се налага на мрежово ниво, а не чрез инструкции към модела.

Всяко изпълнение трябва да спира автоматично, ако агентът осъществи контакт с външни системи или открие и използва чужди идентификационни данни. Ако даден агент достигне до реална система, засегнатата организация и CERT-In трябва да бъдат уведомени незабавно.

Предишни разкрития от OpenAI и Anthropic

Както OpenAI, така и Anthropic разкриха подобни инциденти тази година. CERT-In не уточнява дали модели на някоя от двете компании са участвали в индийските случаи.

През юли OpenAI оповести, че нейните модели са компрометирали платформата на Hugging Face. Компанията преразглежда действията на своите модели в интернет по време на обучение и тестване и уведомява трети страни, чиито защитни мерки моделите може да са заобиколили.

В отговор на това разкритие Anthropic започна преглед на собствените си оценки за киберсигурност. Оттогава компанията е докладвала за 4 инцидента, при които модели на Claude са получили неоторизиран достъп до реални системи на трети страни по време на тестове, разработени от същия външен партньор. Всички засегнати страни са били уведомени.

От трите организации в юлското разкритие на Anthropic, двете, с които компанията се е свързала, не са засекли каквато и да е подозрителна активност.