Хакер се опита да превърне AI чатбот в инструмент за атаки срещу други сървъри

Изложена в интернет платформа с изкуствен интелект може да даде на нападателя повече от място за изпращане на съобщения. Ако е свързана със съхранени идентификационни данни, фирмени данни или мрежови инструменти, платформата може да послужи и като път към тези ресурси.

Скорошно разследване с honeypot показва как атакуващ се опитва да използва AI агент, за да проучи реална инфраструктура и да подготви по-нататъшна дейност.

Инцидентът засяга Flowise – платформа с отворен код за създаване на AI работни процеси. В края на август 2026 г. honeypot с Flowise без автентикация получава заявки за преглед на услугата, изброяване на работните ѝ процеси и извличане на съхранени идентификационни данни.

Honeypot системата е примамка, а не работеща продукционна среда. Тя е проектирана да записва активност, без да изпълнява реални системни команди и без да използва реален езиков модел.

Анализатори от екипа Threat Detection & Research на Sekoia откриват активността и документират как нападателят преминава от основни проверки към опити да злоупотреби с AI агента.

Докладът им описва оператор, който се опитва да получи чувствителни данни и да превърне чатбота в помощник за изследване на други сървъри. Според разследването на Sekoia дейността основно злоупотребява с функции на Flowise, вместо да разчита на софтуерна уязвимост.

Хакер се опита да превърне AI чатбот в инструмент

Първо атакуващият проверява дали услугата Flowise е достъпна и запитва версията ѝ и настройките на възлите. След това изисква списъци с chatflow-ове и идентификационни данни, последвани от заявки за подробности за конкретни данни за достъп.

В реална и слабо защитена инсталация тези стъпки биха могли да разкрият ключове за AI услуги и данни за достъп до бази данни. Ранната активност продължава около три минути, после спира малко над два часа, преди да започне по-широко сканиране на маршрутите на API-то.

В доклада се отбелязва, че поведението наподобява достъпа без автентикация, свързван с CVE-2024-31621, но тази конкретна уязвимост не е била използвана в honeypot системата.

Тя е отстранена във Flowise 1.6.6 и е включена в доклада само за да опише наблюдавания модел. Отделно докладът за уязвимостите във Flowise разглежда рисковете, свързани с изложени в интернет инсталации на Flowise и чувствителни идентификационни данни.

След като тества основни заявки за инференция, операторът се опитва да преименува съществуващ работен процес и да създаде нов, наречен „System Status“. Новият процес включва възел HTTP Request, насочен към външен сървър.

Ако подобен работен процес бъде изпълнен в реална среда, той би могъл да накара сървъра на Flowise да се свърже с инфраструктура, контролирана от атакуващия. Sekoia определя това като злоупотреба с легитимна функция за изходящи заявки, а не като потвърдена експлоатация на софтуерна уязвимост.

Промптове, насочени към AI агента

Атакуващият изпраща и промптове, предназначени да проучат възможностите на агента. Иска от него да разкрие системните си инструкции, да използва инструменти, да изпълнява команди, да си спомни подставен код за достъп и да разкрие разговори на други потребители.

Тези опити са примери за prompt injection – инструкции, създадени така, че да отклонят AI системата от предвидената ѝ роля или защити.

Промптовете се опитват да достигнат и до данни, свързани със симулиран финансов chatflow. Атакуващият твърди, че извършва упълномощен одит, и моли агента да отправи запитване към база данни и да обобщи финансови записи.

Sekoia съобщава, че по-късно операторът се опитва да накара агента да извърши разузнаване срещу симулиран вътрешен хост. Тъй като honeypot системата не стартира реален модел и не изпълнява системни команди, доказателствата показват опити, а не успешен достъп до реални записи или системи.

След това активността се насочва към реална цел. Промптовете съдържат подробности за мониторинг сървър Nightingale, данни от Redis и платформа за онлайн хазарт, опериращ в части от Азия.

Атакуващият моли за анализ на целта и насоки за слабости и пътища за достъп. Sekoia преценява, че информацията подсказва китайскоговорящ оператор и интерес към сектора на онлайн хазарта, но заявява, че няма достатъчно доказателства за връзка с позната група.

Случаят е част от по-широк проблем с агенти, които съчетават промптове на естествен език с инструменти, бази данни или права в облака. Отделен доклад за AI агентите и облачните идентификационни данни описва как prompt injection става по-опасен, когато агентът има достъп до услуги или тайни.

Изследване на „капаните за AI агенти“ също разглежда как недоверено съдържание може да повлияе на решенията и паметта на агента. Основният риск не е в това, че чатботът може да отговаря на въпроси.

Рискът е, че агентът може да действа въз основа на отговорите си – като извиква инструменти, прави мрежови заявки или чете свързани данни. Самият промпт не бива да предоставя достъп, но слабата автентикация, прекалено широките права и неограничените мрежови пътища дават на атакуващия повече възможности.

Организациите, които използват Flowise или подобни платформи, трябва да ограничат административните интерфейси до упълномощени потребители и мрежи, да проверят кой може да чете или променя работните процеси и да съхраняват само идентификационните данни, които са необходими на всеки агент.

Екипите трябва също да ограничат изходящите връзки, да следят за необичайни заявки към API-тата за работни процеси и идентификационни данни и да изискват одобрение от човек, преди агентът да предприеме действия с чувствително въздействие. Sekoia препоръчва силна автентикация, строги граници на правата и наблюдение за prompt injection и злоупотреба с възможностите на агентите.

Индикатори за компрометиране (IoC):

Забележка: IP адресите и домейните са умишлено „дефанг-нати“ (напр. [.]), за да се предотврати случайно разрешаване или превръщане в хипервръзки. Връщайте оригиналния вид само в контролирани платформи за threat intelligence като MISP, VirusTotal или вашия SIEM.