Лабораторията Zhuque Lab на Tencent създаде AI-Infra-Guard – сканер за сигурност с отворен код за AI системи. Той идентифицира работещи услуги като Ollama, vLLM и ComfyUI и ги проверява спрямо над 1600 известни CVE, инспектира MCP сървъри и умения на агенти в 14 категории рискове и извършва оценки за jailbreak срещу целевия модел.
За да провери дадено умение, платформата пита езиков модел дали то изглежда злонамерено. Zhuque Lab оценява тази заявка спрямо SkillTrustBench – публичен набор от 5520 ръчно класифицирани проби в девет категории рискове. Нивата на фалшиво положителни резултати варират от 1,20 процента до 18,67 процента, в зависимост от това кой модел прави оценката.
Избраният от екипа модел определя колко точно проверка ще се наложи да се извърши. При най-ниския процент приблизително едно от осемдесет легитимни умения бива маркирано. При най-високия – близо една от всеки пет маркировки е загуба на време. Банки, телекоми и производители използват инструмента, включително ICBC, China Merchants Bank, China Telecom, Lenovo, vivo и Bilibili.
Zhuque Lab разделя платформата на два слоя, като само един от тях включва интерпретация. „Съпоставянето на версиите на CVE изобщо не се базира на намерение“, каза екипът на AI-Infra-Guard. „Нивото на фалшиво положителни резултати там е изцяло функция от точността на цифровия отпечатък.“
Сканерът чете файлове, написани от атакуващ
И двата сканиращи компонента приемат описания на инструменти и файлове с умения, контролирани от враждебен сървър. Косвеното инжектиране на подкани (indirect prompt injection) е техниката, която се възползва от това: инструкции, скрити в съдържанието, което моделът чете, насочени към самия четящ модел. Версия 4.1.9 защитава и подсилва сканиращите агенти срещу тази заплаха.
„Прочетеното съдържание от файл или инструмент се поставя в отделен, изрично ограничен текстов блок в подканата (prompt), структурно отделен от инструкциите, вместо да се смесва директно в текста. На сканиращия агент се указва да третира този блок като данни за анализ, а не като команди за изпълнение“, заяви екипът пред Help Net Security.
Тази мярка „намалява значително наивните и умерените опити за инжектиране“, но „това е мярка за ограничаване на риска, а не формална гаранция“ и „не твърдим, че е непреодолима, като бихме казали същото за всеки агент, задвижван от голям езиков модел (LLM)“. Анализаторът по сигурността, сканиращ подозрителен MCP сървър, трябва да разглежда чистия резултат като една от данните, а не като пълна гаранция за сигурност.
Липсва вход в системата във версията с отворен код
Репозиторият съдържа предупреждение срещу публикуването на платформата в интернет: тя „в момента няма механизъм за автентификация“. Сканер, създаден да информира дадена организация кои от нейните AI услуги са публично достъпни, идва с инструкции самият той да не се излага на показ.
„AI-Infra-Guard по дизайн е инструмент за един оператор“, заяви екипът. „Без вход в системата, без RBAC.“
Решението на Zhuque Lab е контролът на достъпа да се постави извън приложението: „документираната препоръка е използването на обратен прокси сървър отпред (nginx с Basic Auth или списък с разрешени IP адреси) плюс стандартни правила на защитната стена“. Това представлява слоят за автентификация. Екип, който пропусне тази стъпка, изпълнява сканер за уязвимости, съдържащ API ключовете за всеки оценяван модел, който е достъпен за всеки, способен да пренасочи трафик към този порт.
AI-Infra-Guard е достъпен безплатно в GitHub.